Prueba A/BA/B Test
Probar dos versiones a la vez y comparar los resultados reales
- La prueba A/B es poner dos versiones a competir de verdad y comparar qué pasó con cada una.
- Lo que sostiene todo es cómo se reparte a la gente. Si el reparto es al azar, la única diferencia entre los dos grupos es la que se quiere probar.
- Qué se va a medir y durante cuánto tiempo se decide antes de empezar. Elegir después el número que quedó mejor ya no es una prueba, es una elección con trampa.
- Revela cosas que ni la intuición ni la discusión en una reunión pueden mostrar, porque se apoya en el uso real.
- Cuando la diferencia es pequeña, se confunde con el azar. Por eso hacen falta suficientes personas y suficiente tiempo.
Contenido
1La analogía
Una fábrica de zapatos quiere probar una goma nueva para las suelas. No hay forma de saber si desgasta menos solo tocando una muestra en la oficina. Así que fabrica cien pares con la suela de siempre y cien con la suela nueva, los reparte y deja que la gente los use durante un mes. Al cabo del mes los recoge y mide, con una regla, cuánto se ha gastado cada suela.
Lo importante es cómo se reparte. Si la suela nueva se le da solo a quien hace mucho senderismo, parecerá más gastada aunque sea mejor. Por eso a quién le toca cada suela se decide como quien saca un papelito de una bolsa, al azar, y el tiempo de uso se iguala para todos. La idea es que entre los dos grupos no quede más que una diferencia: la suela.
La prueba A/B es justamente esto. Se ponen dos versiones a competir, se dejan usar de verdad, y al final se comparan con lo que se decidió medir desde el principio.
2En detalle
Repartir al azar es lo que mantiene viva la prueba
Decir que todo depende de cómo se reparten los dos grupos no es exagerar. Si a la gente de oficina le tocara la suela vieja y a quienes reparten a pie la nueva, no habría forma de saber si la diferencia viene de la suela o de cuánto camina cada quien.
Por eso, al repartir, se saca de en medio el criterio de una persona. Numerar y separar por par o impar hace que caer en un grupo u otro no tenga nada que ver con las características de esa persona. Así, quien es constante y quien no lo es quedan mezclados por igual en los dos grupos.
El resto de las condiciones se iguala todo lo posible: mismo periodo, mismo modo de entrega, misma regla para medir. Dejar solo una cosa distinta —la que se quiere probar— es el esqueleto de este método.
Qué se compara se decide antes de empezar
Si se iba a medir el desgaste de la suela, se mide el desgaste de la suela. Si al mes el resultado no convence y de pronto se saca a relucir cuánto se gastaron los cordones, la prueba se desmorona. Medir varios números y quedarse después con el que salió mejor hace que un resultado de casualidad se confunda con una diferencia real.
Por eso, antes de arrancar, se escribe qué se va a medir y qué hará ganar a una versión. Se elige un número principal, y unos cuantos más que sirvan de aviso por si ese número sube a costa de otra cosa.
También hay que cuidarse de mirar los datos a cada rato. Los números suben y bajan día a día, y si se detiene la prueba justo el día que conviene, ese resultado ya no es una prueba: es la suerte de ese día.
Cuánto tiempo y cuánta gente hacen falta
Con solo diez pares es difícil afirmar que la suela nueva es mejor. Cada persona camina distinto, y ese ruido tapa la diferencia real de la suela. Cuanto más pequeña sea la diferencia que se busca, más gente y más tiempo se necesitan.
El plazo también tiene que ser generoso. Los primeros días se camina con cuidado por estrenar zapato nuevo, así que las costumbres de siempre no aparecen todavía.
Hay que cuidar también la temporada o el día de la semana. Probar solo en plena lluvia da el resultado de la lluvia, no de la suela. Por eso los dos grupos corren al mismo tiempo: si se prueban en épocas distintas, se termina comparando el clima, no la suela.
Así se usa en los servicios de IA
Esta forma de probar sirve para decidir si cambiar de modelo, cómo redactar un aviso o qué tan larga debe ser una respuesta. A quien llega se le reparte al azar en dos mitades: a una se le muestra la versión actual, a la otra la nueva, y se comparan los números que se decidieron de antemano.
Es especialmente útil porque el resultado en un examen preparado y el resultado en el uso real muchas veces no coinciden. En un cuestionario armado de antemano la versión nueva puede ir adelante, y aun así, en el uso real, la gente sigue prefiriendo la versión anterior. Lo que la gente vive de verdad no está en el cuestionario.
También se usa mucho mostrar dos respuestas lado a lado y pedir cuál es mejor. Si se oculta cuál respuesta viene de dónde, la elección deja de dejarse llevar por el nombre de marca.
3Con más precisión
La prueba A/B es un experimento controlado que asigna al azar a dos grupos y deja una sola condición distinta antes de comparar resultados. Gracias al reparto al azar, las demás características de los dos grupos se equilibran en promedio, y así la diferencia en el resultado se puede atribuir a la condición que cambió. Es habitual calcular con estadística si la diferencia es del tamaño que se esperaría por puro azar, y calcular de antemano cuánta gente hace falta.
También hay un punto donde la comparación cojea. La suela no cambia el ánimo de quien la usa, pero en un servicio la experiencia de un grupo puede filtrarse al otro. Si dos personas se muestran la pantalla o comentan lo que vieron, los grupos se mezclan. Por eso a veces conviene repartir por región o por franja horaria en lugar de por persona.
La prueba tampoco da siempre la respuesta correcta. Es común que lo que se ve bien en poco tiempo empeore si se sostiene más. Un mensaje llamativo sube la reacción de inmediato, pero meses después aleja a más gente. Por eso se observan a la vez números que se miden a corto y a largo plazo.
4Pruébalo
5Malentendidos comunes
Es fácil pensar que la prueba A/B dice qué opción es mejor en general, pero en realidad solo dice cuál funcionó mejor, en ese número que se decidió de antemano, durante ese periodo.
Es fácil pensar que si apareció una diferencia, es una diferencia real, pero en realidad, con poca gente o poco tiempo, esa diferencia no se distingue de la que deja el puro azar.
Es fácil pensar que basta con dividir en dos como sea, pero en realidad, en cuanto el criterio de reparto arrastra características de las personas, ya no se puede saber qué causó la diferencia.
7Resumen en una línea
En resumenLa prueba A/B deja una sola cosa distinta entre dos versiones, las pone a competir de verdad y compara el resultado con lo que se decidió medir de antemano; si el reparto sale mal, el resultado sale mal con él.
¿Has visto un error o tienes una analogía mejor? Sugerir una corrección · Última actualización2026-09-02