Pruebas A/B

Las pruebas A/B (también conocidas como pruebas de división , pruebas de ejecución dividida o pruebas de división ) son un método de investigación de la experiencia del usuario . ^{[ 1 ]} Las pruebas A/B consisten en un experimento aleatorio que generalmente involucra dos variantes (A y B), ^{[ 2 ] [ 3 ] [ 4 ]} aunque el concepto también puede extenderse a múltiples variantes de la misma variable. Incluye la aplicación de pruebas de hipótesis estadísticas o " pruebas de hipótesis de dos muestras " como se utiliza en el campo de la estadística . Las pruebas A/B se emplean para comparar múltiples versiones de una sola variable , por ejemplo, probando la respuesta de un sujeto a la variante A frente a la variante B, y para determinar cuál de las variantes es más efectiva. ^{[ 5 ]}

Las pruebas multivariadas o multinomiales son similares a las pruebas A/B, pero permiten probar más de dos versiones simultáneamente o utilizar más controles. Las pruebas A/B simples no son válidas para situaciones observacionales , cuasiexperimentales u otras situaciones no experimentales , comunes en datos de encuestas, datos fuera de línea y otros fenómenos más complejos.

Las pruebas A/B son una forma abreviada de referirse a un experimento controlado aleatorio simple, en el que se comparan varias muestras (por ejemplo, A y B) de una única variable vectorial . ^{[ 1 ]} Las pruebas A/B se consideran la forma más simple de experimento controlado, especialmente cuando solo involucran dos variantes. Sin embargo, al agregar más variantes a la prueba, su complejidad aumenta. ^{[ 6 ]}

El siguiente ejemplo ilustra una prueba A/B con una sola variable:

Una empresa cuenta con una base de datos de 2000 clientes y lanza una campaña de correo electrónico con un código de descuento para generar ventas a través de su sitio web. La empresa crea dos versiones del correo electrónico con diferentes llamadas a la acción (la parte del texto que anima a los clientes a actuar; en el caso de una campaña de ventas, realizar una compra) e identificando los códigos promocionales.

• A 1.000 personas, la empresa envía un correo electrónico con la llamada a la acción que dice "¡La oferta termina este sábado! Usa el código A1",
• A las 1.000 personas restantes, les envía un correo electrónico con un llamado a la acción que dice: "¡La oferta termina pronto! Usa el código B1".
• Todos los demás elementos del texto y el diseño de los correos electrónicos son idénticos.

La empresa monitoriza qué campaña tiene mayor éxito analizando el uso de los códigos promocionales. El correo electrónico con el código A1 tiene una tasa de respuesta del 5 % (50 de las 1000 personas que lo recibieron utilizaron el código para comprar un producto), mientras que el correo electrónico con el código B1 tiene una tasa de respuesta del 3 % (30 de los destinatarios utilizaron el código para comprar un producto). Por lo tanto, la empresa determina que, en este caso, la primera llamada a la acción es más efectiva y la utilizará en futuras ventas. Un enfoque más detallado implicaría aplicar pruebas estadísticas para determinar si las diferencias en las tasas de respuesta entre A1 y B1 son estadísticamente significativas (es decir, si es muy probable que las diferencias sean reales, repetibles y no fruto del azar). ^{[ 7 ]}

En el ejemplo anterior, el objetivo de la prueba era determinar la estrategia más eficaz para incentivar a los clientes a realizar una compra. Sin embargo, si el objetivo hubiera sido determinar qué correo electrónico generaría una mayor tasa de clics (el porcentaje de personas que realmente hacen clic en el enlace después de recibir el correo), los resultados podrían haber sido diferentes.

Por ejemplo, aunque un mayor número de clientes que recibieron el código B1 accedieron al sitio web, dado que la llamada a la acción no indicaba la fecha de finalización de la promoción, muchos destinatarios podrían no sentir la urgencia de realizar una compra inmediata. En consecuencia, si el objetivo de la prueba hubiera sido simplemente determinar qué correo electrónico generaría más tráfico al sitio web, el correo electrónico con el código B1 probablemente habría tenido más éxito. Una prueba A/B debe tener un resultado definido y medible, como ventas convertidas, tasa de clics o tasa de registro. ^{[ 8 ]}

Las pruebas de hipótesis de dos muestras son apropiadas para comparar dos muestras en las que las muestras se dividen por los dos casos de control en el experimento. Las pruebas Z son apropiadas para comparar medias bajo condiciones estrictas con respecto a la normalidad y una desviación estándar conocida. Las pruebas t de Student son apropiadas para comparar medias bajo condiciones menos estrictas cuando se asume menos. La prueba t de Welch asume menos y, por lo tanto, es la prueba de hipótesis de dos muestras más utilizada cuando se busca optimizar la media de una métrica. Si bien la media de la variable a optimizar es la opción más común de estimador , otros se utilizan regularmente.

La prueba exacta de Fisher se puede emplear para comparar dos distribuciones binomiales , como la tasa de clics .

Las pruebas A/B suelen aplicar la misma variante (por ejemplo, un elemento de la interfaz de usuario) con igual probabilidad a todos los usuarios. Sin embargo, en algunos casos, las respuestas a las variantes pueden ser heterogéneas. Si bien la variante A podría tener una tasa de respuesta general más alta, la variante B podría tener una tasa de respuesta aún mayor dentro de un segmento específico de la base de clientes. ^{[ 10 ]}

Por ejemplo, en el ejemplo anterior, el desglose de las tasas de respuesta por género podría haber sido:

En este caso, si bien la variante A atrajo una tasa de respuesta más alta en general, la variante B en realidad provocó una tasa de respuesta más alta entre los hombres.

Como resultado, la empresa podría seleccionar una estrategia segmentada como resultado de la prueba A/B, enviando la variante B a los hombres y la variante A a las mujeres en el futuro. En este ejemplo, una estrategia segmentada produciría un aumento del 30% en las tasas de respuesta esperadas de${\textstyle 5\%={\frac {40+10}{500+500}}}$ a${\textstyle 6.5\%={\frac {40+25}{500+500}}}$.

Si se esperan resultados segmentados de la prueba A/B, esta debe diseñarse adecuadamente desde el principio para que la muestra se distribuya uniformemente entre los atributos clave del cliente, como el género. La prueba debe incluir una muestra representativa de hombres y mujeres, y asignar aleatoriamente a hombres y mujeres a cada "variante" (variante A frente a variante B). De no hacerlo, podría generar sesgos en el experimento y conclusiones inexactas. ^{[ 11 ]}

Este enfoque de segmentación y selección de público objetivo puede generalizarse aún más para incluir múltiples atributos del cliente en lugar de un solo atributo , por ejemplo, la edad y el género de los clientes , para identificar patrones más sutiles que puedan existir en los resultados de las pruebas.

Es difícil establecer con certeza cuándo se utilizó por primera vez la prueba A/B. El primer ensayo aleatorizado doble ciego para evaluar la efectividad de un medicamento homeopático tuvo lugar en 1835. ^{[ 16 ]} La experimentación con campañas publicitarias , que se ha comparado con la prueba A/B moderna, comenzó a principios del siglo XX. ^{[ 17 ]} El pionero de la publicidad Claude Hopkins utilizó cupones promocionales para probar la efectividad de sus campañas. Sin embargo, este proceso, que Hopkins describió en su libro de 1923, Publicidad científica , no incorporó conceptos como la significancia estadística y la hipótesis nula , que se utilizan en las pruebas de hipótesis estadísticas . ^{[ 18 ]} Los métodos estadísticos modernos para evaluar la significancia de los datos de muestra se desarrollaron por separado en el mismo período. Este trabajo fue realizado en 1908 por William Sealy Gosset cuando modificó la prueba Z para crear la prueba t de Student . ^{[ 19 ] [ 20 ]}

Con el auge de internet, surgieron nuevas formas de muestrear poblaciones. Los ingenieros de Google realizaron su primera prueba A/B en el año 2000 para determinar la cantidad óptima de resultados que se mostrarían en los resultados de su motor de búsqueda. ^{[ 5 ]} La primera prueba no tuvo éxito debido a fallos derivados de tiempos de carga lentos. Si bien la investigación posterior sobre pruebas A/B fue más avanzada, los fundamentos y principios subyacentes generalmente se mantienen, y en 2011, Google realizó más de 7000 pruebas A/B diferentes. ^{[ 5 ]}

En 2012, un empleado de Microsoft que trabajaba en el motor de búsqueda Bing creó un experimento para probar diferentes métodos de mostrar titulares publicitarios. En cuestión de horas, el formato alternativo produjo un aumento de ingresos del 12 % sin impacto en las métricas de experiencia del usuario. ^{[ 4 ]} Hoy en día, las principales empresas de software, como Microsoft y Google, realizan cada una más de 10 000 pruebas A/B anualmente. ^{[ 4 ]}

Algunos han afirmado que las pruebas A/B representan un cambio de filosofía y estrategia empresarial en ciertos nichos, aunque el enfoque es idéntico a un diseño entre sujetos , que se utiliza comúnmente en diversas tradiciones de investigación. ^{[ 21 ] [ 22 ] [ 23 ]} Las pruebas A/B como filosofía del desarrollo web alinean el campo con un movimiento más amplio hacia la práctica basada en la evidencia .

Muchas empresas ahora utilizan el enfoque de "experimento diseñado" para tomar decisiones de marketing, con la expectativa de que los resultados de muestras relevantes puedan mejorar los resultados de conversión positivos. ^{[ 24 ]} Es una práctica cada vez más común a medida que crecen las herramientas y la experiencia en esta área. ^{[ 25 ]} Como resultado, más equipos de marketing ahora utilizan pruebas A/B para guiar las decisiones, ajustando el rigor de la prueba a las hipótesis medidas y midiendo el impacto en resultados como conversiones, ingresos y conversiones posteriores. ^{[ 26 ]}

• Control adaptativo
• Experimento con diseño entre grupos
• Modelado de elección
• Bandido de múltiples brazos
• Pruebas multivariadas
• Ensayo controlado aleatorizado
• Control científico
• Dominancia estocástica
• Estadístico de prueba
• Prueba Z para dos proporciones