Pruebas A / B
La importancia de las pruebas A / B y cómo las uso en mi trabajo
¿Qué aprendà sobre las pruebas A / B?
Las pruebas A / B me han permitido realizar cambios cuidadosos en sus experiencias de usuario mientras recopila datos sobre los resultados. Esto me ayuda a construir hipótesis y aprender por qué ciertos elementos de la experiencia de mi cliente impactan en el comportamiento del usuario. De otra manera, cuando les doy recomendaciones de nuevos diseños, corrección de diseños actuales, esta es una forma de respaldar mis recomendaciones o, a veces, aprender por qué ciertas cosas no funcionan para ciertos clientes.
La razón por la que muchas prácticas comunes funcionan en algunos clientes y en otros no es por el tipo de audiencia, el mercado, el tipo de negocio, el tráfico actual y muchos otros elementos.
Cada negocio es único, será imposible predecir cómo afectarán los cambios al sitio sin probarlos.
​
¿Cómo definir una hipótesis fuerte?​
​
Una hipótesis fuerte consiste en:
1. Una descripción del cambio que se realizará
2. El efecto esperado que tiene el cambio en métricas especÃficas
3. Una justificación que explica por qué el efecto sigue al cambio.
¿Cómo consigo que los clientes se unan para probar todas las recomendaciones y no implementarlas de inmediato?
Antes de presentar mis nuevas ideas, siempre les doy una introducción rápida o un repaso a las mejores prácticas de A / B, y les explico la importancia de realizar esas pruebas antes de implementarlas.
¿Las pruebas A / B son adecuadas para mi cliente?
Si el tráfico y las transacciones son bajos (menos de 1000 transacciones por mes) en el sitio, deberÃamos optar por otros métodos además de las pruebas A / B.
En cambio, considerarÃa métodos de investigación cualitativa para recopilar conocimientos de optimización como:
Encuesta al consumidor
Prueba de usuario
Evaluaciones de usabilidad
Cosas que debe saber antes de las pruebas A / B:
En promedio, el 30% de las pruebas A / B tienen éxito. Esto significa que el 70% de los resultados no tendrán ningún impacto o tendrán un impacto negativo en el sitio.
Los resultados negativos de la prueba no son fallas, y cuando obtengo un resultado negativo, solo confirma la importancia de esa prueba y me ayuda a elegir los siguientes pasos y qué evitar en el futuro.
Prioridades
​
Evite probar todo a la vez.
Hace que sea difÃcil evaluar el impacto.
Hay 3 cosas principales que debe considerar al priorizar:
Potencial: ¿Cuánta mejora espera?
Importancia: ¿Qué valor tiene el tráfico de esa página?
Esfuerzo: ¿Qué tan difÃcil es de implementar?
Para ayudar a mis clientes con esto, generalmente proporciono un "rastreador de impacto" de hoja de Google en Excel para realizar un seguimiento de todas las pruebas que he sugerido. En esta hoja, agregaré dos columnas para evaluar:
Impacto comercial potencial
Facilidad de implementación esperada
.png)
Estas dos columnas son solo una guÃa para el cliente, por supuesto, no puedo prometer que el impacto o la facilidad de implementación sean precisos, ya que esto dependerá de la estructura del equipo y de la experiencia de los desarrolladores y analistas.
Además de orientar al cliente con la priorización de la prueba, este trix es en vivo, lo que permite ver cambios y comunicarse sin tener que enviar numerosos correos electrónicos, ya que hay columnas de comunicación como "Estado" y "Comentarios", asà como "Propietario de la prueba".
¿Cuánto tiempo debo esperar para ver los resultados de la prueba?
El error más común que se comete en las pruebas A / B es detener una prueba demasiado pronto o demasiado tarde.
Para evitar esto, debe:
Calcular el tamaño de la muestra para la prueba
Esperando dos ciclos económicos
(dos semanas como mÃnimo)Asegurar que los resultados sean estadÃsticamente significativos
​​
Regla de oro: No declare ganador hasta: 200 conversiones, 14 dÃas y 95% de confianza.
Ejemplo de prueba A / B positiva para el cliente: ​
Antes:
​
Recomendé hacer la barra de búsqueda más grande y más brillante.
Una forma de hacerlo más predominante será invirtiendo los colores del fondo blanco y los sÃmbolos y texto negros.
Después
Se probó la nueva barra de búsqueda, con dos pruebas A / B implementadas que dieron como resultado resultados positivos:
​
Aumento de importancia:
"Búsqueda de CTR" 99,94%
"Buscar juego abierto conectado" 98,95%
Aumento​ datos:
"Búsqueda de CTR" 10,22%
"Buscar juego abierto conectado" 8.40%
Aumento de la tasa de conversión: ​
"Búsqueda de CTR" 27,40%
"Buscar juego abierto conectado" 23,49%
