Calculadora de significancia de pruebas A/B
Introduce visitantes y conversiones de dos variantes para obtener las tasas de conversión, la mejora, la confianza y un veredicto claro sobre si lanzar el cambio.
Variante A (control)
Variante B (prueba)
Resultado
Nivel de confianza
Cómo funciona la calculadora
Introduce los visitantes y las conversiones de tu control (A) y de tu variante de prueba (B). La calculadora obtiene cada tasa de conversión y la mejora relativa de B sobre A, y aplica una prueba z de dos proporciones para indicarte con cuánta confianza puedes afirmar que la diferencia es real y no fruto del azar.
Cómo interpretar el resultado
- 95% de confianza o más: el resultado es significativo. Lanza la ganadora.
- Del 90% al 95%: el resultado muestra una tendencia. Sigue probando.
- Menos del 90%: no es significativo. Deja la prueba más tiempo o envíale más tráfico.
El tamaño de la muestra importa
El error más común en las pruebas A/B es declarar una ganadora demasiado pronto. Con 200 visitantes por variante no puedes detectar de forma fiable una mejora del 10%. Decide el tamaño de la muestra antes de empezar, deja que la prueba dure al menos una semana completa para cubrir el comportamiento de los días laborables y del fin de semana, y evita detenerla en cuanto las cifras se vean bien.
Preguntas frecuentes
¿Cuál es la diferencia entre la confianza y el valor p?
Describen la misma prueba desde dos ángulos. El valor p es la probabilidad de ver una diferencia así de grande si las variantes fueran en realidad iguales. Un valor p bilateral menor de 0.05 es el umbral habitual de significancia.
¿Puedo revisar los resultados todos los días?
Puedes mirarlos, pero no detengas la prueba en cuanto supere el 95%. Revisar repetidamente y detener antes de tiempo infla los falsos positivos. Respeta el tamaño de muestra que planificaste.
¿Un resultado significativo garantiza que la mejora se mantendrá?
No. La mejora medida es una estimación, y los resultados reales suelen quedarse más bajos. Toma con cautela las grandes mejoras con muestras pequeñas y vuelve a probar los cambios importantes.