Test A/B: cambiaron cuatro cosas a la vez y perdieron un 15% sin saber por qué
Caso real · Compañía de servicios que rehízo su landing porque no gustaba en el comité
Un programa de experimentación con test A/B no se define por la herramienta que usas, sino por cuatro reglas: una variable por test, criterio de éxito escrito antes de lanzar, duración mínima calculada de antemano y congelación del resto de variables durante la ventana. Sin esas cuatro, cada cambio es una apuesta cuyo resultado no se puede interpretar. Con ellas, cada cambio es una respuesta.
Este caso empieza con una empresa que violó las cuatro a la vez.
El punto de partida: cinco cambios simultáneos y una caída del 15%
«Cada cambio en la web o en las campañas se decide por opinión, y nadie sabe después si funcionó.»
La historia es tan común que casi todo el mundo la reconoce.
En un comité, alguien dijo que la landing principal «no transmitía». Otro añadió que la imagen estaba anticuada. Un tercero opinó que el formulario pedía demasiado. Y el titular llevaba dos años igual, así que también tocaba renovarlo.
Se rehízo todo. Titular, imagen, formulario y oferta, a la vez. Sin medir cómo funcionaba lo anterior y sin definir qué resultado se esperaba del cambio.
Al mes siguiente, las solicitudes bajaron un 15%.
Y aquí empieza el problema de verdad, que no es la caída. La caída coincidió con un cambio de estrategia de puja en Google Ads ejecutado tres días antes. El resultado:
| Elemento | Estado |
| Cambios simultáneos | 5 (cuatro en landing, uno en campañas) |
| Medición previa | Ninguna |
| Criterio de éxito definido | Ninguno |
| Información sobre la causa de la caída | Cero |
No podían revertir con criterio porque no sabían qué revertir. Volver a la landing anterior significaba deshacer también los cambios que quizá funcionaban. Mantenerla significaba conservar el que hacía daño. Y tocar la puja otra vez habría añadido una sexta variable a un experimento que ya era ilegible.
La reunión en la que nos llamaron consistió, básicamente, en cinco personas defendiendo hipótesis distintas sobre la misma caída. Ninguna demostrable.
Lo que descartamos
Una plataforma de experimentación enterprise. Hay suites que permiten ejecutar decenas de tests simultáneos con segmentación avanzada, y licencias acordes. Este cliente no necesitaba capacidad para cincuenta tests: necesitaba método para ejecutar bien tres o cuatro al trimestre. Comprar la plataforma antes de tener el método es la forma más cara de seguir decidiendo por opinión, solo que con mejor interfaz.
Personalización dinámica. Servir variantes distintas por perfil exige saber primero qué funciona en general. Personalizar sobre un mensaje que no sabes si convierte es multiplicar la incertidumbre.
Rediseñar la landing por criterio estético. Habría sido repetir exactamente lo que causó el problema, con otro proveedor firmando el resultado.
Y no dimos nuestra opinión sobre el titular. Era lo que se esperaba de nosotros en la primera reunión: actuar como el árbitro con autoridad externa que zanja la discusión. Habría sido cómodo y nos habría hecho quedar bien. También habría sido sustituir la opinión de cinco personas por la nuestra, que no vale más que la suya. La única autoridad legítima en esa discusión son los datos, y no existían.
El protocolo: cuatro reglas que hacen legible un test A/B
Estas cuatro son innegociables. Todo lo demás del programa es logística.
1. Una sola variable por test. Es lo único que permite atribuir el resultado. Cambiar cuatro cosas a la vez garantiza que el resultado sea ininterpretable, independientemente de si sale bueno o malo. Un buen resultado mal atribuido es tan inútil como uno malo: no sabes qué repetir.
2. Criterio de éxito escrito antes de lanzar. Qué métrica, qué mejora mínima se considera relevante, y qué se hará con cada resultado posible. Definirlo después es una invitación abierta a interpretar los datos a conveniencia, y todo el mundo lo hace de buena fe.
3. Tamaño de muestra y duración mínima calculados de antemano. Un test parado en cuanto la variante va ganando es un test que mide ruido, no significancia estadística. Fijamos siempre ciclos completos de semana para no confundir estacionalidad con efecto: un test que arranca un jueves y se cierra el martes ha medido dos perfiles de audiencia distintos.
4. Congelación del resto de variables durante la ventana. Esto obliga a coordinarse con el equipo de campañas: no se cambian pujas ni presupuestos en mitad de un test de landing. Es la lección directa del incidente original, y la regla que más resistencia genera.
El resto del método
Línea base antes de tocar nada
Lo primero fue recuperar la capacidad de comparar. Medimos el rendimiento de la landing actual con detalle —conversión global y por segmento, comportamiento campo a campo del formulario, mapas de calor, punto de abandono— durante seis semanas, hasta tener una referencia estable.
Sin línea base no hay experimento posible. Es exactamente la razón por la que la caída del 15% resultó indescifrable: no había un «antes» medido con el que comparar.
Un backlog de hipótesis, no una lista de opiniones
Aquí está el cambio de método.
Cada opinión del comité se reformuló como hipótesis comprobable, y cada una tuvo que justificarse con una observación. «La imagen está anticuada» no es una hipótesis. «El 40% de los usuarios de móvil no llega a ver el formulario porque la imagen ocupa toda la primera pantalla» sí lo es, y además se puede verificar.
Del comité salieron nueve hipótesis. De la medición salieron otras siete que nadie había planteado, incluida la que resultó más rentable de todo el proyecto.
Ese es el efecto secundario más útil del método: deja de importar quién tiene más rango en la reunión. Una hipótesis del becario y una del director general entran en el mismo backlog y compiten por el mismo criterio.
Priorización por impacto potencial, no por facilidad
Cada hipótesis puntuada por tres factores: cuánta gente afecta, cuánto puede mover si acierta, cuánto cuesta probarla. De ahí sale un orden que casi nunca coincide con el que propone la intuición.
En este caso, el cambio de titular —la discusión que más tiempo de comité había consumido, unas cuatro horas acumuladas— quedó séptimo. El primero fue una hipótesis sobre el orden de los campos del formulario que nadie había mencionado nunca.
Repositorio de aprendizajes
Cada test cerrado deja registro: hipótesis, variable probada, resultado, significación y decisión tomada. Incluidos los fallidos, que son la mitad del valor.
Un test negativo no es un test perdido: es una hipótesis descartada que ya no volverá a proponerse dentro de seis meses como si fuera nueva. Sin repositorio, las mismas cuatro ideas circulan por los comités indefinidamente, y alguien acaba implementándolas por cansancio.
Resultado
Se recuperó la caída y se superó el punto de partida. Ejecutando por separado los cambios que se habían hecho en bloque, apareció el culpable: la nueva estructura del formulario. Dos de los otros tres eran positivos y se conservaron.
El cambio de puja quedó exonerado. Al aislar variables se comprobó que no había tenido efecto relevante en conversión. El equipo de campañas llevaba dos meses cargando con una sospecha infundada, que es un coste que nadie contabiliza.
La conversión de la landing subió un 28% sobre el nivel previo a todo el episodio, acumulando los cuatro tests ganadores del primer semestre.
El comité dejó de decidir sobre estética. No porque nadie tenga ya opiniones, sino porque ahora tienen dónde ponerlas: entran en el backlog, se priorizan y se prueban. La discusión pasó de «a mí no me gusta» a «vale la pena probarlo, ¿en qué posición?».
Y el indicador que más nos interesa: de los dieciséis tests del primer año, siete salieron negativos. Es una proporción sana. Un programa de experimentación donde todo sale bien es un programa que solo está probando cosas obvias, o que está midiendo mal.
Por qué lo hacemos así
Decidir por opinión no es irracional. Cuando no hay datos, la opinión de quien más sabe del negocio es el mejor criterio disponible, y acierta a menudo.
El problema no es la opinión. Es cambiar varias cosas a la vez y no medir. Eso destruye la posibilidad de aprender de la decisión, sea buena o mala. Una empresa que lleva cinco años decidiendo así ha hecho quinientos cambios y no sabe nada más que el primer día.
Un programa de experimentación bien montado no requiere una plataforma cara. Requiere disciplina en cuatro cosas: una variable por test, criterio de éxito escrito antes, duración suficiente para que el resultado signifique algo, y un registro de lo aprendido.
Con eso, cada cambio deja de ser una apuesta y pasa a ser una respuesta. Al cabo de un año tienes algo que ningún proveedor te puede vender: saber qué funciona en tu negocio concreto.
Dónde no aplica: con menos de unas 300 conversiones mensuales, la mayoría de los tests A/B no alcanzan significación en un plazo razonable y el programa se convierte en una fuente de conclusiones falsas. Ahí es más productivo investigar cualitativamente —sesiones de usabilidad, grabaciones, entrevistas— y reservar la experimentación para cambios de gran calado. Un test mal dimensionado es peor que no testar: da una falsa sensación de rigor.
Preguntas frecuentes
¿Cuánto debe durar un test A/B?
El tiempo necesario para alcanzar el tamaño de muestra calculado previamente y, como mínimo, ciclos completos de semana. Cerrar un test en cuanto una variante va ganando es una de las formas más frecuentes de medir ruido y convertirlo en dogma interno. Un test que empieza un jueves y se cierra el martes ha comparado dos perfiles de audiencia distintos, no dos variantes.
¿Se pueden probar varios cambios a la vez en un test A/B?
Con un test A/B convencional, no: si se modifican varios elementos simultáneamente el resultado no es atribuible a ninguno. Existen diseños multivariante que permiten aislar efectos, pero exigen mucho más volumen de tráfico. Para la mayoría de empresas, la regla práctica es una variable por test y una secuencia ordenada por impacto potencial.
¿Qué pasa si un test sale negativo?
Es información válida y con frecuencia la más rentable: una hipótesis descartada deja de consumir tiempo de comité y evita implementar un cambio que habría hecho daño. Un programa sano tiene una proporción relevante de resultados negativos; si todos los tests salen bien, probablemente solo se están probando cosas obvias o midiendo mal.
¿Cuánto tráfico hace falta para hacer tests A/B?
Depende de la tasa de conversión de partida y de la mejora mínima que se quiera detectar, pero como orden de magnitud, por debajo de unas 300 conversiones mensuales los tests rara vez alcanzan significación en un plazo útil. Con volúmenes bajos rinde más la investigación cualitativa.
¿Hace falta una herramienta de experimentación para empezar?
No para empezar. Lo que hace falta es el método: hipótesis documentadas, una variable por test, criterio de éxito previo y registro de resultados. La herramienta acelera la ejecución, pero comprarla antes de tener el método suele producir tests mal diseñados a mayor velocidad.
¿Cómo se evita que las campañas interfieran en un test de landing?
Congelando el resto de variables durante la ventana del test: sin cambios de puja, presupuesto, segmentación ni creatividades en las campañas que envían tráfico a la página en prueba. Requiere coordinación explícita entre el equipo de web y el de medios, y es la regla que más resistencia genera porque limita la reacción táctica a corto plazo.
¿Cuántos de los cambios que hiciste el año pasado sabes si funcionaron? Si la respuesta incómoda es «ninguno con certeza», ahí está el punto de partida. Cuéntanos cómo decidís hoy y en la primera conversación sabremos si necesitas método, herramienta o solo poner por escrito lo que ya intuís.
Otros casos de uso
Otros proyectos donde resolvimos el mismo tipo de problema.