Experimentación en paid media: replicaron en todos los mercados una creatividad que no había hecho nada
Caso real · Un CPA un 20% mejor, atribuido al cambio equivocado
En experimentación en paid media hay un riesgo del que casi no se habla y que es más caro que no medir: obtener un buen resultado y atribuirlo a la causa equivocada. Un fracaso no interpretado se olvida. Un éxito mal atribuido se escala — se convierte en la creatividad que se replica en doce mercados y en la buena práctica que la compañía repite durante años sin que nadie vuelva a comprobarla.
Este caso empieza, precisamente, con un éxito.
El punto de partida: tres cambios, un buen resultado, una conclusión falsa
«Cambiamos creatividades, audiencias y pujas a la vez y luego no sabemos qué produjo el resultado.»
Una misma semana, el equipo hizo tres cosas: lanzó una creatividad nueva, amplió las audiencias objetivo y pasó las campañas a puja automática (smart bidding). Tres decisiones sensatas, cada una con su justificación, ejecutadas a la vez porque había prisa y porque «así aprovechamos el impulso».
El resultado fue bueno: el coste por adquisición bajó un 20%.
En la reunión de seguimiento se atribuyó a la creatividad. No por mala fe ni por descuido, sino por lo de siempre: era el cambio más visible, el más fácil de contar, el que tenía un responsable orgulloso y el que encajaba con lo que todo el mundo esperaba, porque la creatividad anterior llevaba catorce meses y se daba por agotada por fatiga creativa.
La conclusión se convirtió en decisión: replicar esa creatividad en los doce mercados. Se produjeron adaptaciones, se localizaron, se desplegaron.
Tres meses después, el resultado no se había reproducido en ninguno.
Al reconstruir lo ocurrido, la causa real era otra. La mejora venía del cambio de puja, que había coincidido con el inicio de la temporada alta del sector. La puja automática aprovechó un momento de demanda creciente que la configuración manual anterior no capturaba bien. La creatividad nueva no aportó nada medible. Ni bueno ni malo.
El coste del error no fue el 20%. Fue todo lo demás:
- Una campaña de producción y localización de creatividades en doce mercados, sin efecto. 47.000 € de producción.
- Tres meses de equipo trabajando sobre una hipótesis falsa.
- La creatividad anterior retirada sin motivo.
- Y lo más caro: el aprendizaje real —que la estrategia de puja tenía mucho margen— se perdió durante un trimestre, siendo el hallazgo genuinamente valioso y replicable.
La variable que nadie tocó
Aquí está la lección específica de paid media, y la que más se olvida: el mercado se mueve mientras haces el test.
El error no fue solo cambiar tres cosas a la vez. Fue no contar con que la cuarta variable —el inicio de temporada— estaba cambiando sola, sin que nadie la tocara. Ese es el rasgo que distingue la experimentación en medios de la experimentación en una landing: en una web, si congelas lo que controlas, el entorno se mantiene razonablemente estable. En medios no. La subasta cambia, la competencia entra y sale, la demanda estacional sube.
Un test de medios sin mecanismo de control no está comparando una variante con otra. Está comparando dos momentos distintos del mercado.
Grupo de control y registro de contexto: los dos mecanismos que lo resuelven
Grupos de control. Cuando es posible, se mantiene un conjunto de campañas o mercados sin el cambio, para separar el efecto del test del movimiento general del mercado. En este caso habría revelado de inmediato que la mejora del 20% también aparecía donde no se había tocado la creatividad. Un solo mercado de control habría ahorrado los 47.000 €.
Registro de contexto. Cada test anota qué más estaba pasando: estacionalidad, actividad competitiva conocida, cambios en la web, campañas de otros departamentos, festivos locales. Cuesta cinco minutos por test y es lo que permite releer un resultado seis meses después sin reconstruir la memoria de nadie.
Lo que descartamos
Una plataforma de experimentación enterprise. Existen suites capaces de gestionar decenas de tests simultáneos con diseños estadísticos avanzados. Este cliente no tenía un problema de capacidad, tenía un problema de método. Comprar la herramienta antes de tener el protocolo produce los mismos errores, documentados en una interfaz más cara.
Tests automatizados sin supervisión estratégica. Las plataformas de campañas ofrecen mecanismos de prueba automática —rotación de creatividades, optimización de combinaciones— que resuelven bien la pregunta «cuál de estas tres funciona mejor ahora». No resuelven la que importa: «qué hemos aprendido que podamos aplicar en otros mercados el año que viene». Lo primero es optimización táctica; lo segundo es conocimiento. Solo lo segundo se acumula.
Prohibir los cambios simultáneos. Sería irreal. Hay semanas en que el negocio exige mover tres cosas y no se puede parar todo para experimentar limpiamente. Lo que establecimos es una distinción entre cambiar y aprender: puedes hacer los tres cambios, pero entonces asumes que esa semana no vas a aprender nada de ella, y no conviertes el resultado en una conclusión que luego escales a toda la compañía.
Esa frase —«esta semana cambiamos, no aprendemos»— se convirtió en vocabulario interno del equipo. Es probablemente el entregable más útil del proyecto.
El resto del sistema
El protocolo, en cuatro reglas
Las mismas cuatro que aplicamos a cualquier experimento, aquí en versión corta: una variable por test, hipótesis escrita antes de lanzar, criterio de éxito definido antes, y tamaño de muestra y duración calculados de antemano, con ciclos completos de semana.
Están desarrolladas, con el razonamiento detrás de cada una, en el caso de programa de experimentación [enlazar a /casos/test-ab-marketing-programa-experimentacion]. Lo que cambia en medios no son las reglas: es que hay que añadirles control de variables externas.
Calendario de tests coordinado
Los tests dejaron de lanzarse cuando a cada responsable le convenía y pasaron a un calendario común.
Esto resuelve un problema endémico en organizaciones con varios equipos: el de campañas prueba una puja nueva la misma semana que el de web cambia la landing y el de CRM modifica la secuencia de emails. Los tres tests se contaminan mutuamente y ninguno es interpretable.
El calendario fija además ventanas de congelación: periodos en los que no se toca nada porque hay un test en curso que necesita condiciones estables. Es la regla que más fricción genera, y la que más se agradece a los seis meses.
Análisis con significación estadística
Todo resultado se evalúa con criterio estadístico: si la diferencia observada es distinguible del azar, con qué nivel de confianza y con qué margen de error.
Sirve sobre todo para lo aburrido: descartar falsos positivos. Un CPA que mejora un 8% en una semana con volumen bajo no significa nada, y es exactamente el tipo de resultado que se convierte en conclusión y luego en política de empresa.
En el primer semestre, cuatro resultados que el equipo habría dado por buenos con el método anterior no superaron el umbral de significación. Cuatro despliegues que no llegaron a producirse.
Repositorio de aprendizajes
Cada test cerrado deja registro: hipótesis, variable, contexto, resultado, significación, decisión. Incluidos los negativos y los no concluyentes.
Y una regla que el cliente adoptó por su cuenta tras el episodio: antes de escalar un aprendizaje a otros mercados, hay que poder señalar el test que lo respalda. Si no existe, se hace primero en un mercado piloto.
Resultado
El hallazgo real se recuperó y se explotó. Aislada como variable propia, la estrategia de puja tenía un margen considerable. Trabajarla en los doce mercados —esta vez con la causa correcta— produjo una mejora sostenida de CPA de doble dígito, que sí se reprodujo donde se aplicó.
La creatividad anterior se restituyó donde había sido retirada. No era peor.
Cuatro falsos positivos descartados en seis meses. Cada uno habría generado un despliegue como el de la creatividad.
El coste de producción creativa bajó un 23%. No porque se produzca menos, sino porque se dejó de producir en respuesta a conclusiones no verificadas.
Y el cambio de fondo: el equipo pasó de tener opiniones sobre qué funciona a tener un registro de qué ha funcionado, con la evidencia detrás. Al cabo de un año, ese registro es el activo más difícil de replicar que tiene un departamento de marketing. Ningún competidor puede comprarlo.
Por qué lo hacemos así
Se habla mucho del riesgo de no medir y perder dinero sin saberlo. Mucho menos del riesgo simétrico: medir mal, obtener un buen resultado y atribuirlo a la causa equivocada.
Un fracaso no interpretado se olvida. Un éxito mal atribuido se escala. Se convierte en la creatividad que se replica en doce mercados, en la audiencia que se copia en todas las cuentas, en la buena práctica que la compañía repite durante años.
Y tiene una propiedad especialmente perversa: cuando no funciona en los demás mercados, la explicación por defecto nunca es «la conclusión original era falsa». Es «este mercado es distinto». Con lo cual el error sobrevive intacto y se acumula, mercado a mercado, hasta convertirse en doctrina.
Evitarlo no requiere una plataforma cara. Requiere cuatro reglas que caben en una página, un grupo de control cuando sea posible, y la disciplina de anotar qué más estaba pasando esa semana.
Dónde no aplica: si operas en un solo mercado y no puedes reservar campañas o regiones como control, el grupo de control no es viable y hay que apoyarse en ventanas comparables del año anterior, lo que es bastante menos fiable. En ese escenario, la disciplina que más rinde no es el diseño experimental sino el registro de contexto: barato, siempre posible, y suficiente para no atribuir a una creatividad lo que hizo la temporada.
Preguntas frecuentes
¿Cómo saber qué cambio produjo una mejora si se hicieron varios a la vez?
Con cambios simultáneos y sin grupo de control, no se puede saber: el resultado es real pero no atribuible. Las opciones son reconstruirlo a posteriori aislando cada variable en una prueba posterior, o asumir que esa semana no genera aprendizaje. Lo que no debe hacerse es elegir la causa más plausible y escalarla, que es el error más caro y más frecuente en paid media.
¿Qué es un grupo de control en campañas publicitarias?
Es un conjunto de campañas, mercados o regiones que se mantienen sin el cambio que se está probando, para poder separar el efecto del test del movimiento general del mercado. Sin él, un test compara dos momentos distintos —con distinta estacionalidad, competencia y presión de subasta— en lugar de comparar dos variantes.
¿Por qué un test en paid media necesita más controles que un test de una landing?
Porque el entorno no es estable. En una web, si se congela lo que se controla, el resto se mantiene razonablemente constante durante la ventana del test. En medios, la subasta cambia, entran y salen competidores y la demanda estacional se mueve por sí sola. Esas variables externas pueden producir el efecto completo que se atribuye al cambio realizado.
¿Qué es un falso positivo en un test de marketing?
Es una diferencia observada que en realidad es ruido: una mejora que no se distingue del azar dada la variabilidad normal y el volumen disponible. Son especialmente frecuentes en ventanas cortas y con pocas conversiones, y peligrosos porque tienden a convertirse en conclusiones que se escalan. Evaluar cada resultado con criterio de significación es lo que los filtra.
¿Se pueden hacer varios cambios a la vez alguna vez?
Sí, cuando el negocio lo exige. La condición es asumir explícitamente que esa semana no produce aprendizaje y no convertir su resultado en una conclusión escalable. Separar la decisión de cambiar de la decisión de aprender evita el error real, que no es cambiar varias cosas sino extraer una lección de un cambio no atribuible.
¿Qué debe registrarse de cada test además del resultado?
El contexto: estacionalidad, actividad competitiva conocida, cambios en la web o en otros canales, campañas de otros departamentos, festivos y eventos locales. Cuesta pocos minutos y es lo que permite releer un resultado meses después sin depender de la memoria de quien lo lanzó.
El último cambio que os funcionó bien: ¿sabéis con certeza cuál de las cosas que hicisteis lo produjo? Si hubo más de una, probablemente no. Contadnos cómo probáis hoy y en la primera conversación sabremos si os falta protocolo, control o solo un sitio donde anotar lo aprendido.
Otros casos de uso
Otros proyectos donde resolvimos el mismo tipo de problema.