Marketing predictivo: catorce meses pagando por un modelo que nadie usa
Caso real · Un scoring predictivo activo y unos comerciales que siguen llamando por orden de llegada
Un modelo predictivo no compite con el azar: compite con la persona que toma esa decisión hoy. Y esa persona suele tener mejor criterio del que se supone (gracias a sus años de experiencia que le dan perspectiva y agudeza).
El problema es que, como ese criterio no está documentado, su rendimiento tampoco está medido. Y contra un rendimiento no medido, cualquier modelo parece una mejora.
El punto de partida: técnicamente correcto, prácticamente inútil
«Nos han vendido IA y modelos predictivos varias veces y no sabría decir qué decisión han cambiado.»
Esta compañía había contratado el módulo de scoring predictivo de su propio CRM. Estaba activo, funcionando y facturando. Al revisarlo:
- Nadie había documentado qué criterio se usaba antes. Sin eso es imposible saber si el modelo mejora algo: no hay punto de comparación y por tanto no hay forma de responder si merece la pena.
- Nadie había definido una métrica de éxito. El objetivo del proyecto no era «subir la tasa de contacto de los leads de alto valor del X% al Y%». Era «implantar scoring predictivo», que es una descripción de la actividad, no del resultado.
- Los comerciales no entendían de dónde salía la puntuación. Un número entre 0 y 100 aparecía en la ficha sin explicación. Ante algo que no se entiende y que nadie ha justificado, la reacción sensata de cualquier profesional es ignorarlo. Seguían llamando por orden de llegada.
El modelo llevaba catorce meses sin reentrenarse con resultados reales. Seguía puntuando con patrones de hacía más de un año, en un mercado que había cambiado.
Un modelo técnicamente correcto, funcionando sin errores, integrado en el sistema, que no había cambiado ni una sola decisión en catorce meses.
No es un fracaso tecnológico: el modelo hacía lo que decía hacer. Es un fracaso de planteamiento. Se compró una capacidad sin definir qué decisión iba a mejorar ni cómo se sabría si lo había hecho.
Las tres preguntas
Es el filtro que salió del proyecto y el entregable que más ha ahorrado a esta compañía. Cualquier propuesta de IA pasa por aquí antes de evaluarse técnicamente:
- ¿Qué decisión concreta mejora?
- ¿Cómo se toma esa decisión hoy?
- ¿Con qué métrica sabremos si ha mejorado?
La mayoría de las propuestas no pasan de la primera.
La segunda es la que casi nadie puede responder, y es la que decide el proyecto: sin criterio actual documentado no hay línea base, y sin línea base cualquier resultado es defendible y ninguno es demostrable.
La tercera obliga a algo incómodo: fijar de antemano el umbral por debajo del cual se descarta. Un proyecto sin condición de fracaso no puede fracasar, y por eso se perpetúa.
Lo que descartamos
Sustituir el modelo por otro mejor. Era la conclusión aparente – el modelo no funciona, pongamos uno bueno – y habría repetido el error con otro proveedor. El problema no estaba en la calidad del algoritmo.
Plantear la IA como proyecto tecnológico aislado. Un proyecto que se define por la técnica que emplea en lugar de por la decisión que mejora no tiene forma de fracasar visiblemente, porque cumple su objetivo el día que se implanta. Por eso puede seguir facturando años sin que nadie note que no sirve para nada.
Cualquier solución sin caso de uso concreto y medible. Esto elimina la mayor parte de lo que hoy se ofrece bajo la etiqueta de inteligencia artificial aplicada a marketing. Si no hay una decisión específica, tomada con frecuencia, con criterio actual documentado y una métrica que diga si mejora, no hay proyecto: hay una compra.
Dar por hecho que hiciera falta un modelo. Empezamos abiertos a la conclusión de que lo correcto fuera cancelar la licencia y ordenar la cola con reglas simples [enlazar a /casos/lead-scoring-priorizacion-cola]. Aquí no fue así. En otros casos sí, y hay que estar dispuesto a decirlo.
Cómo evaluamos el modelo predictivo contra una línea base
1. Documentar el criterio humano actual
El trabajo que casi nunca se hace: escribir cómo se decide hoy.
Nos sentamos con los comerciales a reconstruir qué miran realmente al elegir a quién llamar primero. No lo que deberían mirar: lo que miran.
Salió un criterio implícito bastante consistente y nada irracional: proximidad geográfica, tamaño aparente de la operación, si el nombre de la empresa les resultaba conocido, y si el registro estaba completo.
Con ese criterio documentado se pudo hacer lo esencial: medir su rendimiento. Aplicándolo retrospectivamente sobre el histórico se calculó qué tasa de contacto y qué tasa de cierre produce.
Eso es la línea base. Sin ella, cualquier afirmación sobre un modelo es indemostrable – en las dos direcciones, también cuando el modelo sí funciona.
2. Empezar por reglas simples, no por el modelo
Antes de evaluar el scoring predictivo construimos un sistema de reglas sencillo con los cuatro o cinco factores que el histórico mostraba más relacionados con el cierre.
Es un paso que ahorra mucho dinero. Con frecuencia unas reglas simples capturan la mayor parte del beneficio disponible, y en ese caso el modelo tiene que demostrar que supera a las reglas, no al azar – que es un listón bastante más alto y el que corresponde.
Aquí las reglas ya mejoraban notablemente la línea base humana. El modelo, correctamente configurado y reentrenado, las superaba a su vez, pero por un margen menor de lo que su precio sugería. Ese dato fue determinante en la renegociación de la licencia.
3. IA explicable: la explicabilidad como requisito de adopción
El modelo se reconfiguró para que cada puntuación venga acompañada de los dos o tres factores que más han contribuido a ella.
No es un requisito técnico: es la condición para que el sistema se use. Un comercial que ve «puntuación 82 – principalmente por importe solicitado y por solicitud de visita» entiende el número, lo contrasta con su experiencia y, cuando discrepa, puede decir por qué. Uno que ve «82» a secas lo ignora, y hace bien.
Y esa discrepancia es información: varias mejoras del modelo salieron de comerciales señalando casos donde la puntuación no encajaba con lo que ellos veían.
4. Comparación continua contra la línea base
Un porcentaje del volumen sigue asignándose por el criterio anterior, de forma permanente, para medir de forma continua si el modelo sigue aportando.
Es un coste pequeño y la única forma de detectar la degradación. Los modelos se deterioran en silencio cuando cambia el mercado, el producto o la mezcla de clientes, y sin grupo de comparación esa degradación es invisible: el modelo sigue puntuando con la misma confianza mientras acierta cada vez menos.
Más reentrenamiento programado con resultados reales y revisión de rendimiento cada trimestre.
Resultado
La tasa de conversión de los leads contactados en las primeras horas mejoró de forma clara sobre la línea base humana documentada. Por primera vez esa mejora es una cifra demostrable y no una impresión.
Los comerciales adoptaron el sistema. No por instrucción, sino porque la puntuación explicada les resultaba comprensible y a menudo coincidía con su intuición. Cuando no coincidía, tenían un motivo concreto sobre el que discutir.
La licencia se renegoció. Con el dato de cuánto aportaba el modelo sobre unas reglas simples, la conversación con el proveedor partió de una posición completamente distinta.
Se descartaron dos proyectos de IA adicionales que estaban en estudio. Al aplicarles las tres preguntas, ninguno superaba la primera.
Por qué lo hacemos así
Documentar el criterio actual antes de sustituirlo cuesta unas semanas y sirve para cuatro cosas:
- Da una referencia para saber si el modelo aporta.
- Revela que a veces unas reglas simples bastan.
- Cuando el modelo sí aporta, permite demostrarlo con una cifra en lugar de defenderlo con fe.
- Y a veces – la que más dinero ha ahorrado a nuestros clientes – la conclusión es que no hace falta ningún modelo.
Sin esa referencia se compran licencias que no cambian ninguna decisión y se renuevan durante años, porque nadie puede demostrar que no sirven igual que nadie pudo demostrar que servían.
Dónde no aplica: si la decisión que quieres mejorar se toma pocas veces al año, ningún modelo tiene sentido – no hay volumen para entrenarlo ni para medir si aporta. Y si tu criterio actual es demostrablemente malo y lo sabes, documentarlo con precisión es menos urgente: ahí basta una línea base aproximada y conviene ir directo a las reglas simples. El rigor de la línea base debe ser proporcional a lo cerca que esté la decisión de ser buena.
Preguntas frecuentes
¿Cómo se sabe si un proyecto de IA aporta valor?
Comparándolo con cómo se tomaba esa decisión antes. Hacen falta tres cosas definidas por adelantado: qué decisión concreta se quiere mejorar, cómo se decide hoy y con qué rendimiento medido, y qué métrica y umbral determinarán si el modelo aporta. Si falta cualquiera de las tres, el resultado del proyecto será indemostrable en ambas direcciones.
¿Qué es una línea base y por qué es imprescindible?
Es el rendimiento medido del criterio que se usa actualmente, aunque ese criterio sea implícito y nunca se haya escrito. Se obtiene documentando qué mira la persona que decide y aplicando ese criterio retrospectivamente sobre el histórico. Sin línea base no hay comparación posible: cualquier resultado del modelo parece bueno y ninguno se puede defender con datos.
¿Merece la pena un modelo predictivo o bastan unas reglas simples?
Conviene construir las reglas primero. En muchos casos cuatro o cinco factores capturan la mayor parte del beneficio disponible, y entonces el modelo debe demostrar que supera a las reglas – no al azar – , que es un listón mucho más alto. Ese ejercicio también da una cifra concreta sobre el valor incremental del modelo, útil para decidir su precio.
¿Por qué los equipos ignoran las puntuaciones de un modelo?
Porque una puntuación sin explicación no es accionable: ante un número que no se entiende y que nadie ha justificado, la reacción razonable de un profesional es seguir con su propio criterio. La adopción exige mostrar los dos o tres factores que más contribuyen a cada puntuación, lo que además permite que el equipo señale discrepancias, que suelen ser una buena fuente de mejora del modelo.
¿Cada cuánto hay que reentrenar un modelo predictivo?
Con una periodicidad definida y con resultados reales, pero lo determinante no es la frecuencia sino tener un mecanismo que detecte la degradación: mantener un porcentaje del volumen asignado por el criterio anterior permite comparar de forma continua. Los modelos se deterioran en silencio cuando cambia el mercado o la mezcla de clientes, y siguen puntuando con la misma confianza mientras aciertan menos.
¿Qué preguntar ante una propuesta de IA para marketing?
Tres cosas, antes de cualquier valoración técnica: qué decisión concreta mejora, cómo se toma esa decisión hoy, y con qué métrica se sabrá si ha mejorado. Conviene añadir una cuarta, que rara vez se escribe: qué se hará si no alcanza el umbral. Un proyecto sin condición de fracaso definida tiende a perpetuarse aunque no cambie ninguna decisión.
El último proyecto de IA que os han propuesto: ¿qué decisión concreta mejora y cómo se toma esa decisión hoy? Si esas dos preguntas no tienen respuesta clara, la tercera – cómo sabréis si funciona – tampoco la va a tener. Contadnos qué tenéis en marcha o en estudio y lo miramos con vosotros.
Otros casos de uso
Otros proyectos donde resolvimos el mismo tipo de problema.