Experimentos holdout y geográficos: cuando necesitas control, no otro modelo de atribución
Cómo los controles aleatorios y pruebas geográficas construyen un contrafactual.
El grupo de control es una inversión en conocimiento
Un holdout retira deliberadamente el tratamiento de marketing a un grupo comparable. La exposición “perdida” compra información sobre lo que habría pasado sin la campaña.
Holdout de usuario o experimento geográfico
El holdout funciona cuando la asignación entre tratamiento y control es limpia. Un experimento geográfico usa áreas no solapadas y cambia gasto o exposición por zona.
Enemigos ocultos: contaminación y desequilibrio
El experimento falla si el control recibe tratamiento indirecto, los clientes cruzan regiones, las zonas son estructuralmente distintas o promociones y ventas cambian de forma desigual.
La potencia estadística importa más que el entusiasmo
Estima volumen base, variación, efecto mínimo detectable, duración y coste. Si el test no puede detectar un efecto comercial relevante, rediseña antes de gastar.
Un experimento debe terminar en decisión
Define antes qué resultado implica escalar, esperar o recolectar más datos. El éxito es reducir incertidumbre de decisión.