Tests holdout et expériences géographiques : quand il faut un contrôle, pas un nouveau modèle d’attribution
Comment les contrôles randomisés et tests géographiques construisent un contrefactuel.
Le groupe contrôle est un investissement dans la connaissance
Un holdout retire volontairement le traitement marketing à un groupe comparable. Cette exposition perdue achète une information : ce qui se serait passé sans campagne.
Holdout utilisateur ou expérience géographique
Le holdout utilisateur fonctionne quand l’assignation test/contrôle est propre. L’expérience géographique utilise des zones non chevauchantes et modifie l’exposition ou la dépense par zone.
Ennemis cachés : contamination et déséquilibre
Le test se dégrade si le contrôle reçoit indirectement le traitement, si les clients circulent entre zones, si les régions sont structurellement différentes ou si les promotions changent de manière inégale.
La puissance statistique avant l’enthousiasme
Estimez volume de base, variance, effet minimal détectable, durée et coût. Un test qui ne peut pas détecter l’effet commercial important doit être redessiné.
Une expérience doit mener à une décision
Définissez à l’avance la règle : scaler, attendre ou collecter plus de données. La valeur d’un test est la réduction de l’incertitude décisionnelle.