Socle
Comparer une campagne avant et après une formation semble simple, mais beaucoup d'autres choses changent entre les deux : la difficulté des messages, la période, la nouveauté de l'exercice, le bouche-à-oreille. Sans groupe de comparaison, on ne sait pas ce qui a produit l'écart (Shadish et coll., 2002).
Trois précautions limitent ces biais : tirer au sort qui reçoit quoi et quand ; contrebalancer, en faisant recevoir les mêmes messages dans un ordre différent ; noter la difficulté des messages, par exemple avec l'échelle de difficulté de l'hameçonnage proposée par le NIST (Steves et coll., 2020). Deux grandes études en entreprise montrent l'intérêt de cette rigueur : mesurée ainsi, la formation seule protège peu (Lain et coll., 2022 ; Ho et coll., 2025).
La psychologie sociale offre d'autres outils que l'expérience de terrain : les vignettes (des situations écrites à juger), l'observation des pratiques réelles, les entretiens. Ils mesurent moins directement le comportement, mais posent moins de problèmes éthiques. Décider à l'avance de ce qu'on mesurera, et l'écrire, évite de retenir après coup les résultats qui arrangent.
Blue team : défense
Signaux : comparaison avant-après sans groupe témoin ; messages plus faciles après la formation qu'avant ; indicateur choisi après avoir vu les résultats ; échantillon trop petit pour conclure.
Contre-mesures : groupe de comparaison tiré au sort ; mêmes messages en ordre contrebalancé ; difficulté notée avant l'envoi ; indicateurs fixés et écrits à l'avance ; effectifs suffisants, ou résultats présentés comme exploratoires.
Red team : simulation encadrée
Hypothèse testée : une formation améliore-t-elle la détection quand on la compare à un groupe tiré au sort qui ne l'a pas encore suivie ?
Indicateur : écart de détection entre le groupe formé et le groupe tiré au sort qui ne l'est pas encore, avec son intervalle et l'effectif annoncé.
Cadre : Exercice fictif, participants informés et consentants, indicateurs agrégés, débriefing, aucun individu désigné, aucun résultat publié pour un groupe de moins de 10 personnes.
Pistes originales
- Rédiger un modèle de protocole d'exercice en une page.
- Noter la difficulté des messages du Labo avec une échelle commune.
Techniques DIMA associées
Fiche méthodologique : aucune technique DIMA. Rapprochement proposé, à valider. Voir le tableau complet.
Qui est plus sensible, ce qui protège
Plus sensibles
- Exercices sans groupe de comparaison documenté
L'écart avant-après mélange l'effet de la formation et tout ce qui a changé entre-temps (Shadish et coll., 2002).
Ce qui protège
- Exercices tirés au sort et préparés à l'avance documenté
Le tirage au sort rend les groupes comparables.
À lire pour se prémunir : repérer les situations où l'on est plus exposé, et y renforcer ses défenses. Tendances de groupe, jamais un jugement sur une personne : un diagnostic ne dit pas qu'une personne est manipulable. Usage légitime : adapter les formations et les procédures, protéger.
Références
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin. vérifiée
- Steves, M., Greene, K., & Theofanos, M. (2020). Categorizing human phishing difficulty: A Phish Scale. Journal of Cybersecurity, 6(1), tyaa009. lien vérifiée
- Lain, D., Kostiainen, K., & Čapkun, S. (2022). Phishing in organizations: Findings from a large-scale and long-term study. 2022 IEEE Symposium on Security and Privacy (SP), 842–859. (Plus de 14 000 employés sur 15 mois : la formation intégrée aux simulations n'apporte pas de bénéfice et peut rendre plus vulnérable ; les avertissements dans les courriels et le signalement par les employés sont efficaces.) lien vérifiée
- Ho, G., Mirian, A., Luo, E., Tong, K., Lee, E., Liu, L., Longhurst, C. A., Dameff, C., Savage, S., & Voelker, G. M. (2025). Understanding the efficacy of phishing training in practice. 2025 IEEE Symposium on Security and Privacy (SP), 37–54. (Essai contrôlé randomisé, plus de 19 500 employés sur 8 mois : la formation annuelle n'a pas d'effet significatif, et la formation intégrée ne réduit les clics que d'environ 2 %.) lien vérifiée
« Vérifiée » : titre, auteurs, année et support confirmés en ligne. « À contrôler » : la référence existe mais un détail (pages, éditeur, lien) n'a pas été relu à la source. Toutes les références.
Niveau de preuve : principes méthodologiques établis. Fiche liée à Lire les résultats d'un exercice et à Simuler une attaque sans trahir.
Contribuer à cette fiche
Une source, un cas public, une correction ? Chaque proposition est relue avant publication. Précisez le titre de la fiche : « Concevoir un exercice qui mesure vraiment ».