Socle
Un exercice d'hameçonnage produit d'abord des taux : clics, saisies d'identifiants, signalements. Ils dépendent autant du message choisi que de la vigilance : un message facile fait baisser les clics sans que personne ne soit devenu plus attentif.
La théorie de la détection du signal sépare deux choses que ces taux mélangent : la sensibilité (d'), c'est-à-dire la capacité à distinguer un message piégé d'un message légitime, et le critère (c), la tendance à signaler dans le doute (Stanislaw et Todorov, 1999 ; Macmillan et Creelman, 2005). Une équipe qui signale tout a beaucoup de bonnes détections, mais aussi beaucoup de fausses alertes. Appliquée à l'hameçonnage, cette approche montre que repérer un piège et décider d'agir sont deux décisions distinctes (Canfield et coll., 2016).
Sur de petits effectifs, les écarts d'une campagne à l'autre sont souvent du bruit. Mieux vaut donner un intervalle, comparer des messages de difficulté proche et suivre les signalements autant que les clics. C'est le calcul qu'utilise l'outil « Repère la faille » du Labo.
Blue team : défense
Signaux : taux de clic présenté seul ; comparaison entre campagnes aux messages différents ; conclusions tirées de quelques dizaines de personnes ; fausses alertes jamais comptées.
Contre-mesures : compter signalements et fausses alertes ; calculer d' et c quand c'est possible ; donner des intervalles plutôt que des chiffres secs ; comparer à difficulté égale ; présenter les résultats par équipe, jamais par personne.
Red team : simulation encadrée
Hypothèse testée : deux campagnes fictives de difficulté différente produisent-elles des taux de clic différents alors que la sensibilité d' reste la même ?
Indicateur : taux de clic, taux de signalement, sensibilité d' et critère c de chaque campagne, avec leurs intervalles, présentés par équipe d'au moins 10 personnes.
Cadre : Exercice fictif, participants informés et consentants, indicateurs agrégés, débriefing, aucun individu désigné, aucun résultat publié pour un groupe de moins de 10 personnes.
Pistes originales
- Proposer un modèle de tableau de bord qui montre d', c et les signalements.
- Recalculer d'anciennes campagnes avec ces mesures.
Techniques DIMA associées
Fiche méthodologique : aucune technique DIMA. Rapprochement proposé, à valider. Voir le tableau complet.
Qui est plus sensible, ce qui protège
Plus sensibles
- Exercices jugés sur le seul taux de clic plausible
Le chiffre dépend autant du message choisi que de la vigilance des équipes.
Ce qui protège
- Exercices qui comptent aussi signalements et fausses alertes documenté
Sensibilité et critère se calculent séparément (Stanislaw et Todorov, 1999).
À lire pour se prémunir : repérer les situations où l'on est plus exposé, et y renforcer ses défenses. Tendances de groupe, jamais un jugement sur une personne : un diagnostic ne dit pas qu'une personne est manipulable. Usage légitime : adapter les formations et les procédures, protéger.
Références
- Stanislaw, H., & Todorov, N. (1999). Calculation of signal detection theory measures. Behavior Research Methods, Instruments, & Computers, 31(1), 137–149. lien vérifiée
- Macmillan, N. A., & Creelman, C. D. (2005). Detection theory: A user's guide (2e éd.). Lawrence Erlbaum Associates. vérifiée
- Canfield, C. I., Fischhoff, B., & Davis, A. (2016). Quantifying phishing susceptibility for detection and behavior decisions. Human Factors, 58(8), 1158–1172. lien vérifiée
« Vérifiée » : titre, auteurs, année et support confirmés en ligne. « À contrôler » : la référence existe mais un détail (pages, éditeur, lien) n'a pas été relu à la source. Toutes les références.
Niveau de preuve : cadre statistique établi ; son usage en entreprise demande des effectifs suffisants. Fiche liée à Psychophysique et analyse des signaux et au Labo.
Contribuer à cette fiche
Une source, un cas public, une correction ? Chaque proposition est relue avant publication. Précisez le titre de la fiche : « Lire les résultats d'un exercice : taux, sensibilité et critère ».