Socle
Ce site classe chaque affirmation en trois niveaux. Documenté : établi par plusieurs études concordantes, idéalement des méta-analyses. Plausible : appuyé indirectement, ou par des études peu nombreuses. Hypothèse : piste à tester. Cette prudence répond à un problème réel de la recherche en psychologie.
Une vaste tentative de reproduire 100 études publiées en psychologie a obtenu des résultats significatifs dans un peu plus d'un tiers des cas, avec des effets en moyenne moitié moindres que dans les études originales (Open Science Collaboration, 2015). Petits échantillons, analyses choisies après coup et préférence des revues pour les résultats positifs expliquent qu'une part des résultats publiés soient faux (Ioannidis, 2005). Le « réalisme dépressif », l'idée que les personnes déprimées jugeraient plus lucidement leur contrôle sur les événements (Alloy et Abramson, 1979), en est un exemple : son effet est très faible dans une méta-analyse (Moore et Fresco, 2012) et ne se retrouve pas dans une réplication préenregistrée (Dev et coll., 2022).
Des parades existent : méta-analyses, réplications et préenregistrement, qui consiste à déposer à l'avance hypothèses et analyses (Nosek et coll., 2018). Pour un lecteur, quelques questions suffisent : combien de participants ? L'effet a-t-il été reproduit ? Qui a financé l'étude ? Les campagnes de désinformation exploitent volontiers une étude isolée présentée comme une preuve définitive.
Blue team : défense
Signaux : « une étude montre que… » sans référence ni taille d'échantillon ; effet spectaculaire jamais reproduit ; chiffre repris de source en source sans l'original ; certitude affichée sur un sujet débattu.
Contre-mesures : remonter à la source originale ; chercher une méta-analyse ou une réplication ; noter la taille de l'échantillon ; préciser le niveau de preuve quand on cite ; préenregistrer ses propres exercices.
Red team : simulation encadrée
Hypothèse testée : des participants entraînés à trois questions (échantillon, réplication, financement) repèrent-ils mieux des affirmations scientifiques fictives exagérées ?
Indicateur : part des affirmations fictives exagérées correctement repérées, avant et après l'entraînement aux trois questions, comparée à un groupe tiré au sort qui ne l'a pas encore suivi.
Cadre : Exercice fictif, participants informés et consentants, indicateurs agrégés, débriefing, aucun individu désigné, aucun résultat publié pour un groupe de moins de 10 personnes.
Pistes originales
- Ajouter à chaque fiche une ligne qui justifie son niveau de preuve.
- Créer un exercice du Labo sur les fausses preuves scientifiques.
Techniques DIMA associées
Le biais de confirmation fait retenir l'étude qui arrange ; rapprochement partiel. Rapprochement proposé, à valider. Voir le tableau complet.
Qui est plus sensible, ce qui protège
Plus sensibles
- Lecteurs pressés devant un chiffre spectaculaire plausible
Un résultat frappant circule plus vite que sa réfutation.
Ce qui protège
- Personnes formées à lire une étude plausible
Trois questions simples (échantillon, réplication, financement) suffisent à repérer bien des exagérations.
À lire pour se prémunir : repérer les situations où l'on est plus exposé, et y renforcer ses défenses. Tendances de groupe, jamais un jugement sur une personne : un diagnostic ne dit pas qu'une personne est manipulable. Usage légitime : adapter les formations et les procédures, protéger.
Références
- Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. lien vérifiée
- Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. lien vérifiée
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. lien vérifiée
- Alloy, L. B., & Abramson, L. Y. (1979). Judgment of contingency in depressed and nondepressed students: Sadder but wiser? Journal of Experimental Psychology: General, 108(4), 441–485. lien vérifiée
- Moore, M. T., & Fresco, D. M. (2012). Depressive realism: A meta-analytic review. Clinical Psychology Review, 32(6), 496–509. (75 études : effet global très faible, qui dépend de la méthode.) lien vérifiée
- Dev, A. S., Moore, D. A., Johnson, S. L., & Garrett, K. T. (2022). Sadder ≠ wiser: Depressive realism is not robust to replication. Collabra: Psychology, 8(1), 38529. (Réplication préenregistrée : aucun lien entre symptômes dépressifs et illusion de contrôle.) lien vérifiée
« Vérifiée » : titre, auteurs, année et support confirmés en ligne. « À contrôler » : la référence existe mais un détail (pages, éditeur, lien) n'a pas été relu à la source. Toutes les références.
Niveau de preuve : crise de la réplication documentée en psychologie ; son ampleur varie selon les domaines. Fiche de méthode, liée à la page Références.
Contribuer à cette fiche
Une source, un cas public, une correction ? Chaque proposition est relue avant publication. Précisez le titre de la fiche : « Niveaux de preuve : documenté, plausible, hypothèse ».