Les études psychologiques se sont révélées fausses dans plus de 50% des cas

2024 Auteur: Seth Attwood | [email protected]. Dernière modifié: 2023-12-16 16:04

Il existe des « postures fortes » qui renforcent la confiance et réduisent les hormones du stress. Lorsque les gens tiennent une tasse de boisson chaude dans leurs mains, ils deviennent plus amicaux avec ceux qui les entourent. La volonté est une ressource que nous dépensons lorsque nous résistons à la tentation. La capacité de reporter la récompense détermine le succès futur de l'enfant.

Ces déclarations sont très similaires les unes aux autres: derrière elles se trouvent des recherches psychologiques bien connues, des best-sellers de vulgarisation scientifique, des chroniques dans des magazines populaires et des conférences TED.

Ils ont aussi une autre chose en commun: ils se sont tous avérés faux.

La crise de la reproductibilité a mis en doute des domaines entiers de la science. De nombreux résultats, largement cités dans les médias, sont désormais considérés comme exagérés ou faux. Lorsque les scientifiques ont essayé de reproduire à la fois des expériences psychologiques classiques et récentes, les résultats étaient étonnamment cohérents, avec environ la moitié des cas réussis et l'autre moitié échoués.

La crise est finalement devenue apparente en 2015, lorsque des scientifiques dirigés par Brian Nosek ont vérifié 100 études psychologiques. Ils n'ont pu obtenir des résultats initiaux que dans 36 cas. Le rédacteur en chef du Lancet, Richard Horton, a rapidement déclaré:

« Les accusations contre la science sont assez simples: au moins la moitié de la littérature scientifique est tout simplement fausse. Souffrant d'études avec une petite taille d'échantillon, d'effets rares et d'analyses incorrectes, ainsi qu'une obsession pour les tendances de la mode d'importance douteuse, la science a pris un virage vers l'ignorance.

La reproductibilité est l'une des exigences clés de la connaissance scientifique. Mieux le résultat est reproduit, plus il est fiable - c'est le seul moyen de séparer les vrais motifs des simples coïncidences

Mais il s'est avéré que cette exigence n'est pas toujours remplie.

La crise a commencé avec la médecine, mais a surtout touché la psychologie. À l'été 2018, des scientifiques ont tenté de reproduire une sélection d'études psychologiques publiées dans Science et Nature, les revues scientifiques les plus prestigieuses au monde. Sur 21 expériences, seulement 13 ont été confirmées - et même dans ces cas, les résultats originaux ont été exagérés d'environ 50 %.

Souvent, le test de reproductibilité échoue dans les études qui ont été largement reproduites dans les médias et qui ont réussi à influencer la conscience publique. Par exemple, les travaux que les moteurs de recherche altèrent la mémoire, et la lecture de fiction développe la capacité d'empathie. Si des expériences répétées échouent, cela ne signifie pas que les hypothèses originales sont sans valeur. Mais de meilleures recherches sont maintenant nécessaires pour les prouver.

Comment prédire l'avenir avec des statistiques

En 2011, le célèbre psychologue américain Daryl Boehm a publié un article prouvant la possibilité de la voyance. Cette conclusion n'était pas le produit de son imagination violente, mais était basée sur des décennies de recherche, impliquant des centaines de personnes. Beaucoup soupçonnaient que Boehm avait décidé d'organiser quelque chose comme l'arnaque de Sokal et d'exposer la psychologie avec un faux article aux conclusions délibérément absurdes. Mais selon toutes les normes méthodologiques, l'article était très convaincant.

Dans l'une des expériences de Behm, deux écrans ont été placés devant les participants - ils devaient deviner quelle image était cachée derrière. L'image a été générée aléatoirement immédiatement après la sélection. Si les participants ont fait du bon travail, cela indiquerait qu'ils peuvent d'une manière ou d'une autre anticiper l'avenir. L'expérience a utilisé deux types d'images: neutres et pornographiques.

Boehm a suggéré que si le sixième sens existe, il a probablement une ancienne origine évolutive. Si tel est le cas, il est alors plus probable qu'il soit en accord avec nos besoins et nos pulsions les plus anciens

Les participants ont deviné des images pornographiques 53% du temps - un peu plus souvent qu'ils ne le devraient s'il s'agissait d'un pur hasard. Étant donné le grand nombre d'expériences, Boehm pourrait prétendre que la prévoyance existe.

Plus tard, les experts ont découvert que lors de l'analyse des résultats, il utilisait des méthodes pas tout à fait correctes. En règle générale, un résultat de recherche est considéré comme fiable si la probabilité qu'il ait été obtenu par accident ne dépasse pas 5 %. Mais il existe de nombreuses façons de réduire cette valeur au niveau requis: modifier les paramètres initiaux de l'analyse, ajouter ou supprimer le nombre requis d'exemples de l'échantillon, utiliser des hypothèses plus efficaces après avoir collecté les données.

Le problème est que non seulement Boehm, mais aussi de nombreux autres scientifiques ont utilisé les mêmes techniques. Selon une enquête de 2011, près de la moitié des psychologues l'ont admis

Lorsque l'article sur la clairvoyance est sorti, les sociologues Joseph Simmons, Leaf Nelson et Uri Simonson ont réalisé que la science se dirigeait vers sa propre ruine. Ils ont construit plusieurs modèles informatiques et ont découvert qu'en utilisant des techniques statistiques assez standard, vous pouvez augmenter plusieurs fois le niveau de résultats faussement positifs. Cela signifie que des méthodes formellement scientifiques peuvent facilement conduire à des conclusions complètement absurdes.

Pour illustrer cela, des scientifiques ont mené une expérience qui a confirmé que l'écoute de la chanson "When I'm Sixty-four" rajeunit d'un an et demi l'auditeur.

« Tout le monde savait que c'était mal d'utiliser de telles techniques, mais ils pensaient qu'il s'agissait d'une violation dans sa signification - comme traverser la route au mauvais endroit. Il s'est avéré que cela ressemblait plus à un vol de banque », a conclu Simmons.

Comment distinguer une mauvaise recherche d'une bonne

Il est vite devenu évident que les problèmes de reproductibilité ne se limitaient pas à la psychologie. Dans la recherche sur le cancer, les preuves scientifiques sont étayées dans 10 à 25 % des cas. En économie, 7 des 18 expériences de laboratoire n'ont pas pu se répliquer. La recherche sur l'intelligence artificielle montre également des signes de crise.

Mais perdre foi en la science, semble-t-il, n'en vaut toujours pas la peine. Les scientifiques ont déjà proposé plusieurs moyens qui ont considérablement amélioré la fiabilité et la qualité des nouvelles recherches

Il y a plusieurs années, presque personne ne publiait les résultats d'expériences répétées, même si elles avaient été réalisées. Cela n'a pas été accepté, n'a pas apporté de subventions et n'a pas contribué à une carrière scientifique réussie. Selon une enquête de Nature, plus de 70 % des psychologues ont essayé sans succès de reproduire les recherches d'autres personnes, environ la moitié n'ont pas pu répéter les leurs et presque personne n'a cherché à publier ces résultats.

Lorsque la crise de la reproductibilité a fait surface, beaucoup de choses ont changé. Les recherches répétées sont progressivement devenues monnaie courante; les données expérimentales ont commencé à être publiées de plus en plus souvent dans le domaine public; les revues ont commencé à publier des résultats négatifs et à enregistrer le plan global de la recherche avant même qu'elles ne commencent.

La recherche est devenue plus étendue - un échantillon de 30 à 40 personnes, ce qui était assez standard en psychologie, convient désormais à très peu de personnes. De grandes organisations internationales - comme le Psychological Science Accelerator - testent les mêmes hypothèses dans plusieurs laboratoires à travers le monde.

Avant de consulter les articles de Nature and Science, sur lesquels nous avons écrit au début, les scientifiques ont été invités à parier sur les tirages au sort. Ils devaient prédire quelle recherche réussirait le test et laquelle échouerait. Dans l'ensemble, les taux étaient très précis. « Cela signifie, d'une part, que la communauté scientifique peut prédire quels travaux pourront être répétés, et, d'autre part, que l'impossibilité de reproduire l'étude n'était pas une simple coïncidence », précisent les organisateurs de l'expérience.

Les scientifiques sont généralement doués pour faire la distinction entre les recherches fiables et non fiables – c'est une bonne nouvelle. Aujourd'hui, des experts du Center for Open Science, en collaboration avec l'agence DARPA, tentent de créer un algorithme qui effectuera la même tâche sans intervention humaine.

Il y a trop d'articles publiés chaque année pour revérifier manuellement même une petite fraction d'entre eux. Si l'intelligence artificielle se met au travail, tout sera beaucoup plus facile.

Déjà lors des premiers tests, l'IA a réussi à faire face aux prédictions dans 80% des cas.

Qu'est-ce qui rend la recherche peu fiable le plus souvent? Petits échantillons, incohérences dans les nombres, trop belle confirmation d'hypothèses. Et aussi - le désir de sensations et de réponses trop simples à des questions difficiles.

Trop beau pour être vrai

Le moyen le plus simple de créer des recherches sensationnelles est la tromperie. Le célèbre psychologue social Diederik Stapel a utilisé des données fabriquées dans plusieurs dizaines d'articles scientifiques. Les recherches de Stapel se répandaient dans les journaux et les magazines à grande vitesse, il reçut plusieurs prix scientifiques prestigieux, fut publié dans Science et était considéré comme l'un des plus grands spécialistes dans son domaine.

Une fois, il s'est avéré que pendant longtemps, Stapel n'a pas mené de recherche du tout, mais a simplement inventé des données et les a fournies aux étudiants pour analyse.

C'est très rare en science. Beaucoup plus souvent fort, mais des déclarations incorrectes surviennent pour d'autres raisons. Les gens recherchent désespérément des réponses simples, compréhensibles et efficaces à des questions passionnantes. Il peut être très facile d'être tenté de penser que vous avez ces réponses, même si ce n'est vraiment pas le cas. La recherche de la simplicité et de la certitude est l'une des principales raisons pour lesquelles de nombreuses études ne parviennent pas à tester la reproductibilité. Voici quelques exemples notables.

Expérience de guimauve

Dans une expérience, on a demandé aux enfants de choisir entre une petite récompense - comme des guimauves - qui pourrait être reçue immédiatement, et une double récompense s'ils pouvaient attendre un peu. Il s'est avéré plus tard que les enfants qui ont reçu le deuxième prix ont eu plus de succès à l'âge adulte. L'étude est devenue très populaire et a influencé certains programmes scolaires.

En 2018, l'expérience a été répétée sur un échantillon plus large. Il s'est avéré que la richesse de la famille est un facteur beaucoup plus important, dont dépend également le niveau de maîtrise de soi.

« Poses de force » et « Poses de faiblesse »

Les participants à l'expérience ont pris l'une des deux poses pendant deux minutes: ils se sont penchés en arrière sur une chaise et ont jeté leurs jambes sur la table ("pose de force") ou ont croisé leurs bras sur leur poitrine ("pose de faiblesse"). En conséquence, les participants du premier groupe se sentaient plus en confiance et acceptaient plus souvent de prendre des risques en jouant. Ceux qui étaient assis dans une position forte augmentaient leur taux de testostérone, et ceux qui étaient assis dans une position faible augmentaient le cortisol. Lors d'expériences répétées, un seul effet a été reproduit: les "postures de force" ont aidé les participants à se sentir plus en confiance, mais n'ont pas modifié leur comportement ou leurs paramètres hormonaux.

Les associations avec la vieillesse vous font avancer plus lentement

Les participants à l'expérience ont été invités à résoudre plusieurs énigmes. Si des mots associés à la vieillesse y étaient insérés - « oublieux », « personne âgée », « solitaire » - alors les participants ont quitté la salle à un rythme plus lent.

Dans des essais récents, l'expérience n'a été reproduite avec succès que dans un cas: si les expérimentateurs eux-mêmes savaient que dans les tests les participants faisaient allusion à la vieillesse. L'effet lui-même est resté, mais les raisons étaient déjà différentes.

Les objets chauds rendent les gens plus amicaux

Les participants à l'expérience ont été autorisés à tenir une tasse de café chaud ou froid pendant une courte période, puis ont été invités à évaluer la personnalité de la personne à l'aide d'une courte description. Les participants qui tenaient une tasse de café chaud ont jugé la personne plus sympathique. Dans une autre expérience, les participants ont reçu un article dans un emballage chaud ou froid, puis on leur a demandé de le garder ou de le donner à un ami. Si l'article était emballé dans un emballage chaud, les participants étaient plus susceptibles de choisir la deuxième option. Des expériences répétées avec un échantillon plus large n'ont pas produit de tels résultats. On dirait que des vêtements chauds ne feront pas de vous un altruiste.

La volonté s'épuise lorsque nous résistons aux tentations

Devant les participants à l'expérience ont été placées deux assiettes - avec des biscuits et des radis. Dans le premier groupe, les participants étaient autorisés à manger des biscuits et dans le second, uniquement des radis. Ensuite, chaque participant a été invité à résoudre une énigme impossible. Les participants qui n'ont mangé que des radis dans la première partie de l'expérience ont abandonné beaucoup plus tôt que les autres. Dans des expériences répétées, les résultats n'ont pas été confirmés.

Dans certains cas, la capacité de maîtrise de soi ne s'est pas épuisée, mais s'est même intensifiée avec le temps. De nombreux psychologues considèrent désormais le concept de « volonté » trop simpliste.

Beaucoup a déjà été fait en psychologie mondiale pour rendre la recherche plus fiable et reproductible. En Russie, ce problème n'a pas encore été appréhendé.

"En psychologie russe, les problèmes de la crise concernent principalement la jeunesse scientifique, qui est largement orientée vers la science occidentale", a déclaré au Knife Ivan Ivanchey, professeur agrégé à la RANEPA. - Le contrôle de la qualité des publications en russe n'est généralement pas très élevé. Les revues rejettent rarement les articles, de sorte que de nombreuses recherches de faible qualité sont publiées. De petits échantillons sont souvent utilisés, ce qui réduit également les chances de réussite de la reproduction. On soupçonne que si l'on s'attaque sérieusement à la question de la reproductibilité des œuvres en langue russe, de nombreux problèmes peuvent être découverts. Mais personne n'est directement impliqué là-dedans."

En janvier 2019, on a appris que le gouvernement russe allait considérablement élargir les exigences des scientifiques en termes de nombre de publications: le nombre minimum d'articles publiés par an devrait augmenter de 30 à 50 %.

Des scientifiques de l'influent universitaire "July 1 Club" ont critiqué l'initiative: "La tâche de la science n'est pas de produire le maximum de publications, mais d'explorer l'univers et de bénéficier des connaissances acquises pour l'humanité." Très probablement, les nouvelles exigences ne feront qu'augmenter l'ampleur du problème.

L'histoire de la crise de la reproductibilité n'est pas une histoire de l'apocalypse à venir et de l'invasion des barbares. Si la crise n'avait pas eu lieu, tout aurait été bien pire: on se référerait encore à des recherches erronées en toute confiance que l'on connaît la vérité. Peut-être que le temps des gros titres audacieux comme « les scientifiques britanniques ont prouvé » touche à sa fin. Mais les rumeurs selon lesquelles la science est morte doivent être considérées comme quelque peu exagérées.