Environ 50% des expériences scientifiques se sont avérées NON reproductibles

2024 Auteur: Seth Attwood | [email protected]. Dernière modifié: 2023-12-16 16:04

Par hasard, dans un flot de nouvelles et d'informations, je suis tombé sur un article dans Nature Scientific Reports. Il présente les données d'une enquête menée auprès de 1 500 scientifiques sur la reproductibilité des résultats de la recherche scientifique. Si auparavant ce problème s'est posé pour la recherche biologique et médicale, où d'une part il est explicable (fausses corrélations, complexité générale des systèmes étudiés, parfois même des logiciels scientifiques sont accusés), d'autre part, il a une portée phénoménologique. caractère (par exemple, les souris ont tendance à se comporter différemment avec des scientifiques de sexe différent (1 et 2)).

Cependant, tout n'est pas lisse et avec Suitesciences naturelles telles que la physique et l'ingénierie, la chimie, l'écologie. Il semblerait que ces disciplines mêmes reposent sur des expériences « absolument » reproductibles réalisées dans les conditions les plus contrôlées, hélas, un étonnant - dans tous les sens du terme - le résultat de l'enquête: jusqu'à 70%les chercheurs ont été confrontés Non reproductibleexpériences et résultats obtenus non seulement par d'autres groupes de scientifiques, MAIS et par les auteurs/co-auteurs d'ouvrages scientifiques publiés !

Chaque bécasseau loue-t-il son marais ?

Bien que 52% des personnes interrogées soulignent une crise de reproductibilité en science, moins de 31% considèrent que les données publiées sont fondamentalement incorrectes et la majorité a indiqué qu'elle faisait toujours confiance aux travaux publiés.

Bien entendu, il ne faut pas se vider l'épaule et lyncher toute science en tant que telle uniquement sur la base de cette enquête: la moitié des répondants étaient encore des scientifiques associés, d'une manière ou d'une autre, aux disciplines biologiques. Comme le notent les auteurs, en physique et en chimie, le niveau de reproductibilité et de confiance dans les résultats obtenus est beaucoup plus élevé (voir graphique ci-dessous), mais toujours pas à 100 %. Mais en médecine, les choses vont très mal par rapport au reste.

Une blague me vient à l'esprit:

Marcus Munafo, un psychologue biologique à l'Université de Bristol, en Angleterre, s'intéresse depuis longtemps à la reproductibilité des données scientifiques. Se rappelant les jours de ses jours d'étudiant, il dit:

Une fois, j'ai essayé de reproduire une expérience de la littérature qui me semblait simple, mais je n'y arrivais tout simplement pas. J'ai eu une crise de confiance, mais j'ai alors réalisé que mon expérience n'était pas si rare.

Problème de profondeur de latitude et longitude

Imaginez que vous êtes un scientifique. Vous tombez sur un article intéressant, mais les résultats/expériences ne peuvent pas être reproduits en laboratoire. Il est logique d'écrire à ce sujet aux auteurs de l'article original, de demander des conseils et de poser des questions de clarification. Selon l'enquête, moins de 20%l'ont déjà fait au cours de leur carrière scientifique !

Les auteurs de l'étude notent que, peut-être, de tels contacts et conversations sont trop difficiles pour les scientifiques eux-mêmes, car ils révèlent leur incompétence et leur incohérence sur certaines questions ou révèlent trop de détails du projet en cours.

De plus, une minorité absolue de scientifiques a tenté de publier une réfutation de résultats non reproductibles, tout en faisant face à l'opposition des éditeurs et des critiques qui exigéminimiser la comparaison avec la recherche originale. Faut-il s'étonner que la chance de signaler la non-reproductibilité des résultats scientifiques soit d'environ 50 %.

Peut-être, alors, vaut-il la peine d'effectuer au moins un test de reproductibilité à l'intérieur du laboratoire ? Le plus triste, c'est qu'un tiers des répondants ont même JAMAISet n'a pas pensé à créer des méthodes pour vérifier la reproductibilité des données. Seulement 40%ont indiqué qu'ils utilisaient régulièrement de telles techniques.

Autre exemple, une biochimiste du Royaume-Uni, qui n'a pas voulu divulguer son nom, dit que tenter de répéter, reproduire le travail pour son projet de laboratoire double simplement le temps et les coûts matériels, sans rien donner ou ajouter de nouveau au travail. Des contrôles supplémentaires ne sont effectués que pour les projets innovants et les résultats inhabituels.

Et, bien sûr, les éternelles questions russes qui ont commencé à torturer les collègues étrangers: qui est à blâmer et que faire ?

Qui est coupable ?

Les auteurs des travaux ont identifié trois problèmes principaux de reproductibilité des résultats:

• Pression des supérieurs pour que le travail soit publié à temps
• Rapports sélectifs (apparemment, cela signifie la suppression de certaines données, qui « gâchent » l'ensemble du tableau)
• Analyse de données insuffisante (y compris statistique)

Que faire?

Sur 1 500 personnes interrogées, plus de 1 000 spécialistes se sont prononcés en faveur d'une amélioration des statistiques de collecte et de traitement des données, d'une amélioration de la qualité du contrôle des patrons et d'une planification plus rigoureuse des expérimentations.

Conclusion et quelques expériences personnelles

d'abord, même pour moi, en tant que scientifique, les résultats sont bluffants, même si je suis habitué à un certain degré d'irreproductibilité des résultats. Cela est particulièrement évident dans les travaux effectués par les Chinois et les Indiens sans « audit » tiers sous la forme de professeurs américains/européens. Il est bon que le problème ait été reconnu et réfléchi à sa ou ses solution(s). Je garderai avec tact le silence sur la science russe, en rapport avec le récent scandale, bien que beaucoup fassent honnêtement leur travail.

en deuxième, l'article ignore (ou plutôt ne considère pas) le rôle des métriques scientifiques et des revues scientifiques à comité de lecture dans l'émergence et le développement du problème d'irreproductibilité des résultats de la recherche. Dans la poursuite de la rapidité et de la fréquence des publications (lecture, augmentation des indices de citation), la qualité baisse fortement et il n'y a plus de temps pour une vérification supplémentaire des résultats.

Comme on dit, tous les personnages sont fictifs, mais basés sur des événements réels. D'une manière ou d'une autre, un étudiant a eu la chance de réviser un article, car tous les professeurs n'ont pas le temps et l'énergie de lire attentivement les articles, de sorte que l'opinion de 2-3-4 étudiants et médecins est recueillie, à partir de laquelle la critique est formée. Une revue a été rédigée, elle indiquait l'irreproductibilité des résultats selon la méthode décrite dans l'article. Cela a été clairement démontré au professeur. Mais pour ne pas gâcher les relations avec les "collègues" - après tout, ils réussissent à tout - la critique a été "corrigée". Et il y a 2 ou 3 articles de ce genre publiés.

Il s'avère un cercle vicieux. Le scientifique envoie l'article au rédacteur en chef de la revue, où il indique « voulu"Et, surtout," indésirable » Les relecteurs, c'est-à-dire en fait, ne laissant que ceux qui sont favorablement disposés envers l'équipe d'auteurs. Ils passent en revue le travail, mais ils ne peuvent pas "merde dans les commentaires" et essaient de choisir le moindre de deux maux - voici une liste de questions auxquelles il faut répondre, puis nous publierons l'article.

Un autre exemple, dont le rédacteur en chef de Nature a parlé il y a tout juste un mois, est celui des panneaux solaires de Grazel. En raison de l'énorme intérêt suscité par ce sujet dans la communauté scientifique (après tout, ils veulent toujours un article dans Nature !), les éditeurs ont dû créer un questionnaire spécial dans lequel ils devaient indiquer de nombreux paramètres, fournir des étalonnages d'équipements, des certificats, etc. pour confirmer que la méthode de mesure de l'efficacité des panneaux est conforme à certains principes généraux et normes.

ET, troisième, quand encore une fois vous entendez parler d'un vaccin miracle qui conquiert tout et tout le monde, une nouvelle histoire de Jobs en jupe, de nouvelles batteries ou les dangers/bénéfices des OGM ou le rayonnement des smartphones, surtout s'il a été promu par des écrivains jaunes du journalisme, puis traitez avec compréhension et ne tirez pas de conclusions hâtives. Attendez la confirmation des résultats par d'autres groupes de scientifiques, l'accumulation du tableau et des échantillons de données.

PS:L'article a été traduit et écrit à la hâte, à propos de toutes les erreurs et inexactitudes remarquées, veuillez écrire dans le LAN.