Il nous semble acquis de considérer que les études publiées dans des revues scientifiques sont reproductibles et non discutables. A-t-on des données probantes pour valider cette croyance ? Reproduire à l’identique les résultats exposés dans des articles évalués par des pairs est difficile.
Le ‘repligate’ - Serait-il honteux de refaire des expérimentations ?
En 2012, avant de partir en retraite, un chercheur d’Amgen a repris ses essais de reproduction d’études publiées dans des revues prestigieuses. Pendant sa carrière, il a voulu refaire 53 études expérimentales en collaborant avec les auteurs. Seules six expériences ont été reproduites (11 %). Il pensait que son travail serait reconnu et il a publié ses conclusions (1) Il a été très critiqué par des universitaires. En 2011, des chercheurs de Bayer avaient reproduit environ 25 % des données de 67 articles (2).
En mai 2014, la revue Social Psychology a publié une quinzaine d’articles de chercheurs ayant refait des expériences anciennes (1950 à 2008). Les conclusions étaient considérées comme établies (3). Dans la plupart des cas, ils n’ont pas observé les mêmes résultats. Ces tentatives ont été mal accueillies avec de violentes critiques. Des chercheurs se sont opposés à l’idée de reproduire des résultats publiés allant jusqu’à qualifier les « Replicators » de « nazis », « fascistes » ou « mafiosi ». Les arguments de l’accusation sont peu convaincants : ceux qui répliquent des recherches sont des incompétents qui n’ont pas d’idées, pas d’argent et leurs objectifs sont de montrer que les autres recherches ne marchent pas. Refaire des travaux de collègues ne serait pas valorisant.
Environ un tiers des publications seraient totalement reproductibles
Une enquête auprès de près de 1 600 chercheurs a été faite par la revue Nature sur “La crise de la reproductibilité” (4). Que ce soit en chimie, médecine, biologie, physique, sciences de l’ingénieur, les chercheurs reconnaissent que dans la moitié des cas, ils n’ont pas pu reproduire leurs propres travaux !
Un travail énorme a consisté en la reproduction de 100 articles publiés par trois journaux prestigieux de psychologie (en collaboration avec les auteurs) [5]. Les résultats peuvent être résumés par cette approximation : un tiers des données sont reproductibles intégralement, un tiers partiellement et un tiers ne le sont pas.
Les scientifiques cherchent l’innovation plutôt que la validation des données issues de la recherche
La culture académique privilégie l’innovation sur la reproductibilité
Une recherche a été faite à partir de trois millions d’articles en langue anglaise publiés en 2018 et 2019 dans les domaines de l’économie, de l’éducation, de la psychologie, des sciences de la santé et de la biomédecine (6). Ce sont seulement 177 publications sur la reproductibilité qui ont été identifiées, et plus de la moitié démontraient une bonne reproductibilité des résultats. 177 sur trois millions, c’est vraiment peu !
La course à la publication, parfois à la (fausse) innovation, ne favorise pas la reproduction des études. Pourtant la valeur des reproductions est immense. Sans validation, la science peut progresser sur des dogmes non vérifiés. Ces problèmes de reproductibilité sont dus à la variabilité des techniques expérimentales, aux différences de populations étudiées, aux nombreux biais. Chercheurs et revues préfèrent des résultats dits positifs, des contes de fées avec des statistiques douteuses, et ils embellissent les résultats.
Est-ce que la science ouverte, le partage des données, de meilleures méthodes permettront de publier des recherches reproductibles ? J’en doute. Malheureusement, la communauté scientifique cherche l’innovation plutôt que la validation des données issues de la recherche. Des propositions consistant à valoriser les chercheurs qui reproduisent et valident des données existent… mais seront-elles mises en œuvre ?
(1) Begley CG, Ellis M. Nature 2012;483:531-3.
(2) Prinz F et al. Nature Reviews 2011;10:712.
(3) Social Pychology. 2014;45:numéro 3.
(4) Baker M. Nature 2016;533:452-4.
(5) Open science collaboration. Science. 2015 Aug 28;349(6251).
(6) Cobey KD, et al. eLife 12:e78518.
C’est vous qui le dites
« Notre système de soin est obsolète et promis à se casser la figure »
En partenariat avec France Info
C’est ma santé : le surf, bon pour la santé mentale
C’est vous qui le dites
« Le patient partenaire est une évolution sociétale majeure ? Moi, je ne trouve pas »
Éditorial
Les défis de l’été