Depuis un an, les chercheurs qui travaillent sur le SRAS-CoV-2 ont pris l’habitude de publier leurs études rapidement, souvent sur des sites de prépublication où ces articles n’ont été soumis à aucune révision. Leurs travaux sont-ils moins fiables pour autant? Difficile de trancher, constate le Détecteur de rumeurs.
En mai dernier, deux bioéthiciens ont lancé dans Science un plaidoyer pour des recherches rigoureuses, rappelant l’importance, en dépit de l’urgence sanitaire, de maintenir des normes de qualité, avec des protocoles rigoureux.
Un peu plus tôt, en mars 2020, le Journal of the American Medical Association (JAMA) s’était inquiété dans un éditorial de retrouver, en raison de la précipitation créée par la pandémie, certains des mêmes malades dans des études différentes — une entorse à l’éthique.
La publication d’études: un lent processus
Rappelons que la publication d’une étude est centrale au processus de production du savoir scientifique. La « découverte » d’un chercheur n’acquiert de la valeur que lorsque les résultats sont publiés, ce qui permet à d’autres experts du domaine d’en prendre connaissance, d’en analyser les forces et les faiblesses et, au besoin, de reproduire la recherche, afin de tenter d’en confirmer les résultats.
En temps normal, le processus menant à une telle publication est lent. Les chercheurs présentent leurs résultats dans un article qu’ils proposent à un journal spécialisé. Si ce dernier est doté d’un comité de révision par les pairs, cela signifie que l’article sera soumis à des experts indépendants, appartenant à la même discipline (les « pairs »). Ils peuvent évaluer les résultats et, au besoin, demander des précisions aux chercheurs. Le processus a pour but d’éviter que des études bâclées, aux démarches biaisées ou contenant des erreurs flagrantes, ne soient incorporées à la littérature scientifique.
Le processus n’est pas parfait, et des erreurs se glissent inévitablement, mais il permet un « écrémage »: l’une des revues les plus prestigieuses, Nature, déclare ne publier que 8% de ce qui lui est soumis.
Or, ce processus de révision peut prendre des semaines, voire des mois, avant de mener à une publication.
La pandémie ne permettant pas de tels délais, les chercheurs se sont tournés en masse vers les sites de prépublication qui affichent les études en seulement quelques jours. Plus de 30 000 des articles publiés sur la COVID en 2020 l’ont été sur des sites de prépublication, soit 17 à 30% de toutes les recherches sur la COVID-19 (tout dépendant de la base de données utilisée) selon une compilation publiée par la revue Nature en décembre. Un des trois plus importants de ces sites, MedRxiv, n’avait été créé qu’en juin 2019.
En réaction, des revues scientifiques comme The Lancet et le New England Journal of Medicine ont accéléré, très tôt en 2020, leurs processus de révision, publiant en quelques jours certaines études qui étaient potentiellement d’un grand intérêt contre ce nouveau virus. Plus largement, poursuivait l’analyse de Nature, le temps écoulé entre une prépublication sur MedRxiv consacrée à la COVID et sa parution dans une revue révisée par les pairs a été de 72 jours, deux fois plus vite que pour une prépublication sur un autre sujet.
De la science moins fiable?
Cette précipitation a mené « à une avalanche de mauvaises études », se plaignaient les auteurs du commentaire de mai dernier. Par exemple, des études ont été lancées sans groupes randomisés ou placebos, des recherches ont été mises sur pied en quelques jours. Sans compter que des pré-papiers non révisés par les pairs ont suscité un engouement exagéré de certains médias et du personnel soignant.
Au-delà de la précipitation, plusieurs analyses en cours d’année ont reproché un manque de coordination, voire une désorganisation dans la recherche. Par exemple, une étude parue dans le JAMA en juillet concluait que, sur plus de 1550 études sur des médicaments contre la COVID testés sur des humains entre mars et mai, seulement 10% avaient été réalisées en double aveugle et avec plus de 100 participants.
Ceux qui ont tenté de faire des synthèses de la littérature n’ont pas eu la tâche facile: selon un reportage publié par Science en octobre, la majorité des « revues systématiques » portant sur un médicament contre la COVID étaient déjà périmées en raison du flot constant de nouvelles études.
Les revues scientifiques les plus sérieuses n’échappent pas toujours à la tentation de publier trop vite. Le cas qui a fait couler le plus d’encre est celui de la revue The Lancet qui, en juin 2020, a dû retirer une étude sur l’hydroxychloroquine après que 120 scientifiques aient signé une lettre ouverte relevant les erreurs méthodologiques. Trois des quatre auteurs de l’étude se sont également rétractés.
À l’inverse toutefois, c’est aussi The Lancet qui a publié, dès le 24 janvier 2020, la toute première étude révisée par les pairs, portant sur les aspects cliniques observés chez 41 patients hospitalisés à Wuhan.
Dans leur bilan de fin d’année, les auteurs du blogue Retraction Watch, qui se spécialisent depuis une décennie dans la compilation des recherches qui ont été « rétractées » ou retirées des archives par les éditeurs ou les auteurs, notaient qu’une quarantaine d’articles sur le SRAS-CoV2 ou sur la pandémie avaient été retirés des serveurs de prépublication ou des revues scientifiques en 2020. C’était peu par rapport aux 1600 articles retirés, tous sujets confondus. Mais 10 de ces articles étaient aussi parmi le petit groupe de 15 choisis par Retraction Watch pour l’attention qu’ils avaient générée ou l’impact qu’ils avaient eu.
En avril 2020, le scientifique en chef du Québec, Rémi Quirion, avait affirmé que les prépublications pouvaient causer plus de tort que de bien. En janvier 2021, il indiquait toutefois à Radio-Canada que les avantages et les inconvénients de ce mode de fonctionnement étaient désormais mieux compris. « On sait qu’il s’agit d’information non validée, et qu’il faut insister sur l’absence de révision, avant de mettre ça en première page d’un journal ou de baser des politiques gouvernementales dessus », disait-il.
Dans le même reportage, Jonathan Kimmelman, directeur de l’Unité de bioéthique médicale à l’Université McGill et signataire de l’article du printemps 2020 dans Science, allait dans le même sens, précisant qu’avec le temps, plusieurs projets de recherche étaient « venus remplir le vide de connaissance avec des données de qualité ». Il ajoutait qu’à son avis, les travaux de qualité ont dépassé en nombre les prépublications dont le contenu laisse perplexe.
Éviter le nivellement par le bas
Pandémie ou non, les serveurs de prépublication ont l’avantage de permettre aux chercheurs de partager l’information plus vite et plus efficacement. Ils ont également favorisé la collaboration internationale.
Qui plus est, ces serveurs ont révélé au fil des années qu’ils pouvaient être eux aussi des lieux de révision par les pairs: si des dizaines, voire des centaines d’experts d’un domaine, lisent l’article, ils ne manquent pas d’en repérer les faiblesses et les raccourcis. Les erreurs sont ainsi corrigées plus vite que par le processus traditionnel.
Comment empêcher un affaiblissement des normes ? Cela pourrait passer par une réduction de la production: autrement dit, faire moins d’études, et les faire de manière plus rigoureuse — un conseil qui n’a pas attendu la pandémie pour être formulé. Ainsi, des chercheurs pourraient renoncer à mener leurs travaux de manière indépendante pour contribuer à un essai clinique mené dans plusieurs institutions en même temps, selon un protocole bien défini à l’avance. Cela permettrait de comparer l’efficacité de plusieurs traitements dans le cadre d’un même essai clinique, éviterait de multiplier les groupes de contrôle et maximiserait la valeur statistique de l’étude.
Enfin, il y a plusieurs années que de nombreux chercheurs recommandent de revoir le système académique actuel, qui les pousse à publier toujours plus pour prouver leur qualité à leur communauté, obtenir des fonds ou décrocher un poste.
Une course à la publication où le contenu passe au second plan. Mais c’est là une réforme qui pourrait prendre du temps.
