Reproductibilité: derrière ce jargon se cache une crise qu’une partie de la communauté scientifique tente de résoudre, avec des outils manifestement pas encore au point.
Trouver une erreur dans une recherche scientifique, c’est facile. Peu importe que l’erreur soit de bonne foi ou le résultat d’une fraude délibérée: les « surveillants » sont plus nombreux qu’ils ne l’ont jamais été — le plus souvent cité étant le blogue Retraction Watch. Le problème est de corriger cette erreur, écrivaient dans Nature en février quatre auteurs spécialisés en obésité et nutrition. Ils sont fiers de dire que leur intervention deux ans plus tôt avait conduit à la rétractation d’un article qui surestimait par un facteur de 10 l’impact sur l’obésité d’un changement dans la consommation de fast-food — mais ce succès n’est pas représentatif de la réalité, analysent-ils.
Un autre texte d’opinion publié dans Nature en avril avait attiré l’attention des lecteurs : en revenant sur deux siècles d’histoire du système de révision par les pairs, Alex Csiszar mettait en lumière le fait que chaque fois que ce système avait évolué, c’était parce que « le statut public de la science » avait lui aussi été réévalué. Il faudrait donc s’attendre dans un proche avenir à des turbulences plus larges, qui secoueront davantage que la communauté scientifique.
Les deux textes s’entendent pour dire que le processus « postpublication » laisse à désirer. Mis à part la rétractation de l’article dans les cas extrêmes, peu d’éditeurs ont prévu des mécanismes par lesquels des critiques peuvent discuter entre eux ou avec les auteurs. Et même lorsqu’un doute surgit sur la validité des données, il n’existe pas de mécanisme consensuel pour obtenir les données brutes derrière l’étude: chaque revue a sa politique. Or, la reproductibilité — la possibilité de reproduire une étude pour s’assurer que les auteurs ne se sont pas trompés — est l’essence même de la recherche scientifique : si on parle depuis 2012 d’une « crise de la reproductibilité » en psychologie, c’est parce que les données brutes sont difficiles à avoir… ou à reproduire. Par exemple, une remise en question des études passées sur les « effets positifs du bilinguisme », qui a attiré l’attention des Canadiens et des Belges en début d’année, s’inscrivait dans cette crise.
Dans le cadre de l’émission Je vote pour la science consacrée en mars aux « racines de la fraude scientifique » les invités s’entendaient pour blâmer le « publier ou périr »: la pression à publier le plus vite et le plus souvent possible conduirait inévitablement à tourner les coins ronds.
Quant aux blogueurs de Retraction Watch, ils publient dans le magazine The Scientist leur liste des 10 rétractations « les plus mémorables » de l’année. Entre autres : un manuscrit rejeté à l’étape de la révision par les pairs… et plus tard publié par un des réviseurs.
