Un peu partout dans le monde, les scientifiques s’appuient de plus en plus sur de puissantes sources de données et autres outils très performants qu’ils sont bien souvent incapables de comprendre entièrement; selon une nouvelle étude, l’existence de « boîtes noires », c’est-à-dire des processus impossible à expliquer clairement, nuit à la confiance du public envers les résultats obtenus.
Les auteurs de ces travaux, qui ont été publiés dans BioScience, se sont ainsi intéressés à la capacité de reproduire les résultats obtenus lors d’expériences impliquant l’utilisation de l’intelligence artificielle, de données satellites, d’informations numériques, etc.
Si ces nouvelles technologies permettent d’accomplir de grandes choses avec une fraction des ressources qui auraient été autrefois nécessaires, « plusieurs de ces outils représentent de véritables boîtes noires, puisqu’ils n’offrent aucune information sur les processus menant aux résultats obtenus », déplore ainsi Ivan Jaric, chercheur à l’Université de Paris-Saclay et principal auteur de l’étude.
« Les outils en question appartiennent souvent à des compagnies privées qui limitent volontairement l’accès aux informations sur le fonctionnement de leurs systèmes et sur la façon dont ils traitent les données, au nom de la propriété intellectuelle et d’impératifs commerciaux. »
De l’avis des spécialistes, ces boîtes noires se multiplient entre autres dans les domaines de l’environnement et de la conservation des espèces et des habitats.
Sans surprise, c’est du côté des larges modèles langagiers et d’autres technologies liées à l’IA que l’on trouve les exemples les plus flagrants de boîtes noires.
Car si ces systèmes informatiques sont de plus en plus utilisés pour passer au peigne fin des montagnes de données, interpréter des images satellites, ou encore modéliser des écosystèmes, les chercheurs ont peu, ou pas accès aux données utilisées pour former ces modèles d’IA, pas plus qu’ils n’ont accès aux principes derrière le fonctionnement des algorithmes.
Et pour les auteurs des travaux, donc, à mesure que l’IA devient de plus en plus compétente, ce manque de transparence rendra les résultats scientifiques « plus difficiles à interpréter et vérifier », écrivent-ils par voie de communiqué.
La chose est aussi vraie pour les moteurs de recherche et les médias sociaux, qui sont devenus des sources importantes de connaissances scientifiques, avec les années, et qui fonctionnent eux aussi selon des algorithmes appartenant à des entreprises.
Vous aimez nous lire et nous écouter? Pour continuer de vous offrir nos contenus, nous avons besoin de vous.
Pour seulement 5$ par mois, contribuez au succès de Pieuvre et obtenez l’accès à La Voûte, une série d’épisodes exclusifs du podcast Rembobinage. Abonnez-vous dès aujourd’hui!
Des outils complexes qui créent une dépendance
« Le problème va également au-delà des questions commerciales », indique pour sa part la professeure Karan Anderson, de l’Université d’Exeter, une autre des autrices de l’étude.
« Les outils scientifiques modernes sont aussi en passe de devenir si complexes, sur le plan technique, que leurs utilisateurs, et même parfois leurs développeurs, peuvent éprouver des problèmes à les comprendre et à saisir leur fonctionnement. »
Il faut aussi tenir compte de la culture du « publie ou meurs », en vertu de laquelle les scientifiques sont sous pression pour publier le plus d’études, travaux et autres articles spécialisés possible, afin de demeurer compétitifs.
Au-delà des dangers en matière de monopoles, d’obstacles à la pratique d’une science « ouverte » et des risques de manipulation, les chercheurs mettent aussi en garde contre le fait que cette tendance pourrait nuire à la capacité de reproduire les expériences et les résultats obtenus.
Après tout, lit-on encore dans l’étude, « si des étapes clés ne peuvent pas être évaluées ou répétées, la confiance envers les résultats obtenus pourrait s’effriter« .
Des solutions possibles
Pour régler ce vaste problème, les chercheurs proposent plusieurs solutions pour améliorer la transparence et l’imputabilité de ces « boîtes noires ».
Entre autres idées, on suggère de favoriser les logiciels et le matériel libres aussi souvent que possible, comparer les résultats selon plusieurs méthodes différentes et documenter le fonctionnement des outils.
« La supervision humaine doit demeurer centrale pendant l’ensemble du processus de recherche, particulièrement en raison du fait que ce sont les auteurs des études qui doivent accepter la responsabilité des erreurs et incertitudes fournies par les outils à boîte noire », rappelle Michael Bertram, de l’Université de Stockholm, qui a lui aussi coécrit les travaux.
