Le 25 octobre 2024, 10 jours avant l’élection présidentielle qui permettrait à Donald Trump de revenir à la Maison-Blanche, et plus de trois mois après que Kamala Harris eut été choisie comme candidate démocrate, ChatGPT indiquait encore à ses utilisateurs que Joe Biden tentait d’obtenir un deuxième mandat à la tête des États-Unis.
Ce qui est décrit comme un « échec flagrant aux implications démocratiques majeures » est détaillé dans une nouvelle étude, où l’on indique comment ce modèle d’IA générative a présenté des mensonges avant la tenue de ce scrutin aux enjeux particulièrement importants.
Ainsi, les chercheurs ont révélé que moins de deux semaines avant le jour de la présidentielle de 2024, près de 10% des déclarations de ChatGPT à propos des élections étaient fausses. Toujours selon les auteurs, le modèle langagier a aussi utilisé des « omissions », ainsi que de la « bullshit » pour obscurcir la réalité politique.
Les résultats des travaux sont publiés dans Information, Communication & Society.
Selon l’une des coautrices de l’étude, la professeure adjointe Heesoo Jang, bien que ChatGPT soit en mesure de réussir plusieurs tests et d’analyser de grandes quantités de données, le logiciel n’a jamais été conçu pour soutenir les institutions démocratiques, un rôle que les signataires de la Constitution américaine ont jugé comme étant essentiel, lorsqu’ils ont intégré la liberté de la presse comme premier amendement.
« Nous devrions nous inquiéter du fait que si ChatGPT réussit certains examens haut la main, il rate aussi la cible dans des domaines pour lesquels il n’a pas été pensé », indique la Pre Jang.
« ChatGPT est alimenté par des principes de nature commerciale. Il n’est pas conçu pour placer la démocratie au centre de ses considérations. »
Pour tester la compréhension de la présidentielle de 2024 par le modèle langagier, Mme Jang et ses collègues ont transmis des commandes construites de façon partisane et non partisane. Ces commandes portaient sur des informations liées aux élections, à la désinformation et aux menaces, aux candidats, et à Project 2025 – un plan ultra conservateur pour transformer le gouvernement fédéral américain.
Les chercheurs ont posé différents gestes, y compris lancer de nouvelles « conversations » et activer le mode « incognito » de leur navigateur, pour s’assurer que les commandes précédentes n’avaient pas d’influence sur les réponses fournies par la suite.
Pour leur étude, les scientifiques se sont concentrés sur ChatGPT-40 mini, qui était la version gratuite par défaut de ChatGPT offerte aux internautes durant la période visée.
Sur les 592 affirmations vérifiables effectuées en date du 25 octobre 2024, 9,6% d’entre elles étaient inexactes. En plus d’affirmer que Joe Biden était encore dans la course, ChatGPT a menti en déclarant que le gouverneur de la Caroline du Nord à l’époque, Roy Cooper, cherchait à obtenir un autre mandat, alors que cela lui était interdit.
L’étude a aussi révélé que le modèle d’IA avait présenté des suppositions dans 18% des cas, par exemple en offrant des réponses avec les termes « pourrait potentiellement », « en général », et « habituellement ». Dans d,autres cas, le système a omis de l’information essentielle à propos des tentatives visant à faire renverser les résultats de la présidentielle de 2020.
Vous aimez nous lire et nous écouter? Pour continuer de vous offrir nos contenus, nous avons besoin de vous.
Pour seulement 5$ par mois, contribuez au succès de Pieuvre et obtenez l’accès à La Voûte, une série d’épisodes exclusifs du podcast Rembobinage. Abonnez-vous dès aujourd’hui!
Ne pas oublier la bullshit
Comme le soulignent aussi les chercheurs, on ne doit pas oublier la catégorie rassemblant ce qui est appelé bullshit. Ainsi, on a constaté que ChatGPT semblait incapable de reconnaître des termes ayant été « politisés » et redéfinis par des acteurs partisans de la sphère politique, comme l’expression « DEI hire » (embauche de la diversité, en français), utilisée de façon péjorative contre Kamala Harris.
Ainsi, le modèle informatique a défini cette expression comme une personne embauchée pour superviser les efforts de diversité, équité et inclusion au sein d’une organisation.
Dans un autre cas, le robot conversationnel a inventé les plateformes électorales de candidats au poste de responsable de l’ensemble des écoles de la Caroline du Nord, en utilisant un langage qui semblait étrangement similaire pour chaque personne.
« L’ordinateur tentait de combler les vides », explique ainsi la Pre Jang. « Le système ne peut pas nous dire qu’il ne sait pas, parce que ce n’est pas comme ça qu’il a été conçu. »
« Les notions de vérité et d’informations électorales justes – sans oublier la question de la désinformation – ne sont pas des choses auxquelles nous pouvons former les modèles langagiers en s’appuyant uniquement sur des bases de données », juge la Pre Jang.
« Ce serait très difficile, pour ces logiciels, de rattraper leur retard en la matière, à moins qu’ils ne soient conçus pour prioriser la démocratie, ce qui est extrêmement difficile à faire lorsque leur développement est principalement alimenté par des incitatifs commerciaux. »
Selon la chercheuse, la poursuite du développement de l’IA rend le journalisme basé sur des faits encore plus essentiel.
« Nous avons besoin d’un journalisme qui transmet non seulement la vérité, mais qui aide les gens à évaluer cette vérité », estime la Pre Jang. Celle-ci précise que cela veut dire dénoncer la désinformation, éviter les fausses équivalences, et tirer la sonnette d’alarme lorsque les normes démocratiques sont violées.
