L’IA générative ChatGPT est-elle une « gratteuse de guitare » du Plateau-Mont-Royal, à Montréal? Voyage-t-elle en Bixi? Selon une nouvelle étude menée par l’Université d’East Anglia et rassemblant des chercheurs britanniques et brésiliens, la plateforme numérique afficherait ainsi un important biais politique en faveur de la gauche.
Publiées dans Public Choice, les conclusions des travaux indiquent que ChatGPT favorise les démocrates aux États-Unis, les travaillistes au Royaume-Uni, et le Parti des travailleurs et le président Lula da Silva au Brésil.
Au dire des chercheurs, il ne s’agit pas de la première occasion où des questions sont posées quant à un possible biais politique de ChatGPT, mais c’est la première étude du genre réalisée à grande échelle, en s’appuyant sur des données concrètes.
Selon le principal auteur des travaux, le Dr Fabio Motoko, « avec l’utilisation croissante, par le public, de systèmes alimentés par l’IA pour rechercher des faits et créer de nouveaux contenus, il est important que le résultat fourni par des plateformes importantes comme ChatGPT soit aussi impartial que possible. La présence de biais politiques peut influencer la vision des utilisateurs et a d’éventuelles implications en matière de procédés politiques et électoraux. Nos conclusions viennent renforcer les inquiétudes voulant que les systèmes d’IA pourrait répliquer, voire amplifier, les défis existants sur internet et les médias sociaux ».
Les chercheurs affirment avoir mis au point une nouvelle méthode « innovante » pour évaluer la neutralité politique de ChatGPT. La plateforme a été appelée à jouer le rôle de plusieurs personnes réparties à travers le spectre politique, tout en répondant à une soixantaine de questions idéologiques. Les réponses ont ensuite été comparées aux réponses par défaut de la plateforme pour les mêmes questions.
Cela a permis aux chercheurs de mesurer à quel point les réponses de ChatGPT étaient associées à un positionnement politique spécifique.
Pour surmonter les difficultés associées à l’aspect aléatoire inhérent aux « modèles langagiers de grande taille » qui alimentent les plateformes d’IA comme ChatGPT, chaque question a été posée 100 fois, et toutes les réponses ont ensuite été recueillies, avant d’être soumises à une étape supplémentaire visant à améliorer la fiabilité des données obtenues.
« Nous avons créé cette procédure parce que mener une seule ronde de questions, à des fins de test, n’est pas suffisant », affirme le coauteur Victor Rodrigues. « En raison du côté aléatoire du modèle, même lorsqu’il s’imaginait être un démocrate, les réponses de ChatGPT penchaient parfois vers la droite du spectre politique. »
Une série de tests supplémentaires ont été effectués pour s’assurer que la mesure soit aussi rigoureuse que possible.
« Nous espérons que notre méthode aidera à l’évaluation et à la réglementation de ces technologies faisant l’objet d’un développement rapide », indique un autre coauteur de l’étude, le Dr Pinho Neto. « En permettant la détection et la correction des biais des larges modèles langagiers, nous cherchons à promouvoir la transparence, l’imputabilité et la confiance du public envers cette technologie », ajoute-t-il.
Les chercheurs affirment que leur outil d’analyse sera rendu disponible gratuitement, en plus d’être relativement facile à utiliser pour le public, en venant ainsi « démocratiser la surveillance », estime le Dr Motoko. En plus de détecter les biais politiques, l’outil peut être employé pour mesurer d’autres types de biais dans les réponses de ChatGPT, affirme-t-on.
Si les chercheurs n’ont pas cherché à déterminer les raisons de l’existence du biais politique, les conclusions des travaux évoquent deux sources potentielles.
La première se trouve du côté des données ayant servi à « l’entraînement » de l’IA, qui pourraient comporter des biais de leur côté, ou ces biais pourraient avoir été ajoutés par les développeurs humains, qui n’auraient ensuite pas réussi à « nettoyer » cet aspect.
La deuxième source potentielle serait au sein de l’algorithme lui-même, qui pourrait amplifier des biais existants au sein des données servant à l’apprentissage machine.