Dans Diplomacy, un jeu de stratégie se déroulant en Europe, au tournant du 20e siècle, la victoire ne dépend pas de la chance, mais de la capacité à négocier. Les joueurs, représentant chacun une superpuissance, passent une bonne partie de leur temps à créer des liens de confiance, former des alliances, avant de trahir leurs opposants (ou leurs alliés) pour s’emparer de territoires. Comment cela se fait-il qu’une intelligence artificielle soit capable de triompher de joueurs en chair et en os?
Le distributeur du jeu, Avalon Hill, aura beau affirmer que « le négociateur le plus adroit atteindra la victoire », il n’en reste pas moins que des chercheurs ont cherché à comprendre pourquoi, en 2022, lorsqu’un modèle IA a participé à un tournoi de Diplomacy en ligne, l’ordinateur a ainsi triomphé des humains pendant 40 parties.
S’agit-il d’un logiciel capable de maîtriser l’art particulièrement complexe des communications entre humains, avec leurs subtilités, leurs non-dits, et plus encore?
De l’avis des chercheurs, rattachés à l’Université du Sud de la Californie (USC), de l’Université du Maryland, de Princeton et de l’Université de Sydney, les apparences peuvent en fait être trompeuses.
Les auteurs de l’étude se sont demandé comment CICERO, un modèle d’IA développé par Meta, la maison-mère de Facebook, réussissait à l’emporter.
Ces victoires, ont-ils constaté, découlent davantage des capacités stratégiques de l’IA, plutôt que de ses talents en communication qui, affirment les chercheurs, sont toujours à la traîne des méthodes humaines.
Au dire des auteurs de l’étude, les résultats obtenus pourraient permettre d’améliorer les capacités de l’IA à communiquer avec les humains, en plus de planifier des gestes à saveur stratégique; non pas uniquement pour les parties de jeu de société, mais aussi pour surmonter des problèmes de la vie courante.
« Nous nous penchons sur cette question parce que nous voulons modéliser les communications entre l’IA et les humains », a déclaré Jonathan May, professeur associé à l’USC et coauteur de l’étude. « Au coeur de cette étude, il y a une question aussi importante que difficile à répondre: à quel point l’IA est-il en mesure de bluffer? »
Décoder les communications
Pour en avoir le coeur net, les chercheurs ont organisé une série de parties de Diplomacy, poussant CICERO à affronter des joueurs humains. Pendant 24 parties et 200 heures de compétition, ils ont ainsi récolté plus de 27 000 messages échangés. Comparativement à de précédents travaux, les auteurs de l’étude se sont détournés du taux de victoire impressionnant de CICERO pour plutôt s’intéresser à sa capacité d’utiliser les talents de bluff et de communications qui se retrouvent au coeur du jeu de société.
Afin d’évaluer la capacité de bluff de l’IA, l’équipe a développé un système d’analyse des conversations s’appuyant sur une technique appelée représentation sémantique abstraire (RSA), qui transpose des messages en langage naturel complexe vers des données utilisables par l’ordinateur.
Cette RSA a permis aux chercheurs de comparer ce que les joueurs disaient vouloir accomplir, dans leurs messages, à ce qu’ils accomplissaient vraiment dans le jeu. Par exemple, si l’Allemagne disait à l’Angleterre « je vais soutenir votre invasion de la Suède au prochain tour », les chercheurs iraient vérifier si le joueur concerné avait bel et bien offert un appui – ou plutôt posé un geste contradictoire.
Ladite méthode a permis aux chercheurs d’identifier des cas de bluff et de persuasion, en plus de comparer les capacités de communication de CICERO à celles des humains.
La stratégie dépasse la communication
Malgré le fait que CICERO a remporté 20 des 24 parties comprises dans l’étude, la recherche a démontré que ses messages étaient parfois incohérents, et ne reflétaient pas les véritables intentions stratégiques de l’ordinateur.
« Si vous portez attention à ce que la machine dit à propos de la partie, c’est du n’importe quoi », soutient le Pr May. « Ce que l’IA raconte, ce sont des choses que des joueurs de Diplomacy ont déjà dites. Cela ne reflète pas ce qu’elle fait. »
Les scientifiques ont aussi mené des expériences où les capacités de communication de CICERO ont été limitées de diverses façons. Lors de certaines parties, l’IA ne pouvait pas du tout envoyer de messages, tandis que dans d’autres, ses échanges étaient limités à des informations stratégiques de base. Modifier ces paramètres n’ont pas vraiment eu d’impact sur les résultats obtenus, ce qui porte à croire que les négociations ont peu à voir dans le talent de l’ordinateur à Diplomacy.
Les humains, de leur côté, étaient des maîtres du mensonge. L’étude a révélé que CICERO était moins traître et moins persuasif que ses adversaires, en plus d’être moins susceptible d’être convaincu d’agir d’une façon ou d’une autre.
Les humains ont aussi menti davantage et plus efficaces à convaincre d’autres humains, comparativement à CICERO. Et lorsque ces joueurs faits de chair et de sang ont découvert que CICERO était une IA, ils se sont mis à lui mentir plus souvent.
« Ce qui rend CICERO si bon à Diplomacy, c’est que l’IA a enregistré un grand nombre de parties, et sait donc comment jouer », a expliqué le Pr May. « L’ordinateur peine à être vraiment convainquant ou vraiment retors, et ne réagit pas vraiment à ce que disent les autres joueurs. »
Bien qu’il ne s’agisse que d’un jeu, comprendre la nature des mensonges de l’IA à Diplomacy pourrait ouvrir la voie à de nouvelles études sur des formes plus importantes de communication antagoniste.
Au dire du Pr May, ces nouvelles informations pourraient aider à développer des applications pour combattre les menaces générées par L’IA dans des scénarios réalistes, comme un assistant numérique qui aide des humains à identifier de la désinformation et indiquer à qui faire confiance en ligne.
