Alors que l’intelligence artificielle gagne en puissance, la population doit s’assurer que de tels systèmes ne sont pas utilisés par des régimes autoritaires pour centraliser le pouvoir et cibler certains citoyens en particulier, a déclaré dimanche Kate Crawford, chercheuse chez Microsoft.
Lors de sa présentation donnée au festival SXSW, intitulée Dark Days: AI and the Rise of Facism, Mme Crawford, qui étudie l’impact social de l’apprentissage-machine et des systèmes de données à grande échelle, a donné quelques méthodes selon lesquelles des systèmes automatisés et leurs biais encodés pouvaient être mal utilisés, particulièrement lorsqu’ils tombent entre de mauvaises mains.
« Au moment où nous constatons une augmentation de l’utilisation de l’IA, quelque chose d’autre se produit: la montée de l’ultranationalisme, de l’autoritarisme de droite, et du fascisme », dit-elle. Tous ces mouvements ont des caractéristiques communes, y compris le désir de centraliser le pouvoir, surveiller les populations, dépeindre négativement les étrangers et accaparer l’autorité sans être redevable. L’apprentissage-machine peut être une partie importante des méthodes autoritaires, a-t-elle poursuivi.
L’un des principaux problèmes de l’intelligence artificielle est que ce type de système est souvent empreint, secrètement, de préjugés humains. La chercheuse a ainsi décrit une partie d’une étude provenant de l’Université Jia Tong, à Shanghai, où les auteurs ont affirmé avoir développé un système pouvant prédire les comportements criminels en fonction des caractéristiques du visage des personnes examinées. La machine a été formée à l’aide des photos de documents d’identification du gouvernement chinois, analysant les visages des criminels et des gens innocents pour identifier des caractéristiques spécifiques. Les chercheurs ont affirmé qu’aucun préjugé n’était à l’oeuvre.
« Nous devrions toujours être sceptiques lorsque des systèmes d’apprentissage-machine sont décrits comme étant sans préjugés, s’ils ont été conçus à partir de données générées par des humains », a soutenu Mme Crawford. « Nos préjugés et nos biais sont intégrés dans ces informations servant à la formation. »
Dans l’étude chinoise, il est apparu que les visages des criminels étaient plus uniques que ceux des citoyens innocents. « Les gens ayant un visage différent étaient plus à risque d’être considérés comme indignes de confiance de la part de la police et des juges. Voilà un préjugé. Cela serait un système terrifiant si un autocrate mettait la main dessus », a dit la spécialiste.
Cette dernière n’a pas manqué de rappeler « la sale histoire » des gens utilisant les caractéristiques du faciès pour « justifier l’injustifiable ». Les principes de la phrénologie, une pseudoscience qui s’est développée à travers l’Europe et aux États-Unis au 19e siècle, ont été employés pour justifier l’esclavage et les persécutions des juifs par les nazis.
Avec l’intelligence artificielle, ce genre de discrimination peut être dissimulée dans une « boîte noire algorithmique », comme cela semble être le cas avec une entreprise appelée Faceception. Cette firme soutient pouvoir tracer les personnalités d’individus en s’appuyant sur leurs visages. Dans son propre matériel promotionnel, la compagnie suggère que les gens au faciès moyen-oriental et portant la barbe sont des « terroristes », tandis que les femmes blanches à la coupe de cheveux à la mode sont des « ambassadrices de marque ».
Un autre domaine où l’IA peut être employée à mauvais escient est lors de la constitution de registres, qui peuvent ensuite être utilisés pour cibler certains groupes plutôt que d’autres. IBM avait ainsi aidé les nazis à établir une liste des juifs, des Roms et d’autres groupes ethniques, et une méthode similaire avait été employée durant l’apartheid sud-africain.
Aux États-Unis, le président Donald Trump a laissé entendre qu’il voulait créer un registre musulman. « Nous avons déjà ça. Facebook est devenu, par défaut, le registre des musulmans de la planète », a dit Mme Crawford, en mentionnant une étude de Cambridge révélant qu’il était possible de prédire l’orientation religieuse des gens en fonction de ce qu’ils « aiment » sur le réseau sociaux. Ainsi, chrétiens et musulmans étaient correctement identifiés 82% du temps, et des résultats similaires ont été obtenus en tentant de départager démocrates et républicains (85% des cas).
Mme Crawford s’inquiète aussi de l’utilisation potentielle de l’IA dans des systèmes prédictifs, qui recueillent déjà les données nécessaires pour former un système automatisé. De tels systèmes sont imparfaits, comme l’a démontré un programme testé à Chicago: ledit programme n’a pas permis de réduire le crime, mais a plutôt fait augmenter le harcèlement des gens dans les zones à risque. Plus tôt cette année, le département américain de la Justice a conclu que la police de cette ville avait utilisé une « force illégale » pendant des années, et que les quartiers noirs et hispaniques avaient été les plus touchés.
Une autre crainte concerne la manipulation des convictions politiques, quelque chose que Facebook et Cambridge Analytica disent déjà pouvoir accomplir. Si Mme Crawford dit douter des affirmations voulant que Cambridge Analytica soit liée au Brexit et à l’élection de Donald Trump, mais croit que ce que l’entreprise promet – utiliser des milliers de données sur des gens pour déterminer une façon de manipuler leurs opinions – sera possible « dans les prochaines années »
« C’est le rêve fasciste. Le pouvoir sans l’imputabilité. »
