Lorsque l’on cache la vérité à des individus, et qu’on leur dit que des textes créés par une IA générative ont en fait été écrits par des humains, ces histoires seront alors les mieux cotées, indique une nouvelle étude récemment publiée dans Judgement and Decision Making.
De l’avis des auteurs, rattachés à l’Université Villanova, cela vient renforcer l’idée que la plupart des gens sont largement incapables de détecter des contenus créés par un ordinateur.
Pour parvenir à leurs conclusions, les chercheurs ont regroupé des participants âgés de 18 à 81 ans, à qui on a demandé de distinguer entre des nouvelles écrites par des humains, et d’autres rédigées par l’IA; d’évaluer la qualité et l’appel de chaque texte, et d’indiquer s’ils pouvaient détecter la présence de contenu produit par une machine.
Les spécialistes ont utilisé trois nouvelles fictives écrites par des auteurs humains et publiées dans des magazines littéraires, ou dans des collections de nouvelles, aux côtés de trois autres nouvelles générées par ChatGPT.
Au cours du premier test, 1682 participants ont été invités à lire une nouvelle, avant de se faire dire, de façon correcte ou incorrecte, qu’elle avait été écrite par un humain ou par l’IA. Ces mêmes participants ont ensuite évalué la qualité et l’attrait de ce texte.
Lors des deuxième et troisième tests, d’autres participants (424 et 481 personnes, respectivement) ont reçu une histoire écrite par un humain, et une autre écrite par l’IA, mais sans en connaître l’origine. Après les avoir lues, on leur a demandé d’identifier l’auteur de chaque texte.
Enfin, on a aussi demandé aux participants de parler de leur expérience avec des plateformes d’IA telles que ChatGPT, ainsi que leur connaissance de la littérature de fiction.
Vous aimez nous lire et nous écouter? Pour continuer de vous offrir nos contenus, nous avons besoin de vous.
Pour seulement 5$ par mois, contribuez au succès de Pieuvre et obtenez l’accès à La Voûte, une série d’épisodes exclusifs du podcast Rembobinage. Abonnez-vous dès aujourd’hui!
Un bon résultat pour l’IA
Les chercheurs ont ainsi découvert que les textes générés par l’IA avaient été jugés comme étant d’une qualité d’écriture supérieure, mais aussi comme étant plus intéressantes que les textes écrits par des humains.
Et lorsque les participants croyaient que les textes produits par l’ordinateur avaient en fait été rédigés par un véritable auteur, les pointages étaient encore plus élevés.
Enfin, la capacité des individus à identifier correctement le contenu généré par IA n’était que d’environ 40%, soit moins que des tentatives reposant uniquement sur le hasard, lors du deuxième test, et de près de 52%, soit l’équivalent du hasard, lors du troisième test.
De l’avis de la Dre Deena Weisberg, principale autrice de l’étude, « je dirais que le fait que les participants aient évalué plus positivement les histoires écrites par l’IA, alors qu’on leur avait dit que les auteurs étaient humains, révèle un biais en faveur des textes écrits par de véritables personnes ».
« Nous assumons que l’écriture nécessite des qualités uniquement humaines, comme la capacité à comprendre les émotions et le fait d’avoir un bagage d’expérience, ce qui mène les gens à sous-estimer les « talents » de l’IA. Je dirais que la vision du public à propos des capacités de l’IA est de plus en plus dépassée. »
Mais pourquoi les humains semblent-ils préférer des oeuvres « créées » par des machines?
« L’écriture artificielle semble être plus claire, plus directe et plus facile à comprendre », explique la Dre Weisberg.
« Par comparaison, les textes écrits par des humains sont souvent plus subtils et complexes. Par exemple, les versions IA de nos histoires présentaient clairement leurs thèmes, plutôt que de permettre aux lecteurs de trouver un sens à partir des mots et des actions des personnages. »
Toujours selon la Dre Weisberg, « nous entendons beaucoup de choses à propos de la crise en matière de litératie, de la diminution de la capacité d’attention et de l’influence de plateformes comme TikTok. Mais je ne pense pas que nous pouvons dire que nos conclusions, dans cette étude, sont entièrement imputables à la consommation médiatique contemporaine. C’est plus le fait que ces technologies amplifient des tendances existantes, plutôt que d’en créer de nouvelles ».
