Les travaux rédigés par ChatGPT ne sont pas encore à la hauteur des textes écrits par de véritables étudiants, révèle une étude de l’Université d’East Anglia.
Cette recherche, publiée dans Written Communications, a comparé le travail de 145 étudiants avec des textes générés par le logiciel développé par OpenAI.
Et si ces derniers ont été jugés comme étant d’une cohérence surprenante, en plus d’avoir du sens sur le plan grammatical, ils échouent dans un domaine bien spécifique: il leur manque une touche personnelle.
De l’avis des chercheurs, à mesure que la frontière entre humains et machines devient de plus en plus floue, ces travaux soulignent l’importance d’alimenter le sens critique et les connaissances éthiques à l’ère du numérique.
Les auteurs de l’étude espèrent ainsi que leurs conclusions pourront aider les éducateurs à détecter les tricheurs, en reconnaissant plus facilement les textes rédigés par des machines. Ainsi, comme le rappelle le professeur Ken Hyland, « depuis qu’il a été rendu accessible au public, le logiciel ChatGPT a provoqué beaucoup d’anxiété chez les enseignants, ceux-ci craignant que les élèves et étudiants ne l’utilisent pour écrire leurs dissertations ».
« On a ainsi peur que ChatGPT et d’autres outils de rédaction assistée par l’IA ne facilitent la triche et viennent affaiblir les capacités fondamentales en matière de littératie et de pensée critique. Cela est particulièrement inquiétant, dû au fait que nous ne disposons pas, pour l’instant, d’outil efficace pour détecter les textes écrits par l’IA. »
Toujours au dire du Pr Hyland, c’est dans cette perspective que l’équipe de recherche « voulait voir à quel point l’IA pouvait imiter la rédaction de textes par les humains, particulièrement en ce qui concerne la façon dont les auteurs interagissent avec les lecteurs ».
Les auteurs de l’étude ont donc comparé 145 textes rédigés par des humains et 145 autres écrits par l’ordinateur. « Nous voulions surtout examiner ce que nous appelons des « marqueurs d’engagement », comme des questions et des commentaires personnels », a poursuivi le Pr Hyland.
Des textes bien écrits, mais impersonnels
Résultat? « Nous avons découvert que les dissertations des vrais étudiants contenaient généralement une vaste gamme de stratégies d’engagement, ce qui les rendaient plus interactives et persuasives. Elles débordaient de questions rhétoriques, d’apartés personnels, et d’appels directs au lecteur – toutes des techniques qui améliorent la clarté d’un texte, renforcent les connexions et permettent de solidifier un argument. »
À l’opposé, a encore indiqué le professeur, « les textes écrits par ChatGPT, s’ils étaient solides sur le plan linguistique, étaient plus impersonnels. Ces dissertations immitent les conventions académiques en matière de rédaction, mais le logiciel est incapable d’injecter une touche personnelle, ou de prendre réellement position ».
« Cela reflète la nature des données qui ont servi à entraîner ce modèle de langage et ses méthodes d’apprentissage statistique, qui priorisent la cohérence, plutôt que les nuances conversationnelles », a-t-il ajouté.
Malgré ses imperfections, l’étude ne vise pas à rejeter le rôle que pourrait jouer l’IA dans les salles de classe, écrivent ses auteurs.
Ceux-ci affirment plutôt que ChatGPT et consorts devraient servir d’aides à l’enseignement, plutôt que de racourcis.
« Lorsque les étudiants viennent à l’école ou à l’université, on ne leur apprend pas seulement comment écrire, mais aussi comment penser – et cela, aucun algorithme ne peut le répliquer », martèle le Pr Hyland.
