L’IA qui apprend le langage de manière autonome développe un langage structuré de la même manière que le langage humain.

Et tout comme nous, les humains, apprenons des générations précédentes, les modèles d’IA s’améliorent lorsqu’ils bénéficient des connaissances de parents plus âgés. C’est ce que démontre une étude de Chalmers et de l’Université de Göteborg, qui explore les mécanismes derrière le langage humain et fournit des connaissances importantes pour le développement de l’IA future.

Les modèles linguistiques basés sur l’IA comme ChatGPT imitent de mieux en mieux le langage humain et sont de plus en plus utilisés comme outil de production de texte. Mais les mêmes types de modèles peuvent également nous apprendre à mieux comprendre comment le langage humain se développe.

Dans l’étude, les chercheurs ont testé la possibilité de laisser l’IA imiter le développement du langage humain en utilisant deux méthodes différentes dans une combinaison non testée auparavant. L’apprentissage par renforcement a été utilisé – où les actions correctes sont récompensées et donc renforcées – et les chercheurs ont laissé les modèles d’IA apprendre les uns des autres au fil des générations.

« Nous avons découvert que les modèles d’IA arrivaient à quelque chose qui est structuré de la même manière que le langage humain, et que l’apprentissage du langage fonctionnait de manière similaire au langage humain. L’étude fournit ainsi des connaissances importantes sur le fonctionnement des modèles d’IA, mais aussi une meilleure compréhension de la manière dont le langage humain se développe », explique Emil Carlsson, qui était au moment de l’étude doctorant à Chalmers et à l’Université de Göteborg.

Toutes les langues s’efforcent d’être efficaces

L’étude s’appuie sur une théorie des sciences cognitives* qui repose sur le fait que tout langage humain est façonné par le besoin de pouvoir communiquer efficacement. En même temps, un équilibre est nécessaire : en tant qu’outil, le langage doit être informatif mais aussi suffisamment simple pour que nous puissions l’apprendre. Et plus il y a d’informations à communiquer, plus le langage doit être nuancé. Un exemple classique est que les langues des climats plus froids ont souvent plus de mots pour la neige et la glace que les langues des climats plus chauds.

Pour tester la théorie et étudier comment les langues deviennent efficaces, les chercheurs ont créé des agents d’IA, différents modèles d’IA, qui étaient autorisés à jouer à une sorte de jeu de communication entre eux. Les agents de l’IA se voyaient montrer une couleur et une liste de symboles associés sans signification. Au fur et à mesure que les agents interagissaient les uns avec les autres, les symboles ont été associés à certaines couleurs et, d’une certaine manière, le langage s’est développé.

« La raison pour laquelle nous avons utilisé des couleurs est qu’il existe de nombreuses données sur la façon dont le spectre des couleurs est nommé dans différentes langues, y compris des données provenant de langues isolées qui n’ont jamais été exposées à d’autres langues. La catégorisation des couleurs varie selon les langues, tant en termes de nombre de mots que de la partie du spectre de couleurs que les mots décrivent », explique Emil Carlsson.

Les récompenses et les échanges générationnels ont donné des résultats pour le développement du langage
Les expériences impliquaient qu’un agent IA communiquait une couleur via l’un des symboles de la liste, et l’agent IA récepteur devait deviner à quelle couleur correspondait le symbole. Les deux agents ont reçu une récompense dans le jeu lorsqu’ils ont progressé dans leur communication. Plus ils se rapprochaient d’un nom commun pour la nuance exacte de couleur choisie par l’agent récepteur, plus de points étaient attribués.

À l’étape suivante, de nouvelles « générations » d’agents d’IA ont été créées, tandis que les anciens agents d’IA ont été progressivement supprimés. Les nouveaux agents IA ont pu voir le dialogue et le langage que la génération précédente avait réussi à développer. Ensuite, les nouveaux agents d’IA ont été autorisés à jouer au même jeu de communication entre eux.

« L’idée était de laisser les agents IA apprendre d’abord une langue des générations précédentes, puis de la développer davantage en communiquant entre eux. Tout comme deux petits enfants qui apprennent en écoutant maman et papa parler, et qui continuent ensuite à élargir et à développer leur propre langage« , explique Emil Carlsson.

Fournit des connaissances sur la façon dont le langage se développe

Le résultat fut un système de dénomination des couleurs similaire au langage humain des couleurs, même si les agents de l’IA n’avaient jamais été en contact avec un tel système.

« Ce qui est intéressant, c’est que c’est précisément la combinaison de la résolution de problèmes dans le jeu, ainsi que l’apprentissage des agents IA des générations précédentes, qui a conduit à des langages efficaces qui ressemblent au langage humain. Lorsque les agents IA ne communiquaient entre eux que pour résoudre le jeu, les langages devenaient trop complexes. Nous avons également essayé de laisser les agents IA apprendre uniquement des générations précédentes, sans avoir à gérer l’aspect résolution de problèmes du jeu, et les langages sont alors devenus beaucoup trop simples, » dit-il.

Selon Emil Carlsson, les résultats indiquent que notre capacité à communiquer et à apprendre les uns des autres est cruciale pour la façon dont le langage se développe au fil du temps.

« Lorsque nous apprenons quelque chose d’une autre personne, sans peut-être en comprendre l’utilité, notre inclination à développer nos connaissances diminue. Mais lorsque nous devons réellement utiliser ce que nous avons appris pour résoudre des problèmes et avancer, c’est à ce moment-là que des langages structurés et efficaces peuvent être créés », dit-il.

Il espère que les résultats apporteront de nouvelles perspectives et idées dans la recherche linguistique, ainsi que dans la recherche en IA et en informatique.

« Il s’agit de connaissances qui peuvent nous aider à mieux comprendre les mécanismes qui sous-tendent le langage humain, mais aussi à comprendre comment fonctionnent les grands modèles linguistiques basés sur l’IA. Cela peut ouvrir la voie à une meilleure maîtrise du développement de l’IA« , déclare Emil Carlsson.

En savoir plus sur la recherche

L’étude « L’évolution culturelle via l’apprentissage itéré et la communication explique les systèmes efficaces de dénomination des couleurs » a été publiée dans le Journal of Language Evolution. Les auteurs sont Emil Carlsson et Devdatt Dubhashi de l’Université de technologie de Chalmers, et Terry Regier, de l’UC Berkeley.

L’étude fait partie de la thèse Reinforcement Learning: Efficient Communication and Sample Efficient Learning, qu’Emil Carlsson a présentée au Département d’informatique et de technologie de l’information de Chalmers et de l’Université de Göteborg.

* En savoir plus sur la théorie des sciences cognitives dans l’étude

La théorie des sciences cognitives sur laquelle se base l’étude, la « Théorie de la communication efficace », mesure l’efficacité du langage de manière strictement mathématique. Selon la théorie, toutes les langues s’efforcent d’être efficaces. Cela signifie que nous voulons d’une part un langage informatif, d’autre part un langage simple, car cela demande moins d’efforts et est plus facile à apprendre. Selon la théorie de l’efficacité, la langue trouve l’équilibre parfait entre ces deux paramètres, et cela peut être différent pour différentes langues et cultures, en fonction des besoins existants.