L’IA de Chat GPT va-t-elle remplacer le professeur ?

Nous avons interwievé Chat GPT pour savoir s’il allait bientôt nous remplacer…

Vous avez probablement déjà croisé un des chat bots qui vous proposent de l’aide en ligne sur les sites internet de votre banque, votre assureur ou votre fournisseur d’accès à internet. Leurs capacités d’interaction sont souvent bien limitées : ils apportent surtout une alternative aux FAQ. Ce temps est désormais révolu ! Ces dernières semaines, tout le monde parle d’un nouveau type de bot : Chat GPT qui a été lancé en novembre 2022. Pourquoi ce chat basé sur une IA est-il en train de changer la donne au point de faire parler sur les réseaux autant d’enseignants et d’étudiants et que certains professeurs déclarent que nous allons devoir revoir en profondeur nos outils d’évaluation ?

On dit qu’il peut tout faire : rédiger un résumé de texte, répondre à une question d’examen, créer des exercices avec corrigé, générer un code informatique, inventer une histoire ou encore rédiger une lettre de motivation… tout en interagissant avec vous au point que vous aurez l’impression d’avoir une conversation avec lui. Vérifions ce qu’il en est et tâchons de voir si ces IA sont sur le point d’être une alternative au professeur pour nos élèves…

Chat GPT, qu’est-ce que c’est ?

C’est un prototype d’agent conversationnel développé par l’organisation de recherche en intelligence artificielle OpenIA. On parle de « modèle de langage ». Il n’a pas accès aux informations Internet, ni aux actualités et il ne répond qu’en fonction du très vaste corpus de connaissances (wikipedia n’en représente qu’environ 1%) et des millions de conversations qui lui a été fournis pendant son apprentissage. Quand on lui demande ce qu’il est, voici ce qu’il nous répond :

Pour l’utiliser, vous devez vous inscrire sur le site de Open IA en leur donnant quelques informations personnelles (mail et numéro de téléphone), puis vous pouvez accéder gratuitement à Chat GPT. Il peut alors échanger en français avec vous.

Un premier exemple : la lettre de motivation

La lettre n’est pas parfaite mais on voit qu’avec le peu d’informations qu’on lui a fournies, il a très bien su adapter notre demande au contexte français et extrapoler suffisamment pour donner un contenu intéressant. La structure d’une lettre de motivation est évidemment correctement proposée. En bref : c’est mieux que ce que nombre de nos étudiants pourraient proposer spontanément… Ça manque de personnalisation mais il est à prévoir que nos étudiants vont s’approprier Chat GPT très rapidement : nous allons désormais voir essentiellement du copier/coller sur Parcoursup !

Passons à des questions de technologie du domaine des BTP

Commençons avec une question d’enveloppe du bâtiment qui mêle technologie et sciences, à propos du comportement hygro-thermique des parois. La réponse initiale est intéressante car elle énonce la loi physique mise en jeu et expose les données d’entrée ; une affirmation un peu simpliste sur le flux de vapeur d’eau nous laisse cependant sur notre faim … C’est alors qu’entre en jeu une fonction décisive de Chat GPT : si la réponse ne vous convient pas, vous pouvez demander qu’une nouvelle réponse soit générée. C’est en cumulant plusieurs réponses qu’on parvient à un résultat plutôt correct. Vous pouvez faire défiler ses réponses successives en cliquant sur les flèches à gauche de la réponse.

Voici ce que propose Chat GPT sur une question de technologie un peu pointue dans le domaine des travaux publics : la boîte à sable. Si on ne lui donne pas de contexte, il répond à côté et parle de bac à sable pour enfants ! Mais dès qu’on précise la question, on voit que son corpus de connaissances est assez vaste. La réponse est trop longue, tourne un peu en rond et contient des imprécisions mais l’essentiel est là dans certains paragraphes.

C’est donc à l’utilisateur de faire le tri, de critiquer les réponses fournies pour obtenir une réponse qui écarte les principales erreurs. Et c’est là le principal problème de Chat GPT, il semble qu’il faille être un utilisateur averti pour faire le tri dans ses réponses, d’autant plus que la formulation de chacune de ses assertions peut donner l’impression que sa réponse est juste et vraie.

Prenons à présent des exemples de mécanique des structures et résistance des matériaux pour approfondir cet aspect des limitations de Chat GPT.

Questionnons-le sur les contraintes. Ses premières réponses sont décevantes alors qu’on aurait pu penser que son corpus de connaissances dans le domaine serait plutôt riche et cohérent. Quand on lui demande de préciser en lui faisant constater une erreur ou une lacune, il répond à chaque fois en commençant par un « Je suis désolé… ». Comme nous allons le pousser dans ses retranchements, ce n’est que le début d’une longue série.

La question de cours sur le concept de contraintes n’est pas vraiment concluante, tentons la résolution d’un exercice de RdM. Pour commencer, nous ne lui donnons pas toutes les données requises pour résoudre l’exercice afin de voir comment Chat GPT réagit. Non seulement, il ne liste pas ces données manquantes, mais il propose une formule qui n’est pas la bonne : cette formule existe mais elle n’est pas adaptée au problème qu’on lui expose.

Retentons la question avec les données qui permettent de résoudre l’exercice : portée et caractéristiques du profilé métallique utilisé. Il reproduit l’erreur sur la formule (ce qui est plutôt cohérent), mais il fait une erreur importante sur le type de profilé IPE300 qu’il semble ne pas reconnaître et qu’il confond avec une poutre de section rectangulaire.

Il faut alors interagir bien plus avec Chat GPT pour tenter de corriger ses erreurs et d’obtenir une réponse plus conforme à nos attentes. Tout d’abord pour la formule de la contrainte normale : en lui donnant un indice plus précis (« utilise le moment fléchissant »), il parvient à orienter sa réponse mais la formule proposée est à nouveau fausse. Et là, le problème est pire, car la formule n’existe pas (bien que cohérente au niveau des unités).

Comme sa réponse basée sur la section de poutre nous pique les yeux, nous allons lui dire de travailler avec le moment quadratique. Nous devons aussi lui indiquer son erreur à propos de l’OTUA.

Chat GPT commence à faire n’importe quoi (quoique ça n’était déjà pas très convainquant jusque là), les formules sont ajustées en fonction de nos remarques et n’ont plus de sens ou de cohérence en terme d’unités. Et il fait semblant de connaître l’OTUA sans aller y chercher le bon moment quadratique du profilé IPE300.

C’est un échec sur ce point, tentons d’obtenir une réponse correcte avec un simple calcul de moment fléchissant.

Il est à noter qu’il n’est pas nécessaire de redonner toutes les informations à Chat GPT. Il est capable de continuer la « discussion » en intégrant les informations des échanges précédents. C’est à ce niveau que Chat GPT est bluffant : c’est vraiment un agent conversationnel piloté par une IA efficace qui donne l’illusion d’une discussion construite, articulée.

Quant au fond, c’est à nouveau un échec, la formule est fausse… Faisons lui quand même remarquer !

Nous avons poussé les questions/réponses pour voir comment Chat GPT se comportait mais il est évident qu’en usage normal, nous aurions quitté l’échange bien plus rapidement… Il est cependant possible qu’un étudiant aurait pris la première formule qui lui était proposée !

Jusqu’où Chat GPT est-il capable d’avoir du recul sur ses connaissances et capacités ?

Orientons l’échange avec le bot dans une autre direction pour voir comment il appréhende son corpus et ses échanges avec ses utilisateurs. Commençons avec la formule fausse, donnons-lui la bonne formule et voyons comment il l’intègre.

La façon dont il va induire des utilisateurs en erreur est un des problèmes importants de Chat GPT. Essayons de voir si cette IA a conscience de cette limite.

Il est temps de poser LA question qui nous taraude…

… sur la place de l’IA dans l’enseignement, en espérant qu’elle ne réponde pas que le temps des enseignants est déjà révolu… Sa réponse est plutôt rassurante. On voit ici une tendance qui a été constatée par beaucoup d’utilisateurs : Chat GPT recommande de se tourner vers les experts et reconnaît que son corpus reste limité, sa maîtrise du corpus est imparfaite et ses capacités ne vont pas au-delà de ce pour quoi il a été créé.

Comme nous verrons arriver dans nos métiers comme dans beaucoup d’autre la révolution de l’IA et des robots, demandons directement à Chat GPT comment nous allons pouvoir travailler avec eux :

Pour conclure cet échange avec une IA, demandons-lui comment il exploite les échanges avec les nombreux utilisateurs simultanés (à son lancement, Chat GPT avait atteint le million d’utilisateurs en moins d’une semaine) pour enrichir son interaction avec nous et la qualité de ses réponses. Sur ce point, il reste encore limité : il ne le fait pas et les processus sont tous indépendants.

Pour nous rassurer sur l’avenir de l’utilisation de ces modèles de langages pour des tâches dédiées aux élèves, il y a un point sur lequel nous avons une grande avance : l’interaction avec un groupe d’élèves et le fait d’enrichir nos réponses en temps réel avec les questions et remarques des uns et des autres. Cela, Chat GPT n’est pas conçu pour le faire. Nous avons une capacité supplémentaire : nous pouvons dire que nous ne savons pas encore mais que nous chercherons pour être en mesure de proposer une réponse la semaine suivante…

En conclusion :

Nous avons vu des aspects où Chat GPT est très performant comme la rédaction d’une lettre de motivation ou des réponses à des questions de technologie ou de sciences. En cherchant des articles ou des vidéos sur Internet, vous trouverez de nombreux exemples où Chat GPT est époustouflant. Nous avons par contre aussi exploré les limites de cette IA et elles sont nombreuses : on peut constater que l’utilisation par les étudiants reste très hasardeuse, parce qu’ils risquent de prendre les réponses sans distance, mais aussi parce que Chat GPT les induit en erreur sans nuance, ni avertissement. Nous n’en sommes cependant plus au bilan pas vraiment concluant sur l’IA qui permet de se donner rendez-vous dans 5 ans pour en reparler. L’outil est tellement performant sur certains aspects, et la vague médiatique que nous avons vue déferler est tellement irréversible, que nous allons devoir compter sur l’usage, à tort ou à raison, de ces nouveaux outils. Adaptons-nous vite !