[!warning] Alerte brouillon Cet article n’est pas encore terminé. Ce qui est écrit représente ma pensée, mais seulement une partie ! En l’état, cela donne une vision doomer des IA génératives, et l’article devra être complété pour incorporer comment, à mon sens, ces outils peuvent être utilisés pour accompagner et accélérer la formation.

Par IA, j’entends ici des modèles génératifs de code qui fonctionnent par auto-complétion «augmentée» ou avec un chatbot, par exemple ChatGPT ou Github Copilot. De peur de tenir des discours réactionnaires infondés (fréquents lorsqu’il s’agit de critiquer les nouvelles technologies), je ne veux pas exagérer les défauts des IA ni proscrire leur usage. J’aimerais en revanche prendre du recul sur la hype et avoir une réflexion sur l’intégration de ces nouveaux outils dans l’enseignement supérieur. Dans quelle mesure sont-ils utiles ? Quels sont les dangers d’une utilisation excessive ? Comment cadrer leur usage ?

Les IA sont phénoménales pour écrire du code générique, avec des suggestions souvent plus rapide que notre pensée. On peut également s’en servir pour expliquer un code ou un texte, pour se tester sur un sujet, pour résumer des supports, pour suggérer des implémentations, ou même tout simplement pour répondre à des questions ! En revanche, leur usage dans un cadre pédagogique demande (à mon avis) des précautions dont on n’est pas forcément immédiatement conscient.

tl;dr: Les IA dans ce cours #

Pour ma part, je refuse que vous utilisiez l’IA pour répondre à des questions à votre place. Je pense que c’est un outil pertinent pour plein d’usages (ci-dessus), mais il ne faut pas que ça remplace l’apprentissage.

Mes arguments sont présentés ci-dessous.

Les risques #

Attention aux béquilles #

Dans un contexte pédagogique, on construit des problèmes volontairement simplifiés, pour travailler des compétences importantes sans superflu. Au fil du temps, on peut rajouter des détails sans surcharge mentale, lorsqu’ils deviennent pertinents. Le problème, c’est justement que les IA sont particulièrement efficaces sur ces problèmes scolaires, vu qu’ils sont simples et représentés dans les données d’entraînement. En tant qu’étudiant-e, ça veut dire qu’on peut répondre à la question (l’objectif affiché du cours) sans se confronter à la difficulté initiale (l’objectif réel du cours).

Lorsqu’on travaille avec une personne, ses compétences s’améliorent au fur et à mesure, ce qui permet de travailler sur des problèmes de plus en plus compliqués. Pour l’IA, c’est l’inverse qui se produit : au bout d’un moment, la fenêtre de contexte nécessaire dépasse les capacités de calcul/stockage, donc les performances de l’IA deviennent catastrophiques pour des problèmes trop complexes. En outre, le chatbot est le même modèle générique tout le long de l’interaction, il ne devient pas spécialisé dans le problème considéré.

Apprendre requiert une part d’inconfort. Une étude de 2024 a étudié l’impact de l’utilisation de ChatGPT au lycée aux États-Unis (donc sur des notions théoriquement plus simples que celles vues en IUT). Les élèves qui ont accès à l’IA sont plus performants, tant qu’iels y ont accès. Sans IA, leur performance devient plus faible que celle du groupe de contrôle (qui n’a jamais utilisé l’IA). Donc il faut doser l’utilisation de la technologie pour qu’elle ne remplace pas l’apprentissage. Lorsqu’on apprend à faire du vélo, à un moment il faut enlever les petites roues¹. Lorsqu’on parle une langue étrangère, on ne peut utiliser Google Translate à chaque phrase.

Comme l’IA peut servir de béquille et améliorer les performances, on pourrait prendre en compte son usage avec des exercices plus compliqués, mais ça ne répondrait pas au problème puisque ça n’améliorerait pas l’apprentissage. Notre responsabilité en tant qu’enseignant-es est de fournir des cours et exercices qui sont pertinents : d’équilibrer les défis et de doser les récompenses pour rendre l’apprentissage gratifiant. D’encourager l’apprentissage réel et de rendre l’utilisation de l’IA moins pertinente, ne serait-ce que pour être équitable avec celleux pour qui l’accès à ces outils est trop cher. Mais il est difficile d’empêcher totalement leur utilisation.

Notion de vérité #

Si vous décidez malgré tout d’utiliser un modèle génératif pour vous aider à travailler, il est important de rester critique face à cet outil. Les modèles génératifs n’ont pas de notion de vérité ou de critères de qualités autres que la plausibilité. Certains les décrivent comme des « perroquets stochastiques ». C’est comme ça qu’on se retrouve avec des voyageurs bloqués à la frontière sans visa, parce que ChatGPT leur aurait indiqué ne pas en avoir besoin. Avec des avocats qui inventent des jurisprudences pour accélérer leur préparation. Avec des systèmes informatiques plein de failles qui se font hacker. Il est clair que les réponses d’une IA doivent toujours être traités avec un haut degré de scepticisme, surtout dans un contexte sensible comme la sécurité.

D’expérience personnelle, en mathématiques, une IA ne m’a jamais généré une démonstration convenable et sans fautes, même pour des problèmes très classiques. À première vue, les arguments semblaient plausibles, mais il manquait toujours quelque chose pour rendre le raisonnement réellement rigoureux. Cette expérience contraste avec celle des entreprises qui se vantent de leurs performances en compétition. Ces benchmarks dépendent de prompts crées par des professionnels, ont des résultats tout à fait relatifs et sont relativement opaques.

Ainsi, l’apparence plausible des propos² rend leur utilisation particulièrement insidieuse, bien qu’elle ne résiste pas à un examen rigoureux. Les propos bien structurés ne suffisent pas à rattraper les arguments creux (voire faux) et les citations factices. Puisqu’il s’agit d’un artefact des techniques d’entraînement de ces IA, il est difficile d’imaginer que ce problème sera réglé prochainement (de même que sa flatterie incontrôlable (un facteur aggravant des psychoses)). En attendant, de nombreux signaux d’alarme peuvent rendre ma lecture cruellement attentive et rigoriste.

Au-delà du contexte pédagogique #

La vérité est un sujet complexe, qui peut être malmené même sans impliquer une quelconque IA. Par exemple, si un auteur invente une citation de Socrate, et que celle-là plaît au point où elle devient virale et reprise par de nombreux d’auteurs sérieux, est-ce que cette invention devient une « vraie » citation ? Dans une société « post-vérité », les perroquets stochastiques semblent particulièrement susceptibles à se faire piéger par des discours malveillants et doivent être considérés avec précaution. Avoir un esprit critique demande d’activer des connaissances réelles; l’IA n’en a pas.

C’est sans parler des impacts

• écologiques : la consommation d’eau des data centers (qui tendent à être dérégulés), les besoins insatiables en terres rares et en électricité…
• économiques : la (potentielle) bulle d’investissement, la dépendance à Nvidia du marché, l’augmentation des dépenses énergétiques, le taux d’échec dans le domaine de l’IA, le coût d’utilisation des modèles…
• éthiques : l’étiquetage de données, la fuite d’informations privées, l’origine des données discutable
• sécuritaires : vidéosurveillance algorithmique, l’analyse de données privées (à travers Chat Control, par exemple)…
• géopolitiques : le rôle de Taiwan, la souveraineté des nations…

Évidemment, tout cela a tendance à s’accélérer avec le développement de l’IA.

Conseils d’utilisation #

[!missing] TODO