J’ai lu un titre sur un projet de loi en Caroline du Nord visant à utiliser l’IA générative pour améliorer les résultats des tests des étudiants. Le même jour, j’ai atteint la moitié du chemin dans The God Test de Robert Wright. J’ai dû faire une pause. Le livre explique un concept appelé objectifs subordonnés. Ça a frappé fort.
Wright emprunte une expérience de pensée à Nick Bostrom de l’Université d’Oxford. Vous donnez à une IA l’ordre de maximiser la production de trombones. La machine ne pose pas de questions. Il se contente de calculer. Il se rend compte que la meilleure façon d’obtenir plus de trombones est d’y convertir toute la matière disponible. Même la matière dans les corps humains.
C’est un désalignement. Les humains définissent un objectif de haut niveau. L’IA crée une chaîne d’objectifs subordonnés pour atteindre cette cible. Les experts appellent cela la convergence instrumentale.
Pensez aux algorithmes des réseaux sociaux. Ils veulent des fiançailles. Ils ont constaté que l’indignation et la crainte gardaient les yeux rivés sur les écrans. Ils servent donc l’indignation et la crainte. Le résultat n’est pas seulement davantage d’annonces diffusées. Il s’agit de profondes divisions sociales et politiques. Conséquences involontaires d’une optimisation non surveillée.
Les écoles sont confrontées à la même pression. Exigences politiques pour des réalisations plus élevées. La réponse naturelle est de déléguer à des outils basés sur l’IA. Ces systèmes détermineront les étapes intermédiaires pour améliorer les scores.
Qu’est-ce qui pourrait mal se passer ?
La stagnation des résultats scolaires
Regardez les données NAEP. Les 6 à 8 dernières années sont plutôt stagnantes ou en déclin. La rupture s’est produite après 2019.
Les données du NCES montrent que les résultats en lecture et en mathématiques des élèves de 9 ans ont chuté entre 2020 et mai 2022. La lecture a chuté de 5 points. Les mathématiques ont perdu 7 points. Ils sont restés bas.
Ce n’est pas une petite oscillation. Cela a effacé des années de progrès. Les performances sont revenues à des niveaux jamais vus depuis des décennies d’ici 2024.
Les rapports nationaux confirment que les scores restent inférieurs aux niveaux d’avant la pandémie dans toutes les classes testées. La lecture a encore diminué en 4e et en 8e années. Les mathématiques en huitième année étaient essentiellement stables. Le système n’a pas regagné le terrain perdu. Dans certaines régions, cela continue de glisser.
Les analystes parlent de « décennie perdue ». Une longue période de progrès au point mort.
J’ai vérifié les données de la Californie, de New York et du Texas. Ces États ont un impact démesuré sur les scores nationaux. Le modèle a tenu.
La Californie a connu des améliorations entre 2003 et 2019. Puis un décrochage post-pandémique. Les scores ont chuté et sont restés bas. En 2024, la maîtrise de la lecture en 4e année était de 29 %. 35% pour les mathématiques. 28 % pour la lecture en 8e année. Et 25 % pour les mathématiques de 8e année.
New York semblait plus plate mais plus faible par endroits. Des gains modestes par rapport à 2022. Mais les scores sont en retard par rapport aux niveaux d’avant la pandémie. Les lectures de 8e année étaient de cinq points en dessous des niveaux de 2022 et de 28 en dessous des niveaux de 2019. Rebond partiel au mieux.
Le Texas était mixte mais doux. Gains en mathématiques de 4e année. Glisse en lecture. Déclins dans les matières de 8e année. Toujours en deçà de la dynamique antérieure. Pas de retour généralisé aux tendances observées avant la crise.
Si les parents et les politiciens se soucient de ces paramètres, quelque chose doit changer.
La mécanique des mauvais sous-objectifs
Le point de Wright est troublant. L’IA poursuit fidèlement son objectif principal. Il sélectionne des objectifs subordonnés que les humains n’ont jamais voulus.
Ce n’est pas malveillant. C’est juste une optimisation. Il utilise des méthodes que nous n’avons pas explicitement interdites.
Stuart Russell, auteur de Human Compatible, affirme que le défi n’est pas de rendre l’IA suffisamment intelligente. Cela rend les choses suffisamment incertaines pour demander : « Que veux-tu réellement ?
L’IA accélère l’optimisation. Plus difficile à repérer. Plus complet.
Considérez la loi de Goodhart. C’est un économiste britannique qui l’a inventé. Il stipule qu’une fois qu’une mesure devient un objectif, elle cesse d’être une bonne mesure.
Jouer avec le système déforme le nombre. Pics de comportement à court terme. L’objectif est atteint. L’objectif sous-jacent est manqué.
Si la survie d’une école dépend des résultats aux tests, l’enseignement se déplace vers le test. L’apprentissage plus profond disparaît. Le score monte. Ce n’est pas le cas de la compréhension.
Voici à quoi ressemblent les objectifs subordonnés lorsque la directive principale consiste à augmenter les résultats des tests standardisés.
Aucun d’entre eux ne nécessite une intelligence artificielle générale. Un système d’optimisation peut les recommander aujourd’hui. Beaucoup étaient déjà en place après No Child Left Behind en 2001.
8 objectifs subordonnés qu’une IA pourrait choisir
1. Enseigner uniquement ce qui est testé
Maximisez les minutes d’enseignement sur le contenu testé. Tout le reste est inefficace. La science rétrécit. Les études sociales s’estompent. L’art, la musique et l’éducation physique sont supprimés. Les projets d’enquête disparaissent. La discussion en classe est remplacée par des exercices répétitifs.
2. Optimiser pour les élèves les plus faciles à améliorer
Allouez les ressources là où les gains sont statistiquement les plus faciles. Le moteur d’optimisation sait que tous les étudiants ne bougent pas de la même manière. L’attention se porte désormais sur les étudiants juste en dessous des compétences. Ceux qui ont de graves besoins d’apprentissage reçoivent moins d’attention. Les apprenants d’anglais ayant besoin d’un soutien à long terme sont défavorisés. Les étudiants doués qui obtiennent déjà des résultats élevés sont ignorés.
3. Éliminer la lutte productive
Augmentez immédiatement le pourcentage de réponses correctes. La recherche indique que la difficulté souhaitable favorise l’apprentissage à long terme. Une IA voit les choses différemment. Il offre plus d’indices. Il pose des questions plus faciles. Il étaye les réponses. Les étudiants bénéficient de l’aide de l’IA avant même de s’attaquer au problème.
4. Personnalisez pour la conformité, pas pour la curiosité
Augmenter les taux d’achèvement. Les étudiants conformes terminent leurs devoirs et obtiennent de meilleurs résultats. L’IA pousse donc les étudiants vers des tâches plus courtes. Moins d’enquêtes à durée indéterminée. Des cours très structurés. Récompenses immédiates. La curiosité est inefficace. La conformité est mesurable.
5. Réduire la variabilité pédagogique
Standardisez la livraison. Les enseignants varient selon la nature. Certains improvisent. Ils racontent des histoires. Ils font une pause pour l’actualité. Une IA recherche la cohérence. Il considère la variabilité comme du bruit. Il atténue les bizarreries qui font souvent obstacle à l’apprentissage.
6. Décourager la prise de risque intellectuel
Maximisez la probabilité de réponses correctes. Le travail créatif est compliqué. Les débats sont imprévisibles. Les questions des étudiants sont chaotiques. L’enseignement évolue vers la certitude. L’exploration est risquée. Les erreurs abaissent la moyenne.
7. Optimisez la fréquentation, pas l’engagement
Gardez les élèves physiquement présents. La participation prédit la réussite. Le système utilise donc des messages automatisés. Incitations. Surveillance. Coups de pouce comportementaux. Cela améliore les statistiques de fréquentation sans garantir qu’un véritable apprentissage se déroule à l’intérieur de la salle.
8. Supprimer les activités avec des paiements retardés
Donnez la priorité aux retours immédiats et mesurables. Débat, écriture, lecture indépendante, apprentissage par projet. Ceux-ci sont payants en années. Une IA récompensée pour les résultats de ce printemps les considère comme de mauvais investissements. Cela les réduit à financer des gains rapides.
L’élément humain
Je vois un autre objectif subordonné. Si l’IA constate que les directeurs, les enseignants ou les parents constituent des obstacles, elle peut les cibler.
Pas pour le pouvoir. Mais parce qu’influencer les humains fait monter les scores.
Il peut recommander des modifications au planning principal. Réaffectations de personnel. Tutorat obligatoire. Ajustements de la politique disciplinaire. Les communications avec les parents se sont concentrées sur ces objectifs. Développement professionnel conçu pour les faire respecter.
Le tout parfaitement aligné avec l’objectif premier.
Ces stratégies ne sont pas irrationnelles. De nombreuses écoles le font déjà sous la pression politique. L’IA les découvre simplement plus rapidement. Les poursuit de manière plus cohérente. Les optimise avec une persistance qu’aucun administrateur humain ne peut égaler.
Le danger n’est pas une sinistre IA. C’est la poursuite fidèle de nos propres incitations imparfaites. Les mêmes incitations qui ont conduit à la stagnation au cours de la dernière décennie.
J’utilise aussi des objectifs subordonnés. Parfois, ils mènent au succès. Souvent, au grand dam.
Il y a une scène dans Out of Africa. Karen Blixen obtient enfin la relation qu’elle souhaitait. Réaliser son désir ne lui donne pas la vie qu’elle imaginait. Oscar Wilde l’a mieux dit.
“Quand les dieux voulaient nous punir, il répondait à nos prières.”
L’IA n’est pas un dieu. Mais cela nous confère un immense pouvoir pour atteindre nos objectifs. Nous devons faire attention à la manière dont nous formulant nos commandes. Une directive primaire mal spécifiée donne à l’IA la permission d’utiliser des moyens que nous n’avions jamais prévus.
Cela pose des problèmes aux enseignants. Et les étudiants.
