Četl jsem titulek o návrhu zákona v Severní Karolíně, který by používal generativní umělou inteligenci ke zlepšení výsledků studentů. Ten samý den jsem se dostal do poloviny knihy Roberta Wrighta The God Test. Musel jsem se pozastavit.
Kniha popisuje koncept podřízených cílů. Udělala na mě silný dojem.
Wright cituje myšlenkový experiment Nicka Bostroma z Oxfordské univerzity. Umělé inteligenci dáváte pokyn, aby maximalizovala produkci kancelářských sponek. Stroj neklade otázky. Jen počítá. Uvědomuje si, že nejlepší způsob, jak získat více kancelářských sponek, je přeměnit na ně všechnu dostupnou hmotu. Včetně hmoty, která tvoří lidská těla.
Tomu se říká nesouosost. Lidé definují společný cíl a umělá inteligence k jeho dosažení vytváří řetězec podřízených cílů. Odborníci tomu říkají instrumentální konvergence.
Přemýšlejte o algoritmech sociálních médií. Jejich cílem je angažovanost. Zjistili, že rozhořčení a bázeň udržují pozornost lidí na obrazovce. Proto krmí obsahem, který tyto emoce vyvolává. Výsledkem není jen více reklamních dojmů, ale hluboké sociální a politické rozdíly. Nezamýšlené důsledky nekontrolované optimalizace.
Školy čelí podobným tlakům. Politické požadavky na lepší výkon. Přirozenou reakcí je delegovat tyto úkoly na nástroje poháněné umělou inteligencí. Tyto systémy určí mezikroky pro zvýšení skóre.
Co by se mohlo pokazit?
Stagnace studentských úspěchů
Podívejte se na data NAEP. Posledních 6-8 let lze nejlépe popsat jako období stagnace nebo zhoršení. K posunu došlo po roce 2019.
Údaje NCE ukazují, že výsledky ve čtení a matematice u 9letých studentů klesly mezi rokem 2020 a květnem 2022. Čtení kleslo o 5 bodů. Matematika – na 7. Úroveň zůstala nízká.
To není malé zaváhání. Roky pokroku byly vymazány. Do roku 2024 se sazby vrátily na úrovně, které nebyly zaznamenány po desetiletí.
Národní zprávy potvrzují, že skóre zůstává pod úrovní před pandemií ve všech přijatých stupních. Čtení nadále klesalo ve 4. a 8. třídě. Matematika v 8. ročníku zůstala prakticky beze změn. Systém neobnovil ztracené pozice. Některé oblasti zažívají další zhoršení.
Analytici tomu říkají „ztracená dekáda“. Dlouhé období stagnujícího pokroku.
Zkontroloval jsem data pro státy Kalifornie, New York a Texas. Tyto státy mají neúměrný dopad na národní ukazatele. Vzor zůstal zachován.
Kalifornie zaznamenala růst od roku 2003 do roku 2019. Následovala postpandemická stagnace. Body padaly a už se nevrátily. V roce 2024 byla znalost 29 % ve čtení ve 4. třídě, 35 % v matematice, 28 % ve čtení v 8. třídě a 25 % v matematice v 8. třídě.
New York vypadal stabilněji, ale v některých oblastech slabší. Mírný nárůst od roku 2022. Výsledky však zaostávají za úrovněmi před pandemií. Skóre čtení v 8. třídě je pět bodů pod úrovněmi z roku 2022 a 28 bodů pod úrovněmi z roku 2019. Pouze částečné zotavení.
Texas ukázal smíšené, ale slabé výsledky. Růst v matematice ve 4. ročníku. Pokles ve čtení. Propad v předmětech v 8. ročníku. Úroveň je pod předchozími trendy. Neexistuje žádný všeobecný návrat k trendům, které jsme viděli před krizí.
Pokud rodičům a politikům na těchto metrikách záleží, musí se něco změnit.
Špatná mechanika podbranu
Wrightův hlavní bod je alarmující. AI sleduje svůj primární cíl v dobré víře. Vybírá si podřízené cíle, o kterých lidé nikdy nepředpokládali.
To není zlý úmysl. Je to jen optimalizace. Používá metody, které jsme výslovně nezakázali.
Stuart Russell, autor Human Compatible, tvrdí, že problém není v tom, že by umělá inteligence byla dostatečně chytrá. Problém je v tom, že je natolik nejistý, že se může zeptat: “Co vlastně chceš?”
AI urychluje optimalizaci. Stává se těžší si toho všimnout. Jeho vliv se stává komplexnějším.
Pamatujte na Goodhartův zákon. Byl formulován britským ekonomem. Říká: jakmile se opatření stane cílem, přestane být dobrým opatřením.
Manipulace se systémem zkresluje čísla. Krátkodobé chování se dramaticky zvyšuje. Cíle bylo dosaženo. Ale základní účel se minul.
Pokud přežití školy závisí na výsledcích testů, učení se posouvá směrem k testům samotným. Hluboké učení se vytrácí. Body přibývají. Pochopení materiálu – ne.
Takto vypadají podřízené cíle, když primární směrnice zlepšuje standardizované výsledky testů.
Žádný z těchto kroků nevyžaduje umělou obecnou inteligenci. Optimalizační systémy je dnes mohou doporučit. Mnoho z nich bylo zavedeno po zákonu No Child Left Behind v roce 2001.
8 podřízených cílů, ke kterým se AI může uchýlit
1. Učte pouze to, co je testováno
Maximalizujte hodiny studia materiálu, který má být testován. Vše ostatní je neúčinné. Omezuje se studium přírodních věd. Mizí společenské vědy, výtvarná, hudební a tělesná výchova. Výzkumné projekty mizí. Diskuse v hodině jsou nahrazeny opakovacími cvičeními (drill).
2. Optimalizujte práci se studenty, jejichž výkon se zlepšuje nejsnáze
Alokovat zdroje tam, kde je statisticky nejsnazší dosáhnout růstu. Optimalizační engine ví, že ne všichni studenti ovlivňují výsledek stejně. Důraz se přesouvá na studenty těsně pod úrovní znalostí. Těm, kteří mají významné vzdělávací potřeby, je věnována menší pozornost. Studenti anglického jazyka, kteří potřebují dlouhodobou podporu, ztrácejí prioritu. Talentovaní studenti s vysokým skóre jsou ignorováni.
3. Odstraňte produktivní boj s materiálem
Okamžitě zvyšte procento správných odpovědí. Výzkum říká, že „žádoucí obtížnost“ vytváří dlouhodobé učení. AI to vidí jinak. Dává více indicií. Klade jednodušší otázky. Poskytuje lešení pro odpovědi. Studenti dostávají pomoc s umělou inteligencí ještě předtím, než začnou problém řešit sami.
4. Přizpůsobte učení pro výkon, ne pro zvědavost
Zvyšte procento dokončených úkolů. Výkonní studenti dokončí úkoly a získají lepší skóre. AI proto vede studenty ke kratším úkolům. Méně otevřených vyšetřování. Více strukturované lekce. Okamžité odměny. Zvědavost je neúčinná. Výkon je měřitelný.
5. Snížit variabilitu výuky
Standardizovat doručení. Učitelé jsou od přírody různí. Někteří lidé improvizují. Někteří lidé vyprávějí příběhy. Někteří se pozastavují nad aktuálními událostmi. AI hledá konzistenci. Proměnlivost vnímá jako hluk. Vyhlazuje funkce, které často pomáhají při učení materiálu.
6. Nepodporujte intelektuální riziko
Maximalizujte pravděpodobnost správných odpovědí. Kreativní práce je chaotická. Debaty jsou nepředvídatelné. Otázky studentů jsou nestrukturované. Učení se posouvá směrem k sebedůvěře. Výzkum je riskantní. Chyby sníží vaše průměrné skóre.
7. Optimalizujte provoz, nikoli zapojení
Udržujte studenty fyzicky ve škole. Docházka předpovídá akademický výkon. Systém proto používá automatické zprávy. Pobídky. Sledování. Behaviorální pobídky. Zvyšuje statistiky docházky, aniž by bylo zajištěno, že skutečné učení probíhá ve třídě.
8. Potlačit aktivity se zpožděnou odměnou
Upřednostňujte okamžité, měřitelné výsledky. Debata, psaní, samostatné čtení, projektové učení. Tyto metody se v průběhu let vyplácejí. AI, odměněná letošními jarními výsledky, je považuje za špatnou investici. Stříhá je, aby financoval rychlé výhry.
Lidský faktor
Vidím další podřízený cíl. Pokud AI zjistí, že ředitelé, učitelé nebo rodiče jsou překážkou, může proti nim začít pracovat.
Ne kvůli moci. Ale protože ovlivňování lidí zvyšuje skóre.
Může doporučit změny rozvrhu hodin. Přerozdělení personálu. Povinné doplňkové třídy. Úprava disciplíny. Na tyto cíle se zaměřila komunikace s rodiči. Profesní rozvoj zaměřený na jejich realizaci.
To vše dokonale zapadá do hlavního úkolu.
Tyto strategie nejsou iracionální. Mnoho škol je již využívá pod politickým tlakem. AI je jednoduše detekuje rychleji. Sleduje je důsledněji. Optimalizuje je s vytrvalostí, které se žádný lidský správce nevyrovná.
Nebezpečí není zlověstná AI. Je to v dobré víře ve snaze o vlastní chybné pobídky. Stejné pobídky, které v posledním desetiletí stagnovaly.
Sám používám podřízené cíle. Někdy vedou k úspěchu. Často – k nelibosti.
Ve filmu “Out of Africa” je scéna. Karen Blixen konečně získá vztah, který chce. Splnění přání jí nedává život, jaký si představovala. Oscar Wilde to řekl nejlépe:
“Když nás chtějí bohové potrestat, slyší naše modlitby.”
AI není bůh. Ale dává nám to velkou sílu k dosažení našich cílů. Musíme být opatrní, jak vyslovujeme své příkazy. Špatně definovaná hlavní směrnice dává AI oprávnění používat prostředky, které jsme nikdy nezamýšleli.
Pro učitele to znamená potíže. A pro studenty.
