Я прочитав заголовок про законопроект у Північній Кароліні, який передбачає використання генеративного ІІ для підвищення успішності учнів. Того ж дня я досяг середини книги Роберта Райта «Тест на Бога». Мені довелося зробити паузу.
У книзі описується концепція підпорядкованих цілей. Вона справила на мене сильне враження.
Райт наводить уявний експеримент Ніка Бострома з Оксфордського університету. Ви даєте штучному інтелекту команду максимізувати виробництво скріпок. Машина не ставить запитань. Вона просто обчислює. Вона розуміє, що найкращий спосіб отримати більше скріпок — перетворити на них усю доступну матерію. Включно з матерією, з якої складаються людські тіла.
Це називається невідповідністю цілей (misalignment). Люди визначають загальну мету, а ІІ створює ланцюжок підлеглих цілей для її досягнення. Експерти називають це інструментальною конвергенцією.
Згадайте алгоритми соціальних мереж. Їхня мета — залученість. Вони з’ясували, що обурення та благоговійний страх утримують увагу на екрані. Тому вони підсовують контент, що викликає ці емоції. Результат – не просто більше показів реклами, а глибокі соціальні та політичні розколи. Непередбачені наслідки неконтрольованої оптимізації.
Школи стикаються з таким же тиском. Політичні вимоги щодо підвищення успішності. Природна реакція — делегувати ці завдання інструментам з урахуванням ІІ. Ці системи визначатимуть проміжні кроки підвищення балів.
Що може йти не так?
Стагнація досягнень учнів
Подивіться дані NAEP. Останні 6–8 років найкраще описати як період стагнації чи погіршення. Зрушення відбулося після 2019 року.
Дані NCES показують, що результати читання та математики у дев’ятирічних учнів впали в період з 2020 по травень 2022 року. Читання впало на 5 балів. Математика – на 7. Рівень залишався низьким.
Це не мале коливання. Були стерті роки прогресу. До 2024 року показники повернулися до рівнів, не бачених десятиліттями.
Національні звіти підтверджують, що результати залишаються нижчими за допандемійний рівень за всіма пройденими класами. Читання продовжувало погіршуватися у 4-му та 8-му класах. Математика у 8-му класі практично не змінювалася. Система не поновила втрачені позиції. У деяких областях відбувається подальше погіршення.
Аналітики називають це «втраченим десятиліттям». Довгий період застою прогресу.
Я перевірив дані по штатах Каліфорнія, Нью-Йорк та Техас. Ці штати мають непропорційно великий вплив на національні показники. Паттерн зберігся.
Каліфорнія демонструвала зростання з 2003 до 2019 року. Потім був постпандемійний застій. Бали впали і не повернулися. У 2024 році рівень володіння матеріалом склав 29% за читанням у 4-му класі, 35% з математики, 28% за читанням у 8-му класі та 25% з математики у 8-му класі.
Нью-Йорк виглядав стабільнішим, але з ослабленими показниками в окремих аспектах. Незначне зростання з 2022 року. Проте результати відстають від допандемійних позначок. Читання у 8-му класі на п’ять балів нижче, ніж у 2022 році, та на 28 балів нижче за рівень 2019 року. Лише часткове відновлення.
Техас показав мішані, але слабкі результати. Зростання з математики у 4-му класі. Зниження читання. Падіння з предметів у 8-му класі. Рівень нижче за попередні тренди. Нема широкого повернення до тенденцій, які ми спостерігали до кризи.
Якщо батьки та політики дбають про ці метрики, щось має змінитися.
Механіка поганих подцелей
Головна думка Райта тривожна. ІІ сумлінно переслідує основну мету. Він вибирає підпорядковані цілі, які люди ніколи не передбачали.
Це не зловмисність. Це просто оптимізація. Він використовує методи, які ми не заборонили.
Стюарт Расселл, автор книги “Human Compatible”, стверджує, що проблема не в тому, щоб зробити ІІ досить розумним. Проблема в тому, щоб зробити його досить невпевненим, щоб він міг запитати: Чого ви насправді хочете?
ІІ прискорює оптимізацію. Його стає важче помітити. Його вплив стає всеосяжним.
Згадайте закон Гудхарта. Його сформулював британський економіст. Він говорить: як тільки міра стає метою, вона перестає бути гарною мірою.
Маніпуляції із системою спотворюють цифри. Короткострокова поведінка різко зростає. Ціль досягнута. Але фундаментальну мету втрачено.
Якщо виживання школи залежить від результатів тестів, навчання зміщується у бік самих тестів. Глибоке навчання зникає. Бали зростають. Розуміння матеріалу – ні.
Ось як виглядають підлеглі цілі, коли головний директив – підвищення результатів стандартизованих тестів.
Жодні з цих кроків не вимагають штучного загального інтелекту. Системи оптимізації можуть їх рекомендувати вже сьогодні. Багато хто з них був запроваджений ще після закону «Жодних відстаючих» (No Child Left Behind) у 2001 році.
8 підлеглих цілей, до яких може вдатися ІІ
1. Викладати лише те, що тестується
Максимізувати навчальний годинник на матеріал, що підлягає перевірці. Решта — неефективно. Скорочується вивчення природознавства. Зникають суспільствознавство, мистецтво, музика та фізкультура. Зникають дослідні проекти. Класні дискусії замінюються повторення вправ (drill).
2. Оптимізувати роботу з учнями, у яких найлегше зростають показники
Розподіляти ресурси там, де приросту статистично найпростіше досягти. Оптимізаційний двигун знає, що не всі учні впливають на результат однаково. Фокус зміщується на учнів, що знаходяться трохи нижче за рівень володіння матеріалом. Ті, хто має серйозні потреби у навчанні, отримують менше уваги. Учні, які вивчають англійську мову і потребують довгострокової підтримки, втрачають пріоритет. Талановиті учні з високими балами ігноруються.
3. Виключити продуктивну боротьбу із матеріалом
Негайно підвищити відсоток правильних відповідей. Дослідження свідчать, що «бажані труднощі» (desirable difficulty) будують довгострокове навчання. ІІ бачить це інакше. Він дає більше підказок. Він ставить більш легкі питання. Він надає опори відповідей. Учні отримують допомогу ІІ, навіть перш ніж почати самостійно розбиратися із завданням.
4. Персоналізувати навчання заради старанності, а не цікавості
Підвищити відсоток виконання завдань. Виконавчі учні завершують завдання та отримують найкращі бали. Тому ІІ направляє учнів більш короткі завдання. Менше відкритих розслідувань. Більше структуровані уроки. Негайні заохочення. Цікавість – неефективна. Виконавчість вимірна.
5. Зменшити варіативність викладання
Стандартизувати подачу. Вчителі за своєю природою різняться. Хтось імпровізує. Хтось розповідає історію. Хтось робить паузи для обговорення поточних подій. ІІ шукає узгодженості. Він сприймає варіативність як шум. Він згладжує особливості, які часто допомагають засвоєнню матеріалу.
6. Не заохочувати інтелектуальний ризик
Максимізувати вірогідність відповідей. Творча робота хаотична. Дебати непередбачувані. Запитання учнів неструктуровані. Навчання зміщується у бік впевненості. Дослідження є ризикованим. Помилки знижують середній бал.
7. Оптимізувати відвідуваність, а не залучення
Утримувати учнів фізично у школі. Відвідуваність передбачає успішність. Тому система використовує автоматичні повідомлення. Заохочення. Моніторинг. Поведінкові стимули. Вона підвищує статистику відвідуваності, не гарантуючи, що реальне навчання відбувається усередині класу.
8. Придушувати діяльність із відкладеною винагородою
Пріоритет негайних, вимірних результатів. Дебати, лист, незалежне читання, навчання з урахуванням проектів. Ці методи окупаються роками. ІІ, що винагороджується результатами цієї весни, бачить у них погані інвестиції. Він скорочує їх, щоби фінансувати швидкі перемоги.
Людський фактор
Я бачу ще одну підпорядковану мету. Якщо ІІ виявить, що директори, вчителі чи батьки є перешкодою, він може почати працювати проти них.
Чи не заради влади. А тому що вплив на людей підвищує бали.
Він може рекомендувати зміни до розкладу занять. Перерозподіл персоналу. Обов’язкові додаткові заняття. Коригування політики дисципліни. Зв’язок із батьками, сфокусований з цією метою. Професійний розвиток, спрямований на їхнє впровадження.
Все це ідеально узгоджується з основним завданням.
Ці стратегії не ірраціональні. Багато шкіл вже застосовують їх під політичним тиском. ІІ просто виявляє їх швидше. Переслідує їх послідовніше. Оптимізує їх із наполегливістю, яку не може порівняти жоден людський адміністратор.
Небезпека полягає не в зловісному ІІ. Вона у сумлінному переслідуванні наших власних flawed (недосконалих) стимулів. Ті самі стимули, які спричинили стагнацію останнє десятиліття.
Використовую підпорядковані цілі і сам. Іноді вони ведуть до успіху. Часто – на невдоволення.
Є сцена у фільмі «З Африки». Керен Бліксен нарешті отримує бажані стосунки. Виконання бажання не дає їй життя, яке вона представляла. Оскар Уайльд висловив це краще:
«Коли боги хочуть покарати нас, вони чують наші молитви».
ІІ – не бог. Але він дає нам величезну силу для досягнення наших цілей. Нам потрібно бути обережними, як ми формулюємо наші команди. Погано певний головний директив дає ІІ дозвіл використовувати кошти, які ми ніколи не передбачали.
Це обіцяє проблеми для вчителів. І для учнів.
