Роберт «Боб» Мислеви часто использовал мысленные эксперименты, чтобы проиллюстрировать свои тезисы. Он спрашивал: «Представьте себе опытного англоговорящего химика, изучающего немецкий язык, и немецкого студента-первокурсника, сдающих экзамен по химии на немецком. Если экзаменуемому трудно написать эссе, проблема в его навыках химии или в знании немецкого языка?» Он использовал этот пример, чтобы подчеркнуть важный момент: любая оценка должна быть обоснованной историей об обучающемся, понимаемой в контексте его опыта. Низкий балл не всегда означает отсутствие знаний; он может быть вызван языковым барьером или другим контекстуальным фактором.
Наиболее значительным вкладом Мислеви не был конкретный продукт, а динамичный процесс: blueprint для совместного решения проблем. Эта структура, известная как Evidence-Centered Design (ECD) (дизайн, ориентированный на доказательства), предоставляет структурированный подход, который позволяет экспертам из разных областей (таких как психометрия, дизайн и ИИ) рассуждать вместе о том, что представляет собой достоверное доказательство обучения. В сегодняшнем мире, где системы ИИ все чаще используются для принятия значимых решений в отношении обучающихся и работников, подходы, такие как ECD, которые подчеркивают доказательное рассуждение, имеют решающее значение. Они предоставляют необходимую архитектуру выведения заключений.
Evidence-Centered Design (дизайн, ориентированный на доказательства)
Мислеви использовал примеры из реального мира — такие как команды механиков F-15, дизайнеров видеоигр и стоматологов-клиницистов — чтобы проиллюстрировать эту структуру. Он продвигал системы, такие как Hydrive, которая обучала механиков F-15, или лаборатории Cisco Networking Academy. Вместо того чтобы полагаться исключительно на вопросы с множественным выбором, эти системы предлагали динамичный портрет навыков в реальном времени. Регистрируя решения, исправления и последовательность выбора, они выводили заключение о стратегии устранения неполадок учащегося. Это заключение было напрямую связано с аутентичной работой: путь, который студент прошел для ремонта неисправности, а не только конечный правильный ответ.
Уроки для эпохи ИИ
Рост ИИ в образовании — от генеративных моделей, оценивающих эссе, до адаптивных платформ, которые структурируют обучение — создал проблему. Хотя автоматизированные системы теперь могут отслеживать множество точек данных, без структуры для выведения заключений эти точки становятся бессмысленными и могут приводить к оценкам, которые трудно объяснить или которым можно не доверять. ECD предоставляет структуру для дизайнеров оценки, предлагая три ключевых урока для построения мощных и надежных систем оценки в эпоху автоматизации:
1. Измеряйте навыки в контексте
Мислеви подчеркивал, что навык неразрывно связан с его контекстом. Нюансированный тест по грамматике в неформальной обстановке существенно отличается от клинического диагноза, имеющего высокую степень ответственности. ECD требует, чтобы задачи были построены на основе аутентичных требований работы. Этот принцип прослеживается в языковых тестах, таких как Occupational English Test, который оценивает языковые навыки в сочетании с вызовами клинической практики (чтение медицинских карт, понимание рецептов), и Duolingo English Test (DET). DET, цифровой, адаптивный тест, используемый для поступления в высшие учебные заведения, использует ИИ для оценки интегрированных навыков (таких как разговорный английский) и отражает убеждение Мислеви, что лучший способ увидеть, может ли кто-то ориентироваться в системе, — это позволить ему в ней ориентироваться. Достоверность проистекает из резонанса задачи с реальными приложениями.
2. Пути выведения: телеметрия как доказательство
Общим ограничением традиционного тестирования является то, что оно измеряет только то, нашел ли студент решение, а не как он его нашел. Применительно к цифровым средам обучения ECD смещает акцент: полная последовательность действий — путь — становится значимым доказательством.
Этот акцент на «телеметрии» обусловил разработку многих ранних образовательных игр и симуляторов. В оценке, основанной на играх, таких как SimCityEDU: Pollution Challenge!, студенты могли пробовать разные подходы и видеть, как системе — экономике или качеству воздуха — реагирует в реальном времени. Мислеви назвал это «живым аргументом». Телеметрия в этих играх раскрывала подход студента. ECD вдохновила игры от таких групп, как GlassLab и новых инициатив на таких платформах, как Roblox, Project Lead the Way, PBS Kids и Save Patch, демонстрируя, что контекст является конструктом, и оценка должна происходить в рамках аутентичной деятельности.
Сегодня эта идея определяет современные цифровые платформы с формирующимися представлениями. Платформы, такие как Khan Academy, Age of Learning, Carnegie Learning и Curriculum Associates, собирают и анализируют данные взаимодействия, чтобы предоставлять информацию о навыках в режиме реального времени, которая информирует обучение и корректировку курса.
3. Артефакты делают предположения прозрачными
Для обучения, включающего сложные творения (такие как искусство, письмо или научные исследования), доказательством является сам артефакт. Проблема заключается в переводе личного творения в справедливое, общее утверждение.
Мислеви восхвалял AP Art and Design, где проблемой было преобразование сотен личных часов студийной работы (созданных с помощью углей, глины и света) в общий стандарт. «Чудом» стало создание рубрики, созданной совместно художниками, педагогами, технологами и психометриками. Она служила мостом, превращая креативность студента в общее утверждение, позволяя оценщикам делать выводы, не жертвуя уникальными качествами искусства.
Аналогично, Learning Maps — визуальные иллюстрации отношений между знаниями и навыками — служат общими артефактами. Каждый узел представляет собой конкретную концепцию, вероятностно связанную с предшествующими навыками, предоставляя общий язык и путь для оценки прогресса.
Широта наследия ECD
Влияние Мислеви выходит за рамки этих примеров, лежа в основе:
- Международных оценок, таких как экзамен PISA Организации экономического сотрудничества и развития.
- Военных учебных симуляций Министерства обороны США (CRESST).
- Профессиональных сертификационных и лицензионных экзаменов, таких как экзамены Cisco Networking Academy Certification Exams, направленные на навыки для будущего.
- Формирующих оценок, согласованных со стандартами Next Generation Science Standards.
На протяжении всей своей карьеры, посвященной созданию обоснованных историй об обучении, Мислеви подарил области сложные статистические модели, построенные на простых притчах. Он продемонстрировал, что наиболее мощные модели соединяют доказательства с утверждениями с точностью и предельной точностью. Наследие Мислеви — не памятник, которым нужно восхищаться, а практика, которую следует активно использовать: четкий, совместный вызов решить следующую проблему вместе, сосредоточившись на надежной архитектуре выведения заключений.
