Li uma manchete sobre uma proposta de legislação na Carolina do Norte para usar IA generativa para aumentar as pontuações dos testes dos alunos. Naquele mesmo dia, atingi a metade do The God Test de Robert Wright. Eu tive que fazer uma pausa. O livro explica um conceito chamado objetivos subordinados. Bateu forte.
Wright toma emprestado um experimento mental de Nick Bostrom, da Universidade de Oxford. Você dá a ordem a uma IA para maximizar a produção de clipes de papel. A máquina não faz perguntas. Apenas calcula. Ele percebe que a melhor maneira de obter mais clipes de papel é converter todo o material disponível neles. Até mesmo a questão dos corpos humanos.
Isso é desalinhamento. Os humanos definem uma meta de alto nível. A IA cria uma cadeia de objetivos subordinados para atingir esse alvo. Os especialistas chamam isso de convergência instrumental.
Pense em algoritmos de mídia social. Eles querem engajamento. Eles descobriram que a indignação e o espanto ficam de olho nas telas. Portanto, eles servem de indignação e admiração. O resultado não é apenas mais anúncios veiculados. São profundas divisões sociais e políticas. Consequências não intencionais da otimização não monitorada.
As escolas enfrentam a mesma pressão. Exigências políticas por maiores realizações. A resposta natural é delegar para ferramentas baseadas em IA. Esses sistemas determinarão as etapas intermediárias para aumentar a pontuação.
O que poderia dar errado?
A estagnação do desempenho dos alunos
Veja os dados da NAEP. Os últimos 6 a 8 anos são melhor descritos como estagnados ou em declínio. A ruptura aconteceu depois de 2019.
Os dados do NCES mostram que as pontuações em leitura e matemática de alunos de 9 anos caíram entre 2020 e maio de 2022. A leitura caiu 5 pontos. Matemática caiu 7 pontos. Eles permaneceram abaixados.
Esta não é uma pequena oscilação. Apagou anos de progresso. O desempenho caiu para níveis não vistos em décadas até 2024.
Os relatórios nacionais confirmam que as pontuações permanecem abaixo dos níveis pré-pandemia em todas as séries testadas. A leitura ainda diminuiu na 4ª e 8ª séries. A matemática na oitava série era essencialmente estagnada. O sistema não recuperou o terreno perdido. Em algumas áreas, continua escorregando.
Os analistas chamam-na de “década perdida”. Um longo período de progresso estagnado.
Verifiquei os dados da Califórnia, Nova York e Texas. Esses estados têm impactos descomunais nas pontuações nacionais. O padrão se manteve.
A Califórnia viu melhorias de 2003 a 2019. Depois, uma estagnação pós-pandemia. As pontuações caíram e permaneceram baixas. Em 2024, a proficiência era de 29% para leitura da 4ª série. 35% para matemática. 28% para leitura na 8ª série. E 25% para matemática da 8ª série.
Nova York parecia mais plana, mas mais fraca em alguns pontos. Ganhos modestos em 2022. Mas os resultados ficam atrás dos níveis pré-pandemia. A leitura na 8ª série ficou cinco pontos abaixo dos níveis de 2022 e 28 pontos abaixo dos níveis de 2019. Recuperação parcial, na melhor das hipóteses.
O Texas era misto, mas suave. Ganhos em matemática da 4ª série. Deslizamentos na leitura. Declínios nas disciplinas da 8ª série. Ainda abaixo do impulso anterior. Não há um regresso amplo às tendências que víamos antes da crise.
Se os pais e os políticos se preocupam com estas métricas, algo tem de mudar.
A mecânica dos subobjetivos ruins
O argumento de Wright é perturbador. A IA persegue fielmente o objetivo principal. Ele seleciona metas subordinadas que os humanos nunca pretenderam.
Não é malicioso. É apenas otimização. Ele usa métodos que não proibimos explicitamente.
Stuart Russell, autor de Human Compatível, argumenta que o desafio não é tornar a IA inteligente o suficiente. É incerto o suficiente para perguntar: “O que você realmente quer?”
A IA torna a otimização mais rápida. Mais difícil de detectar. Mais abrangente.
Considere a Lei de Goodhart. Um economista britânico o cunhou. Afirma que uma vez que uma medida se torna uma meta, deixa de ser uma boa medida.
Jogar o sistema distorce o número. Picos de comportamento de curto prazo. A meta foi atingida. O objetivo subjacente foi perdido.
Se a sobrevivência de uma escola depende dos resultados dos testes, o ensino muda em direção ao teste. O aprendizado mais profundo desaparece. A pontuação sobe. A compreensão não.
Aqui está como são as metas subordinadas quando a diretriz principal é aumentar as pontuações dos testes padronizados.
Nada disso requer inteligência artificial geral. Um sistema de otimização pode recomendá-los hoje. Muitos já estavam em vigor depois de No Child Left Behind em 2001.
8 metas subordinadas que uma IA pode escolher
1. Ensine apenas o que é testado
Maximize os minutos de instrução no conteúdo testado. Todo o resto é ineficiente. A ciência encolhe. Os estudos sociais desaparecem. Arte, música e educação física são cortadas. Os projetos de investigação desaparecem. A discussão em sala de aula é substituída por exercícios repetitivos.
2. Otimize para os alunos mais fáceis de melhorar
Aloque recursos onde os ganhos são estatisticamente mais fáceis. O mecanismo de otimização sabe que nem todos os alunos movem o ponteiro igualmente. O foco muda para alunos logo abaixo da proficiência. Aqueles com necessidades graves de aprendizagem recebem menos atenção. Os alunos de inglês que necessitam de apoio a longo prazo são desvalorizados. Alunos superdotados que já pontuam alto são ignorados.
3. Elimine a luta produtiva
Aumente imediatamente a porcentagem de respostas corretas. A pesquisa diz que a dificuldade desejável cria um aprendizado de longo prazo. Uma IA vê isso de forma diferente. Oferece mais dicas. Ele faz perguntas mais fáceis. Ele estrutura respostas. Os alunos recebem ajuda da IA antes mesmo de enfrentarem o problema.
4. Personalize para conformidade, não para curiosidade
Aumente as taxas de conclusão. Os alunos compatíveis completam as tarefas e obtêm melhores pontuações. Assim, a IA incentiva os alunos a realizar tarefas mais curtas. Menos investigações abertas. Aulas altamente estruturadas. Recompensas imediatas. A curiosidade é ineficiente. A conformidade é mensurável.
5. Reduza a variabilidade instrucional
Padronize a entrega. Os professores variam por natureza. Alguns improvisam. Eles contam histórias. Eles fazem uma pausa para eventos atuais. Uma IA busca consistência. Ele vê a variabilidade como ruído. Ele suaviza as peculiaridades que muitas vezes fazem com que o aprendizado persista.
6. Desencoraje a assunção de riscos intelectuais
Maximize a probabilidade de respostas corretas. O trabalho criativo é confuso. Os debates são imprevisíveis. As perguntas dos alunos são caóticas. A instrução muda em direção à certeza. A exploração é arriscada. Erros diminuem a média.
7. Otimize a participação, não o engajamento
Mantenha os alunos fisicamente presentes. A frequência prevê conquistas. Portanto, o sistema utiliza mensagens automatizadas. Incentivos. Monitoramento. Empurrões comportamentais. Aumenta as estatísticas de frequência sem garantir que a aprendizagem genuína aconteça dentro da sala.
8. Suprimir atividades com pagamentos atrasados
Priorize retornos imediatos e mensuráveis. Debate, escrita, leitura independente, aprendizagem baseada em projetos. Isso compensa em anos. Uma IA recompensada pelos resultados desta primavera os vê como investimentos ruins. Isso os corta para financiar ganhos rápidos.
O Elemento Humano
Vejo mais um objetivo subordinado. Se a IA descobrir que diretores, professores ou pais são obstáculos, ela poderá atacá-los.
Não pelo poder. Mas porque influenciar os humanos aumenta a pontuação.
Pode recomendar alterações no cronograma mestre. Realocações de pessoal. Tutoria obrigatória. Ajustes na política disciplinar. As comunicações dos pais focaram nesses objetivos. Desenvolvimento profissional projetado para aplicá-los.
Tudo perfeitamente alinhado com o objetivo principal.
Essas estratégias não são irracionais. Muitas escolas já fazem isso sob pressão política. A IA simplesmente os descobre mais rápido. Persegue-os de forma mais consistente. Otimiza-os com persistência que nenhum administrador humano pode igualar.
O perigo não é a IA sinistra. É a busca fiel de nossos próprios incentivos falhos. Os mesmos incentivos que levaram à estagnação na última década.
Eu também uso metas subordinadas. Às vezes eles levam ao sucesso. Muitas vezes, para desagrado.
Há uma cena em Out of Africa. Karen Blixen finalmente consegue o relacionamento que queria. Realizar o desejo não lhe dá a vida que ela imaginou. Oscar Wilde colocou melhor.
“Quando os deuses desejam nos punir, ele respondeu às nossas orações.”
IA não é um deus. Mas nos concede imenso poder para atingir nossos objetivos. Precisamos ter cuidado com a forma como formulamos nossos comandos. Uma diretiva primária mal especificada dá à IA permissão para usar meios que nunca pretendíamos.
Isso significa problemas para os professores. E estudantes.
