Om de wetenschappelijke ontdekkingen radicaal te veranderen, moet kunstmatige intelligentie eerst de kunst van efficiënte besluitvorming onder de knie krijgen. Uit een recente studie blijkt dat het aanleren van AI om Battleship te spelen een verrassend effectief oefenterrein voor dit doel biedt. Door modellen te dwingen het beste uit de beperkte middelen te halen, hebben onderzoekers technieken ontwikkeld die de manier kunnen veranderen waarop AI experimenten ontwerpt en hypothesen nastreeft in complexe wetenschappelijke velden.
De kosten van nieuwsgierigheid
Wetenschappelijk onderzoek is in wezen een spel van hulpbronnenbeheer. Onderzoekers moeten beslissen welke hypothesen ze willen testen en welke simulaties ze moeten uitvoeren, vaak met strikte beperkingen op het gebied van tijd, geld of beschikbaarheid van gegevens. Zoals Valerio Pepe, een onderzoekswetenschapper die het onderzoek leidde voordat hij bij OpenAI kwam, opmerkt: “Je kunt maar een beperkte hoeveelheid gegevens krijgen, omdat het verkrijgen van gegevens duur of tijdrovend is.”
De uitdaging voor AI is niet alleen om antwoorden te vinden, maar om ze efficiënt te vinden. Dit vereist het beheersen van wat Pepe ‘goedkope interventies’ voor het zoeken naar informatie noemt: strategieën die de waarde van elke afzonderlijke vraag of experiment maximaliseren. Om dit te testen, wendde het team zich tot een klassiek bordspel.
Een gezamenlijke draai aan een klassiek spel
De onderzoekers ontwierpen een gespecialiseerde, collaboratieve versie van Battleship. In deze variant fungeert de ene speler als de ‘vragensteller’ en genereert hij vragen over de verborgen scheepslocaties, terwijl een andere speler optreedt als de ‘antwoorder’. Het doel is dat het team alle schepen in zo min mogelijk rondes lokaliseert en tot zinken brengt.
Dankzij deze opzet kon het team de besluitvormingsvaardigheden van grote taalmodellen (LLM’s) rigoureus vergelijken met menselijke spelers. De studie, gepresenteerd op de International Conference on Learning Representations (ICLR), zette AI-modellen tegenover een controlegroep van 42 menselijke deelnemers.
Aanvankelijk brachten de resultaten een leemte in efficiëntie aan het licht:
* Mensen wonnen consequent in minder zetten dan Llama-4-Scout, het op efficiëntie gerichte AI-model van Meta.
* GPT-5, het belangrijkste redeneermodel van OpenAI, presteerde beter dan zowel de mensen als de Llama-4-Scout in ruwe prestaties.
Brute kracht was echter niet de enige maatstaf. De onderzoekers zochten naar een manier om de kosteneffectiviteit te optimaliseren, met als doel een model dat tegen een fractie van de rekenkosten kon concurreren met de beste redeneermachines.
Optimaliseren voor informatiewinst
Om de kloof te overbruggen paste het team principes toe uit Bayesiaans experimenteel ontwerp. Dit statistische raamwerk helpt onderzoekers de waarschijnlijkheid van gebeurtenissen in te schatten op basis van eerdere aannames, waardoor ze experimenten kunnen kiezen die de hoogste potentiële informatiewinst opleveren.
De wetenschappers hebben hun modellen geoptimaliseerd om:
1. Stel vragen die de kans op het raken van doelen maximaliseren.
2. Maximaliseer de hoeveelheid nieuwe informatie die per vraag wordt verkregen.
3. Kijk meerdere keren vooruit om te anticiperen op toekomstige resultaten.
Er kwam een cruciale doorbraak in de communicatiemethode. De onderzoekers ontdekten dat de nauwkeurigheid en efficiëntie enorm toenam wanneer AI-spelers communiceerden met behulp van codefragmenten in plaats van natuurlijke taal. Code bood een precieze, ondubbelzinnige structuur voor logica die natuurlijke taal vaak mist bij complexe redeneringstaken.
Het resultaat: efficiëntie boven brute kracht
Deze optimalisaties verbeterden de prestaties van het kleinere model dramatisch. De verfijnde Llama-4-Scout:
* Gewonnen in minder zetten dan GPT-5 tweederde van de tijd.
* Behaalde deze resultaten tegen ongeveer een honderdste van de kosten.
* Versla menselijke spelers met gemiddeld zeven zetten minder.
Deze uitkomst toont aan dat een kleiner, goed afgestemd model beter kan presteren dan een groter, duurder model als het gebruik maakt van superieure strategische redeneringen en efficiënte communicatieprotocollen.
Van bordspellen tot laboratoriumwerk
Hoewel Slagschip een vereenvoudigde omgeving is vergeleken met de rommelige realiteit van de scheikunde of biologie, blijft de onderliggende logica relevant. Wetenschappelijke steekproeven leveren niet altijd duidelijke ‘hits’ of ‘missers’ op, maar de noodzaak om door een enorme ‘hypotheseruimte’ te navigeren is universeel.
Yuanqi Du, een onderzoeker die zich richt op AI voor de scheikunde en niet betrokken was bij het onderzoek, benadrukt de bredere implicaties: “Het raamwerk zal zeer nuttig zijn om te meten of taalmodellen echt vooruitgang boeken bij het beslissen welke hypothesen uit alle mogelijkheden moeten worden nagestreefd.”
Conclusie
Door wetenschappelijk onderzoek te behandelen als een strategisch spel van informatiemaximalisatie, biedt dit onderzoek een schaalbare methode voor het evalueren en verbeteren van de besluitvormingsmogelijkheden van AI. Naarmate AI zich verplaatst van eenvoudige puzzels naar complexe laboratoriumtaken, zal het vermogen om efficiënt de juiste vragen te stellen net zo cruciaal zijn als het vermogen om ze te beantwoorden.
