Zelfs de slimste AI kent grenzen: sommige problemen zijn simpelweg niet te leren

Kunstmatige intelligentie wordt vaak slimmer wanneer een systeem meer gegevens krijgt. Toch geldt dat niet voor ieder probleem. Wiskundigen hebben aangetoond dat er situaties bestaan waarin zelfs de meest geavanceerde AI niet tot een betrouwbaar antwoord kan komen. Meer data of extra rekenkracht helpt dan niet. AI-systemen worden inmiddels gebruikt voor onder meer klimaatonderzoek, robotica, hersenonderzoek en het analyseren van ingewikkelde natuurkundige processen. Veel van deze modellen zijn zo complex dat onderzoekers niet altijd precies kunnen uitleggen hoe een uitkomst tot stand komt.

Dat is riskant, omdat bestaande analysemethoden soms patronen ontdekken die in werkelijkheid helemaal niet bestaan. Zulke spookresultaten kunnen er overtuigend en betrouwbaar uitzien, terwijl ze feitelijk onjuist zijn. Zelfs perfecte meetgegevens kunnen dat probleem niet altijd voorkomen.

“Je krijgt dus een zelfverzekerd ogend antwoord dat gewoon fout kan zijn.” – Bron: Scientias.nl

Meer data biedt niet altijd een oplossing

De onderzoekers ontwikkelden speciale ‘vijandige systemen’: wiskundige valstrikken die er op het eerste gezicht normaal uitzien, maar waarop ieder leeralgoritme uiteindelijk vastloopt. Bij sommige van deze problemen komt de kans op een correct antwoord niet boven de vijftig procent uit. Dat is vergelijkbaar met gokken. Het toevoegen van meer gegevens maakt het systeem in zo’n geval niet slimmer. De conclusie is belangrijk: sommige vraagstukken zijn niet alleen moeilijk voor AI, maar wiskundig aantoonbaar onmogelijk om betrouwbaar te leren.

Een betrouwbaarheidsmeter voor algoritmen

Het onderzoek laat gelukkig niet alleen zien wat onmogelijk is. De wiskundigen ontwikkelden ook methoden waarmee kan worden bepaald welke problemen een algoritme wél betrouwbaar kan oplossen. Deze aanpak geeft bovendien een foutmarge bij ieder resultaat. Daardoor kunnen onderzoekers beter onderscheiden welke patronen werkelijk in de gegevens zitten en welke uitkomsten mogelijk door het model zijn verzonnen.

De problemen zijn ingedeeld op een soort moeilijkheidsladder. Sommige vraagstukken kunnen direct worden opgelost, andere vereisen meerdere stappen en verfijningen. Daarnaast bestaat er een categorie problemen die principieel onoplosbaar blijft.

“Meer data verandert er niets aan.” – Bron: Scientias.nl, op basis van het wetenschappelijke onderzoek

Succesvolle test met zee-ijs

De nieuwe methode werd getest met veertig jaar aan satellietgegevens over het Arctische zee-ijs. Daarbij ontdekten de onderzoekers patronen die bij traditionele analysemethoden verborgen bleven tussen de foutieve signalen. Zo werd een langzame afname van zee-ijs zichtbaar, vooral rond de Barentszzee en de Karazee. De methode kon bovendien voorspellingen doen die verder dan een maand vooruitkeken en in de test beter presteerden dan verschillende bestaande modellen. Opvallend is dat hiervoor veel minder rekenkracht nodig was. Waar grote voorspelmodellen soms een volledige dag moeten rekenen, kan de nieuwe methode snel op een gewone laptop worden uitgevoerd.

Mogelijke verklaring voor hallucinerende chatbots

Het onderzoek kan ook helpen verklaren waarom taalmodellen zoals ChatGPT soms informatie verzinnen. Taalmodellen voorspellen steeds welk woord waarschijnlijk op het vorige woord volgt. Een kleine verandering in een vraag of prompt kan daardoor tot een sterk afwijkend antwoord leiden. De vijandige systemen uit het onderzoek vertonen vergelijkbaar chaotisch gedrag: minimale verschillen aan het begin kunnen uiteindelijk een compleet andere uitkomst veroorzaken.

De belangrijkste les is daarom dat AI niet alleen beoordeeld moet worden op de kwaliteit van een antwoord, maar ook op de betrouwbaarheid ervan. Meer data maakt een model niet automatisch slimmer. Soms ligt er een harde wiskundige grens die geen enkel algoritme kan overschrijden.