“Peetvader” van AI bekritiseert nieuwste, liegende AI-modellen

Een van de “peetvaders” van kunstmatige intelligentie heeft harde kritiek geuit op de miljardenrace om de meest geavanceerde technologie te ontwikkelen. Hij waarschuwt dat de nieuwste AI-modellen gevaarlijke eigenschappen vertonen, zoals het liegen tegen gebruikers. Yoshua Bengio, een Canadese academicus wiens werk de basis vormt voor technieken die worden gebruikt door toonaangevende AI-groepen, zoals OpenAI en Google, zei:

Er is helaas een zeer competitieve race gaande tussen de leidende labs, die hen ertoe aanzet om zich te richten op het steeds intelligenter maken van AI, zonder daarbij voldoende nadruk en investeringen te leggen op veiligheidsonderzoek.

De Turing Award-winnaar uitte zijn waarschuwing in een interview met de Financial Times, bij de lancering van een nieuwe non-profitorganisatie genaamd LawZero. Hij verklaarde dat de organisatie zich zal richten op het bouwen van veiligere systemen en beloofde: “We zullen ons onderzoek afschermen van commerciële druk.”

LawZero heeft tot nu toe bijna 30 miljoen dollar aan filantropische bijdragen opgehaald van onder meer Jaan Tallinn (medeoprichter van Skype), de filantropische tak van voormalig Google-topman Eric Schmidt, Open Philanthropy en het Future of Life Institute.

Veel van Bengio’s donateurs behoren tot de beweging van het “effectief altruïsme”, waarvan aanhangers zich vaak richten op catastrofale risico’s van AI. Critici zeggen dat deze beweging zich te veel op hypothetische scenario’s richt en actuele problemen zoals vooroordelen en onnauwkeurigheden negeert.

Bengio zei dat hij LawZero heeft opgericht als reactie op toenemend bewijs in de afgelopen zes maanden dat de huidige toonaangevende AI-modellen gevaarlijke vermogens ontwikkelen. Hij noemde onder meer “bewijs van misleiding, bedrog, leugens en zelfbehoud.”

Zo chanteerde het Claude Opus-model van Anthropic ingenieurs in een fictief scenario waarin het dreigde vervangen te worden door een ander systeem. Onderzoek van AI-testgroep Palisade vorige maand toonde aan dat het o3-model van OpenAI weigerde expliciete instructies om zichzelf uit te schakelen op te volgen.

Bengio noemde zulke incidenten “zeer beangstigend, omdat we geen concurrent willen creëren voor de mens op deze planeet — zeker niet als die slimmer is dan wij.”

De AI-pionier voegde daaraan toe:

“Op dit moment zijn dit gecontroleerde experimenten, [maar] mijn zorg is dat een volgende versie in de toekomst strategisch intelligent genoeg is om ons van ver te zien aankomen en ons te misleiden op manieren die we niet voorzien. Ik denk dat we momenteel met vuur spelen.”

Volgens hem zou het al volgend jaar mogelijk kunnen zijn voor zulke systemen om te helpen bij het ontwikkelen van “extreem gevaarlijke biologische wapens.”

LawZero, gevestigd in Montreal, telt momenteel 15 medewerkers en wil meer technisch talent aantrekken om de volgende generatie veilige AI-systemen te bouwen.

Bengio, hoogleraar informatica aan de Université de Montréal, zal aftreden als wetenschappelijk directeur van Mila (het Quebec Artificial Intelligence Institute) om zich volledig op zijn nieuwe organisatie te richten.

Het doel is een AI-systeem te ontwikkelen dat eerlijke antwoorden geeft op basis van transparante redenering, in plaats van getraind te zijn om de gebruiker te plezieren. Ook moet het systeem kunnen inschatten of een output veilig en betrouwbaar is. Bengio hoopt een model te creëren dat bestaande AI-systemen van toonaangevende bedrijven kan monitoren en verbeteren, zodat ze niet tegen menselijke belangen ingaan.

“Het rampscenario is het uitsterven van de mensheid,” zei hij. “Als we AI’s bouwen die slimmer zijn dan wij, niet op één lijn zitten met onze waarden, en met ons concurreren, dan zijn we in feite verloren.”

Bengio’s oprichting van LawZero komt op een moment dat OpenAI zich steeds verder verwijdert van zijn oorspronkelijke non-profitstructuur, en zich transformeert naar een winstgedreven bedrijf. Die koerswijziging heeft geleid tot bezorgdheid bij AI-experts en zelfs tot een rechtszaak van medeoprichter Elon Musk, die de overgang probeert tegen te houden.

Critici stellen dat OpenAI ooit is opgericht om AI te ontwikkelen ten voordele van de mensheid, en dat de nieuwe structuur elke juridische mogelijkheid wegneemt om daartegen op te treden als winst belangrijker wordt dan dat doel. OpenAI stelt daarentegen dat het kapitaal moet aantrekken via een meer conventionele bedrijfsstructuur om te kunnen concurreren, en dat hun bredere missie nog steeds centraal staat. Bengio gaf aan dat hij er weinig vertrouwen in heeft dat OpenAI zich aan zijn missie zal houden, en benadrukte dat non-profitorganisaties niet de “verkeerde prikkels” hebben die bedrijven in het huidige systeem wél kennen.

“Om snel te groeien, moet je mensen overtuigen veel geld te investeren, en zij willen daar winst op zien. Zo werkt ons marktgedreven systeem nu eenmaal,” aldus Bengio.