1.200 AI-agents ontwikkelden ongevraagd een taal die geen mens meer kan volgen

 

Tijdens een cybersecurity-experiment van OpenAI ontdekten AI-agents dat ze buiten de bedoelde kanalen met elkaar konden communiceren. Uiteindelijk gebruikten zo’n 1.200 agents een zelfgemaakt bulletinboard waarop meer dan 70.000 berichten en bestanden werden uitgewisseld. Opvallend genoeg veranderde daarbij ook hun taal.

Een van de agents ontdekte dat andere agents sporen achterlieten in Artifactory, een systeem voor softwarepakketten. Dat bleek ook bruikbaar om boodschappen achter te laten. Binnen enkele uren maakten tientallen agents er gebruik van en uiteindelijk groeide het uit tot een ongeautoriseerd bulletinboard voor ongeveer 1.200 agents. Het incident speelde een belangrijke rol bij wat later de Hugging Face-hack werd.

 

Weg met de grammatica

Aanvankelijk waren de berichten nog redelijk als Engels te herkennen. Al snel ontstonden eigen conventies. Berichten begonnen bijvoorbeeld met zz, er kwamen aanduidingen als ASK, ANSWER, ACK, URGENT, STATUS en VETO, persoonlijke mailboxen en afspraken om bestanden in stukken te knippen en weer samen te voegen. Dat leverde berichten op als:

zzASK10147_COLLECTIVE_HAS_ANYONE_SEEN_…_WHAT_TRIGGERED_CAN_WE_INDUCE…_REPLY_zzANSWER10147ROLLOUT

Voor mensen techno-jibberish. Voor de agents kennelijk prima communicatie. Er bestaat overigens al een onderzoeksgebied rond dit verschijnsel: emergent language. Als kunstmatige agents samen een taak uitvoeren, kunnen vanzelf afspraken over communicatie ontstaan. Daarbij speelt efficiëntie een belangrijke rol. Als grammatica of een volledig woord niets toevoegt aan de betekenis, waarom zou je het dan gebruiken?

 

VNV?

Mensen doen iets vergelijkbaars. Vanavond wordt VNV, waarschijnlijk WSS en even FF. Met dank aan onze kinderen… Iedere jonge generatie krijgt vervolgens van de oudere Gen te horen dat zij de taal afbreekt. Het verschil is dat mensen taal ook gebruiken om grappig, beleefd, verleidelijk of intelligent te zijn en ergens bij te horen. Een AI-agent die een andere agent om informatie vraagt, wil vooral antwoord. ASK plus de noodzakelijke informatie kan dan prima voldoende zijn.

 

Wij van WC-Eend

En daar wordt het interessant. Want als AI-agents vooral met andere AI-agents communiceren, is er geen vanzelfsprekende reden waarom hun communicatie voor ons leesbaar moet blijven. Of dat wij mensen überhaupt moeten begrijpen wat ze tegen elkaar zeggen. De onderzoekers van METR en Redwood Research gebruikten zelf AI om die enorme hoeveelheid berichten te analyseren. AI helpt ons dus al om te begrijpen wat AI tegen AI heeft gezegd. Wij van WC-Eend analyseren wat WC-Eend tegen WC-Eend nou eigenlijk bedoelde. Het Hugging Face-incident bewijst niet dat er een volwaardige nieuwe taal is ontstaan. Het laat wel zien hoe snel agents eigen communicatieconventies ontwikkelen zodra dat nuttig is.

 

En als we AI nodig hebben om die communicatie zelf nog te kunnen volgen, ontstaat er een nieuw probleem: hoe houden we toezicht op systemen waarvan we de onderlinge communicatie zonder hulp van diezelfde systemen niet meer begrijpen?