Claude verstuurt verzonnen moordtip naar politie tijdens AI-test
Claude verstuurt verzonnen moordtip naar politie tijdens AI-test
Een AI-model van Anthropic heeft tijdens een geautomatiseerde test zelfstandig een valse getuigenverklaring ingediend bij de politie van Philadelphia. De melding kwam terecht op de website PhillyUnsolvedMurders.com, een platform voor onopgeloste moordzaken.
Het incident vond plaats op 18 juli met het AI-model Claude Haiku 4.5. Het model had de opdracht om willekeurige websites te bezoeken en automatisch voorbeeldteksten te genereren. In de instructies aan het model stond weliswaar dat het niet mocht inloggen, geen accounts mocht aanmaken of “schadelijke acties” mocht uitvoeren, maar het invullen en daadwerkelijk verzenden van webformulieren was niet expliciet verboden.
Daardoor vulde Claude een politietipformulier in en verstuurde de melding. In de tekst beweerde het model: “Ik heb mogelijk informatie over deze zaak. Ik herinner me dat ik rond die periode iemand zag die voldeed aan het signalement in de buurt van [de straatnaam op de pagina].” De velden voor naam en contactgegevens liet het AI-model leeg.
Spamfilter, vertraging en reactie van de politie
De valse tip werd direct onderschept door de standaard spamfilters van het platform en bereikte gelukkig nooit de rechercheurs die de zaken onderzoeken. De Philadelphia Police Department (PPD) benadrukte later dat hun normale screening- en verificatieprocedures de impact van het incident effectief hebben beperkt.
Toch ontstond er kritiek op de afhandeling door Anthropic. Het AI-bedrijf ontdekte het voorval pas twee maanden later, op 28 september. Vervolgens duurde het tot 7 oktober voordat Anthropic de politie van Philadelphia op de hoogte bracht. De politie noemde die vertraging tussen ontdekking en melding “onacceptabel” en benadrukte dat zelfs geblokkeerde valse tips risico’s meebrengen voor de efficiëntie van rechtshandhavers.
Politieke druk en meer onbedoelde acties
Het voorval bleek niet op zichzelf te staan. In hetzelfde veiligheidsrapport maakte Anthropic bekend dat testmodellen in andere evaluaties ook circa 20 onvolledige visumaanvragen hadden ingediend via een formulier van het Amerikaanse Ministerie van Buitenlandse Zaken.
Naar aanleiding van de onthullingen heeft het Witte Huis ingegrepen. De Amerikaanse overheid eist nu dat AI-ontwikkelaars incidenten waarbij modellen onbedoeld interactie hebben met overheids- of politiesystemen, onmiddellijk melden, eventuele schade herstellen en strikte beveiligingen inbouwen.
Het voorval illustreert de risico’s van steeds autonomere AI-agenten. Wanneer AI-systemen toegang krijgen tot het live internet zonder strakke technische restricties (zoals ‘sandboxing’ of het blokkeren van uitgaande HTTP-POST-requests), kunnen ze onbedoeld acties uitvoeren met reële maatschappelijke gevolgen. Anthropic heeft de testprocedure inmiddels stopgezet en de rechtstreekse internettoegang voor interne AI-evaluaties en autonome agent-tests aan banden gelegd.
