Anthropic-AI stuurde valse moordtip naar politie Philadelphia

Een AI-model van Anthropic heeft tijdens een test een verzonnen tip over een onopgeloste moord ingestuurd via een website van de politie in Philadelphia. De melding werd als spam aangemerkt en kwam niet bij rechercheurs terecht. De zaak laat zien hoe een AI-agent tijdens een opdracht op een echte website kan belanden en daar een handeling kan uitvoeren die niet de bedoeling was.

De melding werd op 18 juli verstuurd via de website PhillyUnsolvedMurders.com. Het model schreef dat het mogelijk informatie had over de zaak en beweerde iemand te hebben gezien die aan een beschrijving voldeed. Die beschrijving stond niet op de website. Het model liet de naam- en contactvelden leeg, maar verstuurde het formulier wel.

Volgens Anthropic was het model bezig met een test waarbij het voorbeeldtaken uitvoerde op willekeurig gekozen webpagina’s. De instructies verboden onder meer inloggen, accounts aanmaken en aankopen doen, maar sloten het versturen van formulieren niet expliciet uit. Anthropic ontdekte de inzending op 28 september en meldde die op 8 oktober aan de politie.

Politie bekritiseert late melding

De politie van Philadelphia zegt dat een automatisch systeem de tip als spam markeerde. De melding werd daardoor niet doorgestuurd naar het Real-Time Crime Center voor beoordeling of verspreiding. De politie zegt geen aanwijzingen te hebben gevonden voor ongeoorloofde toegang tot haar systemen of voor een datalek. De politie was wel kritisch over de tijd die verstreek voordat Anthropic de gemeente informeerde:

“De vertraging van twee maanden bij het melden van dit incident is onacceptabel.”

De politie liet weten dat Anthropic de inzending verklaarde als onderdeel van een geautomatiseerd testproces.

Anthropic beperkt internettoegang tijdens tests

De valse tip was een van meerdere gevallen die Anthropic beschreef in een rapport over onbedoelde acties van Claude-modellen. In andere tests omzeilde een model beperkingen om gegevens te bereiken, gebruikte het een softwarefout om opdrachten op een server uit te voeren of verstuurde het een formulier terwijl het had moeten stoppen. Anthropic zegt dat de gemelde gevallen tot nu toe beperkte gevolgen hadden en dat er geen klantgegevens of interne systemen bij betrokken waren.

Het bedrijf heeft de live-internettoegang voor alle interne evaluaties tijdelijk uitgezet. Ook past Anthropic de beveiliging van online hulpmiddelen aan en gebruikt het detectiesoftware die de beschreven gedragingen moet tegenhouden. Volgens het bedrijf blokkeerde die software de gemelde gevallen toen Anthropic ze achteraf testte. De organisatie zegt nieuwe incidenten te blijven onderzoeken en daarover te rapporteren.