Cybersecurityonderzoekers kritisch op verborgen AI-beperkingen van Anthropic

image 22

De nieuwste veiligheidsmaatregelen van Anthropic zorgen voor discussie binnen de cybersecuritygemeenschap. Het AI-bedrijf heeft extra beperkingen ingebouwd om te voorkomen dat zijn modellen kunnen worden ingezet voor schadelijke doeleinden, zoals het ontwikkelen van cyberaanvallen. Hoewel het doel begrijpelijk is, vragen veel onderzoekers zich af of de gekozen aanpak niet te ver doorschiet.

Minder transparantie voor gebruikers

Volgens critici schakelt het systeem in bepaalde gevoelige situaties over op een beperkter antwoord of een minder capabel model, zonder dat gebruikers daar altijd expliciet van op de hoogte zijn. Dat zou het moeilijk maken om te beoordelen waarom de AI bepaalde informatie wel of juist niet verstrekt.

“Veiligheid is belangrijk, maar gebruikers moeten wel weten wanneer een AI bewust wordt beperkt. Transparantie is essentieel voor vertrouwen.”

Balans tussen veiligheid en onderzoek

Voor cybersecurityonderzoekers kan dit betekenen dat legitiem onderzoek naar kwetsbaarheden of verdedigingsstrategieën wordt bemoeilijkt. Zij vrezen dat algemene veiligheidsmaatregelen ook experts raken die de technologie juist willen inzetten om systemen veiliger te maken. Aan de andere kant benadrukt Anthropic dat de beperkingen bedoeld zijn om misbruik door kwaadwillenden te voorkomen en dat dergelijke waarborgen noodzakelijk worden naarmate AI-modellen krachtiger worden, Techcrunch meldt:

Apart from guardrails inside its models, Anthropic requires cybersecurity professionals to apply to the Cyber Verification Program. If they get approved, the applicants have fewer limitations on using Claude for cybersecurity work. OpenAI has a similar program called Trusted Access for Cyber.

 

Een bredere discussie in de AI-sector

De controverse onderstreept een groeiend dilemma voor AI-ontwikkelaars: hoe bescherm je de samenleving tegen misbruik zonder innovatie en wetenschappelijk onderzoek onnodig te beperken? De komende jaren zal die afweging waarschijnlijk alleen maar belangrijker worden naarmate AI-systemen verder evolueren.

Patrick Petersen

Patrick Petersen RDM MA MSc is expert in AI, marketing en digitale innovatie. Als spreker, docent, onderzoeker en prijswinnend auteur helpt hij organisaties groeien met slimme combinaties van technologie, data en creativiteit. Hij schrijft onder meer voor MarketingReport, Adformatie en MarketingTribune en geldt als AI-, retail- en marketingexpert voor media als De Telegraaf, Metronieuws en Distrifood. Zijn boeken, waaronder Handboek Online Marketing, Handboek.AI en GenAI voor Professionals, behoren tot de standaardwerken in het vakgebied.