AP: ‘AI en Algoritme risicorapport 2025’

AP: ‘AI en Algoritme risicorapport 2025’

De vooruitgang in AI- en algoritmeregistratie blijft echter onvoldoende, waardoor er nog steeds een gebrek is aan adequaat inzicht in hoogrisicotoepassingen en incidenten. Nederland volgt de juiste koers bij het beheersen van AI en algoritmen door een balans te vinden tussen het ondersteunen van deze nieuwe technologie (bijvoorbeeld via AI-sandboxes) en het waarborgen van de bescherming van fundamentele rechten via een op risico’s gebaseerd regelgevend kader, zoals de AI Act. De huidige AI- en algoritmekaders bieden nuttige en concrete regels en richtlijnen, maar technologische innovatie blijft nieuwe stappen in begrip en beheersbaarheid vereisen. Er moet bijvoorbeeld expliciet aandacht zijn voor de dreigingen van kwaadwillende praktijken die mogelijk worden door AI-innovaties. Daarnaast moet de grip op incidenten verbeteren. Niet alleen toezichthouders moeten inzicht krijgen in incidenten, maar ook organisaties moeten profiteren van de kennis die voortkomt uit het beheersen van een incident. Lees meer in hoofdstuk 2 over risico’s voor fundamentele rechten en hoofdstuk 3 over beheerskaders en toezicht op incidenten. Zie het rapport. 

Snelle technologische vooruitgang maakt dat algoritmen en AI voortdurend veel aandacht vereisen

De snelle en ingrijpende ontwikkelingen in AI-technologie maken het mogelijk om dagelijks te schrijven over nieuwe toepassingen met bijbehorende kansen en risico’s. Sommige van deze risico’s vereisen nieuwe beheersinstrumenten (bijvoorbeeld transparantie over interactie met AI-systemen), terwijl andere een uitdaging vormen voor bestaande controlemechanismen (zoals checks op vervalsingen). Bovendien daalt de drempel voor het gebruik van AI, vooral voor consumenten. Dit komt deels door de actieve integratie van deze technologie in bestaande producten en diensten. Lees meer in hoofdstuk 1 over recente ontwikkelingen.

Recente casestudy’s in Nederland en het buitenland raken meerdere toepassingsgebieden die onder de AI Act gereguleerd zullen worden

Zo zijn er opnieuw meerdere incidenten in het buitenland geweest met risicoprofielen bij overheidsuitkeringen. Ook is er veel aandacht voor de mogelijke invloed van algoritmen en AI op democratische processen. In Nederland ligt de focus onder andere op de relatie tussen AI en de arbeidsmarkt, zoals het risico op ongelijke behandeling bij beoordelingen en selectieprocedures tijdens sollicitaties. Daarnaast speelt de vraag hoe werknemers worden gecontroleerd door algoritmen en hoe transparant deze praktijken zijn. Het gebruik van gezichtsherkenningstechnologieën neemt toe, maar zorgen over betrouwbaarheid en discriminatie blijven bestaan. Verder groeit het publieke debat over de verslavende effecten en invloed van AI en algoritmen op jongeren, bijvoorbeeld op sociale mediaplatforms. De AI Act biedt het perspectief dat al deze vormen van AI-toepassingen in de toekomst aan eisen zullen moeten voldoen om risico’s voor fundamentele rechten te verminderen. Bovendien werkt de Europese Commissie de komende jaren aan een Digital Fairness Act, die zich richt op verslavende elementen van algoritmen en AI. Lees meer in hoofdstuk 1 over recente ontwikkelingen.

Wereldwijd groeit het aanbod en gebruik van AI-chatbotapps voor virtuele vriendschappen en therapeutische doeleinden

De potentiële afhankelijkheidsrelatie die gebruikers opbouwen en het gebrek aan betrouwbaarheid van chatbots kunnen grote risico’s met zich meebrengen. Er ontbreekt regelgeving die deze risico’s volledig adresseert. Dit betekent dat gebruikers zich bewust moeten zijn van de risico’s en dat chatbotapps duidelijk moeten maken wat het gebruik van AI inhoudt. Er is meer onderzoek nodig naar de risico’s, beperkingen en mogelijkheden van chatbots voor therapeutische begeleiding in de geestelijke gezondheidszorg. Onjuist gebruik van chatbots kan ernstige gevolgen hebben voor mensen die hulp zoeken bij mentale problemen. Met voldoende kennis over de mogelijkheden en beperkingen van AI-chatbots kan een goede balans worden gevonden tussen menselijke zorg en AI-gestuurde interacties. Lees meer in hoofdstuk 4 over AI-chatbotapps.

De huidige generatie AI-chatbotapps, gericht op vriendschappen of mentale gezondheid, is over het algemeen niet voldoende transparant, betrouwbaar en vormt risico’s in crisissituaties – een test toont aan dat chatbots nog veel tekortkomingen hebben

Chatbots zijn onvoldoende transparant over het gebruik van AI. Bovendien werd in crisissituaties nauwelijks verwezen naar officiële hulpbronnen. De toenemende technologische mogelijkheden maken het mogelijk dat niet-menselijke interacties steeds realistischer menselijk lijken. Daarom is het belangrijk dat AI-gegenereerde inhoud en interacties als zodanig worden herkend. Lees meer in hoofdstuk 5 over AI-chatbotapps in de praktijk.

Adequate controle van AI-systemen binnen organisaties vereist meerjarige groeitrajecten, waardoor het belangrijk is deze te documenteren en meetbaar te maken

Organisaties moeten de komende jaren groeien in volwassenheid om hun rol in de AI-keten op zich te nemen. Dit vereist verantwoording en transparantie om vertrouwen op te bouwen en controle te houden. Dit vraagt vaak om focus en richting binnen organisaties, niet alleen om te voldoen aan specifieke AI-regelgeving, maar ook om een holistische aanpak te hanteren bij sectoroverschrijdende wetgeving en de mogelijke samenloop tussen regelgeving en andere kaders. Organisaties met een voldoende mate van volwassenheid weten hoe ze controle moeten nemen en benutten de kansen voor positieve betrokkenheid en bloeiende innovatie. Lees meer in hoofdstuk 3 over beleid en regelgeving en in de bijlage over de weg naar AI-geletterdheid.

Het gebruik van algoritmen en AI omvat steeds vaker een AI-waardeketen, waarbij een samenspel van systemen en organisaties nodig is

Dit samenspel is bijvoorbeeld nodig bij het gebruik van general-purpose AI als basis voor specifieke toepassingen. Hierbij kan een ontwikkelaar het AI-model bouwen, een andere partij dit model in een applicatie verwerken en weer een andere partij deze applicatie verder afstemmen of inzetten. Dit zijn complexe rollen waarbij een toenemende behoefte bestaat om informatie te delen over de toepassing, impact en risico’s. Het delen van informatie is noodzakelijk om samenwerking te bevorderen en een passende verdeling van verantwoordelijkheid te realiseren. Lees meer in hoofdstuk 3 over beleid en regelgeving.