Arjen Schram, 18 oktober 2024

AI bij de rijksoverheid: geen risicoafweging voor meer dan de helft van AI-systemen

Ook bij de rijksoverheid groeit het gebruik van artificiële intelligentie (AI). Die groei gaat gepaard met een toename van serieuze risico’s. En die risico’s blijken momenteel maar beperkt in kaart te zijn gebracht. Uit een woensdag gepubliceerd rapport van de Algemene Rekenkamer blijkt dat voor meer dan de helft van de AI-systemen binnen de overheid nog geen aantoonbare risicoafweging is gemaakt.

Dat betekent dat veel van de gebruikte AI-systemen momenteel zonder grondige analyse van potentiële gevaren opereren. Terwijl discriminatie en privacy-schendingen bij het gebruik van deze systemen evident op de loer liggen. Dat is zorgelijk. Vooral in het licht van de per 1 augustus 2024 in werking getreden Europese AI-verordening. Die stelt immers strikte eisen aan het gebruik van AI-systemen, met name wanneer deze een hoog risico met zich meebrengen. De rijksoverheid heeft echter nog tot en met 2030 om ervoor te zorgen dat alle AI-systemen met een hoog risico voldoen aan de AI-verordening. Tijd om aan de slag te gaan dus.

Discriminatie en privacy-schendingen

AI-systemen hebben de potentie om overheidsprocessen te optimaliseren, maar ze brengen ook aanzienlijke risico’s met zich mee. Een van de grootste gevaren is het risico op discriminatie. AI-algoritmes leren van data. Wanneer deze data vooroordelen bevat dan kunnen die leiden tot discriminerende uitkomsten. Dat is met name problematisch in systemen die worden ingezet voor inspectie, handhaving of besluitvorming, zoals bij fraudedetectie of risicomodellen voor schuldproblematiek. Deze systemen grijpen direct in op het leven van burgers en fouten kunnen leiden tot oneerlijke behandeling van bepaalde groepen. Een schrijnend voorbeeld van waartoe dat kan leiden is natuurlijk het toeslagenschandaal.

AI-systemen kunnen bovendien een serieus privacy-risico vormen. Veel AI-systemen verwerken grote hoeveelheden persoonsgegevens, vaak zonder dat burgers zich daarvan bewust zijn. Wanneer deze gegevens onvoldoende worden beschermd, kunnen ze onbedoeld openbaar worden gemaakt of in verkeerde handen vallen. Dat maakt het essentieel dat AI-systemen voldoen aan de geldende privacywetgeving, waaronder de AVG (Algemene Verordening Gegevensbescherming).

De AI-Verordening: strengere eisen voor hoogrisico AI

De AI-verordening deelt AI-systemen in verschillende risicocategorieën in, variërend van minimaal tot hoog risico. Systemen die als hoog risico worden geclassificeerd, zoals AI die wordt ingezet voor biometrische identificatie of het voorspellen van schuldenproblematiek, moeten voldoen aan strenge eisen. Die omvatten onder meer gedetailleerde risicoanalyses, datakwaliteitseisen en transparantie over hoe het systeem beslissingen neemt. Organisaties moeten tevens een mensenrechtentoets uitvoeren om te waarborgen dat de inzet van AI niet in strijd is met fundamentele rechten.

“Een zorgwekkende conclusie uit het rapport is dat voor meer dan de helft van de AI-systemen binnen de overheid geen aantoonbare risicoafweging is gemaakt.“

Een zorgwekkende conclusie uit het rapport is dat momenteel voor meer dan de helft van de AI-systemen binnen de overheid geen aantoonbare risicoafweging is gemaakt. Zonder een systematische risicobeheersing is het risico op onvoorziene gevolgen groot, vooral wanneer AI-systemen beslissingen nemen die invloed hebben op de levens van burgers. Bovendien is er op dit moment geen rijksbreed instrument voor het maken van risicoafwegingen, wat leidt tot een gebrek aan uniformiteit in de manier waarop overheidsinstanties risico’s inschatten en beheren.

Verantwoordelijkheid en toezicht

Hoewel de AI-verordening eisen stelt aan de ontwikkeling en het gebruik van AI-systemen, ligt de uiteindelijke verantwoordelijkheid voor risicobeheersing bij organisaties zelf. Overheidsinstanties moeten niet alleen weten welke AI-systemen zij gebruiken, maar ook hoe deze systemen zijn geclassificeerd en welke maatregelen nodig zijn om aan de wet te voldoen. Voor AI-systemen met een hoog risico moeten deze maatregelen vóór 2030 volledig zijn geïmplementeerd.

Een risico dat door het rapport wordt aangekaart, is dat er een prikkel bestaat voor organisaties om AI-systemen qua risico’s lager te classificeren om zo de strenge eisen van de AI-Verordening te vermijden. Dat kan leiden tot onderrapportage van hoogrisico-systemen, wat de effectiviteit van het toezicht en regulering ondermijnt. Om deze prikkel te vermijden, is transparantie en controle door externe toezichthouders dus essentieel.

Conclusie

Het rapport van de Algemene Rekenkamer onderstreept het belang van risicobeheersing voor AI-systemen binnen de rijksoverheid. AI biedt kansen, maar de risico’s mogen niet worden onderschat. Vooral niet voor wat betreft discriminatie en privacy-schendingen. Zonder gedegen risicoanalyses lopen burgers het risico slachtoffer te worden van fouten en onbedoelde vooroordelen. De rijksoverheid dient daarom actie ondernemen om te voldoen aan de nieuwe eisen die verordening stelt en een juiste balans te vinden tussen enerzijds de voordelen van innovatie en anderzijds de bescherming van fundamentele rechten. Gelukkig heeft zij daarvoor nog tot en met 2030. Maar we weten allemaal hoe lang ICT-projecten kunnen duren… Tijd om aan de slag te gaan dus.