AI Act markttoezicht: wat betekent dit voor de publieke sector?

Daniel Verloop

De Europese AI Act brengt een groot aantal veranderingen met zich mee voor organisaties die AI-systemen ontwikkelen of gebruiken. Een belangrijk onderdeel hiervan is het markttoezicht op AI-systemen. Maar wat houdt dit precies in en welke gevolgen heeft dit voor de publieke sector? In dit artikel duiken we dieper in de wereld van AI-markttoezicht en ontrafelen we de belangrijkste aspecten die elke professional in de publieke sector moet weten.

De basis van AI-markttoezicht

Markttoezicht in het kader van de AI Act is erop gericht om te waarborgen dat AI-systemen die op de Europese markt worden gebracht, voldoen aan de gestelde eisen en geen onacceptabele risico’s vormen voor gebruikers of de samenleving als geheel. Dit toezicht wordt uitgevoerd door aangewezen markttoezichtautoriteiten in elke EU-lidstaat.

De kern van het markttoezichtsysteem wordt uiteengezet in de artikelen 74, 75, 76 en 77 van de AI Act. Deze bepalingen werken nauw samen met Verordening 2019/1020, die gaat over markttoezicht en productconformiteit in het algemeen.[1]

Wat valt onder het markttoezicht?

Volgens overweging 156 van de AI Act:

“Hoewel de meerderheid van de AI-systemen niet onderworpen is aan specifieke vereisten en verplichtingen onder deze verordening, kunnen markttoezichtautoriteiten maatregelen nemen met betrekking tot alle AI-systemen wanneer deze een risico vormen in overeenstemming met deze verordening.”

Dit betekent dat zelfs AI-systemen die niet als ‘hoog risico’ zijn geclassificeerd, toch onder de loep kunnen worden genomen als er aanwijzingen zijn dat ze risico’s met zich meebrengen.

De impact op de publieke sector

Voor organisaties in de publieke sector die AI-systemen ontwikkelen, implementeren of gebruiken, brengt het markttoezicht enkele belangrijke veranderingen en verantwoordelijkheden met zich mee:

1. verhoogde transparantie

Markttoezichtautoriteiten hebben het recht om volledige toegang te eisen tot documentatie, trainings-, validatie- en testdatasets van AI-systemen. In sommige gevallen kan zelfs toegang tot de broncode worden gevraagd. Dit betekent dat publieke organisaties hun AI-ontwikkelingsprocessen grondig moeten documenteren en voorbereid moeten zijn om deze informatie te delen.

2. continue compliance

Het is niet voldoende om alleen bij de lancering van een AI-systeem aan de regels te voldoen. Markttoezicht zorgt ervoor dat systemen ook na ingebruikname worden gecontroleerd. Publieke organisaties moeten dus processen implementeren voor continue monitoring en verbetering van hun AI-systemen.

3. samenwerking met toezichthouders

Artikel 74 van de AI Act stelt dat lidstaten de coördinatie tussen markttoezichtautoriteiten moeten faciliteren. Voor de publieke sector betekent dit dat er mogelijk meer samenwerking en informatie-uitwisseling zal plaatsvinden tussen verschillende overheidsinstanties.

4. specifieke aandacht voor fundamentele rechten

Artikel 77 van de AI Act geeft speciale bevoegdheden aan autoriteiten die fundamentele rechten beschermen. Ze kunnen documentatie opvragen over AI-systemen die mogelijk impact hebben op deze rechten. Publieke organisaties moeten dus extra aandacht besteden aan de ethische implicaties van hun AI-toepassingen.

Praktische implicaties voor overheidsorganisaties

Nu we de hoofdlijnen van het AI-markttoezicht hebben besproken, rijst de vraag: wat betekent dit concreet voor overheidsorganisaties die met AI werken? Hier zijn enkele praktische overwegingen:

uitgebreide documentatie

  • Zorg voor gedetailleerde documentatie van het volledige AI-ontwikkelingsproces.
  • Houd nauwkeurig bij welke datasets zijn gebruikt voor training en testing.
  • Documenteer beslissingen rond algoritme-keuzes en modelarchitectuur.

risicobeoordeling en -mitigatie

  • Voer regelmatig risicobeoordelingen uit op AI-systemen, ook na implementatie.
  • Ontwikkel strategieën om geïdentificeerde risico’s te mitigeren.
  • Houd rekening met potentiële impact op fundamentele rechten en ethische overwegingen.

interne governance

  • Stel een AI-governanceteam samen dat verantwoordelijk is voor compliance en toezicht.
  • Ontwikkel interne richtlijnen voor AI-ontwikkeling en -gebruik die aansluiten bij de AI Act.
  • Train medewerkers in de vereisten van de AI Act en het belang van markttoezicht.

transparantie en communicatie

  • Bereid je voor op mogelijke verzoeken van markttoezichtautoriteiten.
  • Ontwikkel een communicatiestrategie voor het geval er problemen worden geïdentificeerd.
  • Wees proactief in het delen van informatie over AI-systemen met relevante stakeholders.

Uitdagingen en kansen

Het implementeren van deze nieuwe markttoezichtvereisten brengt ongetwijfeld uitdagingen met zich mee voor de publieke sector. Denk aan:

  • Extra administratieve lasten voor documentatie en rapportage.
  • Potentiële vertragingen in AI-implementatie door uitgebreide compliance-checks.
  • Noodzaak tot investeringen in nieuwe tools en processen voor monitoring en risicobeheer.

Maar er zijn ook kansen:

  • Verbeterde kwaliteit en betrouwbaarheid van AI-systemen in de publieke sector.
  • Verhoogd vertrouwen van burgers in overheids-AI door transparantie en toezicht.
  • Mogelijkheden voor innovatie in verantwoorde AI-ontwikkeling.

Voorbereiden op de toekomst

Hoewel de volledige implementatie van de AI Act nog even op zich laat wachten, is het cruciaal dat overheidsorganisaties nu al beginnen met de voorbereiding. Hier zijn enkele stappen die je kunt ondernemen:

  1. Breng in kaart welke AI-systemen momenteel in gebruik zijn binnen je organisatie.
  2. Evalueer deze systemen tegen de achtergrond van de AI Act-vereisten.
  3. Identificeer potentiële compliance-gaps en ontwikkel een actieplan om deze te dichten.
  4. Investeer in training en bewustwording rond AI-governance en compliance.
  5. Begin met het opzetten van robuuste documentatie- en monitoringsystemen.

Tot slot

Het markttoezicht onder de AI Act brengt zowel uitdagingen als kansen met zich mee voor de publieke sector. Door proactief te handelen en de juiste processen en systemen op te zetten, kunnen overheidsorganisaties niet alleen voldoen aan de nieuwe regelgeving, maar ook hun AI-systemen verbeteren en het vertrouwen van burgers versterken.

De weg naar volledige compliance zal niet altijd eenvoudig zijn, maar met de juiste aanpak en mindset kan de publieke sector een voortrekkersrol spelen in verantwoorde AI-ontwikkeling en -implementatie.

Wil je meer weten over hoe jouw organisatie zich kan voorbereiden op de AI Act en het bijbehorende markttoezicht? Neem dan contact op met CiviQs. Onze experts staan klaar om je te helpen navigeren door de complexe wereld van AI-governance en compliance in de publieke sector.

Over de Auteur

Daniel Verloop is expert in AI-innovatie, governance en ethiek voor de publieke sector. Als senior AI consultant bij CiviQs, AI specialist bij gemeente Montferland, lid van de EU AI Alliantie en het kernteam Publieke Diensten van de Nederlandse AI Coalitie (NLAIC) bevordert hij mensgerichte AI in de samenleving. Zijn expertise omvat AI-strategie, compliance met de EU AI Act en implementatie van AI-oplossingen voor overheden.