De opkomst van AI brengt nieuwe uitdagingen met zich mee voor organisaties die deze technologie willen implementeren. Met de komst van de EU AI Act worden deze uitdagingen nog relevanter. In dit artikel bespreken we de verplichtingen die gebruikers van AI-systemen hebben en welke vragen je aan leveranciers kunt stellen bij de aanschaf van een AI-systeem.
Verplichtingen voor gebruikers van hoog-risico AI-systemen
De AI Act maakt onderscheid tussen verschillende risiconiveaus van AI-systemen. Voor hoog-risico systemen gelden strenge verplichtingen voor gebruikers[1]:
- Gebruik volgens instructies: het AI-systeem moet worden gebruikt in overeenstemming met de gebruikersinstructies van de aanbieder.
- Monitoring en verantwoordelijkheid:
- monitor de werking van het systeem
- meld eventuele problemen
- neem verantwoordelijkheid voor het gebruik
- Inputdata: zorg ervoor dat de inputdata relevant, up-to-date en betrouwbaar is.
- Logbeheer: bewaar logs zoals vereist door de regelgeving.
- Incidentmelding: informeer de aanbieder bij ernstige incidenten.
- Menselijke tussenkomst: zorg voor menselijke toetsing tussen AI-besluiten.
Deze verplichtingen vragen om kennis en begrip van de werking van AI. Het is daarom aan te raden om de leverancier grondig te bevragen over het aan te schaffen (hoog-risico) AI-systeem.
Vragen voor leveranciers bij aanschaf van een AI-systeem
Om te zorgen dat je als organisatie aan je verplichtingen kunt voldoen, is het belangrijk de juiste vragen te stellen aan de leverancier van het AI-systeem. Hier volgt een lijst met essentiële vragen:
- Training en testdata: met welke datasets is het systeem ontwikkeld en getest?
- Technische documentatie: welke documentatie is beschikbaar over het algoritme en de werking?
- Testresultaten: hoe is het systeem getest en zijn de resultaten beschikbaar?
- Zelflerend vermogen: is het systeem zelflerend en hoe werkt dit proces?
- CE-markering: heeft het systeem een Europees CE-keurmerk?
- Beveiliging en privacy: hoe voldoet het systeem aan beveiligings- en privacyrichtlijnen?
- Updates: hoe worden updates geregeld, inclusief eventuele algoritmische aanpassingen?
- FRIA: is er een Fundamental Rights Impact Assessment (FRIA) uitgevoerd?[3]
Aanvullende overwegingen
Naast bovengenoemde vragen zijn er nog enkele belangrijke punten om in overweging te nemen:
- Transparantie: vraag naar de mate van transparantie van het AI-systeem en hoe beslissingen worden genomen[2].
- Risicobeoordeling: verifieer of er een adequaat risicomanagement systeem is opgezet voor het AI-systeem[7].
- Conformiteitsbeoordeling: controleer of het systeem een conformiteitsbeoordeling heeft ondergaan voordat het op de markt werd gebracht[7].
- Menselijk toezicht: informeer naar de mogelijkheden voor menselijk toezicht en interventie in het systeem[6].
- Naleving van de AI Act: vraag hoe de leverancier voldoet aan de specifieke vereisten van de AI Act, vooral voor hoog-risico systemen[4].
Conclusie
Het aanschaffen en implementeren van een AI-systeem brengt aanzienlijke verantwoordelijkheden met zich mee. Door de juiste vragen te stellen aan leveranciers en de verplichtingen na te leven, kunnen organisaties beter voldoen aan de eisen van de AI Act en verantwoord omgaan met AI-technologie.
Het is van groot belang om een goede dialoog te onderhouden met de leverancier en up-to-date te blijven met de laatste ontwikkelingen in AI-regelgeving. Alleen zo kan een organisatie ervoor zorgen dat ze niet alleen voldoet aan de wettelijke vereisten, maar ook de voordelen van AI optimaal benut op een ethische en verantwoorde manier.
Wilt u meer weten over hoe u verantwoord kunt omgaan met AI binnen uw organisatie? Neem dan contact op met CiviQs voor deskundig advies en begeleiding bij de implementatie van AI-systemen.
