Sinds 2021 is er binnen de EU gewerkt aan een wetgeving om de risico's van de snel evoluerende AI-technologie te beperken. Dit traject was niet eenvoudig, met intense onderhandelingen tot het laatste moment. Na twee lange sessies (22 uur en 14 uur) is er politieke consensus bereikt, hoewel de tekst nog verfijnd moet worden. Wat zijn de gemaakte afspraken en wat betekent dit voor jou?
Drie Risiconiveaus
De AI Act is gestructureerd rond drie risiconiveaus. Ten eerste zijn er verboden praktijken die in de EU niet toegestaan zijn. Dit omvat manipulatie, sociale kredietscores en realtime biometrie op afstand. Een nieuwe toevoeging is het verbod op emotieherkenning op de werkvloer, zoals bij het beoordelen van sollicitanten of het monitoren van werknemers. Organisaties die deze praktijken toepassen, moeten binnen zes maanden na de publicatie van de AI Act hiermee stoppen.
AI-toepassingen met een 'laag risico' hebben geen bijzondere risico's en moeten alleen aan transparantieverplichtingen voldoen. Ze moeten duidelijk maken dat ze AI zijn (bijvoorbeeld: "Hallo, ik ben een chatbot, hoe kan ik je helpen?"). Daarnaast moet hun output als AI-gegenereerd worden aangeduid, al is het onduidelijk of dit inhoudt dat alle AI-geproduceerde tekst of beelden een watermerk moeten krijgen. Deze AI's mogen niet betrokken zijn bij besluitvormingsprocessen.
De meeste aandacht gaat uit naar AI met een 'hoog risico', systemen die aanzienlijke risico's voor mensen of de samenleving kunnen opleveren. Dit varieert van discriminatie tot fysiek letsel (zoals bij autonome voertuigen), fouten bij voedselbereiding of milieuschade door verkeerde beoordelingen. In EU-termen gaat het om de bescherming van fundamentele rechten, waarbij een impactbeoordeling op fundamentele rechten, of FRIA, vereist is voor elke hoogrisico-AI.
Hoogrisico-AI systemen krijgen ook veel nalevingsverplichtingen: kwaliteitscontroles, verantwoordingsprocessen, documentatie, logging en menselijk toezicht. Het aanstellen van een AI Compliance Officer wordt sterk aanbevolen. De GDPR blijft ook van toepassing op deze systemen, wat betekent dat naast een FRIA mogelijk ook een Data Protection Impact Assessment (DPIA) nodig is.
Biometrie en Politie
Er is intensief gedebatteerd over het gebruik van AI door politie, justitie en veiligheidsdiensten. Dit betrof vooral real-time biometrie, zoals het volgen van potentiële verdachten met camera's of drones in openbare ruimtes. Dit is nu beperkt tot de bestrijding van terrorisme, het volgen van specifieke verdachten of het aanpakken van ernstige misdrijven. De praktische invulling hiervan en de definitie van wat precies onder 'ernstige misdrijven' moet vallen is nog onduidelijk.
Foundation Modellen
Er is ook veel aandacht besteed aan zogenaamde foundation modellen, zoals ChatGPT. Deze algemene modellen kunnen verschillende functies uitoefenen en zijn niet gekoppeld aan specifieke risico's. Aanbieders van toepassingen van deze foundation modellen moeten voldoen aan basisverplichtingen rond transparantie en het aanpakken van generieke risico's. Aanbieders die een foundation model voor een specifieke toepassing gebruiken, zijn zelf verantwoordelijk voor de uiteindelijke naleving hiervan. Zo moet een aanbieder van een contractscanner die ChatGPT gebruikt voor tekstanalyse, zelf de kwaliteit van deze scanner waarborgen.
Opensourcemodellen zijn in principe uitgesloten van de AI Act. Dit betreft modellen die onder een open of vrije licentie gedeeld worden, met openbaar beschikbare broncode en parameters. Deze uitzondering ondersteunt innovatie en wetenschappelijk onderzoek. Als een open source model echter specifiek wordt ingezet voor een hoogrisicotoepassing, is de AI Act wel van toepassing.
Boetes en Toezicht
De boetes zijn aanzienlijk: tot 35 miljoen euro per overtreding of 7% van de wereldwijde omzet van het betreffende concern. Voor minder zware administratieve overtredingen is dit 7,5 miljoen of 1,5%.
Nationaal toezicht blijft bestaan, vergelijkbaar met de nationale autoriteiten op vlak van de GDPR. Toezichthouders kunnen inzage eisen in data en modellen, en kunnen naast boetes ook bevelen dat een specifieke AI-toepassing wordt aangepast of van de markt wordt gehaald.
Inwerkingtreding
De geplande datum van publicatie is nog steeds 1 januari 2024, maar door de benodigde aanpassingen en vertalingen in 24 talen is het onzeker of deze datum gehaald zal worden.
Het is afwachten naar de definitieve tekst voor meer details hierrond maar er zou een beperkt overgangsrecht voorzien zijn voor de verboden praktijken die binnen 6 maanden na publicatie moeten stoppen. Voor hoogrisico-AI's wordt een overgangstermijn van maximaal twee jaar verwacht om aan alle nalevingsvereisten te voldoen.
Wat moet u doen?
Het is raadzaam om alle AI-systemen in jouw organisatie te inventariseren. Hoe lang worden deze gebruikt, wat zegt de leverancier over naleving van de AI Act en is het contract opzegbaar als naleving niet haalbaar blijkt binnen twee jaar? Zijn er toepassingen die mogelijk als hoog risico worden beschouwd?
Veel organisaties stellen nu al teams samen om deze inventarisatie te doen en de eerste impactbeoordelingen uit te voeren.