Grondrechten in gevaar : De zeven meest pijnlijke vragen over AI-regulering

Waarom is er nu zoveel kritiek op AI? Hoe slecht zal gezichtsherkenning worden? En wat kan er nu nog gedaan worden? We bieden de belangrijkste updates van de bijna voltooide AI-regelgeving.

De AI-Verordening (in het Engels: AI Act) is bijna een feit. Het is de bedoeling dat het de eerste wet ter wereld is die de zogenaamde kunstmatige intelligentie volledig reguleert. Maar in de laatste paar meter ontstaat er ruzie. De tekst van het pre-kerstakkoord tussen de Commissie, het Parlement en de Raad circuleert nu pas. En het is aanzienlijk minder contemplatief dan aanvankelijk werd aangenomen.

Deskundigen waarschuwen voor massale surveillance vanwege onverwacht grote gaten in de grondrechten. Sommige politici proberen nu het akkoord op te schudden. De weg naar de fundamentele AI-wetgeving van Europa is lastig – en we beantwoorden hier de meest prangende vragen.

• 1. Het akkoord was vóór Kerstmis, waarom is er nu kritiek?
• 2. Gezichtsherkenning: hoe erg zal het worden?
• 3. Emotieherkenning: wat is hier de bedreiging?
• 4. Migratiecontrole: hoe erg is het?
• 5. Nationale veiligheid: wat mogen staten doen?
• 6. Is er iets goeds aan de wet?
• 7. Kan er nu iets veranderd worden?

1. Het akkoord was vóór Kerstmis, waarom is er nu kritiek?

Dit komt vooral doordat het weken na de trialoogonderhandelingen niet duidelijk was waar de Commissie, het Parlement en de Raad het precies over eens waren geworden. Wanneer drie instanties met vertegenwoordigers uit 27 EU-landen samen wetten smeden, wordt het al snel verwarrend – in het geval van de AI-regelgeving was het ronduit chaotisch.

Het wetsontwerp van de Europese Commissie was al lang en ingewikkeld. De onderhandelaars hebben het er niet makkelijker op gemaakt, maar er franjes en clausules aan toegevoegd, zoals duidelijk blijkt uit de inmiddels openbare, bijna 900 pagina’s tellende pdf . De versies van de Commissie, het Parlement, de Raad en de Triloog zijn daar naast elkaar te lezen.

Het voorlopige akkoord op 9 december kwam er na “drie dagen van marathononderhandelingen”, schreef de raad. Soms duurden de onderhandelingen wel 22 uur achter elkaar . Zichtbaar moe, maar met de duim omhoog, werden de onderhandelaars vervolgens voor de pers gefotografeerd .

Er bestond toen al wantrouwen tegenover de duim omhoog-stemming: het was “te vroeg om feest te vieren”, schreef EDRi, de overkoepelende organisatie van organisaties voor digitale vrijheidsrechten in Europa. De tekst is nog niet definitief. Het is gebruikelijk dat er nog aan juridische en technische details wordt gewerkt, zelfs nadat er in de trialoog overeenstemming is bereikt.

Wat echter minder vaak voorkomt, is dat onderhandelaars volledig verrast zijn. Maar dat is precies wat er gebeurde met de AI-verordening: sommige leden van het EU-Parlement erkenden het trialoogakkoord dat naar verluidt was bereikt niet toen ze later de bijbehorende compromistekst zagen, geschreven door het Spaanse voorzitterschap van de Raad. “We zijn opgelicht”, zeiden mensen die dicht bij de onderhandelingsdelegatie stonden . De woede heeft vooral betrekking op de regels rond biometrisch toezicht, waar weinig overblijft van het eens zo sterke parlementaire standpunt.

2. Gezichtsherkenning: hoe erg zal het worden?

Dit onderwerp kan heel serieus worden. Ook al was er soms de hoop op het tegendeel , de AI-verordening verbiedt noch legt strikte beperkingen op aan biometrische surveillance. Dit betekent dat EU-landen om vele redenen veel mensen mogen monitoren en identificeren op basis van hun fysieke kenmerken, bijvoorbeeld met behulp van openbare camera’s. Gezichtsherkenning is slechts de meest bekende methode; Ook kun je mensen duidelijk van elkaar onderscheiden door de manier waarop ze lopen .

De AI-regelgeving maakt realtime biometrische identificatie mogelijk, zelfs als er alleen maar wordt aangenomen dat er iets ergs kan gebeuren. De verordening stelt: het voorkomen van een “specifieke, significante en onmiddellijke” bedreiging voor de fysieke veiligheid van een persoon (artikel 5, lid 1, (d)). De zoektocht naar verdachten van bepaalde misdrijven is ook een legitieme reden voor realtime biometrische surveillance. Volgens de compromistekst gaat het onder meer om moord, ernstig lichamelijk letsel en “kinderpornografie”. Een verantwoordelijke autoriteit moet echter eerst het gebruik van de technologie toestaan; dit wordt een gerechtelijk voorbehoud genoemd. In de praktijk wordt deze stap echter niet als een bijzonder hoge hindernis beschouwd.

De AI-regelgeving is nog soepeler als de monitoring niet in realtime gebeurt, maar eerder retrospectief (“retrograde”). Het zou bijvoorbeeld denkbaar zijn om gearchiveerde opnames van bewakingscamera’s te onderzoeken. In dergelijke gevallen kunnen mensen biometrisch worden geïdentificeerd zodra zij worden verdacht van een misdrijf. Volgens de tekst is voor de initiële identificatie geen speciale toestemming vereist. Alleen wanneer onderzoekers een bekende, gezochte persoon willen identificeren, moeten zij daarvoor officiële toestemming verkrijgen. Dit kan echter ook met terugwerkende kracht; u kunt hiervoor 48 uur de tijd nemen (artikel 29, lid 6a).

De kritiek hierop is hard. “De retrograde biometrische identificatie van mensen is mogelijk met vrijwel geen juridische hindernissen zoals voorafgaande rechterlijke goedkeuring en zelfs voor de kleinste kleine misdaden”, waarschuwt Europarlementariër Svenja Hahn (FDP) online . De ‘Reclaim Your Face’-alliantie, gesteund door verschillende maatschappelijke organisaties, spreekt van ongekende dystopische massasurveillance in de EU.

De federale commissaris voor gegevensbescherming Ulrich Kelber (SPD) schrijft in antwoord op een verzoek van netzpolitik.org: “Dit zou ernstige gevolgen kunnen hebben voor de verwachting van de bevolking om anoniem te blijven in de openbare ruimte, wat op zijn beurt directe negatieve gevolgen zou hebben voor de uitoefening van vrijheid van meningsuiting, vergadering en vereniging, evenals vrijheid van verkeer.”

Europarlementariër Patrick Breyer (Pirates) vreest dat de verordening Europa “naar een dystopische toekomst van een verdachte hightech surveillancestaat” zal leiden en geeft concrete voorbeelden : “Dit maakt het voor steden mogelijk daklozen te verdrijven onder de slogan ‘trespass’ , zoals gebeurde in Como, Italië , of om sproeiers te vervolgen wegens ‘schade aan eigendommen’.” Nog een voorbeeld: in Groot-Brittannië gebruiken supermarkten al gezichtsherkenning om winkeldieven op te sporen .

De politie in Duitsland maakt al lange tijd gebruik van gezichtsherkenning en identificeert jaarlijks duizenden mensen . Er bestaat echter discussie over de mate waarin dit legitiem is. Een prominent voorbeeld was de biometrische database met de gezichten van duizenden mensen die Hamburg creëerde tijdens de protesten op de G20-top in 2017. De functionaris voor gegevensbescherming aldaar bepleitte verwijdering van deze databank ; Dit gebeurde pas in 2020 .

Breyer waarschuwt ook dat gezichtsherkenning herhaaldelijk tot valse arrestaties leidt – daar zijn inmiddels verschillende voorbeelden van in de VS. De AI-regelgeving biedt niet de bescherming tegen dergelijke problemen waar ooit op gehoopt werd.

3. Emotieherkenning: wat is hier de bedreiging?

Het EU-Parlement wilde echt een verreikend verbod op systemen voor emotieherkenning in de EU. Ze moeten op de verboden lijst worden geplaatst op scholen en universiteiten, op de werkplek, bij veiligheidsautoriteiten en ook bij grenscontroles . Het enige dat nu overblijft is een verbod op onderwijs en op het werk (artikel 5, lid 1, (d)(iiiic)). De verordening geeft echter groen licht voor het gebruik van de wetenschappelijk verboden technologie bij politiewerk en grenscontroles, maar ook op andere gebieden. Volgens de compromistekst wordt emotieherkenning gezien als ‘hoog risico’ en is er dus sprake van veel eisen, maar is het niet verboden.

Emotieherkenningstechnologieën beloven veel: het monitoren van studenten voor het scherm, het uitvissen van vermoedelijk agressieve mensen uit een grote menigte of het betrappen van mensen die zogenaamd liegen voordat ze het land binnenkomen. Maar vanuit wetenschappelijk perspectief heeft emotieherkenning op zijn zachtst gezegd een behoorlijk slechte reputatie . Veel deskundigen zeggen dat er eenvoudigweg geen bewijs is dat gezichtsuitdrukkingen kunnen worden gebruikt om iemands werkelijke gevoelens, zoals woede of angst, vast te stellen. Dit was ook de conclusie van een grootschalig metaonderzoek uit 2019, waarin alle tot dan toe uitgevoerde onderzoeken met elkaar werden vergeleken. Critici noemen emotieherkenning ‘junk science’, wetenschappelijk afval.

Bovendien interfereren de technologieën diepgaand met een aantal fundamentele rechten, zoals het recht op privacy of het recht om te weigeren te getuigen. De huidige tekst zou nog steeds toestaan ​​dat zogenaamde ‘leugendetectoren’ aan de buitengrenzen van de EU worden geplaatst, zoals de EU vanaf 2016 al heeft getest met een proefproject in Hongarije, Litouwen en Griekenland . Het ‘misleidingsdetectiesysteem’ was bedoeld om de nauwelijks waarneembare gezichtsuitdrukkingen van reizigers te analyseren om te controleren of zij de waarheid spreken als er naar hun biografische achtergrond wordt gevraagd. Het onderzoeksproject werd in 2019 beëindigd en is nooit normaal in bedrijf genomen. Als dergelijke technologie in de toekomst echter opnieuw zou worden gebruikt, zouden de getroffenen er eenvoudigweg van bewust moeten worden gemaakt dat ze tegenover een emotieherkenningssysteem zitten.

Ook Ella Jakubowska van de koepelorganisatie EDRi heeft kritiek op het feit dat er zelfs uitzonderingen zijn gemaakt voor de domeinen onderwijs en werk om de technologie – volgens de compromistekst – toch te kunnen gebruiken om “medische of veiligheidsredenen”. Desgevraagd schreef Jakubowska ons: “Aangezien deze redenen de meest voorkomende rechtvaardiging zijn voor het gebruik van systemen voor emotieherkenning, vrezen we dat de AI-wet van de EU op AI gebaseerde emotieherkenning niet verbiedt, maar deze eerder legitimeert en een markt creëert voor het gebruik ervan.”

4. Migratiecontrole: hoe erg is het?

De trend die al in opkomst is bij emotieherkenning zet zich ook door bij migratiecontrole: mensen op de vlucht kunnen nauwelijks enige bescherming verwachten van de AI-regelgeving. De op zijn minst fundamentele beperkingen op gezichtsherkenning in de openbare ruimte? Zijn uitdrukkelijk niet van toepassing op grenscontroles, aangezien grenzen volgens de compromistekst geen deel uitmaken van de “openbare ruimte” (overweging 9). Minstens twee mensen die de voorspelling van een AI-systeem controleren voordat ze een beslissing nemen? De verordening bepaalt dit voor alle gebieden die als een hoog risico worden beschouwd – maar niet voor “wetshandhaving, migratie, grenscontrole of asiel” (overweging 48).

Er zijn nog meer regels die expliciet niet van toepassing zijn op migratiecontrole. Volgens de AI-verordening is iedereen die risicovolle AI-systemen gebruikt eigenlijk verplicht transparant te zijn en zich te registreren in een openbare database – kritische waarnemers hadden dit geëist . Deze transparantie bestaat echter niet voor “wetshandhaving, migratie, asiel- en grenscontrolebeheer”: hier “moeten de registratieverplichtingen worden vervuld in een veilig, niet-openbaar deel van de database.” Noch het publiek, noch de pers hebben geen toegang tot deze streng beveiligde zone van het transparantieregister, noch tot de Commissie en de nationale toezichthoudende autoriteit.

Uiteindelijk laat de EU een opmerkelijke kloof achter, waarin mensen vooral afhankelijk zijn van rechtsbescherming. Over het geheel genomen is de wet “zeer teleurstellend” als het gaat om migratie, zegt Ella Jakubowska van EDRi. ‘Het feit dat de wet het gebruik van veel criminele AI-instrumenten tegen mensen op de vlucht legitimeert, is echt zorgwekkend.’ De uitzonderingen op deze plaatsen suggereerden ‘dat mensen op de vlucht niet dezelfde rechten verdienen als alle anderen.’

In de inleidende woorden van de wet, de zogenaamde evenwichtsredenen, klinkt het heel anders. Er staat: “AI-systemen die worden gebruikt bij migratie, asiel en grenscontrole treffen mensen die zich vaak in een bijzonder kwetsbare situatie bevinden en afhankelijk zijn van de uitkomst van de acties van de bevoegde autoriteiten” (overweging 39). Dienovereenkomstig moeten ten minste enkele van deze systemen als een hoog risico worden geclassificeerd. Maar deze goed klinkende zinnen worden gevolgd door ijzige kilheid in de wetstekst zelf.

5. Nationale veiligheid: wat mogen staten doen?

De AI-regelgeving biedt een bijzonder grote maas in de wet in gevallen van ‘nationale veiligheid’. Deze vage formule kan worden gebruikt om uitzonderingen te definiëren waarbij het gebruik van kunstmatige intelligentie nog steeds is toegestaan. In het bijzonder bepaalt artikel 2:

“Deze verordening is niet van toepassing op AI-systemen die zijn ontwikkeld of gebruikt indien en voor zover zij op de markt worden gebracht, in gebruik worden genomen of met of zonder wijziging van dergelijke systemen uitsluitend worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, ongeacht de soort entiteit die deze activiteiten uitvoert.”

De AI-verordening verwijst hier naar het oprichtingsverdrag van de EU (Verdrag betreffende de Europese Unie, VEU), volgens welke alleen de lidstaten verantwoordelijk zijn voor hun nationale veiligheid (overweging 12a).

Er zit echter een groot addertje onder het gras: het concept van nationale veiligheid is in heel Europa niet duidelijk gedefinieerd. De individuele lidstaten kunnen dergelijke gevallen dus grotendeels aan de hand daarvan vaststellen en daarmee het gebruik van systemen toestaan ​​die feitelijk verboden zijn op grond van de AI-regelgeving.

Autocratische EU-regeringen zoals die in Hongarije zouden dan naar believen zelfs de gevaarlijkste AI-systemen kunnen gebruiken, zoals niet-uitgelokte biometrische massasurveillance of sociale scores voor EU-burgers.

Ook de staatsspionagesoftware Pegasus , aangeboden door de Israëlische NSO Group, laat zien dat er geen grenzen zijn aan het gebruik van de gevaarlijkste AI-technologieën . Volgens de fabrikant is deze technologie uitsluitend ontwikkeld voor nationale veiligheidsdoeleinden. Maar het is al lang bekend dat ook oppositieleden, journalisten en dissidenten in de EU het doelwit zijn . Niet alleen in Hongarije en Polen, maar ook in Griekenland en Spanje.

De oorspronkelijke ontwerpverordening van de Europese Commissie over de AI-verordening voorzag niet in een uitzondering voor de nationale veiligheid. En het EU-Parlement had het gevaar ook onderkend en in zijn standpunt alleen uitzonderingen gemaakt voor militair gebruik. De Raad heeft echter blijkbaar ook op dit punt de overhand gehad en “nationale veiligheid” als uitzondering in de compromistekst opgenomen.

Nog in september vorig jaar schreven 150 Duitse en Europese maatschappelijke organisaties een open brief aan de federale minister van Justitie Marco Buschmann (FDP) en de federale minister van Economische Zaken Robert Habeck (Groenen) en eisten: “AI voor nationale veiligheidsdoeleinden mag niet worden vrijgesteld van de regelgeving over de hele linie geworden”. Ze kregen hun zin niet.

6. Is er iets goeds aan de wet?

Ja, de AI-verordening bevat nieuwe rechten voor gebruikers en plichten voor aanbieders van AI-systemen. Iedereen zou een klacht moeten kunnen indienen bij zijn nationale AI-toezichthoudende autoriteit als hij meent dat zijn rechten zijn geschonden. Aanbieders van bijzonder risicovolle AI-systemen moeten hun technologieën controleren op risico’s, deze voldoende transparant maken en onder menselijk toezicht plaatsen.

De federale commissaris voor gegevensbescherming Ulrich Kelber schrijft dat de AI-verordening ook de bescherming van fundamentele rechten versterkt, in het bijzonder de gegevensbescherming in combinatie met de Algemene Verordening Gegevensbescherming (AVG).

Het verbod op openbaar beschikbare gezichtszoekmachines is ook opgenomen in de compromistekst (artikel 5, lid 1, (d)(iiib)). We hebben afgelopen zomer verslag gedaan van het initiatief van het Parlement . Dienovereenkomstig is “het ongericht lezen van gezichtsbeelden van internet” om databases voor gezichtsherkenning aan te maken niet toegestaan.

Het is ook verheugend dat de compromistekst voorziet in een verbod op voorspellend politiewerk. Predictive policing beschrijft de poging om voorspellingen af ​​te leiden uit politiegegevens. De technologie wordt in Duitsland al lange tijd gebruikt . De afgelopen jaren heeft onder meer mensenrechtenorganisatie Amnesty International laten zien dat voorspellend politiewerk in Groot-Brittannië en Nederland leidt tot massaal toezicht, verkeerde beslissingen en discriminatie.

In de trialoogovereenkomst van december werd bepaald dat dergelijke systemen zouden worden gecategoriseerd als technologie met een hoog risico en dat het gebruik ervan dus met beperkingen zou worden toegestaan . De compromistekst omvat nu een verbod op voorspellend politiewerk (artikel 5, lid 1, (d)(iii bis)).

Concreet gaat het hierbij om “het gebruik van een AI-risicobeoordelingssysteem voor natuurlijke personen om het risico van een natuurlijke persoon om een ​​misdrijf te plegen te beoordelen of te voorspellen, uitsluitend gebaseerd op het profileren of beoordelen van de persoonlijkheidskenmerken en kenmerken van een natuurlijke persoon”.

Ongeacht dit verbod valt te verwachten dat individuele EU-landen deze technologie in de toekomst nog steeds zullen gebruiken met betrekking tot “nationale veiligheid”.

De EU hoopt nog steeds een groot succes te boeken met de AI-regelgeving, meerdere landen over de hele wereld werken momenteel immers aan hun eigen AI-wetten. De AI-verordening is “baanbrekend”, schrijft Europarlementariër Alexandra Geese (Groenen) en bevat belangrijke bepalingen voor de bescherming van grondrechten.

Daarachter schuilt ook de veronderstelling dat de EU met haar wetten andere landen kan beïnvloeden, het zogenaamde Brussel-effect . “De EU schrijft geschiedenis”, is ook wat de alliantie “Reclaim Your Face” zegt – maar met de bittere toevoeging: “om de verkeerde redenen.”

7. Kan er nu iets veranderd worden?

Ja een beetje. Zodra de AI-verordening is aangenomen, zijn de lidstaten weer aan de beurt. En ze kunnen een aantal hiaten opvullen, tenminste binnen hun eigen grenzen. Wat betreft biometrische identificatie stelt de verordening expliciet dat lidstaten strengere wetten kunnen aannemen. De Federal Data Protection Commissioner schrijft: De federale overheid zou deze clausule moeten gebruiken.

In het regeerakkoord van de stoplichtregering staat : “Wij verwerpen alomvattende videobewaking en het gebruik van biometrische opnames voor bewakingsdoeleinden. Het recht op anonimiteit, zowel in de openbare ruimte als op internet, moet worden gegarandeerd.”

Allereerst ligt de focus op de EU. Ondanks het akkoord in de trialoog is er nog geen besluit genomen over de AI-regelgeving. De lidstaten in de Raad en het Parlement moeten ze nog goedkeuren. In de regel geven deze stemmingen groen licht, omdat het Parlement en de Raad vooraf al een akkoord hebben bereikt.

In dit geval willen tenminste enkele mensen de overeenkomst opnieuw opschudden. Zoals Euractiv en Tagesspiegel Background melden , is Frankrijk niet tevreden met de overeenkomst. Het land had heftig campagne gevoerd voor industrievriendelijkere regels . De Franse regering werkt er nu aan om de wet in de laatste fase van de Raad tegen te houden, maar daarvoor zijn minimaal vier lidstaten nodig .

Ook vanuit Duitsland is er onvrede. Volgens Tagesspiegel Background verwacht de digitale beleidswoordvoerder van de FDP-fractie, Maximilian Funke-Kaiser, “een afwijzing van de federale regering” als er geen veranderingen plaatsvinden. Aan de andere kant zijn er signalen uit de gelederen van de SPD en de Groenen die pleiten voor goedkeuring van de AI-verordening, bijvoorbeeld van de digitale beleidswoordvoerder van de Groene fractie, Maik Aussendorf. Veel mensen lijken afgeschrikt door het vooruitzicht plotseling midden in de AI-hype zonder overeenkomstige wet terecht te komen.

Geduld is zeker geboden: ook al is de AI-regelgeving een feit, het zal nog twee jaar duren voordat de nieuwe regels volledig worden toegepast.