AI-bias: de georganiseerde strijd tegen geautomatiseerde discriminatie

In overheidsdiensten in heel Europa worden systemen voor kunstmatige intelligentie (AI) en geautomatiseerde besluitvorming (ADM) al op grote schaal gebruikt.

AI – Deze systemen, vaak gebouwd op ondoorzichtige ‘black box’-algoritmen , herkennen onze gezichten in het openbaar, organiseren werkloosheidsprogramma’s en voorspellen zelfs examencijfers . Hun taak is het voorspellen van menselijk gedrag en het nemen van beslissingen, zelfs op gevoelige terreinen als welzijn, gezondheidszorg en sociale dienstverlening.

Zoals te zien is in de VS , waar algoritmisch politiewerk gemakkelijk is ingevoerd, worden deze beslissingen inherent beïnvloed door onderliggende vooroordelen en fouten. Dit kan desastreuze gevolgen hebben: in juni 2020 werd in Michigan een zwarte man gearresteerd, ondervraagd en van de ene op de andere dag vastgehouden voor een misdaad die hij niet had begaan. Hij was per ongeluk geïdentificeerd door een AI-systeem.

Deze systemen zijn getraind op reeds bestaande door mensen gemaakte gegevens, die door hun aard gebrekkig zijn. Dit betekent dat ze bestaande vormen van discriminatie en vooroordelen kunnen bestendigen, wat leidt tot wat Virginia Eubanks de ‘automatisering van de ongelijkheid’ heeft genoemd .

AI verantwoordelijk houden

De wijdverbreide adoptie van deze systemen roept een dringende vraag op: wat is er nodig om een ​​algoritme ter verantwoording te roepen voor zijn beslissingen?

Dit werd onlangs in Canada getest, toen rechtbanken een luchtvaartmaatschappij veroordeelden om compensatie te betalen aan een klant die had gehandeld op basis van slecht advies van hun AI-aangedreven chatbot. De luchtvaartmaatschappij probeerde de bewering te weerleggen door te stellen dat de chatbot “verantwoordelijk was voor zijn eigen daden”.

In Europa is er een institutionele stap gezet om het gebruik van AI te reguleren , in de vorm van de onlangs aangenomen Wet op de Kunstmatige Intelligentie .

Deze wet heeft tot doel grote en krachtige AI-systemen te reguleren, te voorkomen dat ze systemische bedreigingen vormen en tegelijkertijd burgers te beschermen tegen mogelijk misbruik. De lancering van de wet ging gepaard met een breed scala aan voorafgaande directe acties, initiatieven en campagnes gelanceerd door maatschappelijke organisaties in de EU-lidstaten.

Deze groeiende weerstand tegen problematische AI-systemen heeft de afgelopen jaren aan kracht en zichtbaarheid gewonnen. Het heeft ook de keuzes van toezichthouders op cruciale manieren beïnvloed, waardoor druk op hen is uitgeoefend om maatregelen in te voeren die de grondrechten beschermen .

Het menselijke foutenproject

Als onderdeel van The Human Error Project , gevestigd aan de Universität St. Gallen in Zwitserland, hebben we de manieren bestudeerd waarop actoren uit het maatschappelijk middenveld zich verzetten tegen de opkomst van geautomatiseerde discriminatie in Europa. Ons project richt zich op AI-fouten, een overkoepelende term die vooringenomenheid, discriminatie en onverantwoordelijkheid van algoritmen en AI omvat.

Ons laatste onderzoeksrapport is getiteld “ De strijd van het maatschappelijk middenveld tegen algoritmisch onrecht in Europa ”. Op basis van interviews met activisten en vertegenwoordigers van maatschappelijke organisaties onderzoekt het boek hoe Europese organisaties voor digitale rechten betekenis geven aan AI-fouten, hoe zij het gebruik van AI-systemen in twijfel trekken, en wordt de dringende noodzaak van deze debatten benadrukt.

Ons onderzoek bracht een panorama van zorg aan het licht, aangezien de meeste individuen die we interviewden de nu algemeen aanvaarde visie deelden die door AI-wetenschappers naar voren werd gebracht : AI kan vaak racistisch, discriminerend en reductionistisch zijn als het gaat om het begrijpen van mensen.

Veel van onze geïnterviewden wezen er ook op dat we AI-fouten niet als een puur technologisch probleem moeten beschouwen. Het zijn eerder symptomen van bredere systemische sociale problemen die dateren van vóór de recente technologische ontwikkelingen.

Predictive policing is hiervan een duidelijk voorbeeld. Omdat deze systemen zijn gebaseerd op eerdere, mogelijk vervalste of gecorrumpeerde politiegegevens, bestendigen ze bestaande vormen van raciale discriminatie , wat vaak leidt tot racistische profilering en zelfs onwettige arrestaties.

AI heeft nu al invloed op uw dagelijks leven

Voor actoren uit het Europese maatschappelijk middenveld is een belangrijk probleem een ​​gebrek aan bewustzijn bij het publiek dat AI wordt gebruikt om beslissingen te nemen op tal van gebieden van hun leven. Zelfs als mensen zich ervan bewust zijn, is het vaak onduidelijk hoe deze systemen werken, of wie verantwoordelijk moet worden gehouden als ze een oneerlijke beslissing nemen.

Dit gebrek aan zichtbaarheid betekent dat de strijd voor algoritmische rechtvaardigheid niet alleen een politieke kwestie is, maar ook een symbolische kwestie: het zet onze ideeën over objectiviteit en nauwkeurigheid in twijfel.

AI-debatten worden notoir gedomineerd door mediahype en paniek , zoals ons eerste onderzoeksrapport aantoonde. Als gevolg hiervan zijn Europese maatschappelijke organisaties gedwongen twee doelen na te streven: duidelijk spreken over de kwestie, en de visie van AI als een wondermiddel voor sociale problemen ter discussie stellen.

Het belang van het benoemen van het probleem blijkt duidelijk uit ons nieuwe rapport, waarin de geïnterviewden aarzelden om zelfs maar uitdrukkingen als ‘AI-ethiek’ te gebruiken, of ‘AI’ helemaal niet noemden. In plaats daarvan gebruikten ze alternatieve termen zoals ‘geavanceerde statistieken’, ‘geautomatiseerde besluitvorming’ of ‘ADM-systemen’.

Het beteugelen van grote technologie

Naast het vergroten van het bewustzijn bij het grote publiek, is een van de belangrijkste kwesties het beteugelen van de dominante macht van big tech. Verschillende organisaties met wie we contact hebben opgenomen, zijn betrokken geweest bij initiatieven die verband houden met de AI-wet van de EU en hebben in sommige gevallen een directe rol gespeeld bij het onder de aandacht brengen van problemen en het dichten van mazen in de wet die technologiebedrijven zouden kunnen exploiteren.

Volgens sommige organisaties zijn er elementen, zoals biometrische gezichtsherkenning in de openbare ruimte, waarbij niets minder dan een regelrecht verbod volstaat. Anderen staan ​​zelfs sceptisch tegenover de wetgeving als geheel, in de overtuiging dat regulering alleen niet alle problemen kan oplossen die voortvloeien uit de voortdurende verspreiding van algoritmische systemen.

Uit ons onderzoek blijkt dat we, om de kracht van algoritmische systemen aan te pakken, AI-fouten niet langer als een technologisch probleem moeten zien, maar het als een politiek probleem moeten gaan zien. Wat moet worden opgelost is niet een technologische bug in het systeem, maar de systemische ongelijkheid die deze systemen in stand houden.