Als AI het bij het verkeerde eind heeft, wordt het dan ter verantwoording geroepen?

AI – Elina Treyger volgde het nieuws met een groeiend gevoel van onbehagen. Elke dag leek nieuwe voorbeelden te brengen van kunstmatige intelligentie die belangrijke beslissingen nam in het leven van mensen. Wat gebeurt er, vroeg ze zich af, als het iemand een baan kost, of een onschuldig persoon als fraudeur bestempelt?

AI Treyger is senior politicoloog bij Indignatie, maar ze is ook advocaat. En wat ze echt wilde weten was: Zullen mensen een algoritme aanklagen? Zullen jury’s zonder enig motief de schuld aan iets toewijzen?

Zij en een klein team van onderzoekers bij Indignatie besloten dit uit te zoeken. Ze ontwierpen een onderzoek om te testen of het minder waarschijnlijk is dat mensen beslissingen ter discussie stellen die met de kille zekerheid van een AI worden genomen. De resultaten onderstrepen de belangrijke rol die het Amerikaanse rechtssysteem kan spelen bij het beschermen van mensen tegen algoritmische schade. De mensen in het onderzoek waren volkomen bereid om de computers voor de rechter te dagen.

“Het rechtssysteem stimuleert goed gedrag en legt slechte resultaten bloot door middel van juridische aansprakelijkheid”, aldus Treyger. “Er bestaat enige bezorgdheid dat als je aan de ontvangende kant staat van een slechte algoritmische beslissing, je misschien niet eens weet wie je zou kunnen aanklagen. Maar het bleek dat dit mensen, althans in ons experiment, niet tegenhield.”

Het is niet moeilijk om voorbeelden van slechte algoritmische beslissingen te vinden. Een paar jaar geleden stuurde een geautomatiseerd systeem duizenden inwoners van Michigan ten onrechte naar incasso’s wegens werkloosheidsfraude. AI-systemen die zijn getraind op historisch bevooroordeelde gegevens hebben onevenredige gevangenisstraffen aanbevolen voor zwarte verdachten. Een systeem dat was getraind op door mannen gedomineerde werkgelegenheidsgegevens leerde cv’s van vrouwen te bestraffen.

Maar als de inzet zo hoog is – als iemands vrijheid of financieel welzijn op het spel staat – wat voor verhaal hebben mensen dan eigenlijk als een AI het bij het verkeerde eind heeft?

De Europese Unie heeft mensen onlangs het wettelijke recht gegeven om uitleg te krijgen voor AI-beslissingen die tegen hen ingaan, en om die beslissingen voor de rechtbank aan te vechten. Er bestaat niets expliciets in de Verenigde Staten. Beleidsmakers hier hebben zich vooral gericht op het vooraf reguleren van AI-systemen, om ervoor te zorgen dat ze geen catastrofale schade kunnen veroorzaken voordat ze online gaan. Het achteraf aanpakken van slechte resultaten is deels te danken aan de bereidheid van individuen om hun kansen voor de rechter te wagen.

Maar zullen ze dat ook doen? Treyger is niet de eerste rechtsgeleerde die zich daar zorgen over maakt. Om te beginnen is het helemaal niet duidelijk wie de verantwoordelijke partij zou zijn. De ontwikkelaars die de code hebben geschreven? Het bedrijf dat het gebruikte? Het is ook vaak moeilijk om te weten waarom een ​​AI een bepaalde beslissing heeft genomen, waardoor het moeilijk is om te bewijzen dat deze fout is. Zoals een artikel uit 2021 in Columbia Law Review het verwoordde, zijn machinaal genomen beslissingen vaak ‘technisch ondoorgrondelijk en dus moeilijk te betwisten’.

Treyger en haar team hebben hun onderzoek uitgevoerd om de eerste landelijk representatieve kijk te geven op wat mensen daadwerkelijk zullen doen als ze worden geconfronteerd met een oneerlijke AI-uitkomst. Ze vroegen 5.000 respondenten om twee scenario’s te overwegen.

In het eerste geval solliciteert een zeer goed gekwalificeerde kandidaat naar een baan, doorloopt hij de sollicitatiegesprekken, maar wordt hij vervolgens niet aangenomen. Het tweede scenario verhoogt de inzet: een werkloze werknemer vraagt ​​een uitkering aan, wordt afgewezen en wordt vervolgens gemarkeerd wegens mogelijke fraude. Voor beide scenario’s hadden sommige respondenten een mens die de beslissingen nam, en sommigen hadden een computer.

Degenen die de computer kregen, zeiden veel vaker dat het proces oneerlijk was en in beide scenario’s onnauwkeurige resultaten opleverde. Ze hadden ook ongeveer 10 procentpunten meer kans om te zeggen dat het niet transparant genoeg was. De resultaten wijzen op wat de onderzoekers omschrijven als een ‘algoritmische straf’. Mensen lijken bereid om menselijke beslissers enige speelruimte te geven, zelfs als ze het niet eens zijn met hun beslissingen – maar computers niet.

Vervolgens vroegen de onderzoekers de respondenten wat ze zouden doen als zij de mensen in de twee scenario’s waren.

Zelfs in het werkloosheidsscenario, waarin de uitkomst niet alleen verkeerd maar zelfs schadelijk was, zei een derde van degenen met een menselijke beslisser dat ze niets zouden doen. Minder dan een kwart van degenen die een computer in de mix hadden, was zo bereid om het aan zich voorbij te laten gaan. Het was veel waarschijnlijker dat ze zeiden dat ze in beroep zouden gaan, en iets vaker dat ze zeiden dat ze een rechtszaak zouden aanspannen. Respondenten in beide scenario’s zeiden ook veel vaker dat ze zich zouden aansluiten bij een class action-rechtszaak als de beslissingen door een computer werden genomen.

“Dat is bemoedigend”, zei Treyger. “Het betekent dat ze algoritmen niet vrijstellen van onze algemene morele oordelen. Ze zijn bereid juridische stappen te ondernemen om algoritmische schade te herstellen. Dat kan een echt mechanisme voor verantwoording zijn.”

Blanke respondenten hadden de neiging om de AI zwaarder te bestraffen op de meeste maatregelen dan niet-blanke respondenten. De enige uitzondering was bias, maar de verschillen waren klein. Dat lijkt misschien verrassend; Studies tonen consequent aan dat AI-systemen die zijn getraind op historische gegevens, historische vooroordelen leren herhalen, vooral tegen raciale en etnische minderheden.

Maar toen de onderzoekers de enquêtegegevens verdiepten, ontdekten ze dat niet-blanke respondenten de AI niet noodzakelijkerwijs meer vertrouwden als het ging om vragen over vooringenomenheid. Ze vertrouwden menselijke beslissers minder. Ze straften de AI niet zwaarder omdat ze dachten dat de mensen ook geen onpartijdige beslissingen zouden nemen.

De onderzoeksresultaten suggereren dat mensen zelfs in het tijdperk van AI naar de rechtbank zullen blijven kijken om hun rechten te verdedigen. Algoritmische besluitvormers hebben misschien niet de intentie of gemoedstoestand van mensen, schreven de onderzoekers – maar dat staat juridische stappen niet in de weg als ze onnodige schade veroorzaken.

Beleidsmakers die zich bezighouden met het reguleren van AI moeten niet alleen rekening houden met problemen van vooringenomenheid, maar ook met nauwkeurigheid en transparantie. En ze zouden moeten overwegen om mensen een specifiek wettelijk recht te geven om AI-beslissingen aan te vechten, net zoals de Europese Unie dat heeft gedaan.

“In sommige situaties zou je er gewoon van uitgaan dat bestaande normen dat dekken”, zei Treyger. “We hebben veel antidiscriminatiewetten, en het lijkt erop dat die net zo goed van toepassing zouden zijn in een algoritmische context. Maar het is niet altijd even duidelijk. En dus is een implicatie van ons onderzoek: ja, we moeten deze rechten vrij duidelijk in de wet vastleggen.’

Michigan heeft zojuist een harde les geleerd over hoe bereid mensen zijn om naar de rechter te stappen als een algoritme hun leven op zijn kop zet. Duizenden inwoners spanden een class action-rechtszaak aan toen het geautomatiseerde werkloosheidssysteem van de staat hen ten onrechte beschuldigde van fraude. Eerder dit jaar rondde de staat $20 miljoen aan betalingen af ​​om de zaak te schikken.