AI-aangedreven camera’s veroorzaken zorgen over de privacy naarmate het gebruik toeneemt

Een nieuwe golf van AI-ondersteund toezicht verspreidt zich over de VS en Groot-Brittannië, nu particuliere bedrijven en overheidsinstellingen AI-aangedreven camera’s inzetten om menigten te analyseren, potentiële misdaden op te sporen en zelfs de emotionele toestand van mensen in de openbare ruimte te monitoren.

In Groot-Brittannië heeft de spoorweginfrastructuurorganisatie Network Rail onlangs AI-camera’s getest in acht treinstations, waaronder grote knooppunten zoals de Londense stations Waterloo en Euston, evenals Manchester Piccadilly.

Documenten verkregen door de burgerlijke vrijhedengroep Big Brother Watch onthullen dat de camera’s gericht zijn op het detecteren van overtredingen op het spoor, overbevolking op perrons, ‘asociaal gedrag’ zoals skateboarden en roken, en mogelijke fietsendiefstal.

• Documenten onthullen proefprogramma’s voor gezichtsherkenning op acht grote Britse treinstations
• Gezichtsherkenningstechnologie kan worden gebruikt om de emoties en acties van mensen te analyseren
• Voorstanders van privacy waarschuwen dat dit inbreuk maakt op de burgerrechten van mensen

Het meest zorgwekkende was dat het AI-systeem, mogelijk gemaakt door de Rekognition-software van Amazon, de leeftijd, het geslacht en emoties van mensen zoals geluk, verdriet en woede probeerde te analyseren wanneer ze virtuele ‘struikeldraden’ passeerden bij kaartjesbarrières.

⚠️We’ve uncovered documents revealing that eight train stations trialled Amazon’s AI surveillance software with their CCTV cameras – with some analysing passengers's age, gender and emotions

“The rollout and normalisation of AI surveillance in these public spaces, without much… pic.twitter.com/dJLS75ZURH

— Big Brother Watch (@BigBrotherWatch) June 17, 2024

Het Network Rail-rapport, waarvan een deel is geredigeerd, zegt dat er “één camera op elk station was (meestal de gateline-camera), waar elke seconde een momentopname werd gemaakt wanneer mensen het struikeldraad overstaken en voor analyse door AWS Rekognition werden verzonden.”

Vervolgens staat er: “Mogelijk zou de klantemotie-metriek kunnen worden gebruikt om de tevredenheid te meten,” en “Deze gegevens zouden kunnen worden gebruikt om de reclame- en detailhandelsinkomsten te maximaliseren. Dit was echter moeilijk te kwantificeren omdat NR Properties nooit met succes werd ingeschakeld.”

Amazon Rekogniton, een computer vision (CV) machine learning-platform van Amazon, kan inderdaad emoties detecteren. Dit was echter slechts een pilottest en de effectiviteit ervan is onduidelijk.

Het rapport zegt dat bij het gebruik van camera’s om mensen te tellen die spoorwegpoorten oversteken, “de nauwkeurigheid over de poortlijnen uniform slecht was, met een gemiddelde nauwkeurigheid van ongeveer 50% tot 60% vergeleken met handmatig tellen”, maar dit zal naar verwachting verbeteren.

Het gebruik van gezichtsherkenningstechnologie door wetshandhavers heeft ook aanleiding gegeven tot bezorgdheid. Nog niet zo lang geleden gebruikte de Londense Metropolitan Police live gezichtsherkenningscamera’s om 17 personen in de wijken Croydon en Tooting van de stad te identificeren en te arresteren.

De technologie vergelijkt live camerafeeds met een volglijst van personen met openstaande arrestatiebevelen als onderdeel van ‘precisiepolitie’.

In februari gebruikte de Met het systeem om 42 arrestaties uit te voeren, hoewel het onduidelijk is hoeveel daarvan tot formele aanklachten leidden.

“De uitrol en normalisatie van AI-surveillance in deze openbare ruimtes, zonder veel overleg en conversatie, is een behoorlijk zorgwekkende stap”, aldus Jake Hurfurt, hoofd onderzoek bij Big Brother Watch.

Je emoties in een database

Critici hebben heftig betoogd dat gezichtsherkenning de burgerlijke vrijheden bedreigt.

Parlementsleden in Groot-Brittannië drongen er bij de politie op aan om te heroverwegen hoe ze de technologie inzetten, nadat ze hadden gesuggereerd dat ze toegang zouden kunnen krijgen tot een database van 45 miljoen pasfoto’s om deze surveillancemodellen beter te kunnen trainen.

Deskundigen twijfelen ook aan de nauwkeurigheid en de wettelijke basis van gezichtsherkenning, waarbij Big Brother Watch beweert dat de meerderheid (meer dan 85%) van de gezichtsherkenningswedstrijden van de Britse politie verkeerde identificaties zijn.

Ambtenaren van de politie probeerden de angst voor privacy weg te nemen door te stellen dat niet-overeenkomende afbeeldingen snel worden verwijderd en dat het gezichtsherkenningssysteem onafhankelijk is gecontroleerd.

Praten is echter goedkoop als het misbruik van deze AI-systemen werkelijk impact heeft op de levens van mensen. Predictive policing-programma’s in de VS zijn er over het algemeen ook niet in geslaagd hun doelstellingen te bereiken, terwijl ze bijkomende schade veroorzaakten in de vorm van intimidatie door de politie en onrechtmatige opsluitingen.

Bezorgdheid over vooringenomenheid en onnauwkeurigheid in gezichtsherkenningssystemen, vooral voor gekleurde mensen, is een belangrijk twistpunt geweest.

Studies hebben aangetoond dat de technologie aanzienlijk minder nauwkeurig kan zijn voor gezichten met een donkere huidskleur, vooral zwarte vrouwen.

Beleidsmakers zullen moeten worstelen met moeilijke vragen over de transparantie, verantwoordelijkheid en regelgeving van deze krachtige instrumenten.

Een krachtig publiek debat en duidelijke wettelijke kaders zullen van cruciaal belang zijn om ervoor te zorgen dat de voordelen van AI op het gebied van de openbare veiligheid niet opwegen tegen de risico’s voor individuele rechten en democratische waarden.

Terwijl de technologie voortschrijdt, kan de tijd voor die afrekening kort zijn.