Indignatie redactie 
Emotie-tracking AI op het werk: Werknemers zijn bang om in de gaten gehouden te worden – en verkeerd begrepen te worden
AI – Kunstmatige emotie-intelligentie maakt gebruik van biologische signalen zoals stemtoon, gezichtsuitdrukkingen en gegevens van draagbare apparaten, maar ook van tekst en hoe mensen hun computers gebruiken, en belooft te detecteren en te voorspellen hoe iemand zich voelt. Het wordt gebruikt in zowel alledaagse contexten, zoals entertainment, als in contexten waar veel op het spel staat, zoals de werkplek, personeelswerving en gezondheidszorg.
Een breed scala aan industrieën maakt al gebruik van emotie-AI , waaronder callcenters, de financiële sector, het bankwezen, de verpleging en de zorgverlening. Meer dan 50% van de grote werkgevers in de VS gebruikt emotie-AI om de interne toestand van werknemers af te leiden, een praktijk die tijdens de COVID-19-pandemie groeide . Callcenters houden bijvoorbeeld in de gaten wat hun operators zeggen en wat hun toon is.
Wetenschappers hebben hun zorgen geuit over de wetenschappelijke validiteit van emotie-AI en de afhankelijkheid ervan van omstreden theorieën over emotie . Ze hebben ook gewezen op het potentieel van emotie-AI om de privacy te schenden en vooroordelen op het gebied van ras , geslacht en handicap te vertonen .
Sommige werkgevers gebruiken de technologie alsof deze feilloos is , terwijl sommige wetenschappers proberen de vooringenomenheid ervan te verminderen en de validiteit ervan te verbeteren , deze helemaal in diskrediet te brengen of te suggereren een verbod op emotie-AI , tenminste totdat er meer bekend is over de implicaties ervan.
Ik bestudeer de sociale implicaties van technologie . Ik ben van mening dat het van cruciaal belang is om de implicaties van emotie-AI te onderzoeken voor mensen die eraan worden blootgesteld, zoals werknemers – vooral degenen die worden gemarginaliseerd vanwege hun ras, geslacht of handicap.
Zorgen van de werknemers
Om te begrijpen waar het gebruik van emotie-AI op de werkplek naartoe gaat, hebben mijn collega Karen Boyd en ik de opvattingen van uitvinders over emotie-AI op de werkplek onderzocht . We analyseerden patentaanvragen die emotie-AI-technologieën voor de werkplek voorstelden. Vermeende voordelen die door octrooiaanvragers worden geclaimd, zijn onder meer het beoordelen en ondersteunen van het welzijn van werknemers, het waarborgen van de veiligheid op de werkplek, het verhogen van de productiviteit en het helpen bij de besluitvorming, zoals het maken van promoties, het ontslaan van werknemers en het toewijzen van taken.
We vroegen ons af wat werknemers van deze technologieën vinden. Zouden zij deze voordelen ook zien? Zouden werknemers het bijvoorbeeld nuttig vinden als werkgevers hen welzijnssteun zouden bieden?
Mijn medewerkers Shanley Corvite , Kat Roemmich , Tillie Ilana Rosenberg en ik voerden een onderzoek uit dat deels representatief was voor de Amerikaanse bevolking en deels overbemonsterd voor mensen van kleur, trans- en niet-binaire mensen en mensen met een psychische aandoening. Het is waarschijnlijker dat deze groepen schade ondervinden van emotie-AI. Onze studie had 289 deelnemers uit de representatieve steekproef en 106 deelnemers uit de oversteekproef. We ontdekten dat 32% van de respondenten aangaf geen voordeel voor hen te ervaren of te verwachten van het gebruik van emotie-AI op hun werkplek, zowel actueel als verwacht.
Hoewel sommige werknemers de potentiële voordelen van het gebruik van emotie-AI op de werkplek opmerkten, zoals een betere ondersteuning van het welzijn en de veiligheid op de werkplek, in navolging van de voordelen die in patentaanvragen worden geclaimd, uitten ze allemaal ook hun bezorgdheid. Ze waren bezorgd over schade aan hun welzijn en privacy, schade aan hun werkprestaties en arbeidsstatus, en over vooroordelen en stigmatisering op het gebied van de geestelijke gezondheid.
Zo uitte 51% van de deelnemers hun zorgen over privacy, 36% wees op de mogelijkheid van onjuiste gevolgtrekkingen die werkgevers zonder meer zouden accepteren, en 33% uitte zijn bezorgdheid dat door emotie-AI gegenereerde gevolgtrekkingen zouden kunnen worden gebruikt om onrechtvaardige arbeidsbeslissingen te nemen.
De stemmen van de deelnemers
Eén deelnemer met meerdere gezondheidsproblemen zei: “Het besef dat ik geanalyseerd word, zou ironisch genoeg een negatief effect hebben op mijn geestelijke gezondheid.” Dit betekent dat ondanks de geclaimde doelstellingen van Emotion AI om het welzijn van werknemers op de werkplek af te leiden en te verbeteren, het gebruik ervan tot het tegenovergestelde effect kan leiden: het welzijn neemt af als gevolg van een verlies aan privacy. Ander werk van mijn collega’s Roemmich, Florian Schaub en ik suggereert inderdaad dat door emotie AI veroorzaakt privacyverlies een reeks privacyschade kan omvatten , waaronder psychologische, autonomie-, economische, relationele, fysieke en discriminatie .
Over de zorgen dat emotionele surveillance hun baan in gevaar zou kunnen brengen, zei een deelnemer met een gediagnosticeerde psychische aandoening: “Ze zouden kunnen besluiten dat ik niet langer goed bij mijn werk pas en mij kunnen ontslaan. Besluit dat ik niet capabel genoeg ben en geef geen loonsverhoging, of denk dat ik niet genoeg werk.”
Deelnemers aan het onderzoek noemden ook het potentieel voor verergerde machtsonevenwichtigheden en zeiden dat ze bang waren voor de dynamiek die ze met werkgevers zouden hebben als emotie-AI op hun werkplek zou worden geïntegreerd, wijzend op hoe het gebruik van emotie-AI de reeds bestaande spanningen binnen de werkgever potentieel zou kunnen intensiveren. werknemer relatie. Een respondent zei bijvoorbeeld: “De hoeveelheid controle die werkgevers al hebben over werknemers suggereert dat er weinig controles zouden zijn op de manier waarop deze informatie zou worden gebruikt. Elke ‘toestemming’ [door] werknemers is in deze context grotendeels een illusie.”
Ten slotte merkten de deelnemers potentiële schade op, zoals de technische onnauwkeurigheden van emotie-AI die mogelijk een verkeerde indruk over werknemers wekken, en emotie-AI die vooroordelen en stigma’s tegen werknemers creëert en in stand houdt. Bij het beschrijven van deze zorgen benadrukten de deelnemers hun angst voor werkgevers die vertrouwen op onnauwkeurige en bevooroordeelde AI-systemen voor emoties, vooral tegen gekleurde mensen, vrouwen en transgenders.
Een deelnemer zei bijvoorbeeld: “Wie bepaalt welke uitdrukkingen er ‘gewelddadig uitzien’, en hoe kun je mensen als een bedreiging beschouwen, alleen al op basis van de blik op hun gezicht? Een systeem kan natuurlijk gezichten lezen, maar geen gedachten. Ik kan me gewoon niet voorstellen dat dit allesbehalve destructief zou kunnen zijn voor minderheden op de werkvloer.”
Deelnemers merkten op dat ze óf zouden weigeren te werken op een plek waar emotie-AI wordt gebruikt – een optie die voor velen niet beschikbaar is – óf gedrag zouden vertonen om ervoor te zorgen dat emotie-AI hen gunstig leest om hun privacy te beschermen. Eén deelnemer zei: “Ik zou een enorme hoeveelheid energiemaskering uitoefenen, zelfs als ik alleen op kantoor was, waardoor ik erg afgeleid en onproductief zou worden”, wijzend op hoe het gebruik van emotie-AI werknemers extra emotionele arbeid zou opleggen.
De schade waard?
Deze bevindingen geven aan dat emotie-AI de bestaande uitdagingen waarmee werknemers op de werkplek worden geconfronteerd, verergert, ondanks dat voorstanders beweren dat emotie-AI deze problemen helpt oplossen.
Als emotie-AI werkt zoals wordt beweerd en meet wat het beweert te meten, en zelfs als problemen met vooringenomenheid in de toekomst worden aangepakt, is er nog steeds schade die werknemers ervaren, zoals de extra emotionele arbeid en het verlies van privacy.
Als deze technologieën niet meten wat ze beweren of als ze bevooroordeeld zijn, zijn mensen overgeleverd aan algoritmen die als geldig en betrouwbaar worden beschouwd, terwijl dat niet het geval is. Werknemers zouden nog steeds moeite moeten doen om de kans te verkleinen dat ze verkeerd worden gelezen door het algoritme, of om zich bezig te houden met emotionele vertoningen die in het voordeel van het algoritme zouden zijn.
Hoe het ook zij, deze systemen functioneren als panopticon -achtige technologieën, waardoor de privacy wordt geschaad en het gevoel wordt bekeken.
