Indignatie redactie 
Of het nu gaat om politici, popsterren of tienermeisjes, geseksualiseerde deepfakes zijn in opkomst. Ze houden een spiegel voor onze seksistische wereld
Deepfake – Het Victoriaanse parlementslid Georgie Purcell sprak zich onlangs uit tegen een digitaal bewerkte afbeelding in de nieuwsmedia die haar lichaam had veranderd en een deel van haar kleding gedeeltelijk had verwijderd.
I endured a lot yesterday.
But having my body and outfit photoshopped by a media outlet was not on my bingo card.
Note the enlarged boobs and outfit to be made more revealing.
Can’t imagine this happening to a male MP.
What gives? pic.twitter.com/NhnkDRMidc
— Georgie Purcell (@georgievpurcell) January 29, 2024
Of de montage nu wel of niet werd ondersteund door kunstmatige intelligentie (AI), haar ervaring toont de potentiële seksistische, discriminerende en op gender gebaseerde schade aan die kan optreden als deze technologieën ongecontroleerd worden gebruikt.
De ervaring van Purcell weerspiegelt ook een verontrustende trend waarin beelden, vooral van vrouwen en meisjes, worden geseksualiseerd, “deepfaked” en “nudified” zonder medeweten of toestemming van de persoon.
Wat heeft AI ermee te maken?
De term AI kan een breed scala aan computersoftware en smartphone-apps omvatten die een bepaald niveau van geautomatiseerde verwerking gebruiken.
Hoewel sciencefiction ons misschien anders doet denken, is een groot deel van het dagelijkse gebruik van AI-ondersteunde tools relatief eenvoudig. We leren een computerprogramma of smartphone-applicatie wat we willen dat het doet, het leert van de gegevens die we het voeden, en past dit leren toe om de taak op verschillende manieren uit te voeren.
Een probleem met AI-beeldbewerking is dat deze tools afhankelijk zijn van de informatie die onze menselijke samenleving heeft gegenereerd. Het is geen toeval dat het instrueren van een tool om een foto van een vrouw te bewerken ertoe kan leiden dat het onderwerp er jonger, slanker en/of ronder uitziet, en zelfs minder gekleed . Een simpele zoekopdracht op internet naar ‘vrouwen’ zal snel uitwijzen dat dit de kwaliteiten zijn die onze samenleving vaak onderschrijft.
Soortgelijke problemen zijn naar voren gekomen bij AI-gezichtsherkenningstools die verdachten in strafrechtelijke onderzoeken ten onrechte hebben geïdentificeerd vanwege de raciale en gendervooroordelen die in de software zijn ingebouwd. Het lijkt erop dat de geesten van seksisme en racisme letterlijk in de machines zitten.
Technologie weerspiegelt voor ons het gebrek aan respect, de ongelijkheid, de discriminatie en – in de behandeling van Purcell – het openlijke seksisme dat wij zelf al hebben verspreid.
Geseksualiseerde deepfakes
Hoewel iedereen het slachtoffer kan zijn van door AI gefaciliteerd beeldmisbruik of geseksualiseerde deepfakes, is het geen geheim dat er sprake is van genderongelijkheid in pornografische beelden die online worden gevonden.
Sensity AI (voorheen Deeptrace Labs) rapporteert sinds december 2018 over online deepfake-video’s en constateert consequent dat 90-95% daarvan pornografie zonder wederzijds goedvinden is . Ongeveer 90% van hen is vrouw.
Jonge vrouwen, kinderen en tieners over de hele wereld worden ook onderworpen aan het zonder wederzijdse toestemming creëren en delen van geseksualiseerde en genudificeerde deepfake-beelden. Recente berichten over vervalste, geseksualiseerde beelden van tienermeisjes zijn naar voren gekomen op een middelbare school in New Jersey in de Verenigde Staten en een andere middelbare school in Almendralejo, Spanje . Een derde geval werd gemeld op een middelbare school in Londen , wat ertoe leidde dat een 14-jarig meisje zelfmoord pleegde.
Vrouwelijke beroemdheden zijn ook een populair doelwit van geseksualiseerde deepfake-beelden. Vorige maand werden geseksualiseerde deepfakes van Taylor Swift openlijk en zonder toestemming gedeeld op een reeks digitale platforms en websites.
Hoewel onderzoeksgegevens over bredere slachtofferschaps- en daderpercentages van dit soort beeldbewerking en -distributie schaars zijn, bleek uit ons onderzoek van 2019 in het Verenigd Koninkrijk, Australië en Nieuw-Zeeland dat 14,1% van de respondenten tussen 16 en 84 jaar ervaring had met het creëren, distribueren of bedreigen van afbeeldingen door iemand om een digitaal gewijzigd beeld te verspreiden dat hen op een geseksualiseerde manier vertegenwoordigt.
Ons onderzoek heeft ook licht geworpen op de schade van deze vorm van misbruik. Slachtoffers meldden dat ze psychologische, sociale, fysieke, economische en existentiële trauma’s hadden ervaren, vergelijkbaar met de schade die werd vastgesteld door slachtoffers van andere vormen van seksueel geweld en op beelden gebaseerd misbruik.
Dit jaar zijn we begonnen met een nieuw onderzoek om dit probleem verder te onderzoeken. We zullen kijken naar de huidige aantallen slachtoffers en daders, de gevolgen en schade van het zonder consensus creëren en delen van geseksualiseerde deepfakes in de VS, het VK en Australië. We willen ontdekken hoe we reacties, interventies en preventie kunnen verbeteren.
Hoe kunnen we een einde maken aan door AI gefaciliteerd misbruik?
Het misbruik van Swift op zo’n openbaar forum heeft de roep om federale wetten en platformregelgeving, gematigdheid en gemeenschapsnormen nieuw leven ingeblazen om te voorkomen en te blokkeren dat geseksualiseerde deepfakes worden gedeeld.
Hoewel het zonder wederzijdse toestemming delen van geseksualiseerde deepfakes al een misdaad is in de meeste Australische staten en territoria, is het verbazingwekkend dat de wetten met betrekking tot de creatie ervan minder consistent zijn. En in de VS bestaat er geen nationale wet die geseksualiseerde deepfakes strafbaar stelt. Minder dan de helft van de Amerikaanse staten heeft er een, en de staatswetten zijn zeer variabel in de mate waarin ze slachtoffers beschermen en ondersteunen.
Maar focussen op individuele staten of landen is niet voldoende om dit mondiale probleem aan te pakken. Geseksualiseerde deepfakes en door AI gegenereerde inhoud worden internationaal gepleegd, wat de noodzaak van collectieve mondiale actie onderstreept.
Er bestaat enige hoop dat we door AI gegenereerde inhoud beter kunnen detecteren door middel van begeleiding bij het opsporen van vervalsingen. Maar de realiteit is dat technologieën voortdurend verbeteren, waardoor onze mogelijkheden om het ‘echte’ te onderscheiden van het digitaal ‘vervalste’ steeds beperkter worden.
De technologische vooruitgang wordt nog verergerd door de toenemende beschikbaarheid van ‘nudify’- of ‘remove kleding’-apps op verschillende platforms en app-winkels, waarvoor vaak online wordt geadverteerd. Dergelijke apps normaliseren de seksistische behandeling en objectivering van vrouwen verder, zonder rekening te houden met hoe de slachtoffers er zelf over denken.
Maar het zou een vergissing zijn om alleen de technologie de schuld te geven van de schade, of van het seksisme, het gebrek aan respect en het misbruik dat daaruit voortvloeit. Technologie is moreel neutraal. Het kan noch krediet, noch schuld aanvaarden.
In plaats daarvan rust er een duidelijke taak op technologieontwikkelaars, digitale platforms en websites om proactiever te zijn door safety by design in te bouwen . Met andere woorden: de veiligheid en rechten van gebruikers centraal stellen bij het ontwerp en de ontwikkeling van onlineproducten en -diensten. Platforms, apps en websites moeten ook verantwoordelijk worden gemaakt voor het proactief voorkomen, verstoren en verwijderen van niet-consensuele inhoud en technologieën die dergelijke inhoud kunnen maken.
Australië loopt hierin voorop via het Office of the eSafety Commissioner, inclusief nationale wetten die digitale platforms ter verantwoording roepen.
Maar verdere mondiale actie en samenwerking zijn nodig als we de schade van niet-consensuele geseksualiseerde deepfakes echt willen aanpakken en voorkomen.
