AI-startup verwijdert volledige website nadat onderzoeker er iets walgelijks op vindt

Een Zuid-Koreaanse website genaamd GenNomis ging deze week offline nadat een onderzoeker een bijzonder alarmerende ontdekking deed: tienduizenden door AI gegenereerde pornografische afbeeldingen gemaakt door zijn software, Nudify. De foto’s werden gevonden in een onbeveiligde database en bevatten expliciete afbeeldingen met de gelijkenis van beroemdheden, politici, willekeurige vrouwen en kinderen.

AI – Jeremiah Fowler, de cybersecurity-onderzoeker die de cache vond , zegt dat hij onmiddellijk een kennisgeving van verantwoorde openbaarmaking naar GenNomis en het moederbedrijf, AI-Nomis, stuurde, die vervolgens de database voor openbare toegang blokkeerden. Later, slechts enkele uren nadat Wired  GenNomis om commentaar had gevraagd, leken zowel het bedrijf als het moederbedrijf volledig van het web te zijn verdwenen.

De blootgestelde database van een AI-afbeeldingengenerator onthult waar mensen het echt voor gebruikten

Tienduizendenvan expliciete AI-gegenereerde afbeeldingen, waaronder AI-gegenereerd materiaal over seksueel misbruik van kinderen, werden open en toegankelijk gelaten voor iedereen op het internet, volgens nieuw onderzoek dat door WIRED is ingezien. Een open database van een AI-beeldgeneratiebedrijf bevatte meer dan 95.000 records, waaronder enkele promptgegevens en afbeeldingen van beroemdheden zoals Ariana Grande, de Kardashians en Beyoncé die waren gede-aged om eruit te zien als kinderen.

De blootgestelde database, die werd ontdekt door beveiligingsonderzoeker Jeremiah Fowler, die details van het lek deelde met WIRED, is gelinkt aan de in Zuid-Korea gevestigde website GenNomis. De website en het moederbedrijf, AI-Nomis, hostten een aantal tools voor het genereren van afbeeldingen en chatbots die mensen konden gebruiken. Meer dan 45 GB aan gegevens, voornamelijk bestaande uit AI-afbeeldingen, bleef open en bloot liggen.

De blootgestelde gegevens bieden een glimp van hoe AI-beeldgeneratietools kunnen worden ingezet als wapen om diep schadelijke en waarschijnlijk niet-consensuele seksuele inhoud van volwassenen en kindermisbruikmateriaal (CSAM) te creëren. De afgelopen jaren zijn tientallen ” deepfake ” en ” nudify ” websites, bots en apps als paddenstoelen uit de grond geschoten en hebben ervoor gezorgd dat duizenden vrouwen en meisjes het doelwit werden van schadelijke beelden en video’s. Dit ging gepaard met een piek in door AI gegenereerd CSAM .

“Het belangrijkste is hoe gevaarlijk dit is,” zegt Fowler over de blootstelling van de data. “Als je er als beveiligingsonderzoeker naar kijkt, als je er als ouder naar kijkt, is het angstaanjagend. En het is angstaanjagend hoe makkelijk het is om die content te creëren.”

Fowler ontdekte de open cache van bestanden – de database was niet met een wachtwoord beveiligd of versleuteld – begin maart en meldde dit snel aan GenNomis en AI-Nomis, erop wijzend dat het AI CSAM bevatte. GenNomis sloot de database snel af, zegt Fowler, maar reageerde niet en nam geen contact met hem op over de bevindingen.

Noch GenNomis noch AI-Nomis reageerde op meerdere verzoeken om commentaar van WIRED. Echter, uren nadat WIRED contact opnam met de organisaties, leken de websites van beide bedrijven te zijn gesloten, waarbij de GenNomis-website nu een 404-foutpagina retourneerde.

“Dit voorbeeld laat ook zien – opnieuw – in welke verontrustende mate er een markt is voor AI die het mogelijk maakt om zulke beledigende afbeeldingen te genereren”, zegt Clare McGlynn, een rechtenprofessor aan de Durham University in het Verenigd Koninkrijk die gespecialiseerd is in online- en op afbeeldingen gebaseerd misbruik. “Dit zou ons eraan moeten herinneren dat het creëren, bezitten en verspreiden van CSAM niet zeldzaam is en toe te schrijven is aan verwrongen individuen.”

Voordat het werd gewist, vermeldde GenNomis meerdere verschillende AI-tools op de homepage. Deze omvatten een afbeeldingsgenerator waarmee mensen prompts konden invoeren van afbeeldingen die ze wilden maken, of een afbeelding konden uploaden en een prompt konden toevoegen om deze te wijzigen. Er was ook een face-swapping tool, een achtergrondverwijderaar en een optie om video’s om te zetten in afbeeldingen.

“Het meest verontrustende was natuurlijk de expliciete kinderfoto’s en het zien van foto’s die duidelijk beroemdheden waren die opnieuw waren verbeeld als kinderen”, zegt Fowler. De onderzoeker legt uit dat er ook door AI gegenereerde afbeeldingen waren van volledig geklede jonge meisjes. Hij zegt dat het in die gevallen onduidelijk is of de gebruikte gezichten volledig door AI zijn gegenereerd of gebaseerd zijn op echte afbeeldingen.

Naast CSAM, zegt Fowler, stonden er ook door AI gegenereerde pornografische afbeeldingen van volwassenen in de database, plus mogelijke ‘face-swap’-afbeeldingen. Tussen de bestanden zag hij wat leek op foto’s van echte mensen, die waarschijnlijk werden gebruikt om ‘expliciete naakt- of seksuele door AI gegenereerde afbeeldingen’ te maken, zegt hij. ‘Dus ze maakten echte foto’s van mensen en verwisselden hun gezichten daarop’, beweert hij over sommige gegenereerde afbeeldingen.

Toen het live was, stond de GenNomis-website expliciete AI-volwassenbeelden toe. Veel van de afbeeldingen op de homepage en een AI-‘modellen’-sectie bevatten geseksualiseerde afbeeldingen van vrouwen – sommige waren ‘fotorealistisch’ terwijl andere volledig door AI werden gegenereerd of in geanimeerde stijlen. Het bevatte ook een ‘NSFW’-galerij en ‘marktplaats’ waar gebruikers afbeeldingen konden delen en mogelijk albums met door AI gegenereerde foto’s konden verkopen. De slogan van de website zei dat mensen ‘onbeperkte’ afbeeldingen en video’s konden ‘genereren’; een eerdere versie van de site uit 2024 zei dat er ‘ongecensureerde afbeeldingen’ konden worden gemaakt.

Het gebruikersbeleid van GenNomis stelde dat alleen “respectvolle content” is toegestaan, en zei dat “expliciet geweld” en haatzaaiende uitlatingen verboden zijn. “Kinderpornografie en andere illegale activiteiten zijn strikt verboden op GenNomis”, aldus de communityrichtlijnen, waarin stond dat accounts die verboden content posten, zouden worden beëindigd. (Onderzoekers, slachtofferadvocaten, journalisten, technologiebedrijven en meer hebben de term “kinderpornografie” grotendeels uitgefaseerd, ten gunste van CSAM, in het afgelopen decennium).

Het is onduidelijk in hoeverre GenNomis moderatietools of -systemen heeft gebruikt om de creatie van door AI gegenereerde CSAM te voorkomen of te verbieden. Sommige gebruikers hebben vorig jaar op de communitypagina gepost dat ze geen afbeeldingen van mensen die seks hebben konden genereren en dat hun prompts werden geblokkeerd vanwege niet-seksuele ‘donkere humor’. Een ander account postte op de communitypagina dat de ‘NSFW’-inhoud aangepakt moest worden, omdat het ‘door de federale overheid zou kunnen worden bekeken’.

“Als ik die afbeeldingen kon zien met alleen de URL, dan bewijst dat dat ze niet alle nodige stappen ondernemen om die content te blokkeren”, beweert Fowler over de database.

Henry Ajder, een deepfake-expert en oprichter van adviesbureau Latent Space Advisory, zegt dat zelfs als het creëren van schadelijke en illegale content niet door het bedrijf was toegestaan, de branding van de website – met verwijzing naar “onbeperkte” beeldcreatie en een “NSFW”-sectie – aangaf dat er mogelijk een “duidelijke associatie is met intieme content zonder veiligheidsmaatregelen.”

Ajder zegt dat hij verrast is dat de Engelstalige website aan een Zuid-Koreaanse entiteit is gekoppeld. Vorig jaar werd het land geplaagd door een niet-consensuele deepfake ” noodsituatie ” die gericht was op meisjes , voordat het maatregelen nam om de golf van deepfake-misbruik te bestrijden . Ajder zegt dat er meer druk moet worden uitgeoefend op alle onderdelen van het ecosysteem dat het genereren van niet-consensuele beelden met behulp van AI toestaat. “Hoe meer we hiervan zien, hoe meer het de vraag opdringt aan wetgevers, aan technologieplatforms, aan webhostingbedrijven, aan betalingsaanbieders. Al die mensen die op de een of andere manier, bewust of onbewust – meestal onbewust – dit mogelijk maken en faciliteren”, zegt hij.

Fowler zegt dat de database ook bestanden blootlegde die AI-prompts leken te bevatten. Er waren geen gebruikersgegevens, zoals logins of gebruikersnamen, opgenomen in de blootgelegde gegevens, zegt de onderzoeker. Screenshots van prompts tonen het gebruik van woorden zoals “tiny”, “girl” en verwijzingen naar seksuele handelingen tussen familieleden. De prompts bevatten ook seksuele handelingen tussen beroemdheden.

“Het lijkt mij dat de technologie alle richtlijnen of controles voorbij is gestreefd”, zegt Fowler. “Vanuit juridisch oogpunt weten we allemaal dat expliciete afbeeldingen van kinderen illegaal zijn, maar dat heeft de technologie er niet van weerhouden om die afbeeldingen te genereren.”

Nu generatieve AI-systemen de afgelopen twee jaar de mogelijkheid om afbeeldingen te maken en te wijzigen enorm hebben verbeterd, is er een explosie geweest van door AI gegenereerd CSAM. “Webpagina’s met door AI gegenereerd materiaal over seksueel misbruik van kinderen zijn sinds 2023 meer dan verviervoudigd en het fotorealisme van deze afschuwelijke content is ook in verfijning toegenomen, zegt Derek Ray-Hill, de interim-CEO van de Internet Watch Foundation (IWF), een in het Verenigd Koninkrijk gevestigde non-profitorganisatie die online CSAM aanpakt.

De IWF heeft gedocumenteerd hoe criminelen steeds vaker door AI gegenereerde CSAM creëren en de methoden ontwikkelen die ze gebruiken om het te creëren. “Het is momenteel gewoon te gemakkelijk voor criminelen om AI te gebruiken om seksueel expliciete content van kinderen op grote schaal en met hoge snelheid te genereren en te verspreiden”, zegt Ray-Hill.

GenNomis is verre van de enige AI-startup die tools verkoopt om pornografie te genereren. Het is een klein onderdeel van een zorgwekkende trend die mogelijk wordt gemaakt door ongereguleerde generatieve AI over de hele wereld. Vaak bekend als “deepfakes” vanwege hun levensechte aard, zijn nepporno-afbeeldingen en -video’s gebaseerd op echte mensen geëxplodeerd op internet, omdat consumenten steeds overtuigender generatieve AI in handen krijgen.

De gevolgen van deepfake-porno kunnen verwoestend zijn, vooral voor vrouwen, die de overgrote meerderheid van de slachtoffers vormen . Naast het voor de hand liggende gebrek aan toestemming wanneer iemand digitaal wordt uitgekleed, is dit spul gebruikt om politici te bezoedelen , mensen te laten ontslaan , slachtoffers af te persen voor geld en kindermisbruikmateriaal te genereren . Naast seksueel geweld zijn niet-pornografische deepfakes verantwoordelijk voor een enorme toename van financiële en cybercriminaliteit en een niet geringe hoeveelheid flagrante misinformatie .

Het is ook geen verrassing dat GenNomis in Zuid-Korea is gevestigd. Een rapport uit 2023 over Deepfake-porno ontdekte dat Zuid-Koreaanse vrouwen 53 procent van de slachtoffers van de praktijk vormden — veruit de meest getargete groep. Ter vergelijking: Amerikaanse vrouwen vormden de op één na meest getargete groep, met 20 procent.

De opkomst van generatieve AI die de ongebreidelde uitbuiting van vrouwen mogelijk maakt, valt samen met een enorme toename van seksistische retoriek en gendergerelateerd geweld in Zuid-Korea, omdat reactionaire politici en influencers het feminisme de schuld geven van de stijgende zelfmoordcijfers onder mannen.

Over het geheel genomen is het een sterk argument voor wetgevers om een ​​strengere aanpak te hanteren voor het reguleren van generatieve AI, hoewel dit onwaarschijnlijk lijkt vanwege de huidige vrijheid van de AI-industrie om zichzelf te reguleren . Ter vergelijking: China heeft verplicht gesteld dat alle door AI gegenereerde media vanaf het begin als zodanig worden gelabeld. Hoewel ze langzamer zijn op het feestje, halen westerse wetgevers de criminalisering van deepfake-pornocreatie en -distributie in, hoewel wetten en straffen in Amerika van staat tot staat verschillen.

Toch is het voor duizenden vrouwen over de hele wereld zo dat het feit dat bedrijven als GenNomis überhaupt bestaan, betekent dat het te laat is.