4chan gebruikt de verborgen AI-app van TikTok-eigenaar ByteDance om porno te genereren

Cici AI, een AI-assistent die in stilte werd gelanceerd door ByteDance, het moederbedrijf van TikTok, heeft het genereren van afbeeldingen stopgezet nadat 404 Media om commentaar had gevraagd.

ByteDance, het moederbedrijf van TikTok, heeft de AI-functie voor het genereren van afbeeldingen in een van zijn AI-apps uitgeschakeld nadat de Media ontdekte dat gebruikers op 4chan een manier hadden gevonden om de AI-app te gebruiken om porno te genereren, ondanks het beleid en de beperkingen in de app die zijn ontworpen om het maken van dat soort content te voorkomen. 

Tot nu toe lijkt het erop dat gebruikers er niet achter zijn gekomen hoe ze eenvoudig niet-consensuele AI-gegenereerde afbeeldingen van beroemdheden kunnen maken met behulp van Cici AI, zoals ze vaak doen bij het gebruik van deze apps. Ik heb een reeks pornografische afbeeldingen van twee verschillende beroemdheden gezien waarvan gebruikers beweren dat ze zijn gemaakt met Cici AI, maar ik kon die afbeeldingen niet reproduceren tijdens mijn tests.

Maar het nieuws laat zien hoe gebruikers eenvoudig de beperkingen kunnen omzeilen in generatieve AI-tools die zijn ontworpen om bepaalde soorten content te voorkomen, zelfs wanneer ze worden geproduceerd door de grootste technologiebedrijven ter wereld. 

In januari meldde Forbes voor het eerst dat ByteDance de app, genaamd Cici AI, stilletjes had gelanceerd “in de afgelopen drie maanden”, evenals twee andere generatieve AI-apps, die allemaal ten minste gedeeltelijk worden aangestuurd door OpenAI’s ChatGPT, toegankelijk via een Microsoft Azure-licentie. Cici AI, dat is ontwikkeld door een dochteronderneming van ByteDance genaamd Spring (SG) Pte. Ltd, is een “AI-assistent” die functioneert als veel andere chatbots en vragen kan beantwoorden en afbeeldingen kan genereren op basis van schriftelijke prompts. 

Eerder deze maand begon ik door AI gegenereerde pornografische afbeeldingen te zien in de Telegram- en 4chan-community’s. Deze communities verspreidden eerder de door AI gegenereerde, niet-consensuele seksuele afbeeldingen van Taylor Swift die in januari viraal gingen op Twitter en die waren gegenereerd met de Designer-tool van Microsoft. 

De door Cici AI gegenereerde afbeeldingen zijn veel grafischer dan de afbeeldingen die gebruikers konden genereren met Microsoft’s Designer voordat Microsoft het lek dichtte dat gebruikers toeliet om die afbeeldingen te genereren, maar tot nu toe heb ik nog niet gezien dat het de gelijkenis van een echt persoon genereerde. Ik heb een aantal van de prompts getest waarvan gebruikers zeiden dat ze pornografie genereerden op Cici AI en bevestigd dat ze werkten.

Cici weigert de gelijkenis van een beroemdheid te genereren, en prompts die die bescherming omzeilen op andere AI-afbeeldingsgeneratoren, zoals het lichtjes verkeerd spellen van een naam van een beroemdheid of het gebruiken van de naam van een personage dat ze speelden in een film, zullen een afbeelding produceren, maar geen die lijkt op de echte persoon. 

ByteDance vertelde me dat een productprobleem ervoor zorgde dat naar eigen zeggen een klein aantal mensen de webtestversie van Cici AI kon gebruiken om expliciete afbeeldingen te maken die de Community Guidelines van het platform schenden . Het zei dat de mobiele versie niet was beïnvloed en nog steeds normaal werkt. 

De richtlijnen van Cici AI stellen dat het niet is toegestaan ​​om “expliciete content te genereren”. De richtlijnen stellen ook dat “als we schendingen van ons beleid vaststellen, we de creatie van bots kunnen voorkomen, content kunnen beperken of verwijderen en/of de mogelijkheid om bots te gebruiken kunnen beperken. In gevallen van ernstige of herhaalde schendingen van onze richtlijnen kunnen we uw account ook tijdelijk of permanent blokkeren.”

Zoals Bytedance mij vertelde, bevindt Cici AI zich in een “testfase”, is het officieel alleen beschikbaar in een paar markten en is het regiogeblokkeerd in de VS, wat betekent dat gebruikers die het daar proberen te openen, de toegang wordt ontzegd. Het is echter eenvoudig te openen met een willekeurig aantal gratis VPN-tools, en zo kon ik het testen en hoeveel 4chan-gebruikers het hebben geopend. 

Uit mijn testen bleek dat het omzeilen van de guardrails van Cici AI eenvoudig was en precies werkte zoals de prompts die de niet-consensuele afbeeldingen van Taylor Swift met Microsoft Designer genereerden. De prompts beschrijven eenvoudigweg afbeeldingen die zullen resulteren in expliciete scenario’s zonder seksueel expliciete termen te gebruiken.

De resulterende generaties zijn niet 100 procent van de tijd pornografisch, maar mensen in de communities die deze afbeeldingen genereren, hebben tools gemaakt en gedeeld die automatisch prompts opnieuw zullen proberen en de resulterende afbeeldingen zullen downloaden, zodat ze prompts niet handmatig opnieuw hoeven te proberen. 

Alle door Cici AI gegenereerde afbeeldingen bevatten een “Cici AI”-watermerk in de rechteronderhoek, waardoor het duidelijk is dat het door AI is gegenereerd en geen echte foto. Omdat deze afbeeldingen circuleren in communities die door AI gegenereerde pornografie maken, promoten en distribueren, leidt het watermerk mensen die naar die content zoeken ook rechtstreeks naar de tool die het heeft gemaakt.

Sommige gebruikers op 4chan hebben het watermerk gebruikt om Cici AI te laten lijken alsof het niet-consensuele naaktfoto’s van beroemdheden kan genereren, ook al heb ik hiervan maar een handvol voorbeelden gezien, door het Cici Ai-watermerk te bewerken tot niet-consensuele naaktfoto’s van Taylor Swift die maanden geleden met Microsoft Designer zijn gemaakt. 

EEN NEP CICI AI-WATERMERK (BOVEN)  EEN ECHT CICI AI-WATERMERK (ONDER).