
Een open AI-videogeneratiemodel dat vorige maand werd gelanceerd, wordt nu door duizenden mensen gebruikt om niet-consensuele seksuele video’s van echte mensen te genereren.
Een Telegram-bot die niets anders doet dan AI die korte video’s genereert waarin mannen zonder wederzijdse toestemming ejaculeren op het gezicht van vrouwen, heeft meer dan 150.000 actieve gebruikers per maand.
Pas nadat dit artikel voor het eerst werd gepubliceerd, reageerde Telegram op mijn verzoek om commentaar, vroeg naar de naam van de bot en verwijderde deze.
Telegrambots die pornografie produceren zonder wederzijdse toestemming komen veel voor, maar deze bot in het bijzonder is opmerkelijk omdat hij in slechts een paar weken tijd 115.016 gebruikers heeft verzameld en de nieuwste AI-videogeneratie goedkoop en gemakkelijk toegankelijk heeft gemaakt voor snode doeleinden. De populariteit van de bot laat ook zien hoe snel “open” AI-tools van techgiganten worden omarmd om schade aan te richten.
De omvang van het publiek van de bot en de snelle groei ervan laten zien hoe snel dit soort misbruiktools zich verspreiden over Telegram en de communities die ze gebruiken. Het laat ook zien dat Telegram een van de belangrijkste platforms is waar dit misbruik plaatsvindt, ondanks dat deze content technisch gezien in strijd is met de servicevoorwaarden.
Ik zag de bot gepromoot worden in een ander Telegram-kanaal dat zich toelegt op het maken en delen van door AI gegenereerde, niet-consensuele pornografie, met zo’n 50.000 leden. Zoals ik eerder meldde, lanceerde de Chinese techgigant Alibaba eind februari een open weights AI-videogeneratiemodel genaamd Wan 2.1, dat snel werd aangepast om verschillende AI-videogeneratiemodellen te creëren die speciaal bedoeld zijn voor het creëren van porno. Ongeveer 24 uur nadat Alibaba Wan 2.1 uitbracht, verschenen die AI-modellen voor porno op Civitai, een site voor het delen van aangepaste AI-modellen waarvan uit meerdere onderzoeken van 404 Media is gebleken dat ze veel worden gebruikt door mensen die content creëren zonder wederzijdse toestemming.
Zoals ik in maart al meldde , hebben de gebruikers van het Telegram-kanaal sinds 2024 niet-consensuele AI-video’s gedeeld die zijn gemaakt met verschillende apps die beschikbaar zijn via de Apple App Store. Maar sinds de release van Wan 2.1 deelt een toenemend aantal gebruikers van het Telegram-kanaal niet-consensuele AI-video’s die volgens hen gebruikmaken van aangepaste Wan 2.1-modellen die worden gedeeld op Civitai.
Door AI gegenereerde video’s van mannen die ejaculeren op het gezicht van beroemde vrouwen zijn bijzonder populair op het Telegram-kanaal, blijkbaar omdat ze makkelijker te maken en overtuigender zijn. Ik ga niet elk detail herhalen, maar volgens verschillende gebruikers op het kanaal die instructies deelden over het maken van deze video’s, omvat het proces het gebruik van een Civitai beeld-naar-video AI-model en het lokaal of in de cloud uitvoeren. Met beeld-naar-video AI-modellen kunnen gebruikers één stilstaand beeld aan het model toewijzen en vervolgens een tekstprompt typen om dat beeld naar wens te animeren.
Medio april begonnen vergelijkbare, door AI gegenereerde video’s het Telegram-kanaal te overspoelen, maar dan met een watermerk met een URL, geregistreerd op 18 april, die gebruikers doorverwees naar de Telegram-bot die inmiddels 115.016 gebruikers telt. Een ander Telegram-kanaal met een vrijwel identieke naam en logo werd ergens in april door Telegram geblokkeerd wegens schending van de servicevoorwaarden.
“Illegale pornografie en de tools om deze te maken zijn verboden volgens de servicevoorwaarden van Telegram en worden verwijderd zodra ze worden ontdekt”, vertelde een woordvoerder van Telegram me na de publicatie van dit artikel. “Moderators met aangepaste AI en machine learning-tools monitoren proactief openbare delen van het platform en accepteren meldingen om dagelijks miljoenen schadelijke content te verwijderen.”
Nadat dit artikel oorspronkelijk was gepubliceerd, nam Telegram contact met me op en vroeg naar de naam van de bot. Telegram gaf aan dat ze hem zelf niet konden vinden. Nadat ik Telegram de bot had doorgegeven, werd deze verwijderd. Op dat moment had de bot 150.000 gebruikers.
Gebruikers die zich aanmelden bij het Telegram-kanaal van de bot krijgen één gratis credit waarmee ze een van deze video’s kunnen genereren. Ze hoeven alleen maar een stilstaand beeld te uploaden en de bot genereert het binnen enkele minuten. Toen ik het testte, was mijn “wachtrijpositie” #172 en deed de bot er 20 minuten over om de video te genereren. Gebruikers kunnen extra credits kopen in pakketten die goedkoper worden naarmate ze meer credits kopen. Vier credits kosten bijvoorbeeld $ 4,60, terwijl 240 credits $ 195 kosten. Gebruikers krijgen ook 20 procent korting op betalingen met cryptocurrency.
Cumshot AI-bots zijn een evolutie van “tributes”, waarbij mensen fysiek klaarkomen op foto’s van vrouwen en daar online video’s van delen. Vrouwen die het doelwit zijn geweest van tributes, geven aan dat ze het in het mildste geval verontrustend vinden, en in het ergste geval als ernstige intimidatie en bedreigend. Soms escaleren tributes tot bedreigingen met geweld en verkrachting.
Ik weet niet precies hoe de bot in zo’n korte tijd zo snel is gegroeid, maar het is opvallend dat hij nu bijna twee keer zo groot is als het oorspronkelijke Telegram-kanaal waar ik hem vond. Ik heb ook ontdekt dat video’s met het watermerk dat reclame maakt, gehost worden op een pornosite waar ze duizenden keren bekeken zijn, en op een ander Telegram-kanaal dat zich toelegt op het creëren van niet-consensuele, door AI gegenereerde pornografie van Koreaanse popsterren.
Een gebruiker die deze video’s naar een site uploadde, uploadde ook een paar video’s met het label ‘highschool crushes’, legde uit dat het video’s waren van vrouwen die hij in het echt kende en liet in de beschrijving van de video instructies achter over hoe je de echte Instagram-accounts van deze vrouwen kon vinden.
Hoewel niet-consensuele, door AI gegenereerde content voor volwassenen in strijd is met het beleid van Telegram, en hoewel het bedrijf eerder actie heeft ondernomen tegen dergelijke kanalen en bots, komen ze nog steeds veel voor op het platform. Ik heb even snel gezocht tijdens het lezen van dit artikel en vond verschillende van dergelijke bots, waaronder een “undress”-bot met meer dan 170.000 maandelijkse gebruikers.
Alibaba heeft niet gereageerd op een verzoek om commentaar.
Update: Dit artikel is bijgewerkt met commentaar van Telegram.