Indignatie redactie 
Civitai-verbod op content van echte mensen is een grote klap voor het ecosysteem van niet-consensuele AI-porno
Onder druk van betalingsverwerkers en nieuwe wetgeving verbiedt een belangrijke bron voor het produceren van niet-consensuele content AI-modellen die de gelijkenis van echte mensen afbeelden.
Civitai, een site voor het delen van AI-modellen die wordt gesteund door Andreessen Horowitz (a16z) en waarvan 404 Media herhaaldelijk heeft aangetoond dat deze wordt gebruikt om niet-consensuele content voor volwassenen te genereren, verbiedt AI-modellen die zijn ontworpen om de gelijkenis van echte mensen te creëren, zo kondigde de site vrijdag aan.
De beleidswijziging, die Civitai deels toeschrijft aan nieuwe AI-regelgeving in de VS en Europa, is de meest recente in een reeks updates die Civitai heeft doorgevoerd onder toenemende druk van aanbieders van betalingsverwerkingsdiensten en de berichtgeving van 404 Media. Deze recente wijziging zal, althans tijdelijk, het ecosysteem voor het creëren van niet-consensuele, door AI gegenereerde porno aanzienlijk belemmeren.
“We verwijderen modellen en afbeeldingen van echte personen van het platform. Deze bronnen en afbeeldingen blijven korte tijd beschikbaar voor de uploader voordat ze worden verwijderd”, aldus Civitai in haar aankondiging . “Deze wijziging is noodzakelijk om de gesprekken met gespecialiseerde betalingspartners voort te zetten en moet deze week worden voltooid ter voorbereiding op hun dienstverlening.”
Eerder deze maand heeft Civitai haar beleid bijgewerkt om bepaalde soorten content voor volwassenen te verbieden en verdere beperkingen ingevoerd voor content die de gelijkenis van echte mensen afbeeldt om te voldoen aan verzoeken van een niet nader genoemde betalingsverwerker. Deze poging om de betalingsverwerker te paaien mislukte uiteindelijk. Op 20 mei kondigde Civitai aan dat de provider de site, die momenteel geen creditcardbetalingen kan verwerken, heeft afgesloten, hoewel het bedrijf zegt binnenkort een nieuwe provider te zullen inschakelen.
“We weten dat dit frustrerend zal zijn voor veel makers en gebruikers. We hebben uitgebreid gesproken over de waarde van content die gelijkenissen toont, en deze beslissing is niet lichtzinnig genomen”, aldus Civitai in een verklaring over het verbieden van content die de gelijkenis van echte mensen afbeeldt. “Maar we worden nu geconfronteerd met een steeds strenger regelgevingslandschap – een dat zich snel ontwikkelt in meerdere landen.”
In de aankondiging wordt specifiek verwezen naar de recente ondertekening door president Donald Trump van de Take It Down Act, die platforms criminaliseert en aansprakelijk stelt voor niet-consensuele, door AI gegenereerde content voor volwassenen, en naar de EU AI Act , een uitgebreide AI-regelgeving die vorig jaar werd aangenomen.
Zoals ik al sinds 2023 heb gemeld , heeft Civitai’s beleid tegen content voor volwassenen zonder wederzijds goedvinden de cruciale rol van de site in het ecosysteem van door AI gegenereerde content voor volwassenen nauwelijks verminderd. Civitai’s beleid stond gebruikers toe om aangepaste AI-modellen voor het genereren van afbeeldingen (LoRA’s, checkpoints, enz.) te uploaden die ontworpen waren om de gelijkenis van echte mensen te creëren.
Deze modellen waren meestal van grote filmsterren en kleine internetberoemdheden, maar zoals onze berichtgeving heeft aangetoond, ook van volledig willekeurige, privépersonen . Civitai stond gebruikers ook toe om aangepaste AI-modellen voor het genereren van afbeeldingen te delen die ontworpen waren om extreem specifieke en expliciete seksuele handelingen en fetisjen weer te geven, maar het verbood gebruikers altijd om naaktheid of porno zonder wederzijds goedvinden te produceren.
Door zich echter te integreren in enorme online ruimtes die gewijd zijn aan het creëren en delen van content zonder wederzijdse toestemming, zag ik hoe gemakkelijk mensen deze twee soorten modellen combineren. Civitai-gebruikers konden deze modellen niet genereren en delen op Civitai, maar ze konden de modellen wel downloaden, combineren, lokaal op hun apparaten of op verschillende cloudcomputingdiensten porno zonder wederzijdse toestemming van echte mensen genereren en deze posten op pornosites, Telegram en sociale media.
Ik heb mensen in deze ruimtes keer op keer zien uitleggen hoe gemakkelijk het was om porno zonder wederzijdse toestemming te maken van YouTubers, Twitch-streamers of nauwelijks bekende Instagram-gebruikers door modellen te gebruiken voor Civitai en te linken naar de modellen die op Civitai gehost werden.
Een Telegram-kanaal dat zich toelegt op het genereren van AI-porno zonder wederzijdse toestemming reageerde op de aankondiging van Civitai. Verschillende gebruikers moedigden anderen aan om zoveel mogelijk AI-modellen van echte mensen te verzamelen voordat Civitai ze zou verwijderen. Op deze Telegram klaagden gebruikers dat deze modellen al waren verwijderd, en mijn zoekopdrachten op de site hebben hetzelfde aangetoond.
“Het verwijderen van die modellen raakt me echt”, aldus een productieve maker van niet-consensuele content op het Telegram-kanaal.
Toen Civitai voor het eerst aankondigde dat het onder druk werd gezet door zijn betalingsverwerker, startten verschillende gebruikers een archiveringsproject om alle modellen op de site op te slaan voordat ze werden verwijderd. Een Discord-server die speciaal voor dit project is opgezet, heeft nu meer dan 100 leden, maar het lijkt erop dat Civitai veel modellen eerder ontoegankelijk heeft gemaakt dan deze gebruikers hadden verwacht. Een lid van het archiveringsproject zei dat er “duizenden van dergelijke modellen zijn die niet kunnen worden geback-upt”.
Hoewel de recente beleidswijzigingen van Civitai, en met name de verwijdering van AI-modellen van echte mensen, vooralsnog een impact lijken te hebben op mensen die niet-consensuele, door AI gegenereerde porno maken, is het onwaarschijnlijk dat de verandering hen langdurig zal afremmen. De mensen die de modellen oorspronkelijk hebben gemaakt, kunnen ze altijd uploaden naar andere sites, waaronder sites die zich al als concurrenten van Civitai hebben gepositioneerd.
Het is ook onduidelijk hoe Civitai van plan is om te voorkomen dat gebruikers AI-modellen uploaden die zijn ontworpen om de gelijkenis te creëren van echte mensen die geen bekende beroemdheden zijn. Geautomatiseerde systemen kunnen deze modellen namelijk niet detecteren.
Civitai heeft nog niet op een verzoek om commentaar gereageerd.
