TikTok wordt overspoeld met racistische AI-video’s gegenereerd door Google’s Veo 3

Google en TikTok hebben regels tegen dit soort dingen, maar dat lijkt niet uit te maken.

TikTok De release van Google’s Veo 3-videogenerator in mei betekende een verontrustende sprong voorwaarts in de AI-videokwaliteit . Hoewel veel van de virale AI-video’s die we hebben gezien onschuldig vermaak zijn, kan de pixelperfecte output van het model ook voor snode doeleinden worden gebruikt. Op TikTok, dat de komende maanden al dan niet verboden zal worden , hebben gebruikers een overvloed aan racistische AI-video’s opgemerkt, dankzij Google’s Veo 3.

Volgens een rapport van MediaMatters zijn talloze TikTok-accounts de afgelopen weken begonnen met het plaatsen van door AI gegenereerde video’s met racistische en antisemitische elementen. Het meeste AI-vitriool is gericht op zwarte mensen, die worden afgeschilderd als “de gebruikelijke verdachten” in misdaden, afwezige ouders en apen met een voorliefde voor watermeloen. De content is ook gericht op immigranten en Joden. De video’s duren maximaal acht seconden en dragen het “Veo”-watermerk, wat bevestigt dat ze afkomstig zijn van Googles toonaangevende AI-model.

De compilatievideo hieronder bevat voorbeelden van TikTok sinds de release van Veo 3, maar wees gewaarschuwd: de video bevat racistische en antisemitische content. Sommige video’s zijn schokkend, en dat is waarschijnlijk ook de bedoeling: niets stimuleert de interactie op sociale media zo goed als woede en drama. MediaMatters meldt dat de originele berichten talloze reacties bevatten die de stereotypen uit de video weerspiegelen.

Google heeft de nadruk gelegd op beveiliging bij de aankondiging van nieuwe AI-modellen. We hebben allemaal wel eens een AI gezien die weigert een taak uit te voeren die de regels overtreedt. En het is nooit leuk als je oprecht onschuldige bedoelingen hebt, maar het systeem een ​​fout-positieve melding geeft en je output blokkeert. Google heeft in het verleden grotendeels de juiste balans gevonden, maar het lijkt erop dat Veo 3 beter werkt. We hebben een paar eenvoudige prompts met Veo 3 getest en vonden het gemakkelijk om elementen uit deze video’s te reproduceren.

Duidelijke maar niet-afgedwongen beleidslijnen

De servicevoorwaarden van TikTok verbieden dit soort content. “We staan ​​geen haatdragende taal, haatdragend gedrag of promotie van haatdragende ideologieën toe. Dit omvat expliciete of impliciete content die een beschermde groep aanvalt”, aldus de communityrichtlijnen. Ondanks dit algehele verbod op racistische karikaturen lijken de haatdragende Veo 3-video’s ongecontroleerd te worden verspreid.

TikTok merkt op dat het zowel technologie als menselijke moderators gebruikt om content te identificeren die de regels overtreedt. De omvang van de uploads maakt tijdige moderatie echter lastig. Hoewel de racistische video’s veel views opleverden, vertelt een woordvoerder van TikTok aan Ars dat meer dan de helft van de accounts die in het MediaMatters-rapport worden genoemd, vóór de publicatie van het rapport werden geblokkeerd vanwege beleidsovertredingen, en dat de rest inmiddels is verwijderd.

Google hanteert een uitgebreid beleid voor verboden gebruik dat het gebruik van zijn diensten verbiedt om haatzaaiende uitlatingen, intimidatie en misbruik te promoten. De video’s die MediaMatters heeft ontdekt, lijken allemaal onder een of meer van deze categorieën te vallen. In een ideale wereld zou Veo 3 weigeren deze video’s te maken, maar de vaagheid in de prompt en het onvermogen van de AI om de subtiliteiten van racistische tropes te begrijpen (zoals het gebruik van apen in plaats van mensen in sommige video’s) maken het gemakkelijk om de regels te omzeilen.

TikTok, ’s werelds grootste sociale videogigant, is een natuurlijke plek voor de verspreiding van dit soort video’s. Het is echter niet exclusief voor TikTok. X (voorheen Twitter) heeft een reputatie opgebouwd van zeer beperkte moderatie , wat heeft geleid tot een explosie van haatdragende AI-content. Dit probleem zou binnenkort ook erger kunnen worden. Google is van plan om Veo 3 te integreren in YouTube Shorts , wat de verspreiding van vergelijkbare content op YouTube nog gemakkelijker zou kunnen maken.

TikTok en Google hanteren duidelijke verboden op deze content, wat had moeten voorkomen dat deze miljoenen keren bekeken werd op sociale media. Handhaving van deze regels schiet echter tekort. TikTok lijkt de stroom video-uploads niet aan te kunnen en de maatregelen van Google lijken onvoldoende om het creëren van deze content te blokkeren. We hebben contact opgenomen met Google om te informeren naar de veiligheidsfuncties van Veo 3, maar hebben nog geen reactie ontvangen.

Zolang generatieve AI bestaat, gebruiken mensen het om opruiende en racistische content te creëren . Google en andere bedrijven hebben het altijd over de beperkingen om misbruik te voorkomen, maar ze kunnen niet alles aanpakken. Het realisme van Veo 3 maakt het vooral aantrekkelijk voor diegenen die haatdragende stereotypen willen verspreiden. Misschien kunnen alle beperkingen ter wereld dat niet tegenhouden.