Indignatie redactie 
Van garnalen-Jezus tot nep -zelfportretten : door AI gegenereerde afbeeldingen zijn de nieuwste vorm van spam op sociale media geworden
AI Als je de afgelopen zes maanden tijd op Facebook hebt doorgebracht, heb je misschien fotorealistische beelden opgemerkt die te mooi zijn om waar te zijn: kinderen die schilderijen vasthouden die lijken op het werk van professionele kunstenaars, of majestueuze blokhutinterieurs die het decor zijn van Airbnb-dromen.
Anderen, zoals afbeeldingen van Jezus gemaakt van schaaldieren, zijn gewoon bizar.
Net als het AI-beeld van de paus in een pufferjack dat in mei 2023 viraal ging, komen deze door AI gegenereerde beelden steeds vaker voor – en populairder – op sociale mediaplatforms. Hoewel velen van hen grenzen aan het surrealistische, worden ze vaak gebruikt om de betrokkenheid van gewone gebruikers te lokken.
Ons team van onderzoekers van de Stanford Internet Observatory en het Centre for Security and Emerging Technology van Georgetown University onderzochten meer dan 100 Facebook-pagina’s waarop grote hoeveelheden door AI gegenereerde inhoud werden geplaatst. We publiceerden de resultaten in maart 2024 als preprint-paper , wat betekent dat de bevindingen nog niet door vakgenoten zijn beoordeeld.
We onderzochten patronen van afbeeldingen, vonden bewijs van coördinatie tussen sommige pagina’s en probeerden de waarschijnlijke doelen van de posters te onderscheiden.
Pagina-exploitanten leken om verschillende redenen foto’s te plaatsen van door AI gegenereerde baby’s, keukens of verjaardagstaarten.
Er waren makers van inhoud die op onschuldige wijze hun volgers wilden laten groeien met synthetische inhoud; oplichters die van kleine bedrijven gestolen pagina’s gebruiken om reclame te maken voor producten die niet lijken te bestaan; en spammers die door AI gegenereerde afbeeldingen van dieren delen en gebruikers doorverwijzen naar websites vol advertenties, waardoor de eigenaren advertentie-inkomsten kunnen innen zonder inhoud van hoge kwaliteit te creëren.
Onze bevindingen suggereren dat deze door AI gegenereerde afbeeldingen gebruikers aantrekken – en het aanbevelingsalgoritme van Facebook kan deze berichten organisch promoten.
Generatieve AI ontmoet oplichting en spam
Internetspammers en oplichters zijn niets nieuws.
Al meer dan twintig jaar gebruiken ze ongevraagde bulk-e-mail om piramidespellen te promoten. Ze richtten zich op senioren terwijl ze zich voordeden als Medicare-vertegenwoordigers of computertechnici.
Op sociale media hebben profiteurs clickbait-artikelen gebruikt om gebruikers naar websites vol advertenties te leiden. Denk aan de Amerikaanse presidentsverkiezingen van 2016, toen Macedonische tieners sensationele politieke memes op Facebook deelden en advertentie-inkomsten verzamelden nadat gebruikers de URL’s hadden bezocht die ze hadden gepost. Het maakte de tieners niet uit wie de verkiezingen won. Ze wilden gewoon geld verdienen .
Begin jaren 2010 trokken spammers de aandacht van mensen met advertenties waarin werd beloofd dat iedereen buikvet kon verliezen of een nieuwe taal kon leren met ‘ één rare truc ‘.
Door AI gegenereerde inhoud is weer een ‘rare truc’ geworden.
Het is visueel aantrekkelijk en goedkoop om te produceren, waardoor oplichters en spammers grote aantallen aantrekkelijke berichten kunnen genereren. Sommige van de pagina’s die we observeerden, uploadden tientallen unieke afbeeldingen per dag. Daarbij volgden ze Meta’s eigen advies voor paginamakers. Regelmatig posten, zo suggereert het bedrijf, helpt makers om het soort algoritmische pick-up te krijgen dat ertoe leidt dat hun inhoud verschijnt in de ‘Feed’, voorheen bekend als de ‘ Nieuwsfeed ’.
Een groot deel van de inhoud is in zekere zin nog steeds clickbait: Shrimp Jesus laat mensen pauzeren om te gapen en inspireert tot delen, puur omdat het zo bizar is.
Veel gebruikers reageren door het bericht leuk te vinden of een reactie achter te laten. Dit is een signaal voor de algoritmische curatoren dat de inhoud misschien in de feeds van nog meer mensen moet worden gepusht.
Sommige van de meer gevestigde spammers die we hebben waargenomen, die dit waarschijnlijk onderkenden, verbeterden hun betrokkenheid door over te schakelen van het plaatsen van URL’s naar het plaatsen van door AI gegenereerde afbeeldingen. Vervolgens gaven ze commentaar op de post van de door AI gegenereerde afbeeldingen met de URL’s van de met advertenties beladen inhoudsboerderijen waarop ze wilden dat gebruikers erop klikten.
Maar meer gewone makers profiteerden ook van de betrokkenheid van door AI gegenereerde beelden, zonder duidelijk het platformbeleid te schenden.
Beoordeel ‘mijn’ werk!
Toen we de bijschriften van de berichten opzochten op CrowdTangle – een monitoringplatform voor sociale media dat eigendom is van Meta en dat in augustus zou verdwijnen – ontdekten we dat het ‘copypasta’-bijschriften waren , wat betekent dat ze in alle berichten werden herhaald.
Sommige copypasta-bijschriften lokken interactie uit door gebruikers rechtstreeks te vragen om bijvoorbeeld een ‘schilderij’ van een beginnend kunstenaar te beoordelen – zelfs als de afbeelding door AI is gegenereerd – of om een oudere persoon een gelukkige verjaardag te wensen. Facebook-gebruikers reageerden vaak op door AI gegenereerde afbeeldingen met aanmoedigende opmerkingen en felicitaties
Algoritmen pushen door AI gegenereerde inhoud
Ons onderzoek heeft onze eigen Facebook-feeds merkbaar veranderd: binnen enkele dagen na het bezoeken van de pagina’s – en zonder het materiaal te becommentariëren, leuk te vinden of te volgen – raadde het algoritme van Facebook stapels andere door AI gegenereerde inhoud aan.
Interessant is dat het feit dat we clusters van bijvoorbeeld door AI gegenereerde miniatuurkoeienpagina’s hadden bekeken, op de korte termijn niet leidde tot een toename van de aanbevelingen voor pagina’s die waren gericht op echte miniatuurkoeien, koeien van normale grootte of andere boerderijdieren. In plaats daarvan beval het algoritme pagina’s aan over een reeks onderwerpen en thema’s, maar met één ding gemeen: ze bevatten door AI gegenereerde afbeeldingen.
In 2022 publiceerde de technologiewebsite Verge een interne Facebook-memo over voorgestelde wijzigingen in het algoritme van het bedrijf.
Het algoritme zou volgens de memo een ‘ontdekkingsmotor’ worden, waardoor gebruikers in contact kunnen komen met berichten van individuen en pagina’s waar ze niet expliciet naar op zoek waren, vergelijkbaar met de ‘For You’-pagina van TikTok.
We hebben Facebook’s eigen ‘ Widely Viewed Content Reports ‘ geanalyseerd, waarin de populairste inhoud, domeinen, links, pagina’s en berichten op het platform per kwartaal worden vermeld.
Hieruit bleek dat het aandeel inhoud dat gebruikers zagen van pagina’s en van mensen die ze niet volgen tussen 2021 en 2023 gestaag toenam. Veranderingen in het algoritme hebben ervoor gezorgd dat er meer ruimte is voor door AI gegenereerde inhoud die organisch wordt aanbevolen zonder voorafgaande betrokkenheid – wat misschien onze ervaringen en die van andere gebruikers .
‘Dit bericht is u aangeboden door AI’
Omdat Meta momenteel niet standaard AI-gegenereerde inhoud markeert, hebben we soms gezien dat gebruikers anderen waarschuwden voor oplichting of spam-AI-inhoud met infographics.
Meta lijkt zich echter bewust te zijn van mogelijke problemen als door AI gegenereerde inhoud zonder voorafgaande kennisgeving opgaat in de informatieomgeving. Het bedrijf heeft verschillende aankondigingen gedaan over hoe het van plan is om te gaan met door AI gegenereerde inhoud.
In mei 2024 zal Facebook beginnen met het toepassen van het label ‘Made with AI’ op inhoud die op betrouwbare wijze als synthetisch kan worden gedetecteerd.
Maar de duivel zit in de details. Hoe nauwkeurig zullen de detectiemodellen zijn? Welke door AI gegenereerde inhoud zal er doorheen glippen? Welke inhoud wordt ten onrechte gemarkeerd? En wat zal het publiek van dergelijke labels vinden ?
Hoewel ons werk zich richtte op Facebook-spam en oplichting, zijn er bredere implicaties.
Verslaggevers hebben geschreven over door AI gegenereerde video’s die gericht zijn op kinderen op YouTube en influencers op TikTok die generatieve AI gebruiken om winst te maken .
Socialemediaplatforms zullen rekening moeten houden met de manier waarop ze met AI-gegenereerde inhoud moeten omgaan; het is zeker mogelijk dat de betrokkenheid van gebruikers zal afnemen als online werelden gevuld raken met kunstmatig gegenereerde berichten, afbeeldingen en video’s.
Garnalen Jezus is misschien een voor de hand liggende nep. Maar de uitdaging om te beoordelen wat echt is, wordt alleen maar groter.
