De AI-spam van Facebook is niet het ‘dode internet’: het is het zombie-internet

Facebook is het zombie-internet, waar een mix van bots, mensen en accounts die ooit mensen waren maar niet meer zijn, met elkaar interacteren om een ​​rampzalige website te vormen waar überhaupt weinig sociale verbinding is.

De afgelopen maanden hebben velen voorgesteld dat de AI-spam die Facebook overneemt een geweldig voorbeeld is van de ‘ Dead Internet Theory ’, die stelt dat grote delen van het internet bestaan ​​uit bots die met bots praten, gefilterd door de lens van internet. aanbevelings- en betrokkenheidsalgoritmen. Facebook is onmiskenbaar gekookt, een rottende, deprimerende hal van verschrikkingen vol door virale AI-gegenereerde inhoud die elke dag schijnbaar erger wordt.

Maar ik denk niet dat Facebook het dode internet is. In plaats daarvan denk ik dat het iets ergers is. Facebook is het zombie-internet, waar een mix van bots, mensen en accounts die ooit mensen waren maar niet meer samenkomen, samen een rampzalige website vormen waar überhaupt weinig sociale verbinding is.

Ik heb meer tijd dan wie dan ook besteed aan het eindeloos scrollen door AI-spam op Facebook. Ik heb de evolutie van de AI-spam van Facebook zien evolueren van enigszins griezelige aanpassingen van echte afbeeldingen naar volledig bizarre en duidelijk neppe. Ik heb dit gedaan vanuit mijn eigen Facebook-account, dat ik sinds 2005 heb, maar ook vanuit twee branderaccounts die ik speciaal heb gemaakt om bij te houden hoe door AI gegenereerde inhoud op het platform wordt aanbevolen en om te zien of Facebook door AI gegenereerde afbeeldingen zou plaatsen organisch in mijn feed.

Ik gebruik Facebook nu uitsluitend om te zien welke soorten bizarre AI-inhoud viraal gaat, en om te proberen erachter te komen wie het maakt, waarom ze het maken, en wie er interactie mee heeft.

De afgelopen maanden heb ik ongeveer 300 mensen die commentaar hebben gegeven op door AI gegenereerde berichten een bericht gestuurd om te proberen vast te stellen of deze echt zijn, wat een lastige taak is geweest omdat Facebook mij steeds een snelheidsbeperking oplegt. Ik heb de profielen en activiteit bestudeerd van honderden Facebook-gebruikers die commentaar geven op deze afbeeldingen.

Ik heb ook mijn vrienden en familie, evenals 404 Media-lezers, gevraagd om mij voorbeelden te sturen van door AI gegenereerde afbeeldingen die ze op Facebook hebben gezien. Ik heb gesproken met onderzoekers van Stanford University die probeerden dit fenomeen systematisch te bestuderen, met Facebook-gebruikers die de verspreiding van AI sinds vorig jaar nauwlettend in de gaten hebben gehouden, en ik heb tienduizenden door virale AI gegenereerde afbeeldingen op het platform gescand.

Definitief zeggen wat er op het hele platform gebeurt, is onmogelijk, omdat Facebook een gigantisch sociaal netwerk blijft met miljarden actieve gebruikers. Maar ik heb nu genoeg gezien om een ​​goede inschatting te kunnen maken van wat er gebeurt.

Het aanbevelingsalgoritme van Facebook injecteert AI in de feeds van mensen

Tijdens Meta’s winstoproep voor het eerste kwartaal vorige week zei Mark Zuckerberg dat “op dit moment ongeveer 30 procent van de berichten op de Facebook-feed wordt geleverd door ons AI-aanbevelingssysteem. Dat is de afgelopen jaren verdubbeld.” Zuckerberg verwijst naar een TikTok-achtig ‘For You’-systeem in de nieuwsfeed, waar inhoud wordt aanbevolen die geen inhoud is van pagina’s of groepen die gebruikers specifiek leuk vinden, noch inhoud waarmee vrienden van mensen interactie hebben gehad.

Zoals Stanford-onderzoekers Renee DiResta en Josh A. Goldstein ontdekten, wordt AI-spam aanbevolen bij het gebruik van dit systeem en verschijnt het in de feeds van mensen . Ik heb dit op mijn eigen feed gezien, maar ik heb het ook gezien op twee gloednieuwe, krachtige Facebook-accounts die ik heb gemaakt om dit verhaal te onderzoeken.

Op een van die accounts zocht ik specifiek naar door AI gegenereerde inhoud, vond deze leuk en liet er commentaar op achter. Binnen een paar uur was de overgrote meerderheid van alle inhoud die mij werd aanbevolen dezelfde bizarre AI-spam die herhaaldelijk viraal ging, zowel op Facebook als daarbuiten.

Toen ik voor het eerst begon met het rapporteren over AI-spam op Facebook, moest ik er specifiek naar op zoek gaan door lid te worden van groepen als ‘Eh, is dat niet AI?’, waarvan de leden het afgelopen jaar AI-spam hebben gevolgd. Ik besefte al snel dat de beste manier om bizarre virale spam te vinden was door simpelweg in te loggen op dit alt-account, waar mijn feed snel werd overgenomen door ‘Shrimp Jesus ’, beroemdheden die waren aangepast om hun ledematen te laten amputeren, afbeeldingen van arme Afrikaanse kinderen die iets hadden gebouwd, door AI gegenereerde blokhutten, enz.

Met slechts een paar likes kon ik mijn feed omzetten in een feed waarin minstens 80 procent van de inhoud door AI wordt gegenereerd, en waar de enige inhoud die ik ben getoond wordt elders op het platform al ongelooflijk viraal.

Terwijl ik dit artikel schreef, heb ik nog een Facebook-account aangemaakt met de bedoeling erachter te komen of iemand zou proberen mijn account te hacken als ik in aanraking zou komen met AI-spam. De eerste afbeelding die ik op Facebook zag nadat ik dit account had aangemaakt, was een door AI gegenereerde blokhut. Zes van de eerste tien berichten die ik zag waren door AI gegenereerde spam, waaronder een hele pagina vol met door AI gewijzigde afbeeldingen van Justin Bieber en Hailey Bieber.

Eén afbeelding was van een door AI gegenereerd, uitgehongerd , verminkt kind dat om verjaardagswensen vroeg. Toen ik doorklikte naar de pagina waarop de afbeelding was geplaatst, zag ik tientallen door AI gegenereerde kinderen, van wie sommigen schijnbaar dood waren, verdronken, uitgehongerd, amputaties hadden, of een combinatie daarvan waren. (Facebook heeft deze accounts verwijderd nadat ik er een artikel over had geschreven, maar niet reageerde op mijn e-mail met het verzoek om commentaar en een interview over hoe het dit soort inhoud bijhoudt en actie onderneemt).

Een ander beeld dat ik binnen enkele seconden zag nadat ik lid werd van Facebook, was een door AI gegenereerde afbeelding van Jezus met een geamputeerd been, met een Uncle Sam-hoed op, zittend in een rolstoel en met een verjaardagstaart in de hand, terwijl hij naast een Amerikaanse soldaat zat die een machinegeweer vasthield in een oorlogsgebied.

Toen ik met pagina’s begon te communiceren, raakte ik snel bevriend met willekeurige accounts. Ik denk niet dat mijn account is gehackt, maar ik heb gemerkt dat de accounts waarmee ik bevriend was, voornamelijk door AI gegenereerde inhoud deelden op hun pagina’s en in hun Facebook-verhalen.

De meta verandert voortdurend

In online videogames is de ‘meta’ de strategie waar spelers het over het algemeen over eens zijn dat dit de beste strategie is in een bepaald spel. Na verloop van tijd schakelt iedereen over op het gebruik van deze overweldigende strategie, waardoor een nieuw gelijk speelveld ontstaat, totdat een nieuwe meta wordt ontdekt. De meta op Facebook verandert ook voortdurend.

In eerste instantie werden voorheen virale (maar echte) beelden door AI-generatoren van beeld naar beeld geleid om een ​​verscheidenheid aan verschillende maar plausibel geloofwaardige AI-beelden te creëren. Deze beelden gingen herhaaldelijk viraal en lieten echte mensen schijnbaar geloven dat ze echt waren. Ik kon een handvol ‘bron’- of ‘zaad’-afbeeldingen identificeren die de basis vormden voor dit soort inhoud.

In de loop van de tijd zijn de meeste AI-afbeeldingen op Facebook echter een stuk gemakkelijker te identificeren als AI en veel bizarder geworden. Dit gebeurt vermoedelijk omdat mensen toch met de afbeeldingen zullen communiceren, of omdat de mensen die deze pagina’s beheren zich hebben gerealiseerd dat ze geen daadwerkelijke menselijke interactie nodig hebben om viraal te gaan op Facebook.

Zoals veel mensen hebben opgemerkt, zijn de AI-afbeeldingen op Facebook niet langer “enigszins afwijkend”, maar gebaseerd op de realiteit, veranderd in volkomen gestoord.

De soorten inhoud die ik viraal heb zien gaan, varieerden van AI-gegenereerde blokhutten en keukens en natuurtaferelen en AI-gefilterde beroemdheden tot Jezus, Jezus met knappe stewardessen, misvormde kinderen, misvormde beroemdheden, hete soldaten, Afrikaanse kinderen die “bouwden ‘iets, en variaties op al het bovenstaande.

Sommige afbeeldingen maken gebruik van de mogelijkheden voor het uploaden van 3D-afbeeldingen van Facebook, waardoor de inhoud op de een of andere manier in het algoritme kan presteren. In mijn eigen interne categorisering heb ik afbeeldingen in twee categorieën ondergebracht: ‘Realistische’ AI-afbeeldingen en ‘Bizarre’ AI-afbeeldingen.

Wat mij duidelijk lijkt, is dat echte mensen voor de gek worden gehouden door ‘realistische’ AI-beelden, en dat bots ‘bizarre’ AI-beelden in stand houden. Beide typen worden in de feeds van echte mensen geïnjecteerd.

Bots en ‘niet-authentiek gedrag’

DiResta en Goldstein ontdekten met behulp van een Facebook-analysetool genaamd CrowdTangle – die Meta later dit jaar uitschakelt – dat ten minste enkele van de pagina’s die ze voor hun artikel analyseerden duidelijk bewijs vertoonden van niet-authentiek gedrag en clickfarming. DiResta en Goldstein hebben een groot deel van hun eigen onderzoek gedaan, zoals gedetailleerd beschreven in hun paper, maar omdat ik al uitgebreid over AI-spam op Facebook had geschreven, gingen ze ook dieper in op een paar AI-spampagina’s die ik had gevonden.

Een daarvan was een pagina genaamd Life Nature, die voorheen eigendom was van een boekingsbedrijf voor metalmuziektours genaamd Continental Touring, dat 9.400 volgers had. Stephan Mellul, de boekingsagent die de pagina beheerde, vertelde me in december dat de pagina van hem was gestolen: “Helaas geen idee hoe het is gebeurd, aangezien ik de enige beheerder was en mijn persoonlijke profiel nog steeds intact is.” Nadat de pagina was gehackt en omgezet naar AI-inhoud, ontdekten DiResta en Goldstein dat deze in de week tussen 31 december 2023 en 6 januari 328.000 volgers kreeg.

“We hebben enkele pagina’s gezien die in een mum van tijd 80.000 volgers kregen”, vertelde DiResta me. “Je ziet aantoonbaar dat er geen universum bestaat waarin dat echte mensen zijn. Dat is absoluut 100 procent een klikboerderij.

Omdat deze pagina is gehackt en omdat ik contact heb opgenomen met Meta voor commentaar over deze specifieke pagina, is het een van de weinige op AI gerichte pagina’s die ik door Facebook heb zien verwijderen. Een Facebook-woordvoerder vertelde me in januari dat het deze pagina onderzocht op grond van het spam-/nep-accountbeleid, en niet op grond van enig AI-beleid.

De onderzoekers ontdekten dat van de 120 AI-spampagina’s die ze hadden geanalyseerd “46 hun naam hadden veranderd, vaak over een heel ander onderwerp, en dat sommige een enorme sprong in volgers vertoonden na de naamswijziging.”

Het fenomeen is echter te groot om volledig door bots te kunnen worden verklaard.

Het zombie-internet

Het is reductief om Facebook het ‘dode internet’ te noemen. Er zijn echte mensen op Facebook en echte mensen krijgen deze inhoud te zien. De afbeeldingen zelf worden door AI gemaakt onder leiding van echte mensen die hebben geleerd dat er inkomsten kunnen worden gegenereerd met spam. Echte mensen bij Facebook, het bedrijf, kiezen ervoor om geen actie te ondernemen of zijn niet uitgerust om actie te ondernemen tegen deze accounts of dit soort inhoud, die nu een onbekend maar aanzienlijk deel van de inhoud op de site uitmaakt.

AI-spam, evenals het schrikbeeld van AI-inhoud, heeft invloed op de manier waarop echte mensen Facebook gebruiken en de werkelijkheid breder waarnemen. Facebook zelf duwt zijn eigen AI-functies door de strot van mensen en heeft duidelijk gemaakt dat het miljarden dollars zal blijven uitgeven aan AI-functies die het tot de kern van zijn producten en bedrijfsmodel wil maken.

De grootste onbeantwoorde vraag uit mijn vele maanden van verslaggeving hierover is of echte mensen daadwerkelijk voor de gek worden gehouden door “garnalen Jezus” en andere bizarre AI-beelden, en waarom ze überhaupt met deze inhoud omgaan.

Echte mensen hebben interactie met en worden voor de gek gehouden door ‘realistische’ AI-inhoud

Hier is een door AI gewijzigde afbeelding van een pagina met de naam DIY & Crafts , die 1.800 likes, 713 reacties en 84 shares heeft. Een snelle blik op deze afbeelding lijkt min of meer ‘echt’, omdat het een echte afbeelding is die afkomstig is van een website genaamd Front Porch Ideas and More , die deze in 2013 heeft gepost, en door een AI-afbeeldingsgenerator is gegaan om er een te creëren verschillende AI-artefacten (zoals de verminkte tekst, gladde knopen op de houten planken en buigen op de gevelbeplating van het huis), maar geen geheel bizar beeld. Als je door deze opmerkingen bladert, zijn de meeste daadwerkelijk bezig met de inhoud van de afbeelding.

Opmerkingen omvatten zaken als: “Dit hout ziet er vreselijk geel uit” en “de middelste balk is versleten” en “het ziet er tot nu toe goed uit. Ik hoop dat je een soort waterdicht membraan of koperen plaat/flitser achter het grootboek hebt, onder de gevelbeplating, een paar centimeter boven en een paar centimeter onder de bovenkant van de fundering van het huis. Anderen zeggen dingen als: “De middenbalk is niet nodig. Het neemt de helft van de belasting van de vloer op.

Het is ondermaats. Maak de balken zo groot dat ze tot aan de muur reiken en laat ze vanaf de muur naar buiten lopen” en “Huur een echte timmerman in om dit te repareren. Dit is heel onveilig.” Een andere opmerking is “wauw, de AI bevindt zich nog maar in de opwarmfase. Het is eng om te zien hoeveel mensen de tijd nemen om dit AI-beeld uit elkaar te halen.”

Veel van de commentaren gaan heen en weer tussen mensen die echt lijken te zijn, omdat ze actief met elkaar in gesprek zijn en de details bespreken van het daadwerkelijke beeld dat wordt getoond.

Ik heb ook doorgeklikt naar de profielen van mensen die commentaar geven op de afbeeldingen, en het lijken grotendeels profielen te zijn die worden beheerd door echte mensen, en velen van hen beweren aannemers of timmerlieden te zijn. Wat ik hiermee bedoel is dat hun Facebook-profielen een verscheidenheid aan verschillende soorten activiteiten hebben: ze plaatsen afbeeldingen van hun families en taggen ze in de berichten, ze posten over verjaardagsfeestjes, reageren op berichten op hun muren en doen zaken als het plaatsen van lange updates over hun kinderen, een begrafenis die ze onlangs hebben bijgewoond, politiek, enz.

Dit betekent dat echte mensen interactie hebben met door AI gegenereerde afbeeldingen die hen worden gevoed door het aanbevelingsalgoritme van Facebook, en ze weten niet dat ze dat zijn niet echt. Mijn ervaring is dat interactie met dit soort inhoud betekent dat je er meer van zult zien, en meer bizarre vormen ervan.

Het is onmogelijk om een ​​exact aantal te berekenen, maar gezien de omvang van het Facebook-platform en de alomtegenwoordigheid en populariteit van AI-afbeeldingen op Facebook wordt er een niet triviaal aantal menselijke uren verspild aan het denken, becommentariëren en geven van feedback over AI-veranderde staat in dienst van een engagementprogramma dat klikken omzet in dollars via online advertenties.

Voor alle duidelijkheid: ik heb een willekeurige foto geselecteerd uit een van de duizenden pagina’s waarop elke dag tientallen door AI gegenereerde of door AI gewijzigde foto’s worden geplaatst, en heb lang gezocht naar waar de foto oorspronkelijk vandaan kwam, en de pagina geanalyseerd die was die het plaatste, en klikte door naar de profielen van de mensen die erop reageerden en analyseerde hun gedrag. Dit is een microkosmos van wat er voortdurend gebeurt op door AI gegenereerde afbeeldingen overal op Facebook, de hele dag door.

‘Shrimp Jesus’ en bizarre AI worden gestimuleerd door bots, maar ook door echte mensen

Dit brengt me bij de “bizarre” AI-beelden van Jezus, stewardessen, uitgehongerde kinderen, geamputeerden, enz. Ik heb eindeloos geprobeerd te praten met de accounts die commentaar geven op “Amen” en “gelukkige verjaardag” en een reeks gifs, emoji’s , enz. over AI-spam. Tot nu toe heb ik niets gevonden dat erop wijst dat enig reëel deel van de reacties op dit soort inhoud ‘echt’ is. Laten we eens kijken naar dit beeld van Uncle Sam Amputee Jesus en een soldaat met machinegeweer:

De opmerkingen hierover zijn dingen als ‘Amen’, ‘Amin’, ‘Gefeliciteerd met je verjaardag’, ‘Bedankt Heer Amen, gelukkige verjaardag’, enz. Op deze specifieke afbeelding is het enige bericht dat afkomstig is van iemand waarvan ik zeker weet dat het een mens is. die nog steeds de controle heeft over zijn eigen account, is van iemand die ‘Same old AI garbage’ schreef.

Toen ik doorklikte naar de profielen van de mensen die commentaar gaven op het onvoltooide kaartspel, kon ik allerlei ‘echte’ Facebook-activiteiten zien. Maar toen ik doorklikte naar de profielen van mensen die commentaar gaven op bizarre AI, hadden maar heel weinig van hen enige recente publieke activiteit (sommige – maar heel weinig – accounts volgen normale patronen die ik zou associëren met menselijke accounts).

Dit was niet overal het geval, maar veel van de profielen hadden geen berichten van de afgelopen jaren die ik kon zien. Als er al sprake was van recente activiteit, was het vaak slechts een eindeloos aantal memes, video’s en AI-inhoud die zonder extra commentaar opnieuw op hun muren werd gedeeld. Ik kon ook een paar accounts vinden waarbij ik, toen ik naar de naam van de persoon zocht, drie of meer accounts kon vinden met dezelfde naam en profielfoto, wat erop duidde dat de persoon geen toegang meer had tot zijn account en een account had aangemaakt een nieuwe rekening.

Voor alle duidelijkheid: ik heb hetzelfde onderzoek gedaan naar honderden foto’s die op honderden verschillende pagina’s zijn geplaatst, dus mijn beoordelingen in deze sectie zijn gebaseerd op dat onderzoek en niet op de commentaren op een enkele foto.

Ik probeerde eindeloos te praten met mensen die commentaar gaven op deze beelden, maar het lukte helemaal niet. In de loop van een aantal maanden heb ik 300 mensen een bericht gestuurd die commentaar gaven op bizarre, door AI gegenereerde afbeeldingen, wat ik slechts ongeveer twintig tegelijk kon doen voordat Facebook mij urenlang geen berichten meer toestond. Ik heb zelf ook commentaar gegeven op tientallen afbeeldingen, waarbij ik elke mens die ook commentaar op de afbeelding had gegeven, vroeg om op mij te reageren.

Op die honderden berichten kreeg ik in totaal vier reacties. Eén persoon stuurde me een emoji met een duim omhoog en maakte het bericht vervolgens ongedaan. Een andere persoon zei ‘graag gedaan’, de ene persoon zei ‘oké’ en een ander, die commentaar gaf op de specifieke afbeelding van Jesus Uncle Sam met een geamputeerde hierboven, zei: ‘Hallo Jason. Dit is mijn account en dit is niet nep,” en beantwoordde vervolgens geen vervolgvragen.

Door de jaren heen heb ik regelmatig Facebook-berichten gebruikt om contact op te nemen met bronnen over de hele wereld. Hoewel ik normaal gesproken geen responspercentage van 100 procent heb, krijg ik meestal wel een reactie (in december kon ik bijvoorbeeld in contact komen met echte artiesten van wie de inhoud door AI werd gestolen). Toen ik het probeerde om contact op te nemen met mensen die vorige week AI-spam op LinkedIn plaatsten , kreeg ik reacties van alle vijf de mensen aan wie ik een bericht stuurde.

Ik heb ook een bericht geplaatst in de groep ‘Eh, is dat niet AI’ en vroeg of een van de mensen daar erin was geslaagd om met iemand te praten die op de berichten reageerde, omdat ik weet dat veel mensen daar hebben geprobeerd vast te stellen of deze mensen ‘ echt of niet.

Het overweldigende sentiment was dat de accounts die commentaar gaven op deze afbeeldingen ook bots waren: “Naar mijn ervaring is de overgrote meerderheid van de betrokkenheid op virale AI Facebook-pagina’s net zo kunstmatig gegenereerd als de inhoud die ze publiceren. Als je hun commentaarsecties verkent, zie je vaak honderden botachtige reacties, afgewisseld met een paar ‘echte’ mensen die tevergeefs alarm slaan,” vertelde Khan Schoolcraft, een moderator van de groep, mij. “Het is alsof je tegen een lege kamer schreeuwt vol duizend identieke bakstenen muren.”

“Dit is het duidelijkst wanneer de inhoud in kwestie extreem lage kwaliteit, komisch absurd of op de een of andere manier aanstootgevend is”, voegde Schoolcraft eraan toe. “Of het nu een kind is dat verandert in een cyborg met een waterfles, een driearmige stewardess die Tijger Jezus redt van een modderig vliegtuigongeluk, of een hybride mens-aapbaby die wordt doodgestoken door gigantische horzels, ze hebben allemaal de neiging om ondertitels te kopiëren en plakken , reacties en opmerkingen die doorgaans nergens op slaan in de waargenomen context.

Het is alsof alles, van het maken van de afbeeldingen tot het dagelijkse beheer van de accounts, tot hun fanbase en interacties, is geautomatiseerd om de inkomstenstroom die dit genre helpt genereren te optimaliseren.

De meeste AI-spam komt van Facebook-‘Pagina’s’, die verschillen van Facebook-‘Groepen’. Het is mogelijk om een ​​pagina te ‘volgen’, maar je moet wel ‘lid worden’ van een groep. Dit is een klein onderscheid dat niet noodzakelijkerwijs de moeite waard is om op in te gaan, maar het is mogelijk om alle historische activiteiten van een gebruiker binnen een groep te zien, maar het is niet mogelijk om alle opmerkingen van een gebruiker op een specifieke pagina te zien.

Ondanks dat de meeste AI-spam afkomstig is van ‘Pagina’s’, zijn er ook AI-spam-‘Groepen’ die in wezen hetzelfde type inhoud posten. Met deze groepen kunt u eenvoudig het gedrag van gebruikersreacties volgen. Binnen groepen die AI-spam delen, zoals ‘ I Love Jesu ‘, kon ik op elke gebruiker klikken die commentaar gaf op een door AI gegenereerde afbeelding en zien wat zij commentaar gaven op andere door AI gegenereerde afbeeldingen. Ik zag regelmatig accounts die op elke afbeelding keer op keer hetzelfde commentaar gaven, wat suggereerde dat het bots waren:

Verschillende accounts vertoonden activiteit waardoor ik geloofde dat het account ooit van een mens was, maar dat niet meer is. Veel van de accounts die op dit soort inhoud reageerden, deelden jarenlang authentiek ogende en openbare berichten (afbeeldingen van zichzelf met vrienden, berichten over hun leven, enz.) voordat ze plotseling niets plaatsten of alleen memes en AI-inhoud plaatsten.

Ik heb ook accounts gevonden waarvan ik denk dat ze tegelijkertijd door een echt mens en een bot kunnen worden gebruikt. Ik geloof dat sommige van deze accounts zijn gecompromitteerd, maar de wachtwoorden zijn niet gewijzigd en dus is een deel van hun activiteit authentiek en een deel ervan niet. Concreet vond ik een vrouw wier eigen Facebook-posts (meestal over haar baan en gezin) uitsluitend in het Groenlands waren, maar die tegelijkertijd alleen in het Engels commentaar gaf op AI-spam.

Ik heb ook een account gevonden waarvan de berichten op het prikbord allemaal in het Grieks waren, maar die alleen in het Spaans commentaar gaven op AI-spam. Mijn theorie is dat deze accounts zijn gekaapt om commentaar te leveren en zich bezig te houden met AI-spam, maar dat de eigenaar van het account dit niet heeft opgemerkt en nog steeds toegang heeft tot het account.

Het andere dat mij opviel toen ik doorklikte naar de profielen van accounts met de opmerking ‘Amen’, ‘Gefeliciteerd met je verjaardag’ of een reeks emoji’s op bizarre AI-afbeeldingen, is dat de overgrote meerderheid van de accounts die zich met deze afbeeldingen bezighouden, profielen heeft die zeggen dat ze bevinden zich in landen in het Zuiden.

Het is onmogelijk om dit daadwerkelijk statistisch te analyseren omdat het Facebook-platform zo groot is, maar een groot deel van de reacties die ik tijdens mijn onderzoek op dit soort inhoud zag, toonde aan dat ze afkomstig waren van gebruikers in Thailand, Vietnam, de Filippijnen, Cambodja, Nigeria, en Indonesië. Elk van deze plaatsen heeft zijn eigen, specifieke internetcultuur, en sommige van deze landen kregen via het “Free Basics”-project van Facebook gratis toegang tot Facebook op mobiele apparaten.

Als gevolg hiervan verliepen de eerste interacties van sommige mensen in deze landen met internet via Facebook, waardoor mensen die op deze manier aan internet werden blootgesteld, onevenredig veel een bedrijfsmatige, op Facebook gerichte kijk op internet kregen . Als u iets weet over het proces voor het aanmaken van een Free Basics-account of iets anders dat ertoe zou kunnen leiden dat deze accounts gevoeliger worden voor kaping, neem dan contact met ons op.

Free Basics is al lang verlaten, maar het feit dat deze landen oververtegenwoordigd lijken in de commentaren is opmerkelijk; Met Facebook kun je zien waar een paginabeheerder zich vermoedelijk bevindt. DiResta en Goldstein van Stanford ontdekten dat veel van de pagina’s die ze analyseerden beheerders hadden die zich in Vietnam, Cambodja, Thailand en Armenië bevonden. Mong Palatino, een in Manilla gevestigde activist en internetonderzoeker, vertelde me dat een verplichte simregistratiewet uit 2022 in de Filipijnen bedoeld was om spam en clickfarms terug te dringen, “maar nepaccounts en bots blijven bestaan. Telefoongerelateerde oplichting blijft bestaan.”

Maar ik denk dat we kunnen zeggen dat de nadruk die Facebook legt op het injecteren van “aanbevelingen” in de feeds van mensen betekent dat Facebook niet langer zoiets als een “sociaal” netwerk benadert. In plaats van een mix te zijn van populaire tekst- en beeldberichten van mensen binnen uw netwerk en een bredere gemeenschap, wordt het een feed met inhoud die populair is bij mensen over de hele wereld, die heel veel verschillende talen spreken.

Je hoeft geen Engels, Thais, Vietnamees of Urdu te spreken om een ​​emoji te plaatsen die reageert op een verknipte Shrimp Jesus. In totaal betekent dit voor de miljarden gebruikers van Facebook dat puur visuele inhoud – al dan niet gegenereerd door AI – een groter potentieel publiek zal hebben dan inhoud die alleen mensen kan aanspreken die een specifieke taal spreken.

De vergiftiging van sociale media en het einde van de realiteit

Zelfs als we aannemen dat de overgrote meerderheid van de AI-spam op Facebook afkomstig is van het “dode internet” van bots die met bots communiceren, blijft het een feit dat deze onzin zijn weg vindt naar de feeds van echte mensen en het platform vergiftigt. Het is erg moeilijk geworden om Facebook systematisch te bestuderen, omdat Facebook CrowdTangle uitschakelt , een manier om inhoud door het hele netwerk te volgen.

Maar bij wijze van experiment heb ik voor het eerst sinds de lancering van 404 Media op mijn eigen Facebook gepost. Ik vroeg mijn vrienden en familie of ze AI-spam hadden gezien, en of ze een screenshot wilden maken en mij voorbeelden ervan wilden sturen. Ik heb de lezers van 404 Media ook gevraagd dit te doen in een recente e-mail die ik heb verzonden. Mensen in mijn netwerken zeiden dat ze zien dat AI-spam aan hen wordt aanbevolen, dat ze hun vrienden en familie ermee hebben zien omgaan, en dat ze het soms moeilijk vinden om te zeggen wat door AI wordt gegenereerd en wat niet.

Veel van mijn Facebook-vrienden stuurden me screenshots van mensen die ze kennen, die commentaar gaven op duidelijke AI-spam, of deze in hun feeds lieten injecteren. Maar sommige mensen stuurden me ook voorbeelden van ‘door AI gegenereerde’ inhoud waar ze dol op waren in hun feed, maar die niet daadwerkelijk door AI was gegenereerd.

Eén persoon stuurde me talloze video’s van kunststudenten die hun prachtige schilderijen deelden, wat een veelvoorkomend verschijnsel is bij door AI gegenereerde spam. Maar in deze gevallen waren de specifieke afbeeldingen en video’s die naar mij werden gestuurd feitelijk geschilderd door echte mensen die hun artistieke proces hadden gedocumenteerd. Een andere persoon stuurde me een afbeelding van een panda in een vliegtuig, die ‘nep’ is omdat de panda niet echt is.

Maar de afbeelding zelf is eigenlijk een foto van een echte menselijke en opgezette dierenpanda , die in de loop der jaren meerdere keren viraal is gegaan en niet door AI is gegenereerd of gewijzigd . Een ander stuurde me echte afbeeldingen van echte beroemdheden die helemaal niet door AI waren veranderd, maar waarvan ze dachten dat ze misschien kwamen omdat ze op een memepagina waren geplaatst.

Zelfs in de “Eh, is dat niet AI?” groep plaatsen mensen afbeeldingen die soms geen AI zijn, waarvan zij denken dat het AI zijn. Op veel pagina’s die ik heb gezien, staat een mix van door AI gegenereerde inhoud en echte, weinig moeite kostende inhoud van elders op internet. Hoewel ik meestal het verschil kan zien tussen door AI gegenereerde inhoud en ‘echte’ afbeeldingen, ben ik enkele foto’s tegengekomen waarvan ik niet zeker ben, en waarvan ik zeker weet dat ze vaker zullen voorkomen naarmate de AI-beeldgeneratoren verbeteren .

“In ieder geval in sommige gevallen zien we een aantal opmerkingen van wat lijkt op echte mensen die ‘Gefeliciteerd met je prachtige kunst’ zeggen, wat aangeeft dat ze zich niet realiseren dat dit nep is,” zei Stanford’s Goldstein. “Ik maak me meer zorgen over het feit dat mensen het vertrouwen verliezen in hun eigen vermogen om te bepalen wat echt is, dan dat een willekeurig beeld aan populariteit wint.”

Dit alles bij elkaar is de reden waarom ik denk dat we de AI-spam van Facebook niet door de lens van het ‘dode internet’ moeten bekijken. Het platform is iets ergers geworden dan bots die met bots praten.

Het zijn bots die met bots praten, bots die met bots praten in de richting van mensen, mensen die met mensen praten, mensen die met bots praten, mensen die ruzie maken over iets neps dat door een bot is gemaakt, mensen die met niemand praten zonder het te weten, menselijke accounts hebben gekaapt veranderd in bots, mensen zijn bang dat de andere mensen met wie ze praten bots zijn, hybride mens/bot-accounts, het einde van een gedeelde realiteit, en, centraal in dit alles: een van de meest waardevolle bedrijven ter wereld Deze shitshow wordt mogelijk gemaakt omdat de menselijke leidinggevenden en aandeelhouders ervan te veel geld hebben dat afhankelijk is van de massale adoptie van een realiteitsbrekende technologie om er iets aan te doen.