AI-gegenereerde spam kan binnenkort uw inbox overspoelen – en het zal gepersonaliseerd worden om bijzonder overtuigend te zijn

Elke dag verstikken e-mailinboxen door berichten van Nigeriaanse prinsen, verkopers van wondermiddelen en promotors van niet te missen investeringen. Verbeteringen aan spamfilters lijken alleen maar nieuwe technieken te inspireren om de beveiligingen te doorbreken.

Nu staat de wapenwedloop tussen spamblokkers en spamverzenders op het punt te escaleren met de opkomst van een nieuw wapen: generatieve kunstmatige intelligentie. Met recente ontwikkelingen in AI beroemd gemaakt door ChatGPT , zouden spammers nieuwe tools kunnen hebben om filters te omzeilen, de aandacht van mensen te trekken en hen te overtuigen om persoonlijke informatie te klikken, te kopen of op te geven.

Als directeur van het Advancing Human and Machine Reasoning lab aan de University of South Florida, onderzoek ik het snijvlak van kunstmatige intelligentie, natuurlijke taalverwerking en menselijk redeneren. Ik heb bestudeerd hoe AI de individuele voorkeuren, overtuigingen en persoonlijkheidskenmerken van mensen kan leren.

Dit kan worden gebruikt om beter te begrijpen hoe met mensen om te gaan, hen te helpen leren of hen nuttige suggesties te geven. Maar dit betekent ook dat u zich moet schrap zetten voor slimmere spam die uw zwakke plekken kent en deze tegen u kan gebruiken.

Spammen, spammen, spammen

Dus, wat is spam?

Spam wordt gedefinieerd als ongevraagde commerciële e-mails verzonden door een onbekende entiteit . De term wordt soms uitgebreid naar sms-berichten, directe berichten op sociale media en neprecensies op producten . Spammers willen u aanzetten tot actie: iets kopen, op phishinglinks klikken, malware installeren of weergaven wijzigen.

Spam is winstgevend. Eén e-mailexplosie kan in slechts een paar uur $ 1.000 opleveren , wat spammers slechts een paar dollar kost, exclusief de eerste installatie. Een online farmaceutische spamcampagne kan zo’n $7.000 per dag opleveren .

Legitieme adverteerders willen u ook aanzetten tot actie – het kopen van hun producten, het invullen van hun enquêtes, het aanmelden voor nieuwsbrieven – maar terwijl een e-mail van een marketeer kan linken naar een gevestigde bedrijfswebsite en een afmeldoptie kan bevatten in overeenstemming met federale regelgeving, kan een spam-e – mail niet.

Spammers hebben ook geen toegang tot mailinglijsten waarvoor gebruikers zich hebben aangemeld. In plaats daarvan gebruiken spammers contra-intuïtieve strategieën, zoals de “Nigeriaanse prins”-zwendel , waarbij een Nigeriaanse prins beweert je hulp nodig te hebben om een ​​absurd bedrag te ontgrendelen en je een mooie beloning belooft. Slimme digitale natives wijzen dergelijke verzoeken onmiddellijk af, maar de absurditeit van het verzoek kan in feite selecteren op naïviteit of gevorderde leeftijd , filteren op degenen die het meest waarschijnlijk in de zwendel zullen trappen.

Vooruitgang in AI betekent echter dat spammers misschien niet meer hoeven te vertrouwen op dergelijke hit-or-miss-benaderingen. AI zou hen in staat kunnen stellen zich op individuen te richten en hun berichten overtuigender te maken op basis van gemakkelijk toegankelijke informatie, zoals berichten op sociale media.

Toekomst van spam

De kans is groot dat je hebt gehoord over de vooruitgang in generatieve grote taalmodellen zoals ChatGPT . De taak die deze generatieve LLM’s uitvoeren, is bedrieglijk eenvoudig: voorspel, gegeven een tekstreeks, welk token – zie dit als een deel van een woord – als volgende komt. Voorspel vervolgens welk token daarna komt. En zo verder, keer op keer.

Op de een of andere manier lijkt training op die taak alleen, wanneer gedaan met voldoende tekst op een LLM die groot genoeg is, genoeg te zijn om deze modellen het vermogen te geven om verrassend goed te presteren op een heleboel andere taken .

Er zijn al meerdere manieren naar voren gekomen om de technologie te gebruiken, wat het vermogen van de technologie aantoont om zich snel aan te passen aan en te leren over individuen. LLM’s kunnen bijvoorbeeld volledige e-mails schrijven in uw schrijfstijl, met slechts enkele voorbeelden van hoe u schrijft. En er is het klassieke voorbeeld – nu meer dan tien jaar oud – van Target die erachter kwam dat een klant zwanger was voordat haar vader het wist .

Spammers en marketeers zouden er baat bij hebben als ze met minder gegevens meer over individuen kunnen voorspellen. Gezien je LinkedIn-pagina, een paar berichten en een profielfoto of twee, kunnen LLM-bewapende spammers redelijk nauwkeurige inschattingen maken over je politieke voorkeuren, burgerlijke staat of levensprioriteiten.

Ons onderzoek toonde aan dat LLM’s kunnen worden gebruikt om te voorspellen welk woord een individu vervolgens zal zeggen met een mate van nauwkeurigheid die andere AI-benaderingen ver overtreft , in een taak voor het genereren van woorden die de semantische fluency-taak wordt genoemd . We hebben ook laten zien dat LLM’s bepaalde soorten vragen kunnen halen uit testen op het redeneervermogen en kunnen voorspellen hoe mensen op die vraag zullen reageren . Dit suggereert dat LLM’s al enige kennis hebben van hoe typisch menselijk redeneervermogen eruit ziet.

Als spammers voorbij de eerste filters komen en u ertoe brengen een e-mail te lezen, op een link te klikken of zelfs een gesprek aan te gaan, neemt hun vermogen om aangepaste overredingskracht toe te passen drastisch toe . Ook hier kunnen LLM’s het spel veranderen. Vroege resultaten suggereren dat LLM’s kunnen worden gebruikt om overtuigend te argumenteren over onderwerpen variërend van politiek tot volksgezondheidsbeleid .

Goed voor de gans

AI bevoordeelt echter niet de ene of de andere kant. Spamfilters zouden ook moeten profiteren van de vooruitgang in AI, waardoor ze nieuwe barrières kunnen opwerpen voor ongewenste e-mails.

Spammers proberen filters vaak te misleiden met speciale tekens, verkeerd gespelde woorden of verborgen tekst , daarbij vertrouwend op de menselijke neiging om kleine tekstafwijkingen te vergeven, bijvoorbeeld “c1îck h.ere n0w.” Maar naarmate AI beter wordt in het begrijpen van spamberichten, kunnen filters beter worden in het identificeren en blokkeren van ongewenste spam – en misschien zelfs het doorlaten van gewenste spam, zoals marketing-e-mail waarvoor u zich expliciet heeft aangemeld. Stel je een filter voor dat voorspelt of je een e-mail wilt lezen voordat je hem leest.

Ondanks de groeiende bezorgdheid over AI – zoals blijkt uit Elon Musk, CEO van Tesla, SpaceX en Twitter, Apple-oprichter Steve Wozniak en andere technologieleiders die oproepen tot een pauze in de ontwikkeling van AI – zou er veel goeds kunnen voortkomen uit technologische vooruitgang. AI kan ons helpen begrijpen hoe zwakheden in het menselijk redeneren kunnen worden uitgebuit door slechte actoren en kan manieren bedenken om kwaadaardige activiteiten tegen te gaan.

Alle nieuwe technologieën kunnen zowel verwondering als gevaar opleveren. Het verschil ligt in wie de tools maakt en beheert, en hoe ze worden gebruikt.

Dit artikel is bijgewerkt om aan te geven dat het de vader van een tiener was die van Target hoorde dat zijn dochter zwanger was.