AI-doomers hebben gewaarschuwd voor de tech-pocalyps

AI-doomers hebben gewaarschuwd voor de tech-pocalyps – terwijl ze hun best doen om deze te versnellen

Wannabe Cassandra’s die waarschuwen voor het potentieel van AI voor het uitsterven van de mens zijn enkele van de grootste kampioenen van de industrie.

Een van de meest prominente verhalen over AGI, of kunstmatige algemene intelligentie, in de populaire media tegenwoordig is het ‘AI-doomer’-verhaal. Dit beweert dat we midden in een wapenwedloop zitten om AGI te bouwen, voortgestuwd door een relatief klein aantal extreem krachtige AI-bedrijven zoals DeepMind, OpenAI, Anthropic en Elon Musk’s xAI (dat tot doel heeft een AGI te ontwerpen die waarheden blootlegt over het universum door politieke correctheid te mijden ).

Ze worden allemaal ondersteund door miljarden dollars: DeepMind zegt dat Microsoft meer dan $100 miljard zal investeren in AI, terwijl OpenAI tot nu toe $13 miljard heeft ontvangen van Microsoft, Anthropic $4 miljard aan investeringen heeft van Amazon, en Musk zojuist $6 miljard heeft opgehaald voor xAI.

Veel doomers beweren dat het AGI-ras de mensheid richting de afgrond van vernietiging katapulteert: als we in de nabije toekomst een AGI creëren, zonder te weten hoe we het waardensysteem van de AGI op de juiste manier kunnen ‘aligneren’, dan zal het standaardresultaat de totale menselijke uitsterving zijn . Dat wil zeggen dat letterlijk iedereen op aarde zal sterven. En aangezien het erop lijkt dat we op het punt staan ​​AGI op te richten – dat zeggen ze tenminste – betekent dit dat jij en ik en iedereen waar we om geven binnen een paar jaar vermoord zouden kunnen worden door een “niet goed op elkaar afgestemde” AGI.

Deze doomers beweren dus, met apocalyptische urgentie, dat we al het onderzoek dat gericht is op het creëren van AGI moeten “ pauzeren ” of volledig “ verbannen ”. Door dit onderzoek te onderbreken of te verbieden, zou het anderen meer tijd geven om het probleem op te lossen van het ‘afstemmen’ van AGI op onze menselijke ‘waarden’, wat nodig is om ervoor te zorgen dat de AGI voldoende ‘veilig’ is. Als u dit niet doet, betekent dit dat de AGI ‘onveilig’ zal zijn, en het meest waarschijnlijke gevolg van een ‘onveilige’ AGI zal de vroegtijdige dood van iedereen op onze planeet zijn.

De doomers staan ​​in contrast met de ‘ AI-accelerators ’, die er een veel optimistischer standpunt op na houden. Ze beweren dat het standaardresultaat van AGI een bruisende utopie zal zijn: we zullen ziekten kunnen genezen, de klimaatcrisis kunnen oplossen, uitvinden hoe we onsterfelijk kunnen worden en zelfs het universum kunnen koloniseren.

Bijgevolg beweren deze acceleratie-aanhangers – van wie sommigen het acroniem “ e/acc ” (uitgesproken als “ee-ack”) gebruiken om hun beweging te beschrijven – dat we AGI-onderzoek moeten versnellen in plaats van te pauzeren of te verbieden. Er wordt niet genoeg geld naar de leidende AI-bedrijven gesluisd, en de roep om overheidsregulering is zeer misleidend omdat ze de komst van de utopie alleen maar zullen vertragen.

Sommigen beweren zelfs dat “elke vertraging van AI levens zal kosten. Sterfgevallen die voorkomen konden worden door de AI die verhinderd werd te bestaan, zijn een vorm van moord.” Dus als u pleit voor het vertragen van onderzoek naar geavanceerde AI, bent u niet beter dan een moordenaar.

Maar er zit een grote ironie in deze hele bizarre situatie: historisch gezien heeft geen enkele groep meer gedaan om de race om AGI te bouwen te versnellen dan de AI-doomers. De mensen die schreeuwen dat de AGI-race een op hol geslagen trein is die richting de afgrond van uitsterven raast, hebben een integrale rol gespeeld bij het starten van deze AI-bedrijven. Sommigen hebben geholpen deze bedrijven op te richten, terwijl anderen cruciale vroege financiering hebben verstrekt waardoor dergelijke bedrijven van start konden gaan.

Ze schreven artikelen, boeken en blogposts die het idee van AGI populair maakten en organiseerden conferenties die interesse in het onderwerp wekten. Veel van degenen die zich zorgen maakten dat AGI iedereen op aarde zal doden, zijn gaan werken voor de leidende AI-bedrijven, en ook voor de twee technoculturele bewegingen die aanvankelijk het doemscenario ontwikkelden en propageerden – namelijk ‘Rationalisme’ en ‘Effectief Altruïsme’ ​​– vormen sinds het begin de kern van de AGI-race.

Kortom: de luidste stemmen binnen het AI-doomerkamp zijn onevenredig verantwoordelijk geweest voor het lanceren en in stand houden van de zeer technologische race waarvan zij nu beweren dat deze de mensheid de komende jaren zou kunnen verdoemen. Ondanks hun apocalyptische waarschuwingen voor vernietiging op korte termijn zijn de doomers in de praktijk effectiever geweest in het versnellen van AGI dan de acceleratie-aanhangers zelf.

Beschouw een paar voorbeelden, te beginnen met de medeoprichter van Skype en bijna miljardair Jaan Tallinn, die toevallig ook een van de grootste financiers is van de Rationalistische en Effectieve Altruïstische (EA) bewegingen. Tallinn heeft herhaaldelijk beweerd dat AGI een enorme bedreiging vormt voor het voortbestaan ​​van de mensheid. Of, in zijn woorden , het is ‘verreweg het grootste risico’ waarmee we deze eeuw worden geconfronteerd – groter dan een kernoorlog, mondiale pandemieën of klimaatverandering .

In 2014 was Tallinn medeoprichter van een in Boston gevestigde organisatie genaamd het Future of Life Institute (FLI), die heeft bijgedragen aan het vergroten van het publieke bewustzijn van de zogenaamd ernstige gevaren van AGI. Vorig jaar bracht FLI een open brief uit waarin hij “alle AI-laboratoria opriep om de training van AI-systemen die krachtiger zijn dan GPT-4 onmiddellijk gedurende ten minste zes maanden te onderbreken”, waarbij GPT4 het meest geavanceerde systeem was dat OpenAI destijds had uitgebracht.

De brief waarschuwt dat AI-laboratoria ‘verwikkeld zijn geraakt in een uit de hand gelopen race om steeds krachtigere digitale geesten te ontwikkelen en in te zetten die niemand – zelfs hun makers niet – kunnen begrijpen, voorspellen of op betrouwbare wijze kunnen controleren’, resulterend in een ‘ gevaarlijk ras.” Tallinn was een van de eerste ondertekenaars .

Tallinn maakt zich dus grote zorgen over de race om AGI op te bouwen. Hij is bang dat dit ras in de nabije toekomst tot ons uitsterven kan leiden. Toch heeft hij via zijn portemonnee een cruciale rol gespeeld bij het aanwakkeren en voeden van de AGI-race. Hij was een vroege investeerder in DeepMind, dat Demis Hassabis, Shane Legg en Mustafa Suleyman in 2010 medeoprichtten met het expliciete doel om AGI te creëren.

Nadat OpenAI in 2015 van start ging, had hij een nauwe band met een aantal mensen bij het bedrijf en ontmoette hij regelmatig personen als Dario Amodei, een lid van de EA-beweging en “een sleutelfiguur in de richting van OpenAI.” (Tallinn zelf is nauw verbonden met de EA-beweging.)

In 2021 richtten Amodei en zes andere voormalige medewerkers van OpenAI Anthropic op, een concurrent van zowel DeepMind als OpenAI. Waar haalde Anthropic zijn geld vandaan? Gedeeltelijk uit Tallinn, dat 25 miljoen dollar doneerde en een serie A-inzamelingsronde van 124 miljoen dollar leidde om het bedrijf op weg te helpen.

Hier hebben we een van de leidende stemmen in het doomerkamp die beweert dat de AGI-race ertoe zou kunnen leiden dat iedereen op aarde sterft, terwijl tegelijkertijd de grootste boosdoeners in deze roekeloze race richting AGI worden gefinancierd. Ik moet denken aan iets dat Noam Chomsky ooit zei in 2002, tijdens de eerste jaren van de misplaatste ‘War on Terror’ van George Bush. Chomsky verklaarde : “We willen zeker het niveau van terreur verminderen”, zei hij, verwijzend naar de VS.

“Er is een gemakkelijke manier om dat te doen … stop ermee eraan deel te nemen.” Hetzelfde idee is van toepassing op de AGI-race: als AI-doomers echt zo bezorgd zijn dat de race om AGI te bouwen tot een existentiële catastrofe zal leiden, waarom doen ze er dan aan mee? Waarom hebben zij juist die bedrijven gefinancierd en in sommige gevallen opgericht die verantwoordelijk zijn voor het zogenaamd duwen van de mensheid naar de afgrond van totale vernietiging?

Amodei, Shane Legg, Sam Altman en Elon Musk – die allemaal enkele van de leidende AI-bedrijven hebben opgericht of medeoprichtten – hebben hun zorgen geuit dat AGI onze soort op korte termijn zou kunnen vernietigen. In een interview met de EA-organisatie 80.000 Hours verwees Amodei naar de mogelijkheid dat “een AGI de mensheid zou kunnen vernietigen”, en zei: “Ik zie in principe geen enkele reden waarom dat niet zou kunnen gebeuren.” Hij voegt eraan toe dat “dit een mogelijke uitkomst is en dat we dit op zijn minst als staartrisico serieus moeten nemen.”

Op dezelfde manier schreef Shane Legg, medeoprichter van DeepMind, in 2011 op de website LessWrong dat AGI zijn “risico nummer 1 voor deze eeuw” is. Dat was een jaar nadat DeepMind werd opgericht. In 2015, het jaar waarin hij samen met Elon Musk en anderen OpenAI oprichtte, verklaarde Altman dat “ik denk dat AI … hoogstwaarschijnlijk tot het einde van de wereld zal leiden”, en voegde op zijn persoonlijke blog toe dat “de ontwikkeling van bovenmenselijke machines Intelligentie is waarschijnlijk de grootste bedreiging voor het voortbestaan ​​van de mensheid.”

Dan is er Musk, die AGI consequent heeft geïdentificeerd als de “ grootste existentiële bedreiging ” en “ veel gevaarlijker dan kernwapens .” Begin 2023 ondertekende Musk de open brief van FLI waarin werd opgeroepen tot een “pauze” van zes maanden voor geavanceerd AI-onderzoek. Slechts vier maanden later kondigde hij aan dat hij nog een AI-bedrijf ging starten: xAI.

Keer op keer hebben dezelfde mensen die zeggen dat AGI ons allemaal zou kunnen doden, meer dan wie dan ook gedaan om de race naar AGI te lanceren en te versnellen. Dit geldt zelfs voor de beroemdste ondergang ter wereld van vandaag, een zelfbenoemd ‘genie’ genaamd Eliezer Yudkowsky.

In een artikel in het tijdschrift Time van vorig jaar betoogde Yudkowsky dat onze enige hoop op overleving bestaat uit het onmiddellijk ‘sluiten’ van alle ‘grote computerboerderijen waar de krachtigste AI’s worden verfijnd’. Landen moeten een internationaal verdrag ondertekenen om het AGI-onderzoek stop te zetten en bereid zijn militaire luchtaanvallen uit te voeren op malafide datacentra om dit verdrag af te dwingen.

Yudkowsky is zo bezorgd over de AGI-apocalyps dat hij beweert dat we bereid moeten zijn een totale thermonucleaire oorlog te riskeren die bijna iedereen op aarde doodt om te voorkomen dat AGI in de nabije toekomst wordt gebouwd. Vervolgens hield hij een TED-talk waarin hij zijn waarschuwingen herhaalde: als we AGI bouwen zonder te weten hoe we het ‘veilig’ kunnen maken – en we hebben op dit moment geen idee hoe we het ‘veilig’ kunnen maken, beweert hij – dan zal letterlijk iedereen op aarde zal sterven.

Toch betwijfel ik of enig individu het idee van AGI meer heeft gepromoot dan Yudkowsky zelf. Op een heel belangrijke manier zette hij AGI op de kaart, inspireerde hij veel mensen die betrokken waren bij de huidige AGI-race om geïnteresseerd te raken in het onderwerp, en organiseerde hij conferenties die vroege AGI-onderzoekers samenbrachten om ideeën te kruisbestuiven.

Neem de Singularity Summit , die Yudkowsky in 2006 samen met Google-ingenieur Ray Kurzweil en technologiemiljardair Peter Thiel oprichtte. Deze top, die tot 2012 jaarlijks werd gehouden, concentreerde zich op de beloften en gevaren van AGI, en omvatte onder meer Tallinn, Hassabis, en Legg op de lijst met sprekers . Zowel Hassabis als Legg hielden in 2010 lezingen over AGI-gerelateerde kwesties, kort voordat ze DeepMind mede oprichtten.

Destijds had DeepMind geld nodig om aan de slag te gaan, dus na de Singularity Summit volgde Hassabis Thiel terug naar zijn landhuis, waar Hassabis Thiel om financiële steun vroeg om DeepMind te starten. Thiel stemde toe en bood Hassabis $ 1,85 miljoen aan, en zo werd DeepMind geboren. (Het jaar daarop, in 2011, deed Tallinn zijn eerste investering in het bedrijf.)

Zonder de Singularity Summit van Yudkowsky zou DeepMind misschien niet van de grond zijn gekomen – of in ieder geval niet toen dat gebeurde. Soortgelijke opmerkingen kunnen worden gemaakt over verschillende websites en mailinglijsten die Yudkowsky heeft gemaakt om het idee van AGI te promoten. AGI is bijvoorbeeld een belangrijk aandachtspunt geweest op de gemeenschapsblogwebsite LessWrong, die rond 2009 door Yudkowsky werd opgericht.

Deze website werd al snel het online epicentrum voor discussies over hoe AGI te bouwen, de utopische toekomst die een ‘veilige’ of ‘afgestemde’ AGI zouden kunnen veroorzaken, en de veronderstelde ‘existentiële risico’s’ die gepaard gaan met AGI’s die ‘onveilig’ of ‘niet goed afgestemd’ zijn. Zoals hierboven vermeld, was het op de LessWrong-website dat Legg AGI identificeerde als de grootste bedreiging voor de mensheid, en uit gegevens blijkt dat Legg al heel vroeg actief was op de website, waarbij hij soms rechtstreeks commentaar gaf onder artikelen van Yudkowsky over AGI en aanverwante kwesties.

Of denk eens aan de SL4-mailinglijst die Yudkowsky in 2001 creëerde en die zichzelf omschreef als gewijd aan “geavanceerde onderwerpen in het transhumanisme en de Singulariteit, inclusief … strategieën om de Singulariteit te versnellen.” De Singulariteit is een hypothetische toekomstige gebeurtenis waarin geavanceerde AI zichzelf begint te herontwerpen, wat in de loop van weken, dagen of misschien zelfs minuten zal leiden tot een ‘superintelligent’ AGI-systeem.

Opnieuw heeft Legg ook bijgedragen aan de lijst, wat aangeeft dat de connecties tussen Yudkowsky, ’s werelds grootste doomer, en Legg, medeoprichter van een van de grootste AI-bedrijven die betrokken zijn bij de AGI-race, meer dan twintig jaar teruggaan.

Dit zijn slechts een paar redenen die Altman vorig jaar zelf op Twitter (nu X) schreef dat Yudkowsky – ‘s werelds grootste AI-doomer – waarschijnlijk meer dan wie dan ook heeft bijgedragen aan de AGI-race. In de woorden van Altman : Yudkowsky “wekte velen van ons geïnteresseerd in AGI, hielp DeepMind aan financiering in een tijd dat AGI zich extreem buiten het Overton-venster bevond, was van cruciaal belang bij de beslissing om OpenAI te starten, enz.”

Vervolgens grapte hij dat Yudkowsky ‘hiervoor misschien wel de Nobelprijs voor de Vrede verdient’. (Deze citaten zijn licht bewerkt om de leesbaarheid te verbeteren.)

Hoewel Altman Yudkowsky gedeeltelijk aan het trollen was omdat hij klaagde over een situatie – het AGI-ras – waar Yudkowsky een belangrijke rol bij speelde, heeft Altman geen ongelijk. Zoals een artikel in de New York Times uit 2023 opmerkt : “Mr. Yudkowsky en zijn geschriften speelden een sleutelrol bij de creatie van zowel OpenAI als DeepMind.”

Je zou iets soortgelijks kunnen zeggen over Anthropic, aangezien het de blogposts van Yudkowsky waren die Tallinn ervan overtuigden dat AGI existentieel riskant zou kunnen zijn, en Tallinn speelde later een cruciale rol bij het helpen van Anthropic om van start te gaan – wat de race om AGI op te bouwen nog verder versnelde. De verbindingen en overlappingen tussen de doomer-beweging en de race om AGI te bouwen zijn uitgebreid en diep – hoe meer men aan de oppervlakte krabt, hoe duidelijker deze verbanden verschijnen.

Ik noemde inderdaad eerder de Rationalistische en EA-bewegingen. Rationalisme werd opgericht door Yudkowsky via de LessWrong-website, terwijl EA rond dezelfde tijd, in 2009, opkwam en gezien kon worden als de broer of zus van Rationalisme. Deze gemeenschappen overlappen elkaar aanzienlijk , en beide hebben het idee sterk gepromoot dat AGI deze eeuw een ernstige bedreiging vormt voor ons voortbestaan.

Toch zijn rationalisten en EA’s ook enkele van de belangrijkste deelnemers en bijdragers aan de race waarvan zij denken dat deze onze ondergang zou kunnen bespoedigen. Zoals hierboven vermeld, is Dario Amodei (mede-oprichter van Anthropic) een EA, en Tallinn heeft lezingen gegeven op grote EA-conferenties en tientallen miljoenen dollars aan beide bewegingen gedoneerd.

Op dezelfde manier meldt een Intelligencer- artikel over Altman dat Altman ooit EA omarmde, en een profiel in de New York Times beschrijft hem als het product van een vreemde, uitgestrekte onlinegemeenschap die zich rond dezelfde tijd dat de heer Altman naar de Valley kwam, zich zorgen begon te maken dat kunstmatige intelligentie zou op een dag de wereld vernietigen. Leden van deze beweging, rationalisten of effectieve altruïsten genoemd, speelden een belangrijke rol bij de creatie van OpenAI.

Nog een ander artikel in de New York Times merkt op dat de EA-beweging “zo hard op de trommel sloeg” over de gevaren van AGI dat veel jonge mensen geïnspireerd raakten om aan het onderwerp te werken. Bijgevolg bevatten “alle grote AI-laboratoria en veiligheidsonderzoeksorganisaties enig spoor van de invloed van effectief altruïsme, en velen rekenen gelovigen tot hun personeelsleden.”

Het artikel merkt vervolgens op dat “geen enkel groot AI-laboratorium het EA-ethos zo volledig belichaamt als Anthropic”, aangezien “veel van de eerste medewerkers van het bedrijf effectieve altruïsten waren, en een groot deel van de startfinanciering afkomstig was van rijke, aan EA gelieerde technologiemanagers” – niet alleen Tallinn, maar de mede-oprichter van Facebook Dustin Moskovitz, die net als Tallinn aanzienlijk heeft gedoneerd aan EA-projecten.

Er is veel te zeggen over dit onderwerp, maar het belangrijkste punt voor onze doeleinden is dat het onheilspellende verhaal grotendeels voortkwam uit de Rationalistische en EA-bewegingen – juist die bewegingen die cruciaal zijn geweest bij het oprichten, financieren en inspireren van alle grote AI-organisaties. bedrijven die nu de race aangaan om AGI te bouwen.

Nogmaals, we willen Chomsky weerspiegelen door te zeggen: als deze gemeenschappen zich zo zorgen maken over de AGI-apocalyps, waarom hebben ze dan zoveel gedaan om juist de omstandigheden te creëren die het mogelijk maakten dat de AGI-race op gang kwam? De doomers hebben waarschijnlijk meer gedaan om het AGI-onderzoek te versnellen dan de AI-accelerators die zij als roekeloos gevaarlijk bestempelen.

Hoe is dit gebeurd? En waarom? Eén reden is dat veel doomers geloven dat AGI uiteindelijk ergens door iemand gebouwd zal worden . Het kunnen dus net zo goed zij zijn die de eerste AGI bouwen. Veel rationalisten en EA’s zijn er tenslotte trots op dat ze uitzonderlijk hoge IQ’s hebben, terwijl ze beweren ‘rationaler’ te zijn dan gewone mensen, of ‘ normies ’.

Daarom zijn zij de beste groep om AGI op te bouwen en er tegelijkertijd voor te zorgen dat het maximaal ‘veilig’ en ‘nuttig’ is. Het ongelukkige gevolg is dat deze rationalisten en EA’s onbedoeld een race zijn begonnen om AGI op te bouwen, die op dit punt zoveel momentum heeft gekregen dat het onmogelijk lijkt om te stoppen.

Erger nog, enkele van de doomers die het meest verantwoordelijk zijn voor de AGI-race gebruiken deze situatie nu om nog meer macht te verwerven door te beweren dat beleidsmakers naar hen moeten kijken voor de oplossingen. Tallinn is bijvoorbeeld onlangs toegetreden tot het Adviesorgaan voor kunstmatige intelligentie van de Verenigde Naties, dat zich richt op de risico’s en kansen van geavanceerde AI, terwijl Yudkowsky een internationaal beleid heeft verdedigd dat de deur openzet voor militaire aanvallen die een thermonucleaire oorlog zouden kunnen ontketenen.

Deze mensen hielpen mee met het creëren van een enorme, ingewikkelde puinhoop, draaiden zich toen om, wezen naar die puinhoop en riepen: “O my! We zitten in zo’n nare situatie! Maar als regeringen en politici maar naar ons zouden luisteren , zouden we misschien wel de kogel van de vernietiging kunnen ontwijken.”

Dit lijkt een farce. Het is alsof iemand een gat in een boot boort en dan zegt: “De enige manier om verdrinking te voorkomen is door mij kapitein te maken.”

De les is dat regeringen en politici niet moeten luisteren naar juist de mensen – of de rationalistische en EA-bewegingen waartoe zij behoren – die in de eerste plaats onevenredig verantwoordelijk zijn voor deze puinhoop. Je zou zelfs kunnen beargumenteren – naar mijn mening plausibel – dat er zonder de doomers waarschijnlijk helemaal geen AGI-race zou zijn.

Hoewel de race om AGI te bouwen veel gevaren met zich meebrengt , zijn het grootste onderliggende gevaar de Rationalistische en EA-bewegingen die deze ongelukkige situatie de afgelopen vijftien jaar hebben voortgebracht. Als we echt een einde willen maken aan de waanzin van de AGI-race , is het tijd om iemand anders de microfoon te geven.