AI is zogenaamd de nieuwe kernwapens – maar hoe vergelijkbaar zijn ze eigenlijk?
Indignatie redactie
12 min. lezen
Wat de geschiedenis van kernwapens ons wel en niet kan vertellen over de toekomst van AI.
Als je genoeg tijd besteedt aan het lezen over kunstmatige intelligentie, kom je ongetwijfeld één specifieke analogie tegen: kernwapens. Net als kernwapens, zo luidt het argument, is AI een geavanceerde technologie die met een zenuwslopende snelheid opkwam en ernstige en moeilijk te voorspellen risico’s met zich meebrengt waar de samenleving slecht op is toegerust.
De hoofden van AI-labs OpenAI, Anthropic en Google DeepMind, evenals onderzoekers zoals Geoffrey Hinton en Yoshua Bengio en prominente figuren zoals Bill Gates, ondertekenden in mei een open brief waarin de analogie expliciet werd gemaakt, waarin stond: “Het risico van uitsterven beperken van AI zou een wereldwijde prioriteit moeten zijn naast andere risico’s op maatschappelijke schaal, zoals pandemieën en een nucleaire oorlog.”
Oppenheimer- regisseur Christopher Nolan daarentegen denkt niet dat AI en kernwapens erg op elkaar lijken . De Making of the Atomic Bomb- auteur Richard Rhodes denkt dat er belangrijke parallellen zijn . De New York Times hield een quiz waarin mensen werden gevraagd of ze citaten over kernwapens konden onderscheiden van citaten over AI . Sommige beleidsexperts pleiten voor een Manhattan-project voor AI , gewoon om de analogie superconcreet te maken.
Anekdotisch ken ik heel veel mensen die werken aan AI-beleid en die ter inspiratie het boek van Rhodes hebben gelezen. Ik zag onlangs een exemplaar op een salontafel in het kantoor van Anthropic, toen ik daar op bezoek was voor een reportagereis.
Het is gemakkelijk te begrijpen waarom mensen grijpen naar analogieën als deze. AI is een nieuwe, verbijsterende technologie die volgens veel experts buitengewoon gevaarlijk is, en we willen conceptuele hulpmiddelen om ons te helpen er ons hoofd omheen te wikkelen en na te denken over de gevolgen ervan.
Maar de analogie is op zijn best grof, en er zijn belangrijke verschillen tussen de technologieën die van vitaal belang zullen blijken bij het nadenken over hoe AI moet worden gereguleerd om ervoor te zorgen dat het veilig wordt ingezet, zonder vooroordelen jegens gemarginaliseerde groepen en met bescherming tegen misbruik door slechte actoren.
Hier is een onvolledige lijst van manieren waarop de twee technologieën op elkaar lijken – en verschillend zijn.
Gelijkenis: extreem snelle wetenschappelijke vooruitgang
In december 1938 ontdekten de chemici Otto Hahn en Fritz Strassmann dat als ze het radioactieve element uranium met neutronen bombardeerden, ze iets kregen dat leek op barium , een element dat veel kleiner is dan uranium.
Het was een verbijsterende observatie – tot dan toe was bekend dat radioactieve elementen alleen kleine deeltjes uitzenden en transmuteren tot iets kleinere elementen – maar tegen kerstavond hadden hun medewerkers, de natuurkundigen Lise Meitner en Otto Frisch, een verklaring bedacht: de neutronen hadden de uraniumatomen gesplitst, waardoor vast barium- en kryptongas ontstonden. Frisch noemde het proces ‘splijting’.
Op 16 juli 1945, na miljarden dollars aan investeringen en het equivalent van 67 miljoen arbeidsuren van arbeiders en wetenschappers, waaronder Frisch, bracht het Amerikaanse leger het Trinity-apparaat tot ontploffing, het eerste kernwapen ooit ingezet, met behulp van het proces dat Frisch en Meitner gebruikten. had slechts minder dan zeven jaar eerder getheoretiseerd.
Op weinig wetenschappelijke gebieden is een theoretische ontdekking zo snel vertaald in een immens belangrijke praktische technologie. Maar AI komt misschien in de buurt.
Kunstmatige intelligentie als een veld werd geboren in de jaren 1950 , maar moderne “deep learning” -technieken in AI, die gegevens verwerken door verschillende lagen van “neuronen” om kunstmatige “neurale netwerken” te vormen, namen pas een vlucht met het besef rond 2009 dat gespecialiseerde chips genaamd grafische verwerkingseenheden (GPU’s) kunnen dergelijke netwerken veel efficiënter trainen dan standaard centrale verwerkingseenheden (CPU’s) op computers. Kort daarna begonnen deep learning-modellen toernooien te winnen om hun vermogen om afbeeldingen te categoriseren te testen.
Dezelfde technieken bleken daartoe in staatversla wereldkampioenen bij Go en StarCraft en produceer modellen zoals GPT-4 of Stable Diffusion die ongelooflijk overtuigende tekst- en beelduitvoer produceren.
Vooruitgang in deep learning lijkt ruwweg exponentieel te zijn, omdat de computerbronnen en gegevens die erop worden toegepast gestaag lijken te groeien. Op het gebied van modelschaling wordt geschat wat er met AI-modellen gebeurt naarmate de gegevens, rekenkracht en het aantal beschikbare parameters worden uitgebreid.
Een team van de Chinese technologiegigant Baidu demonstreerde dit in een empirisch artikel uit 2017 en ontdekte dat “verlies” (de gemeten fout van een model, vergeleken met bekende echte resultaten, bij verschillende taken) exponentieel afneemt naarmate de omvang van het model groeit , en daaropvolgend onderzoek van OpenAI en DeepMind heeft vergelijkbare bevindingen opgeleverd.
Dit alles wil zeggen: net zoals kernsplijting zich verbazingwekkend snel ontwikkelde, lijken geavanceerde deep learning-modellen en hun mogelijkheden in een vergelijkbaar verrassend tempo te verbeteren.
Gelijkenis: potentieel voor massale schade
Ik neem aan dat ik niet hoef uit te leggen hoe kernwapens, laat staan de thermonucleaire wapens waaruit moderne arsenalen bestaan, massale schade kunnen aanrichten op een schaal die we nog nooit eerder hebben meegemaakt. Hetzelfde potentieel voor AI vereist iets meer expositie.
Veel geleerden hebben aangetoond dat bestaande systemen voor machinaal leren die worden gebruikt voor doeleinden zoals het markeren van ouders voor kinderbescherming vaak vooroordelen uit hun trainingsgegevens recapituleren . Naarmate deze modellen groeien en voor steeds meer doeleinden worden gebruikt, en naarmate we er steeds afhankelijker van worden, zullen dit soort vooroordelen steeds meer consequenties blijken te hebben.
Er is ook een substantieel misbruikpotentieel voor voldoende complexe AI-systemen. In een paper van april waren onderzoekers van Carnegie Mellon in staat grote taalmodellen samen te voegen tot een systeem dat, wanneer het de opdracht kreeg om chloorgas te maken, de juiste chemische verbinding kon achterhalen en een “cloudlaboratorium” (een online service waar chemici op afstand echte, fysische chemie-experimenten uitvoeren) om het te synthetiseren. Het leek in staat om VX of sarin-gas (evenals methamfetamine) te synthetiseren en daalde alleen vanwege ingebouwde veiligheidscontroles die modelontwikkelaars gemakkelijk konden uitschakelen. Soortgelijke technieken kunnen worden gebruikt om biowapens te ontwikkelen .
Veel van de informatie die nodig is om chemische of biologische wapens te maken, is nu publiekelijk beschikbaar, en dat is al een tijdje het geval, maar er zijn specialisten voor nodig om die informatie te begrijpen en ernaar te handelen.
Het verschil tussen een wereld waarin leken met toegang tot een uitgebreid taalmodel een gevaarlijk biowapen kunnen bouwen, en een wereld waarin alleen specialisten dat kunnen, lijkt enigszins op het verschil tussen een land als de VS waar halfautomatische wapens met grote capaciteit overal verkrijgbaar zijn en een land als het VK waar de toegang tot dergelijke wapens streng wordt gecontroleerd .
Door de enorm toegenomen toegang tot deze wapens is de VS een land geworden met een veel hogere wapencriminaliteit. LLM’s zouden, zonder voldoende controle, kunnen leiden tot een wereld waarin de eenzame wolven die momenteel doden door middel van massale schietpartijen in de VS, in plaats daarvan biowapens gebruiken met het potentieel om duizenden of zelfs miljoenen te doden.
Is dat net zo erg als kernwapens? Waarschijnlijk niet. Voor dat niveau van schade heb je AI-overnamescenario’s nodig die noodzakelijkerwijs veel speculatiever en moeilijker te beredeneren zijn, omdat ze AI’s vereisen die veel krachtiger zijn dan alles wat tegenwoordig bestaat. Maar de schade van zaken als algoritmische vooringenomenheid en biowapens is directer, concreter en nog steeds groot genoeg om veel aandacht te vragen.
Verschil: de ene is een militaire technologie, de andere is een technologie voor algemeen gebruik
Ik gebruik geen kernwapens in mijn dagelijks leven, en tenzij je een heel specifieke baan hebt in een van de weinige legers, doe je dat waarschijnlijk ook niet. Kernsplijting heeft ons dagelijks leven beïnvloed door middel van kernenergie, die ongeveer 4 procent van de energie in de wereld levert , maar door de beperkte acceptatie ervan heeft die technologie ook niet echt ons leven veranderd.
We weten niet met enige specificiteit hoe AI de wereld zal beïnvloeden, en iedereen die u gedetailleerd en met veel vertrouwen vertelt wat er gaat gebeuren, zal u waarschijnlijk bedroeven. Maar we hebben reden om aan te nemen dat AI een technologie voor algemene doeleinden zal zijn : zoiets als elektriciteit of telegrafie of internet dat de manier waarop bedrijven in verschillende sectoren en landen opereren in grote lijnen verandert, in tegenstelling tot een innovatie die een deuk in één specifieke sector maakt ( zoals kernsplijting deed in de energiesector en in militaire en geopolitieke strategie).
Het snel produceren van tekst, zoals grote taalmodellen doen, is een vrij algemeen bruikbare service voor alles, van marketing tot technisch schrijven tot het opstellen van interne memo’s tot advocaten (ervan uitgaande dat u de limieten van de technologie kent) tot , helaas, desinformatie en propaganda.
Het gebruik van AI om services zoals Siri en Alexa te verbeteren, zodat ze meer als een persoonlijke assistent functioneren en op intelligente wijze je planning kunnen plannen en op e-mails kunnen reageren, zou in veel banen helpen. McKinsey voorspelde onlangs dat de impact van generatieve AI op de productiviteit uiteindelijk maar liefst 4,4 biljoen dollar zou kunnen toevoegen aan de wereldeconomie – meer dan het jaarlijkse bbp van het VK. Nogmaals, neem deze schattingen met een grote korrel zout, maar het punt dat de technologie in grote lijnen belangrijk zal zijn voor een reeks banen en sectoren is goed.
Kernsplijting verbieden zou waarschijnlijk een slecht idee zijn – kernenergie is een zeer nuttige technologie – maar mensen hebben andere energiebronnen. Het verbieden van geavanceerde AI is daarentegen duidelijk niet levensvatbaar, gezien het brede nut ervan, zelfs met de grote bedreigingen die het met zich meebrengt.
Gelijkenis: uranium en chips
Toen de theoretisch natuurkundige Niels Bohr in 1939 voor het eerst theoretiseerde dat uraniumsplijting het gevolg was van één specifieke isotoop van het element (uranium-235), dacht hij dat dit betekende dat een kernwapen volkomen onpraktisch zou zijn. U235 is veel zeldzamer dan de dominante isotoop uranium-238, en het scheiden van de twee was en blijft een ongelooflijk kostbare onderneming.
Genoeg U235 scheiden voor een bom, zei Bohr destijds, ” kan nooit worden gedaan tenzij je de Verenigde Staten in één enorme fabriek verandert .” Een paar jaar later, nadat hij Los Alamos had bezocht en getuige was geweest van de omvang van de industriële inspanning die nodig was om werkende bommen te maken, die op zijn hoogtepunt 130.000 arbeiders tewerkstelden , grapte hij tegen collega-natuurkundige Ed Teller: gedaan zonder het hele land in een fabriek te veranderen. Dat heb je precies gedaan.”
Het scheiden van uranium in Oak Ridge, Tennessee , was inderdaad een enorme onderneming, net als de parallelle inspanning in Hanford, Washington , om plutonium te produceren (de Hiroshima-bom gebruikte de eerste, de Trinity- en Nagasaki-bommen de laatste). Dat gaf wapenbeheersingspogingen iets tastbaars om aan vast te houden. Je zou geen kernwapens kunnen maken zonder grote hoeveelheden plutonium of verrijkt uranium te produceren, en het is vrij moeilijk te verbergen dat je grote hoeveelheden van die materialen produceert.
Er kan een bruikbare analogie worden gemaakt tussen pogingen om de toegang tot uranium te controleren en pogingen om de toegang tot de geoptimaliseerde computerchips te controleren die nodig zijn voor modern diep leren.
Hoewel AI-onderzoek veel immateriële factoren met zich meebrengt die moeilijk te kwantificeren zijn – de vaardigheden van het personeel die nodig zijn om modellen te bouwen, de capaciteiten van de modellen zelf – zijn de eigenlijke chips die worden gebruikt om modellen te trainen traceerbaar . Ze zijn gebouwd in een handvol fabricagefabrieken (“fabs”). Overheidsinstanties kunnen controleren wanneer laboratoria tien- of honderdduizenden van deze chips kopen, en kunnen zelfs firmware op de chips verplicht stellen die bepaalde AI-trainingsactiviteiten registreert .
Dat heeft ertoe geleid dat sommige analisten hebben gesuggereerd dat een wapenbeheersingskader voor AI eruit zou kunnen zien als dat voor kernwapens – met chips die de plaats innemen van uranium en plutonium. Dit kan om verschillende redenen moeilijker zijn, van de enorme hoeveelheid internationale samenwerking die nodig is (ook tussen China en Taiwan) tot de libertaire cultuur van Silicon Valley die tegen het afdrukken van trackinginformatie op elke chip pleit. Maar het is toch een nuttige parallel.
Gelijkenis: dynamiek van de wapenwedloop
Al in 1944 hield Niels Bohr ontmoetingen met Franklin Roosevelt en Winston Churchill en drong er bij hen met klem op aan Joseph Stalin te vertellen over het atoombomproject. Als hij er door spionage achter zou komen, zo betoogde Bohr, zou het resultaat wantrouwen zijn tussen de geallieerde machten na het einde van de Tweede Wereldoorlog, mogelijk resulterend in een wapenwedloop tussen de VS/VK en de Sovjet-Unie en een periode van groot geopolitiek gevaar als rivaliserende kampen. geaccumuleerde massale nucleaire arsenalen. Churchill vond dit absurd en tekende een belofte met Roosevelt om het niet aan Stalin te vertellen .
De naoorlogse wapenwedloop tussen de VS en de Sovjet-Unie verliep ongeveer zoals Bohr had voorspeld, met Churchills natie als bijzaak.
De historische context achter de ontwikkeling van AI is nu veel minder beladen; de VS hebben momenteel geen schijnalliantie met een regime dat het veracht en verwacht geopolitieke concurrentie aan te gaan zodra een massale wereldoorlog voorbij is.
Maar de dynamiek van de wapenwedloop die Bohr voorspelde, is al aan het opkomen met betrekking tot AI en de betrekkingen tussen de VS en China. Techcijfers, met name ex-Google-CEO Eric Schmidt, hebben erop gewezen dat de VS het voortouw moet nemen op het gebied van AI-ontwikkeling, anders zal China voorop lopen. Nationale veiligheidsadviseur Jake Sullivan zei vorig jaar in een toespraak dat de VS “een zo groot mogelijke voorsprong” op het gebied van AI moeten behouden .
Zoals mijn collega Sigal Samuel heeft geschreven , kan deze overtuiging berusten op misvattingen dat “de eerste” zijn op het gebied van AI belangrijker is dan hoe men de technologie gebruikt , of dat China zijn AI-sector ongereguleerd zal laten, terwijl het al regels oplegt . Wapenwedlopen kunnen echter zichzelf vervullen: als genoeg acteurs aan elke kant denken dat ze in een wapenwedloop zitten, zitten ze uiteindelijk in een wapenwedloop.
Verschil: AI-technologie is veel gemakkelijker te kopiëren
De overgrote meerderheid van de landen heeft geweigerd kernwapens te ontwikkelen, waaronder veel rijke landen die gemakkelijk over de middelen beschikken om ze te bouwen. Gedeeltelijk is deze beperkte proliferatie te wijten aan het feit dat het bouwen van kernwapens fundamenteel moeilijk en duur is.
De International Campaign to Abolish Nuclear Weapons schat dat het ultraarme Noord-Korea alleen al in 2022 $ 589 miljoen aan zijn nucleaire programma heeft uitgegeven, wat impliceert dat het in de decennia dat het programma is ontwikkeld vele miljarden heeft uitgegeven. De meeste landen willen dat soort middelen niet investeren om een wapen te ontwikkelen dat ze waarschijnlijk nooit zullen gebruiken. De meeste terroristische groeperingen hebben niet de middelen om zo’n wapen te bouwen.
AI is moeilijk en kostbaar om te trainen, maar in vergelijking met kernwapens is het veel gemakkelijker om mee te liften en te kopiëren zodra een bedrijf of overheid een model heeft gebouwd. Neem Vicuna , een recent taalmodel dat is gebaseerd op het LLaMA-model dat is uitgebracht door Meta (het moederbedrijf van Facebook), waarvan de interne details naar het publiek zijn gelekt en algemeen beschikbaar zijn.
Vicuna is getraind met behulp van ongeveer 70.000 gesprekken die echte gebruikers hadden met ChatGPT, wat, wanneer het werd gebruikt om LLaMA te “finetunen”, een veel nauwkeuriger en bruikbaarder model opleverde. Volgens de makers kostte het trainen van Vicuna $ 300, en ze beweren dat de output vergelijkbaar is met die van ChatGPT en de onderliggende modellen (GPT-3.5 en GPT-4).
Er zijn hier veel nuances die ik verdoezel . Maar de capaciteitskloof tussen hobbyist en megabedrijf is bij AI gewoon veel kleiner dan bij kernwapens. Een team van hobbyisten die een nucleair wapen proberen te ontwikkelen, zou het veel gemakkelijker hebben dan het Manhattan-project, simpelweg omdat ze kunnen profiteren van alles wat het laatste, en elk nucleair project sindsdien, heeft geleerd. Maar ze konden eenvoudigweg geen werkend nucleair apparaat bouwen. Mensen met minimale middelen kunnen geavanceerde AI-systemen bouwen en aanpassen, zelfs als het geen geavanceerde systemen zijn, en zullen dat waarschijnlijk ook blijven doen.
Een expert die ik sprak toen ik aan dit stuk dacht, zei botweg dat “analogieën de slechtste vorm van redeneren zijn”. Hij heeft een punt: een van mijn eigen conclusies uit het overwegen van deze specifieke analogie is dat het gedeeltelijk verleidelijk is omdat het je veel meer historisch materiaal geeft om mee te werken.
We weten veel over hoe kernwapens werden ontwikkeld en ingezet. We weten heel weinig over hoe de toekomstige ontwikkeling en regulering van AI waarschijnlijk zal verlopen. Het is dus gemakkelijker om over kernwapens te zeuren dan om te proberen na te denken over toekomstige AI-dynamiek, omdat ik meer geschiedenis heb om uit te putten.
Gegeven dat, is mijn belangrijkste conclusie dat welbespraakte ‘AI=nukes’-analogieën waarschijnlijk een verspilling zijn… vruchtbaar zijn. En die vergelijkingen wijzen in dezelfde richting. De beste manier om met een nieuwe, krachtige, gevaarlijke technologie om te gaan, is via brede internationale samenwerking. De juiste benadering is niet om achterover te leunen en wetenschappers en ingenieurs onze wereld gewoon te laten transformeren zonder inbreng van buitenaf.
