Indignatie redactie 
De nucleaire inzet van te veel vertrouwen in AI.
AI: Het grote nieuws van de top tussen president Joe Biden en de Chinese leider Xi Jinping zijn zonder twijfel de panda’s. Als iemand over deze bijeenkomst over twintig jaar iets te weten komt, zal het waarschijnlijk afkomstig zijn van een plaquette in de dierentuin van San Diego. Tenminste, als er nog iemand in leven is die dierentuinen kan bezoeken. En als sommigen van ons hier twintig jaar later nog zijn, kan dat komen door iets anders waar de twee leiders het over eens waren: gesprekken over de groeiende risico’s van kunstmatige intelligentie .
Voorafgaand aan de top meldde de South China Morning Post dat Biden en Xi een overeenkomst zouden aankondigen om het gebruik van kunstmatige intelligentie op een aantal gebieden te verbieden, waaronder de controle over kernwapens. Een dergelijke overeenkomst werd niet bereikt – en dat werd ook niet verwacht – maar uitlezingen die zowel door het Witte Huis als het Chinese ministerie van Buitenlandse Zaken werden vrijgegeven , vermeldden de mogelijkheid van gesprekken tussen de VS en China over artificial intelligence.
Na de top legde Biden in zijn opmerkingen aan de pers uit dat “we onze experts bij elkaar gaan krijgen om risico- en veiligheidskwesties in verband met kunstmatige intelligentie te bespreken.”
Amerikaanse en Chinese functionarissen hadden weinig details over welke experts erbij betrokken zouden zijn of welke risico- en veiligheidskwesties zouden worden besproken. Er is uiteraard genoeg om over te praten tussen beide partijen. Die discussies kunnen variëren van het zogenaamde ‘catastrofale’ risico van AI-systemen die niet in lijn zijn met menselijke waarden – denk aan Skynet uit de Terminator- films – tot het steeds gewoner wordende gebruik van dodelijke autonome wapensystemen , die activisten soms ‘ moordenaarsrobots’ noemen. .”
En dan is er nog het scenario ergens tussen de twee in: het potentieel voor het gebruik van artificial intelligence bij de beslissing om kernwapens te gebruiken, het bestellen van een nucleaire aanval en het uitvoeren ervan.
Het is echter onwaarschijnlijk dat er een verbod komt – om ten minste twee belangrijke redenen. Het eerste probleem is van definities. Er bestaat geen nette definitie die onderscheid maakt tussen het soort kunstmatige intelligentie dat al in het dagelijks leven om ons heen is geïntegreerd en het soort waar we ons in de toekomst zorgen over maken. Kunstmatige intelligentie wint al altijd bij schaken, Go en andere spellen. Het bestuurt auto’s. Het sorteert enorme hoeveelheden gegevens – wat mij brengt bij de tweede reden waarom niemand AI in militaire systemen wil verbieden: het is veel te nuttig.
De dingen waar artificial intelligence al zo goed in is in civiele omgevingen, zijn ook nuttig in oorlogen, en het wordt al voor die doeleinden toegepast. Terwijl kunstmatige intelligentie steeds intelligenter wordt, haasten de VS, China en anderen zich om deze vooruitgang in hun respectievelijke militaire systemen te integreren, zonder op zoek te gaan naar manieren om deze te verbieden. Er is in veel opzichten sprake van een ontluikende wapenwedloop op het gebied van kunstmatige intelligentie.
Van alle potentiële risico’s zou het huwelijk van artificial intelligence met kernwapens – onze eerste technologie die het paradigma werkelijk verandert – het meest de aandacht van de wereldleiders moeten trekken. AI-systemen zijn zo slim, zo snel en zullen waarschijnlijk zo centraal komen te staan in alles wat we doen, dat het de moeite waard lijkt om even de tijd te nemen en over het probleem na te denken. Of in ieder geval om uw experts in de kamer te krijgen met hun experts om erover te praten.
Tot nu toe hebben de VS de kwestie benaderd door te praten over de ‘verantwoorde’ ontwikkeling van AI. Het ministerie van Buitenlandse Zaken heeft een ‘politieke verklaring over verantwoord militair gebruik van kunstmatige intelligentie en autonomie’ gepromoot. Dit is noch een verbod, noch een juridisch bindend verdrag, maar eerder een reeks principes .
En hoewel de verklaring verschillende principes schetst van verantwoord gebruik van AI, is de essentie dat er in de eerste plaats ‘een verantwoordelijke menselijke commando- en controleketen’ is voor het nemen van beslissingen over leven en dood – vaak een ‘ mens in de wereld’ genoemd. lus .”
Dit is bedoeld om het meest voor de hand liggende risico van AI aan te pakken, namelijk dat autonome wapensystemen zonder onderscheid mensen kunnen doden. Dit geldt voor alles, van drones tot nucleair bewapende raketten, bommenwerpers en onderzeeërs.
Natuurlijk zijn het de nucleair bewapende raketten, bommenwerpers en onderzeeërs die de grootste potentiële bedreiging vormen. Het eerste ontwerp van de verklaring identificeerde specifiek de behoefte aan “menselijke controle en betrokkenheid bij alle acties die cruciaal zijn voor het informeren en uitvoeren van soevereine beslissingen met betrekking tot de inzet van kernwapens.” Die taal is feitelijk uit het tweede ontwerp geschrapt – maar het idee van het behouden van menselijke controle blijft een belangrijk element van de manier waarop Amerikaanse functionarissen over het probleem denken.
In juni riep Bidens nationale veiligheidsadviseur Jake Sullivan andere kernwapenstaten op om zich in te zetten voor “het in stand houden van een ‘human-in-the-loop’ voor het bevel, de controle en de inzet van kernwapens.” Dit is vrijwel zeker een van de dingen die Amerikaanse en Chinese experts zullen bespreken.
Het is echter de moeite waard om je af te vragen of een human-in-the-loop-vereiste het probleem echt oplost, tenminste als het gaat om AI en kernwapens. Het is duidelijk dat niemand een volledig geautomatiseerde doemdagmachine wil. Zelfs de Sovjet-Unie, die tijdens de Koude Oorlog talloze roebels investeerde in het automatiseren van een groot deel van haar nucleaire commando- en controle-infrastructuur, ging niet tot het uiterste.
Het zogenaamde “ Dode Hand ”-systeem van Moskou is nog steeds afhankelijk van mensen in een ondergrondse bunker. Het is belangrijk om een mens ‘in de lus’ te hebben. Maar het doet er alleen toe als die mens betekenisvolle controle over het proces heeft. Het toenemende gebruik van AI roept vragen op over hoe zinvol die controle zou kunnen zijn – en of we het nucleaire beleid moeten aanpassen aan een wereld waarin AI de menselijke besluitvorming beïnvloedt.
Een deel van de reden dat we ons op mensen concentreren, is dat we een soort naïef geloof hebben dat, als het op het einde van de wereld aankomt, een mens altijd zal aarzelen. Wij geloven dat een mens dat altijd zal zien door middel van een vals alarm.
We hebben het menselijk geweten zo geromantiseerd dat het de plot is van veel boeken en films over de bom, zoals Crimson Tide . En het is het waargebeurde verhaal van Stanislav Petrov , de Sovjet-raketwaarschuwingsofficier die in 1983 iets zag dat leek op een nucleaire aanval op zijn computerscherm en besloot dat het een vals alarm moest zijn – en dit niet rapporteerde, aantoonbaar. de wereld redden van een nucleaire catastrofe.
Het probleem is dat wereldleiders op de knop zouden kunnen drukken. Het hele idee van nucleaire afschrikking berust op het op geloofwaardige wijze aantonen dat als het erop aankomt, de president ermee door zal gaan. Petrov is geen held zonder de zeer reële mogelijkheid dat, als hij het alarm hogerop in de commandostructuur had gemeld, de Sovjetleiders hadden kunnen geloven dat er een aanval gaande was en wraak zouden hebben genomen.
Het echte gevaar is dus niet dat leiders de beslissing om kernwapens te gebruiken zullen overdragen aan AI, maar dat ze zullen gaan vertrouwen op artificial intelligence voor wat ‘beslissingsondersteuning’ zou kunnen worden genoemd – door AI te gebruiken als leidraad voor hun besluitvorming over een crisis, net zoals we afhankelijk zijn van navigatietoepassingen om aanwijzingen te geven terwijl we rijden.
Dit is wat de Sovjet-Unie in 1983 deed: vertrouwen op een enorme computer die duizenden variabelen gebruikte om leiders te waarschuwen als er een nucleaire aanval op komst was. Het probleem was echter het oudste probleem in de informatica: garbage in, garbage out. De computer was ontworpen om Sovjetleiders te vertellen wat ze verwachtten te horen, om hun meest paranoïde fantasieën te bevestigen.
Russische leiders vertrouwen nog steeds op computers om de besluitvorming te ondersteunen. In 2016 liet de Russische minister van Defensie een verslaggever een Russische supercomputer zien die gegevens van over de hele wereld analyseert, zoals troepenbewegingen, om potentiële verrassingsaanvallen te voorspellen. Trots vertelde hij hoe weinig van de computer momenteel wordt gebruikt. Deze ruimte, zo hebben andere Russische functionarissen duidelijk gemaakt , zal worden gebruikt wanneer artificial intelligence wordt toegevoegd.
Het is veel minder geruststellend om een mens op de hoogte te hebben als die mens sterk afhankelijk is van AI om te begrijpen wat er gebeurt. Omdat artificial intelligence is getraind op onze bestaande voorkeuren, heeft het de neiging de vooroordelen van een gebruiker te bevestigen. Dit is precies de reden waarom sociale media, die gebruik maken van algoritmen die zijn getraind op gebruikersvoorkeuren, vaak zo’n effectief kanaal zijn voor desinformatie. AI is boeiend omdat het onze voorkeuren op een uiterst vleiende manier nabootst. En dat gebeurt zonder een greintje geweten.
Menselijke controle is misschien niet de waarborg waarop we hopen in een situatie waarin AI-systemen zeer overtuigende desinformatie genereren. Zelfs als een wereldleider niet vertrouwt op expliciet door AI gegenereerde beoordelingen, zal AI in veel gevallen op lagere niveaus zijn gebruikt om beoordelingen te onderbouwen die als een menselijk oordeel worden gepresenteerd. Er bestaat zelfs de mogelijkheid dat menselijke besluitvormers te afhankelijk worden van door artificial intelligence gegenereerd advies.
Een verrassende hoeveelheid onderzoek suggereert dat degenen onder ons die afhankelijk zijn van navigatie-apps geleidelijk de basisvaardigheden verliezen die verband houden met navigatie en verloren kunnen gaan als de apps falen; dezelfde zorg zou kunnen worden toegepast op artificial intelligence , met veel ernstiger gevolgen.
De VS beschikt over een grote kernmacht , met honderden land- en zeeraketten die binnen enkele minuten klaar zijn om te vuren. De snelle reactietijd geeft een president de mogelijkheid om ‘bij waarschuwing te lanceren’ – te lanceren wanneer satellieten vijandelijke lanceringen detecteren, maar voordat de raketten arriveren.
China is nu bezig deze houding na te bootsen, met honderden nieuwe raketsilo’s en nieuwe waarschuwingssatellieten in een baan om de aarde. In perioden van spanning hebben nucleaire waarschuwingssystemen last gehad van vals alarm. Het echte gevaar is dat artificial intelligence een leider ervan kan overtuigen dat een vals alarm echt is.
Hoewel het hebben van een mens op de hoogte een deel van de oplossing is, vereist het geven van die menselijke controle het ontwerpen van nucleaire houdingen die de afhankelijkheid van door AI gegenereerde informatie minimaliseren – zoals het opgeven van de lancering na waarschuwing ten gunste van definitieve bevestiging vóór vergelding.
Wereldleiders zullen waarschijnlijk steeds meer afhankelijk zijn van artificial intelligence, of we dat nu leuk vinden of niet. We zijn net zo goed in staat om artificial intelligence te verbieden als we welke andere informatietechnologie dan ook zouden kunnen verbieden, of het nu gaat om schrijven, de telegraaf of het internet. In plaats daarvan zouden Amerikaanse en Chinese experts het moeten hebben over het soort kernwapenbeleid dat zinvol is in een wereld waar AI alomtegenwoordig is.
