Indignatie redactie 
AI heeft de bekende neiging om te ‘hallucineren’, wat volledig onvoorspelbare resultaten oplevert. Als AI de mogelijkheid krijgt om te beslissen wanneer oorlogswapens moeten worden gebruikt, vooral kernwapens, is het gecreëerde risico catastrofaal. De VS, Rusland en China kunnen AI binnenkort die mogelijkheid geven.
Een wereld waarin machines die worden bestuurd door kunstmatige intelligentie (AI) systematisch mensen vervangen in de meeste zakelijke, industriële en professionele functies is gruwelijk om voor te stellen. Zoals prominente computerwetenschappers ons hebben gewaarschuwd , zijn door AI bestuurde systemen immers gevoelig voor kritieke fouten en onverklaarbare ‘hallucinaties’, met mogelijk catastrofale gevolgen tot gevolg.
Maar er is een nog gevaarlijker scenario denkbaar door de proliferatie van superintelligente machines: de mogelijkheid dat deze niet-menselijke entiteiten uiteindelijk met elkaar gaan vechten en daarbij al het menselijk leven vernietigen.
Het idee dat superintelligente computers amok kunnen maken en mensen kunnen afslachten, is natuurlijk al lang een hoofdbestanddeel van de populaire cultuur. In de profetische film WarGames uit 1983 veroorzaakt een supercomputer die bekend staat als WOPR (voor War Operation Plan Response en, niet verrassend, uitgesproken als ‘whopper’) bijna een catastrofale nucleaire oorlog tussen de Verenigde Staten en de Sovjet-Unie voordat hij wordt uitgeschakeld door een tienerhacker ( gespeeld door Matthew Broderick).
De Terminator- franchise, te beginnen met de originele film uit 1984, voorzag op dezelfde manier een zelfbewuste supercomputer genaamd “Skynet” die, net als WOPR, was ontworpen om Amerikaanse kernwapens te controleren, maar in plaats daarvan ervoor kiest de mensheid uit te roeien en ons als een bedreiging voor haar voortbestaan te zien. .
Hoewel het concept van supercomputers die mensen doden ooit beperkt was tot het domein van science fiction, is het nu een duidelijke mogelijkheid geworden in de zeer reële wereld van de nabije toekomst. Naast het ontwikkelen van een breed scala aan ‘ autonome ’ of robotachtige gevechtsapparaten, haasten de grote militaire machten zich ook om geautomatiseerde besluitvormingssystemen op het slagveld te creëren, of wat we ‘ robotgeneraals ’ zouden kunnen noemen.
In oorlogen in de niet al te verre toekomst zouden dergelijke AI-aangedreven systemen kunnen worden ingezet om gevechtsopdrachten te geven aan Amerikaanse soldaten, waarbij ze dicteren waar, wanneer en hoe ze vijandelijke troepen doden of onder vuur nemen van hun tegenstanders. In sommige scenario’s zouden robotbesluitvormers zelfs controle kunnen uitoefenen over de Amerikaanse atoomwapens, waardoor ze mogelijk een nucleaire oorlog kunnen ontketenen die tot de ondergang van de mensheid kan leiden.
Haal nu even adem. De installatie van een door AI aangedreven commando- en controlesysteem (C2) als dit lijkt misschien een verre mogelijkheid. Niettemin werkt het Amerikaanse ministerie van Defensie er hard aan om de benodigde hardware en software systematisch en steeds sneller te ontwikkelen.
In haar begrotingsaanvraag voor 2023 heeft de luchtmacht bijvoorbeeld 231 miljoen dollar gevraagd voor de ontwikkeling van het Advanced Battlefield Management System (ABMS), een complex netwerk van sensoren en AI-compatibele computers, ontworpen om gegevens over vijandelijke operaties te verzamelen en te interpreteren en om piloten en grondtroepen met een menu met optimale aanvalsopties.
Nu C2-capaciteiten steeds meer op AI-gestuurde systemen worden geladen , kunnen ze binnenkort ‘vuur’-instructies rechtstreeks aan ‘schutters’ geven, waarbij de menselijke controle grotendeels wordt omzeild.
“Een machine-to-machine data-uitwisselingsinstrument dat opties biedt voor afschrikking, of voor op-ramp”, een militair machtsvertoon, “of vroegtijdige betrokkenheid” – zo zegt Will Roper, adjunct-secretaris van de luchtmacht voor acquisitie, technologie , en logistiek, beschreef het ABMS-systeem in een interview uit 2020 . Roper suggereerde dat “we de naam moeten veranderen” naarmate het systeem evolueert en voegde eraan toe: “Ik denk dat Skynet uit is, hoe graag ik dat ook zou willen doen als een sci-fi-ding. Ik denk gewoon niet dat we daarheen kunnen gaan.”
En hoewel hij daar niet heen kan, is dat precies waar de rest van ons misschien wel naartoe gaat.
Let wel, dat is nog maar het begin. In feite is het ABMS van de luchtmacht bedoeld om de kern te vormen van een grotere constellatie van sensoren en computers die alle Amerikaanse strijdkrachten met elkaar zullen verbinden, het Joint All-Domain Command-and-Control System (JADC2, uitgesproken als “jad-cee-two). ”).
“JADC2 is bedoeld om commandanten in staat te stellen betere beslissingen te nemen door gegevens van talloze sensoren te verzamelen, de gegevens te verwerken met behulp van kunstmatige intelligentie-algoritmen om doelen te identificeren en vervolgens het optimale wapen aan te bevelen … om het doelwit aan te vallen”, meldde de Congressional Research Service in 2022.
In eerste instantie zal JADC2 ontworpen zijn om gevechtsoperaties tussen “conventionele” of niet-nucleaire Amerikaanse strijdkrachten te coördineren. Uiteindelijk wordt echter verwacht dat het verbinding zal maken met de nucleaire commando-controle- en communicatiesystemen (NC3) van het Pentagon, waardoor computers mogelijk aanzienlijke controle krijgen over het gebruik van het Amerikaanse nucleaire arsenaal.
“JADC2 en NC3 zijn met elkaar verweven”, gaf generaal John E. Hyten, vice-voorzitter van de Joint Chiefs of Staff, aan in een interview in 2020. Als gevolg hiervan voegde hij er in typisch Pentagonees aan toe: “NC3 moet JADC2 informeren en JADC2 moet NC3 informeren.”
Er is geen grote verbeeldingskracht voor nodig om je een moment in de niet al te verre toekomst voor te stellen waarin een of andere crisis – bijvoorbeeld een militair treffen tussen de VS en China in de Zuid-Chinese Zee of nabij Taiwan – aanleiding geeft tot steeds intensere gevechten tussen vijandige luchtmachten. en zeestrijdkrachten.
Stel je dan voor dat de JADC2 opdracht zou geven tot een intens bombardement op vijandelijke bases en commandosystemen in China zelf, wat zou leiden tot wederzijdse aanvallen op Amerikaanse faciliteiten en een bliksembesluit van JADC2 om wraak te nemen met tactische kernwapens, waardoor een lang gevreesde nucleaire holocaust zou ontbranden.
De mogelijkheid dat dit soort nachtmerriescenario’s zouden kunnen resulteren in het accidenteel of onbedoeld uitbreken van een kernoorlog, heeft analisten in de wapenbeheersingsgemeenschap al lange tijd verontrust. Maar de toenemende automatisering van militaire C2-systemen heeft niet alleen bij hen, maar ook bij hoge nationale veiligheidsfunctionarissen onrust veroorzaakt.
Al in 2019, toen ik luitenant-generaal Jack Shanahan, directeur van het Joint Artificial Intelligence Center van het Pentagon, ondervroeg over zo’n riskante mogelijkheid, antwoordde hij : “Je zult geen sterkere voorstander van de integratie van AI-capaciteiten vinden die groot geschreven zijn in het Ministerie van Defensie. , maar er is één gebied waar ik even stil bij sta, en dat heeft te maken met nucleaire commando’s en controle.”
Dit “is de ultieme menselijke beslissing die genomen moet worden” en dus “moeten we heel voorzichtig zijn.” Gezien de “onvolwassenheid” van de technologie, voegde hij eraan toe, hebben we “veel tijd nodig om te testen en te evalueren” voordat we AI op NC3 toepassen.
In de jaren daarna is het Pentagon, ondanks dergelijke waarschuwingen, vooruitgegaan met de ontwikkeling van geautomatiseerde C2-systemen. In zijn begrotingsinzending voor 2024 vroeg het ministerie van Defensie 1,4 miljard dollar voor de JADC2 om “het oorlogsvermogen te transformeren door informatievoordeel te leveren met de snelheid van relevantie voor alle domeinen en partners.” Oh Oh! En vervolgens vroeg het nog eens 1,8 miljard dollar voor andere vormen van militair gerelateerd AI-onderzoek.
Ambtenaren van het Pentagon erkennen dat het nog enige tijd zal duren voordat robotgeneraals het bevel zullen voeren over grote aantallen Amerikaanse troepen (en autonome wapens) in de strijd, maar ze hebben al verschillende projecten gelanceerd die bedoeld zijn om juist dergelijke verbindingen te testen en te perfectioneren. Een voorbeeld is het Project Convergence van het leger , dat een reeks veldoefeningen omvat die bedoeld zijn om ABMS- en JADC2-componentsystemen te valideren.
In een test die in augustus 2020 werd gehouden op de Yuma Proving Ground in Arizona, gebruikte het leger bijvoorbeeld een verscheidenheid aan lucht- en grondsensoren om gesimuleerde vijandelijke troepen te volgen en die gegevens vervolgens te verwerken met behulp van AI-compatibele computers op Joint Base Lewis. McChord in de staat Washington. Die computers gaven op hun beurt vuurinstructies aan de grondartillerie bij Yuma. “Deze hele reeks werd vermoedelijk binnen 20 seconden voltooid”, meldde de Congressional Research Service later .
Er is minder bekend over het AI-equivalent van de marine, ‘Project Overmatch’, omdat veel aspecten van de programmering geheim zijn gehouden. Volgens admiraal Michael Gilday, hoofd marineoperaties, is Overmatch bedoeld “om een marine mogelijk te maken die de zee overspoelt en gesynchroniseerde dodelijke en niet-dodelijke effecten levert van dichtbij en ver weg, op elke as en op elk domein.” Er is verder weinig over het project onthuld.
‘Flash-oorlogen’ en het uitsterven van de mensheid
Ondanks alle geheimhouding rond deze projecten kun je ABMS, JADC2, Convergence en Overmatch zien als bouwstenen voor een toekomstig Skynet-achtig meganetwerk van supercomputers, ontworpen om het bevel te voeren over alle Amerikaanse strijdkrachten, inclusief de nucleaire strijdkrachten, in gewapende gevechten. . Hoe meer het Pentagon in die richting beweegt, hoe dichter we bij een tijd zullen komen waarin AI macht over leven en dood bezit over alle Amerikaanse soldaten, samen met de tegenstanders en alle burgers die in het kruisvuur terechtkomen.
Een dergelijk vooruitzicht zou reden tot zorg moeten zijn. Houd om te beginnen rekening met het risico op fouten en misrekeningen door de algoritmen die de kern van dergelijke systemen vormen. Zoals topcomputerwetenschappers ons hebben gewaarschuwd, zijn deze algoritmen in staat tot opmerkelijk onverklaarbare fouten en, om de huidige AI-term te gebruiken, tot ‘hallucinaties’ – dat wil zeggen schijnbaar redelijke resultaten die volkomen illusoir zijn. Onder de gegeven omstandigheden is het niet moeilijk voor te stellen dat zulke computers een dreigende vijandelijke aanval zouden ‘hallucineren’ en een oorlog zouden lanceren die anders vermeden had kunnen worden.
En dat is nog niet het ergste gevaar waar we rekening mee moeten houden. Er bestaat immers een duidelijke waarschijnlijkheid dat de Amerikaanse tegenstanders hun strijdkrachten op dezelfde manier zullen uitrusten met robotgeneraals. Met andere woorden: toekomstige oorlogen zullen waarschijnlijk worden uitgevochten door de ene reeks AI-systemen tegen de andere, beide gekoppeld aan kernwapens, met volkomen onvoorspelbare – maar potentieel catastrofale – resultaten.
Er is niet veel bekend (althans uit publieke bronnen) over de Russische en Chinese inspanningen om hun militaire commando- en controlesystemen te automatiseren, maar er wordt aangenomen dat beide landen netwerken ontwikkelen die vergelijkbaar zijn met de JADC2 van het Pentagon.
Al in 2014 heeft Rusland in Moskou een Nationaal Defensiecontrolecentrum (NDCC) ingehuldigd, een gecentraliseerde commandopost voor het beoordelen van mondiale dreigingen en het initiëren van welke militaire actie dan ook die nodig wordt geacht, ongeacht of deze van niet-nucleaire of nucleaire aard is. Net als JADC2 is de NDCC ontworpen om informatie over vijandelijke bewegingen uit meerdere bronnen te verzamelen en hogere officieren te voorzien van advies over mogelijke reacties.
Er wordt gezegd dat China een nog uitgebreidere, zij het vergelijkbare, onderneming nastreeft onder de noemer ‘Multi-Domain Precision Warfare’ (MDPW). Volgens het rapport van het Pentagon uit 2022 over de Chinese militaire ontwikkelingen wordt zijn leger, het Volksbevrijdingsleger, getraind en uitgerust om door AI ondersteunde sensoren en computernetwerken te gebruiken om “snel de belangrijkste kwetsbaarheden in het Amerikaanse operationele systeem te identificeren en vervolgens gezamenlijke krachten over de grenzen heen te bundelen.” domeinen om precisieaanvallen tegen deze kwetsbaarheden uit te voeren.”
Stel je dan een toekomstige oorlog voor tussen de VS en Rusland of China (of beide), waarin de JADC2 het bevel voert over alle Amerikaanse strijdkrachten, terwijl de Russische NDCC en de Chinese MDPW het bevel voeren over de strijdkrachten van die landen. Bedenk ook dat alle drie de systemen waarschijnlijk fouten en hallucinaties zullen ervaren. Hoe veilig zullen mensen zijn als robotgeneraals besluiten dat het tijd is om de oorlog te ‘winnen’ door hun vijanden te vernietigen?
Als dit je een bizar scenario lijkt, denk dan nog eens goed na, tenminste volgens de leiding van de National Security Commission on Artificial Intelligence, een door het Congres gemandateerde onderneming die werd voorgezeten door Eric Schmidt, voormalig hoofd van Google, en Robert Work, voormalig adjunct-secretaris. van verdediging. “Hoewel de Commissie gelooft dat goed ontworpen, geteste en gebruikte, op AI gebaseerde en autonome wapensystemen substantiële militaire en zelfs humanitaire voordelen zullen opleveren, riskeert het ongecontroleerde mondiale gebruik van dergelijke systemen mogelijk onbedoelde conflictescalatie en crisisinstabiliteit”, bevestigde het rapport in zijn Finale Rapport.
Dergelijke gevaren zouden kunnen ontstaan, zo stelde het rapport, “vanwege de uitdagende en ongeteste complexiteit van de interactie tussen AI-compatibele en autonome wapensystemen op het slagveld” – wanneer AI AI bestrijdt.
Hoewel dit een extreem scenario lijkt, is het heel goed mogelijk dat vijandige AI-systemen een catastrofale ‘flash war’ kunnen ontketenen – het militaire equivalent van een ‘flash crash’ op Wall Street, wanneer enorme transacties door supergeavanceerde handelsalgoritmen tot paniekverkopen leiden voordat menselijke operators kunnen de orde herstellen. Tijdens de beruchte “Flash Crash” van 6 mei 2010 zorgde computergestuurde handel voor een daling van de waarde van de aandelenmarkt met 10%.
Volgens Paul Scharre van het Center for a New American Security, die het fenomeen voor het eerst bestudeerde, zou “het militaire equivalent van dergelijke crises” op Wall Street ontstaan wanneer de geautomatiseerde commandosystemen van tegengestelde krachten “vast komen te zitten in een waterval van escalerende gevechten. ” In een dergelijke situatie, zo merkte hij op, “kunnen autonome wapens in een mum van tijd leiden tot accidentele dood en vernietiging op catastrofale schaal.”
Op dit moment zijn er vrijwel geen maatregelen getroffen om een toekomstige catastrofe van dit soort te voorkomen, en zijn er zelfs geen gesprekken tussen de grootmachten om dergelijke maatregelen te bedenken. Maar zoals de National Security Commission on Artificial Intelligence opmerkte, zijn dergelijke crisisbeheersingsmaatregelen dringend nodig om ‘geautomatiseerde escalatie-struikeldraden’ te integreren in dergelijke systemen ‘die de geautomatiseerde escalatie van conflicten zouden voorkomen’. Anders lijkt een catastrofale versie van de Derde Wereldoorlog maar al te mogelijk.
Gezien de gevaarlijke onvolwassenheid van dergelijke technologie en de onwil van Peking, Moskou en Washington om enige beperking op te leggen aan de bewapening van AI, zou de dag waarop machines ervoor kunnen kiezen ons te vernietigen veel eerder aanbreken dan we denken, en zou het uitsterven van de mensheid de dag kunnen zijn waarop de mensheid zou kunnen uitsterven. bijkomende schade van een dergelijke toekomstige oorlog.
