Robotgeneraals: zullen ze betere beslissingen nemen dan mensen – of erger?

Nu Covid-19 een verrassend aantal  Amerikaanse militairen uitschakelt  en moderne wapens steeds dodelijker blijken te zijn, vertrouwt het Amerikaanse leger   steeds vaker op intelligente robots om gevaarlijke gevechtsoperaties uit te voeren. Dergelijke apparaten, in het leger bekend als ‘ autonome wapensystemen ‘, zijn onder meer robotwachten, drones voor slagveldbewaking en autonome onderzeeërs. Met andere woorden, tot dusver vervangen robotapparatuur slechts standaardwapens op conventionele slagvelden. Nu echter, met een enorme sprong in het diepe, probeert het Pentagon dit proces naar een geheel nieuw niveau te tillen – door niet alleen gewone soldaten en hun wapens te vervangen, maar mogelijk admiraals en generaals door robotsystemen.

Toegegeven, die systemen bevinden zich nog in de ontwikkelingsfase, maar het Pentagon haast zich nu met hun toekomstige inzet als een kwestie van nationale urgentie. Elk onderdeel van een moderne generale staf – inclusief gevechtsplanning, het verzamelen van inlichtingen, logistiek, communicatie en besluitvorming – zal volgens de nieuwste plannen van het Pentagon worden overgedragen aan complexe arrangementen van sensoren, computers en software. Al deze zullen dan worden geïntegreerd in een “systeem van systemen”, nu genaamd  Joint All-Domain Command-and-Control , of JADC2 (aangezien acroniemen de essentie van het militaire leven blijven). Uiteindelijk kan dat amalgaam van systemen inderdaad de meeste functies overnemen die momenteel worden vervuld door Amerikaanse generaals en hun hogere stafofficieren.

Het idee om machines te gebruiken om beslissingen op commandoniveau te nemen, is natuurlijk niet geheel nieuw. Het heeft in feite lang geduurd. Tijdens de Koude Oorlog, na de introductie van intercontinentale ballistische raketten (ICBM’s) met extreem korte vluchttijden, begonnen zowel militaire strategen als sciencefictionschrijvers zich mechanische systemen voor te stellen die dergelijke kernwapens zouden beheersen in geval van menselijk onvermogen.

In Stanley Kubrick’s satirische film uit 1964,  Dr. Strangelove , onthult de fictieve Russische leider Dimitri Kissov bijvoorbeeld dat de Sovjet-Unie een ‘doomsday machine’ heeft geïnstalleerd die in staat is om al het menselijk leven uit te wissen dat automatisch zou ontploffen als het land zou worden aangevallen door Amerikaanse atoombommen. krachten. Pogingen van krankzinnige anti-Sovjetofficieren van de Amerikaanse luchtmacht om een ​​oorlog met Moskou uit te lokken, slagen er vervolgens in die machine op gang te brengen en zo menselijke vernietiging teweeg te brengen. In werkelijkheid, uit angst dat ze een dergelijke verrassingsaanval zouden meemaken, installeerden de Sovjets later een semi-automatisch vergeldingssysteem dat ze  noemden “Perimeter”, ontworpen om Sovjet-ICBM’s te lanceren in het geval dat sensoren nucleaire explosies detecteerden en alle communicatie vanuit Moskou tot zwijgen was gebracht. Sommige analisten geloven dat er nog steeds een verbeterde versie van Perimeter in gebruik is, waardoor we in een al te echte versie van een Strangeloviaanse wereld terechtkomen.

In weer een andere sci-fi-versie van dergelijke geautomatiseerde commandosystemen portretteerde de film WarGames uit 1983  , met Matthew Broderick als tienerhacker, een supercomputer genaamd de War Operations Plan Response, of WOPR (uitgesproken als ‘whopper’) geïnstalleerd op de North American Aerospace. Command ( NORAD ) hoofdkwartier in Colorado. Wanneer het Broderick-personage erin hackt en een spel begint te spelen dat volgens hem “Wereldoorlog III” heet, concludeert de computer dat er een echte Sovjetaanval gaande is en lanceert een nucleair vergeldingsreactie. Hoewel fictief, geeft de film nauwkeurig veel aspecten weer van het Amerikaanse nucleaire command-control-and-communications (NC3) -systeem, dat toen en nog steeds sterk geautomatiseerd was.

Dergelijke apparaten, zowel echt als ingebeeld, waren naar de huidige maatstaven relatief primitief, omdat ze alleen in staat waren om vast te stellen dat er een nucleaire aanval gaande was en een catastrofale reactie te bevelen. Nu, als resultaat van enorme verbeteringen in  kunstmatige intelligentie  (AI) en machine learning, kunnen machines enorme hoeveelheden sensorgegevens verzamelen en beoordelen, snel belangrijke trends en patronen detecteren en mogelijk bevelen geven aan gevechtseenheden over waar en wanneer ze moeten aanvallen. .

Tijdscompressie en menselijke feilbaarheid

De vervanging van intelligente machines door mensen op hogere commandoniveaus wordt essentieel, betogen Amerikaanse strategen, omdat een exponentiële groei van sensorinformatie in combinatie met de toenemende snelheid  van oorlogvoering het voor mensen bijna onmogelijk maakt om cruciale ontwikkelingen op het slagveld bij te houden. Als toekomstscenario’s kloppen, kunnen veldslagen die zich ooit in dagen of weken hebben afgespeeld, binnen enkele uren of zelfs minuten plaatsvinden, terwijl informatie op het slagveld binnenstroomt als ontelbare datapunten, overweldigende stafofficieren. Alleen geavanceerde computers, zo wordt beweerd, zouden zoveel informatie kunnen verwerken en weloverwogen gevechtsbeslissingen kunnen nemen binnen het noodzakelijke tijdsbestek.

Dergelijke tijdcompressie en de uitbreiding van sensorgegevens kunnen van toepassing zijn op elke vorm van gevecht, maar vooral op de meest angstaanjagende van allemaal, een nucleaire oorlog. Toen ICBM’s het belangrijkste middel waren voor een dergelijke strijd, hadden besluitvormers tot 30 minuten tussen het moment waarop een raket werd gelanceerd en het moment van detonatie om te bepalen of een potentiële aanval echt was of slechts een valse satellietuitlezing (zoals soms gebeurde   tijdens de koude Oorlog). Nu, dat klinkt misschien niet als veel tijd, maar met de recente introductie van  hypersonische raketten, kunnen dergelijke beoordelingstijden teruglopen tot slechts vijf minuten. Onder dergelijke omstandigheden is het veel te verwachten dat zelfs de meest alerte besluitvormers een weloverwogen oordeel vellen over de aard van een mogelijke aanval. Vandaar het beroep (op sommigen) van geautomatiseerde besluitvormingssystemen.

“Aanval-tijdcompressie heeft het hoogste leiderschap van Amerika in een situatie gebracht waarin het bestaande NC3-systeem misschien niet snel genoeg werkt”, redeneerden militaire analisten Adam Lowther en Curtis McGiffin   tijdens  War on the Rocks , een op veiligheid gerichte website. “Het kan dus nodig zijn om een ​​systeem te ontwikkelen op basis van kunstmatige intelligentie, met vooraf bepaalde responsbeslissingen, dat strategische krachten met zo’n snelheid detecteert, beslist en aanstuurt dat de uitdaging van de aanvalstijdcompressie de Verenigde Staten niet in een onmogelijke positie plaatst. . “

Dit idee, dat een apparaat op basis van kunstmatige intelligentie – in wezen een intelligentere versie van de doomsday-machine of de WOPR – in staat zou moeten worden gesteld om vijandelijk gedrag te beoordelen en vervolgens, op basis van ‘vooraf bepaalde responsopties’, het lot van de mensheid zou moeten beslissen, heeft natuurlijk voor wat  ongemak gezorgd  in de gemeenschap van militaire analisten (zoals het ook voor de rest van ons zou moeten doen). Desalniettemin blijven Amerikaanse strategen beweren dat beoordeling en besluitvorming op het slagveld – voor zowel conventionele als nucleaire oorlogsvoering – in toenemende mate aan machines moeten worden gedelegeerd.

“AI-aangedreven intelligentiesystemen kunnen de mogelijkheid bieden om grote hoeveelheden gegevens uit verschillende bronnen en geografische locaties te integreren en te sorteren om patronen te identificeren en nuttige informatie te benadrukken”, merkte de Congressional Research Service  op  in een samenvatting van het Pentagon-denken in november 2019. “Naarmate de complexiteit van AI-systemen ouder wordt”, voegde hij eraan toe, “kunnen AI-algoritmen commandanten mogelijk ook een menu met haalbare acties bieden op basis van realtime analyse van de gevechtsruimte, waardoor een snellere aanpassing aan complexe gebeurtenissen mogelijk wordt. “

De sleutelwoorden daar is “een menu met haalbare acties op basis van realtime analyse van de gevechtsruimte”. Dit zou de indruk kunnen wekken dat menselijke generaals en admiraals (om nog maar te zwijgen van hun opperbevelhebber) nog steeds de ultieme beslissingen over leven en dood zullen nemen voor zowel hun eigen strijdkrachten als de planeet. Gezien een dergelijke verwachte aanvalstijdcompressie in toekomstige gevechten met hoge intensiteit met China en / of Rusland, hebben mensen echter mogelijk niet langer de tijd of het vermogen om de gevechtsruimte zelf te analyseren en zullen ze voor dergelijke beoordelingen op AI-algoritmen gaan vertrouwen. Als gevolg hiervan kunnen menselijke commandanten merken dat ze simpelweg besluiten van machines goedkeuren – en worden ze uiteindelijk overbodig.

Robotgeneraals maken

Ondanks alle twijfels die ze hebben over hun toekomstige baanzekerheid, zijn de hoogste generaals van Amerika snel bezig om dat geautomatiseerde JADC2-commando-mechanisme te ontwikkelen en in te zetten. Onder toezicht van de luchtmacht blijkt het een  computergestuurd amalgaam  van apparaten te zijn voor het verzamelen van real-time informatie over vijandelijke troepen uit een groot aantal sensorapparaten (satellieten, grondradars, elektronische luisterposten, enzovoort), die die gegevens verwerken in bruikbare gevechtsinformatie en het verstrekken van nauwkeurige aanvalsinstructies aan elke gevechtseenheid en elk wapensysteem dat betrokken is bij een conflict – of het nu gaat om het leger, de marine, de luchtmacht, het marinekorps of de nieuw gevormde Space Force en Cyber ​​Command.

Waaruit de JADC2 precies zal bestaan, is niet algemeen bekend, deels omdat veel van de componentensystemen nog steeds in het geheim zijn gehuld en deels omdat veel van de essentiële technologie zich nog in de ontwikkelingsfase bevindt. Gedelegeerd met de verantwoordelijkheid voor het toezicht op het project, werkt de luchtmacht samen met  Lockheed Martin  en andere grote defensie-aannemers om sleutelelementen van het systeem te ontwerpen en te ontwikkelen.

Een van die bouwstenen is het Advanced Battle Management System (ABMS), een systeem voor het verzamelen en distribueren van gegevens dat is  bedoeld  om jachtpiloten te voorzien van actuele gegevens over vijandelijke posities en om hun gevechtsbewegingen te begeleiden. Een ander  belangrijk onderdeel  is het Integrated Air and Missile Defense Battle Command System (IBCS) van het leger, dat is ontworpen om radarsystemen te verbinden met luchtafweer- en raketafweerlanceerinrichtingen en hen nauwkeurige afvuurinstructies te geven. Na verloop van tijd zullen de luchtmacht en zijn meerdere aannemers proberen ABMS en IBCS te integreren in een gigantisch netwerk van systemen die elke sensor, schutter en commandant van de strijdkrachten van het land met elkaar verbinden – een militair ‘ internet of things ‘, zoals sommigen het hebben gezegd. .

Om dit concept te testen en een voorbeeld te geven van hoe het in de toekomst zou kunnen opereren, voerde het leger in  augustus in Duitsland een  artillerie-oefening met live-vuur uit met behulp van componenten (of facsimiles) van het toekomstige JADC2-systeem. In de eerste fase van de test werden satellietbeelden van (veronderstelde) Russische troepenposities naar een grondterminal van het leger gestuurd, waar een AI-softwareprogramma genaamd Prometheus de gegevens doorzocht om vijandelijke doelen te selecteren. Vervolgens berekende een ander AI-programma genaamd SHOT de optimale match van beschikbare legerwapens met die beoogde doelen en stuurde deze informatie, samen met precieze afvuurcoördinaten , naar het Advanced Field Artillery Tactical Data System van het leger ( AFATDS) voor onmiddellijke actie, waarbij menselijke commandanten zouden kunnen kiezen om het al dan niet te implementeren. Tijdens de oefening hadden die menselijke commandanten de mentale ruimte om even over de kwestie na te denken; in een schietoorlog kunnen ze alles gewoon aan de machines overlaten, zoals de ontwerpers van het systeem duidelijk van plan zijn te doen.

In de toekomst plant het leger nog ambitieuzere tests van deze evoluerende technologie in het kader van een initiatief genaamd  Project Convergence . Van wat er publiekelijk over is gezegd, zal Convergence steeds complexere oefeningen doen met satellieten, luchtmachtjagers uitgerust met het ABMS-systeem, legerhelikopters, drones, artilleriestukken en tactische voertuigen. Uiteindelijk zal dit alles de onderliggende “architectuur” van de JADC2 vormen, die elk militair sensorsysteem met elke gevechtseenheid en wapensysteem verbindt – waardoor de generaals weinig anders te doen hebben dan toekijken.

Waarom robotgeneraals het verkeerd zouden kunnen krijgen

Gezien de complexiteit van moderne oorlogsvoering en de uitdaging van tijdcompressie in toekomstige gevechten, is de drang van Amerikaanse strategen om menselijke commandanten te vervangen door robotica zeker begrijpelijk. Robotgeneraals en admiraals zouden theoretisch in staat kunnen zijn om in korte tijd duizelingwekkende hoeveelheden informatie te verwerken, terwijl ze zowel de eigen als de vijandelijke troepen in de gaten houden en optimale manieren bedenken om vijandelijke bewegingen op een toekomstig slagveld tegen te gaan. Maar er zijn veel goede redenen om te twijfelen aan de betrouwbaarheid van robotbeslissers en de wijsheid om ze te gebruiken in plaats van menselijke officieren.

Om te beginnen staan ​​veel van deze technologieën nog in de kinderschoenen en zijn ze bijna allemaal vatbaar voor  storingen  die niet gemakkelijk kunnen worden voorzien of begrepen. En vergeet niet dat zelfs geavanceerde algoritmen door bekwame professionals voor de gek gehouden of “vervalst” kunnen worden.

Bovendien zullen AI-gebaseerde besluitvormingssystemen, in tegenstelling tot mensen, niet in staat zijn om de intentie of context te beoordelen. Geeft een plotselinge inzet van vijandelijke troepen bijvoorbeeld een aanstaande aanval, een bluf of gewoon een normale rotatie van troepen aan? Menselijke analisten kunnen hun begrip van het huidige politieke moment en de betrokken actoren gebruiken om hun beoordeling van de situatie te begeleiden. Machines missen dat vermogen en kunnen het ergste aannemen, waarbij ze militaire actie initiëren die vermeden had kunnen worden.

Een dergelijk probleem zal alleen worden verergerd door de “training” die dergelijke besluitvormingsalgoritmen zullen ondergaan, aangezien ze zijn aangepast aan militaire situaties. Net zoals is gebleken dat gezichtsherkenningssoftware  besmet is  door een te grote afhankelijkheid van afbeeldingen van blanke mannen in het trainingsproces – waardoor ze minder bedreven zijn in het herkennen van bijvoorbeeld Afro-Amerikaanse vrouwen – zullen militaire besluitvormingsalgoritmen waarschijnlijk worden  verstoord  door een te grote afhankelijkheid van de gevechtsscenario’s die door Amerikaanse militaire professionals zijn geselecteerd voor trainingsdoeleinden. ‘ Worst-case-denken”Is een natuurlijke neiging van dergelijke officieren – wie wil er immers onvoorbereid worden betrapt op een mogelijke vijandelijke verrassingsaanval? – en dergelijke vooroordelen zullen ongetwijfeld deel gaan uitmaken van de “menu’s met levensvatbare acties” van besluitvormingsrobots.

Eenmaal geïntegreerd in besluitvormingsalgoritmen, kunnen dergelijke vooroordelen op hun beurt buitengewoon gevaarlijk blijken te zijn bij toekomstige ontmoetingen tussen Amerikaanse en Russische troepen in Europa of Amerikaanse en Chinese troepen in Azië. Een dergelijke botsing kan immers op elk moment ontstaan, dankzij een of ander misverstand of een plaatselijk incident dat snel aan kracht wint – bijvoorbeeld een plotselinge botsing tussen Amerikaanse en Chinese oorlogsschepen voor de kust van Taiwan, of tussen Amerikaanse en Russische patrouilles in een van de de Baltische staten. Geen van beide partijen is misschien van plan geweest om een ​​grootschalig conflict aan te wakkeren en leiders aan beide kanten zouden normaal gesproken kunnen onderhandelen over een staakt-het-vuren. Maar vergeet niet dat dit niet langer alleen maar menselijke conflicten zullen zijn. Na zo’n incident

Dergelijke vooruitzichten worden echt beangstigend als het gaat om het begin van een nucleaire oorlog. Het is moeilijk voor te stellen dat een conflict tussen de grootmachten begint als een nucleaire oorlog, maar het is veel gemakkelijker om een ​​scenario voor te stellen waarin de grootmachten – nadat ze verwikkeld zijn geraakt in een conventioneel conflict – een punt bereiken waarop de ene of de andere partij denkt het gebruik van atoomwapens om een ​​nederlaag te voorkomen. De Amerikaanse militaire doctrine heeft in feite  altijd  de mogelijkheid voorgehouden om zogenaamde tactische kernwapens te gebruiken als reactie op een massale Sovjet (nu Russische) aanval in Europa. De Russische militaire doctrine wordt algemeen  aangenomen, bevat vergelijkbare opties. Onder dergelijke omstandigheden zou een toekomstige JADC2 vijandelijke bewegingen verkeerd kunnen interpreteren als signaalvoorbereiding voor een nucleaire lancering en een preventieve aanval van Amerikaanse nucleaire troepen kunnen bevelen, waardoor de Derde Wereldoorlog ontstond.

Oorlog is een akelige, meedogenloze activiteit en gezien de bijna twee decennia van mislukte conflicten die onder het label ‘de oorlog tegen terreur’ zijn gevallen en duizenden Amerikaanse slachtoffers hebben gemaakt (zowel fysiek als mentaal), is het gemakkelijk te begrijpen waarom robotliefhebbers dat zijn. zo gretig om te zien dat een ander soort mentaliteit de Amerikaanse oorlogvoering overneemt. Om te beginnen beweren ze, vooral in een  pandemische wereld , dat het alleen maar humaan is om menselijke soldaten op het slagveld te vervangen door robots en zo het aantal menselijke slachtoffers te verminderen (althans onder strijders). Deze bewering gaat natuurlijk niet in op het  argument dat robotsoldaten en dronevliegtuigen niet het vermogen hebben om onderscheid te maken tussen strijders en niet-strijders op het slagveld en dus niet kunnen worden vertrouwd om te voldoen aan de oorlogswetten of het internationaal humanitair recht – die, althans theoretisch, burgers beschermen tegen onnodige schade – en dus moet worden verboden.

Hoe belachelijk dat ook mag zijn op toekomstige slagvelden, generaals en admiraals vervangen door robots is een heel andere zaak. Niet alleen komen er juridische en morele argumenten met wraak naar voren, aangezien het voortbestaan ​​van de grote burgerbevolking in gevaar kan worden gebracht door computergestuurde gevechtsbeslissingen, maar er is geen garantie dat Amerikaanse GI’s minder slachtoffers zouden maken in de gevechten die volgden. Misschien is het dan tijd dat het Congres een aantal lastige vragen stelt over de wenselijkheid van het automatiseren van gevechtsbeslissingen voordat dit land miljarden extra belastinggeld in een onderneming stort die in feite zou kunnen leiden tot het einde van de wereld, zoals we weten. het. Misschien is het ook tijd voor de leiders van China, Rusland,

tomdispatch.com