Indignatie redactie 
Wanneer de leidende voorstanders van autonome wapens killerrobots ons vertellen dat we ons zorgen moeten maken over de onbedoelde gevaren die het gebruik ervan in de strijd met zich meebrengt, zou de rest van ons zich zorgen moeten maken.
Ja, het is al tijd om je zorgen te maken – heel erg bezorgd. Zoals de oorlogen in Oekraïne en Gaza hebben aangetoond, hebben de eerste drone-equivalenten van ‘killerrobots’ het slagveld bereikt en zijn ze verwoestende wapens gebleken .
Maar ze blijven tenminste grotendeels onder menselijke controle. Stel je eens een wereld van oorlog voor waarin die luchtdrones (of hun equivalenten op de grond en op zee) ons controleerden, in plaats van andersom. Dan zouden we ons op een destructief andere planeet bevinden op een manier die vandaag de dag bijna onvoorstelbaar lijkt.
Helaas is dit echter allesbehalve onvoorstelbaar, gezien het werk op het gebied van kunstmatige intelligentie (AI) en robotwapens waarmee de grootmachten al zijn begonnen. Laat me je nu meenemen naar die geheimzinnige wereld en proberen je voor te stellen wat de toekomst van oorlogvoering voor de rest van ons zou kunnen betekenen.
Door AI te combineren met geavanceerde robotica zijn het Amerikaanse leger en andere geavanceerde machten al hard aan het werk om een reeks zelfgeleide ‘autonome’ wapensystemen te creëren: gevechtsdrones die dodelijk geweld kunnen gebruiken, onafhankelijk van menselijke officieren die het bevel over hen moeten voeren.
Dergelijke apparaten worden door critici ‘killerrobots’ genoemd en omvatten een verscheidenheid aan onbemande of ‘onbemande’ vliegtuigen, tanks, schepen en onderzeeërs die autonoom kunnen opereren. De Amerikaanse luchtmacht ontwikkelt bijvoorbeeld haar ‘ collaboratieve gevechtsvliegtuig ’, een onbemand luchtvaartuig (UAV) dat bedoeld is om samen met bestuurde vliegtuigen deel te nemen aan missies met een hoog risico.
Het leger test op soortgelijke wijze een verscheidenheid aan autonome onbemande grondvoertuigen (UGV’s), terwijl de marine experimenteert met zowel onbemande oppervlakteschepen (USV’s) als onbemande onderzeese schepen (UUV’s of drone-onderzeeërs). China , Rusland, Australië en Israël werken ook aan dergelijke wapens voor de slagvelden van de toekomst.
De aanstaande verschijning van deze moordmachines heeft wereldwijd tot bezorgdheid en controverse geleid, waarbij sommige landen al een totaal verbod op deze machines nastreven, terwijl andere, waaronder de Verenigde Staten, van plan zijn het gebruik ervan alleen toe te staan onder omstandigheden onder menselijk toezicht.
In Genève heeft een groep staten zelfs geprobeerd de inzet en het gebruik van volledig autonome wapens te verbieden, daarbij verwijzend naar een VN-verdrag uit 1980, het Verdrag inzake bepaalde conventionele wapens , dat tot doel heeft niet-nucleaire munitie te beteugelen of te verbieden waarvan wordt aangenomen dat deze bijzonder schadelijk is voor burgers.
Ondertussen hield de Algemene Vergadering van de VN afgelopen oktober in New York haar eerste discussie over autonome wapens en plant ze komend najaar een volledige herziening van het onderwerp.
De discussie over het gebruik van dergelijke apparaten op het slagveld hangt voor het grootste deel af van de vraag of ze de bevoegdheid zullen krijgen om mensenlevens te nemen zonder menselijk toezicht.
Veel religieuze organisaties en maatschappelijke organisaties beweren dat dergelijke systemen niet in staat zullen zijn onderscheid te maken tussen strijders en burgers op het slagveld en daarom verboden moeten worden om niet-strijders te beschermen tegen dood of letsel, zoals vereist door het internationaal humanitair recht. Amerikaanse functionarissen beweren daarentegen dat dergelijk wapentuig zo kan worden ontworpen dat het binnen de wettelijke beperkingen prima functioneert.
Geen van beide partijen in dit debat heeft echter aandacht besteed aan het meest potentieel zenuwslopende aspect van het gebruik ervan in de strijd: de waarschijnlijkheid dat ze vroeg of laat met elkaar zullen kunnen communiceren zonder menselijke tussenkomst en dat ze, omdat ze ‘intelligent’ zijn, in staat zijn om hun eigen, niet-gescripte tactieken te bedenken voor het verslaan van een vijand – of iets heel anders.
Dergelijk computergestuurd groepsdenken, door computerwetenschappers bestempeld als ‘opkomend gedrag’, brengt een hele reeks gevaren met zich mee waar functionarissen in Genève, Washington of bij de VN nog geen rekening mee houden.
Voorlopig zullen de meeste autonome wapens die door het Amerikaanse leger worden ontwikkeld, onbemande (of, zoals ze soms zeggen, ‘onbewoonde’) versies zijn van bestaande gevechtsplatforms en ontworpen zijn om samen met hun bemande tegenhangers te opereren.
Hoewel ze misschien ook enige capaciteit hebben om met elkaar te communiceren, zullen ze deel uitmaken van een ‘genetwerkt’ gevechtsteam wiens missie zal worden gedicteerd en gecontroleerd door menselijke commandanten. Van het Collaborative Combat Aircraft wordt bijvoorbeeld verwacht dat het zal dienen als een ‘loyale wingman’ voor de bemande F-35 stealth-jager, terwijl het risicovolle missies uitvoert in het betwiste luchtruim. Het leger en de marine hebben grotendeels een soortgelijk traject gevolgd in hun benadering van de ontwikkeling van autonome wapens.
De aantrekkingskracht van robotzwermen
Sommige Amerikaanse strategen hebben echter een alternatieve benadering bepleit voor het gebruik van autonome wapens op toekomstige slagvelden, waarbij ze niet zouden dienen als junior collega’s in door mensen geleide teams, maar als gelijkwaardige leden van zelfgestuurde robotzwermen.
Dergelijke formaties zouden bestaan uit tientallen of zelfs honderden door AI ondersteunde UAV’s, USV’s of UGV’s – die allemaal met elkaar kunnen communiceren, gegevens kunnen delen over veranderende omstandigheden op het slagveld en collectief hun gevechtstactieken kunnen veranderen als de groepsgeest dit nodig acht.
“Opkomende robottechnologieën zullen het de strijdkrachten van morgen mogelijk maken om als een zwerm te vechten, met een grotere massa, coördinatie, intelligentie en snelheid dan de huidige genetwerkte strijdkrachten”, voorspelde Paul Scharre, een van de eerste enthousiastelingen van het concept, in een rapport uit 2014 voor het Center for a New Amerikaanse Veiligheid (CNAS). ‘Genetwerkte, coöperatieve autonome systemen’, schreef hij toen, ‘zullen in staat zijn tot echte zwermen – coöperatief gedrag tussen gedistribueerde elementen dat aanleiding geeft tot een samenhangend, intelligent geheel.’
Zoals Scharre in zijn profetische rapport duidelijk maakte, zou elke volledige realisatie van het zwermconcept de ontwikkeling vereisen van geavanceerde algoritmen die autonome gevechtssystemen in staat zouden stellen met elkaar te communiceren en te ‘stemmen’ over de gewenste aanvalsmethoden.
Dit zou, zo merkte hij op, het creëren van software inhouden die mieren, bijen, wolven en andere wezens kan nabootsen die in de natuur ‘zwermgedrag’ vertonen. Zoals Scharre het verwoordde: ‘Net zoals wolven in een roedel hun vijand presenteren met een steeds veranderende waas van bedreigingen vanuit alle richtingen, zouden onbewoonde voertuigen die manoeuvres en aanvallen kunnen coördineren aanzienlijk effectiever kunnen zijn dan ongecoördineerde systemen die massaal opereren .’
In 2014 stond de technologie die nodig was om dergelijk machinegedrag mogelijk te maken echter nog in de kinderschoenen. Om deze kritieke tekortkoming aan te pakken, ging het ministerie van Defensie verder met het financieren van onderzoek op het gebied van AI en robotica, ook al verwierf het dergelijke technologie van particuliere bedrijven als Google en Microsoft.
Een sleutelfiguur in die drive was Robert Work , een voormalige collega van Paul Scharre bij CNAS en een vroege enthousiast over zwermoorlogvoering. Van 2014 tot 2017 was hij plaatsvervangend minister van Defensie, een functie die hem in staat stelde steeds grotere sommen geld te besteden aan de ontwikkeling van hightech wapens, vooral onbemande en autonome systemen.
Van Mozaïek tot Replicator
Een groot deel van deze inspanningen werd gedelegeerd aan het Defense Advanced Research Projects Agency (DARPA), de interne hightech onderzoeksorganisatie van het Pentagon. Als onderdeel van een streven om AI te ontwikkelen voor dergelijke collaboratieve zwermoperaties, startte DARPA zijn ‘Mosaic’-programma, een reeks projecten bedoeld om de algoritmen en andere technologieën te perfectioneren die nodig zijn om de activiteiten van bemande en onbemande gevechtssystemen te coördineren in toekomstige gevechtssystemen met hoge intensiteit. strijd met Rusland en/of China.
“Door de grote flexibiliteit van het mozaïekconcept toe te passen op oorlogsvoering,” legt Dan Patt, adjunct-directeur van DARPA’s Strategic Technology Office uit, “kunnen goedkopere, minder complexe systemen op een groot aantal manieren met elkaar worden verbonden om gewenste, met elkaar verweven effecten te creëren die op maat zijn gemaakt. voor elk scenario. De afzonderlijke delen van een mozaïek zijn toewijsbaar [misbruikbaar], maar samen zijn ze van onschatbare waarde vanwege de manier waarop ze bijdragen aan het geheel.”
Dit concept van oorlogvoering ligt blijkbaar ten grondslag aan de nieuwe ‘Replicator’-strategie die afgelopen zomer door vice-minister van Defensie Kathleen Hicks werd aangekondigd.
“Replicator is bedoeld om ons te helpen het grootste voordeel van [China] te overwinnen, namelijk massa. Meer schepen. Nog meer raketten. Meer mensen”, zei ze afgelopen augustus tegen functionarissen in de wapenindustrie.
Door duizenden autonome UAV’s, USV’s, UUV’s en UGV’s in te zetten, zo suggereerde ze, zou het Amerikaanse leger het Chinese leger, het People’s Liberation Army (PLA), te slim af kunnen zijn, te slim af zijn en te overmeesteren. “Om voorop te blijven gaan we een nieuwe state-of-the-art creëren… We zullen de massa van de PLA tegengaan met onze eigen massa, maar die van ons zal moeilijker te plannen zijn, moeilijker te raken, moeilijker te verslaan.”
Om zowel de hardware als de software te verkrijgen die nodig is om een dergelijk ambitieus programma te implementeren, zoekt het ministerie van Defensie nu naar voorstellen van traditionele defensieaannemers zoals Boeing en Raytheon, maar ook van AI-startups zoals Anduril en Shield AI .
Hoewel grootschalige apparaten zoals het Collaborative Combat Aircraft van de luchtmacht en de Orca Extra-Large UUV van de marine bij deze actie kunnen worden betrokken, ligt de nadruk op de snelle productie van kleinere, minder complexe systemen zoals de Switchblade-aanvalsdrone van AeroVironment , die nu door Oekraïners wordt gebruikt. troepen om Russische tanks en gepantserde voertuigen achter de vijandelijke linies uit te schakelen.
Tegelijkertijd doet het Pentagon nu al een beroep op tech-startups om de noodzakelijke software te ontwikkelen om de communicatie en coördinatie tussen dergelijke uiteenlopende roboteenheden en de bijbehorende bemande platforms te vergemakkelijken.
Om dit mogelijk te maken, vroeg de luchtmacht het Congres om 50 miljoen dollar in de begroting voor het fiscale jaar 2024, ter ondersteuning van wat het onheilspellend genoeg Project VENOM noemt , of ‘Viper Experimentation and Next-generation Operations Model’. Onder VENOM zal de luchtmacht bestaande gevechtsvliegtuigen ombouwen tot AI-bestuurde UAV’s en deze gebruiken om geavanceerde autonome software te testen in multi-drone-operaties. Het leger en de marine testen soortgelijke systemen.
Wanneer zwermen hun eigen pad kiezen
Met andere woorden: het is slechts een kwestie van tijd voordat het Amerikaanse leger (en vermoedelijk dat van China, Rusland en misschien dat van een paar andere machten) in staat zal zijn om zwermen autonome wapensystemen in te zetten die zijn uitgerust met algoritmen waarmee ze met elkaar kunnen communiceren. andere en samen nieuwe, onvoorspelbare gevechtsmanoeuvres kiezen terwijl ze in beweging zijn.
Elk deelnemend robotlid van dergelijke zwermen zou een missiedoel krijgen (“het opzoeken en vernietigen van alle vijandelijke radars en luchtafweerraketbatterijen die zich binnen deze [gespecificeerde] geografische coördinaten bevinden”), maar geen precieze instructies krijgen over hoe dat te doen.
Dat zou hen in staat stellen in overleg hun eigen gevechtstactieken te kiezen. Als we uitgaan van de beperkte testgegevens die we hebben, zou dit kunnen betekenen dat we zeer onconventionele tactieken moeten gebruiken die nooit zijn bedacht voor (en onmogelijk te repliceren zijn door) menselijke piloten en commandanten.
De neiging van dergelijke onderling verbonden AI-systemen om tot nieuwe, ongeplande resultaten te komen, is wat computerexperts ‘opkomend gedrag’ noemen. Zoals ScienceDirect, een samenvatting van wetenschappelijke tijdschriften, het uitlegt : “Een opkomend gedrag kan worden omschreven als een proces waarbij grotere patronen ontstaan door interacties tussen kleinere of eenvoudiger entiteiten die zelf dergelijke eigenschappen niet vertonen.”
In militaire termen betekent dit dat een zwerm autonome wapens er gezamenlijk voor zou kunnen kiezen om gevechtstactieken toe te passen waarvoor geen van de individuele apparaten geprogrammeerd was – mogelijk verbazingwekkende resultaten op het slagveld te bereiken, maar ook mogelijk betrokken te raken bij escalerende handelingen die onbedoeld en onvoorzien waren door hun menselijke krachten. commandanten, inclusief de vernietiging van kritieke civiele infrastructuur of communicatiefaciliteiten die worden gebruikt voor zowel nucleaire als conventionele operaties.
Op dit punt is het natuurlijk bijna onmogelijk om te voorspellen wat een buitenaardse groepsgeest zou kunnen doen als hij bewapend is met meerdere wapens en afgesneden is van menselijk toezicht.
Vermoedelijk zouden dergelijke systemen zijn uitgerust met faalveilige mechanismen die vereisen dat ze terugkeren naar de basis als de communicatie met hun menselijke supervisors verloren gaat, hetzij als gevolg van vijandelijke storing of om een andere reden. Wie weet echter hoe dergelijke denkmachines zouden functioneren onder veeleisende reële omstandigheden, of dat de groepsgeest in feite in staat zou blijken dergelijke richtlijnen terzijde te schuiven en op eigen kracht verder te gaan.
Wat dan? Zouden ze ervoor kunnen kiezen om buiten hun voorgeprogrammeerde grenzen te blijven vechten, waardoor een onbedoelde escalatie zou ontstaan – mogelijk zelfs van nucleaire aard? Of zouden ze ervoor kiezen om hun aanvallen op vijandelijke troepen te stoppen en in plaats daarvan de operaties van bevriende troepen te verstoren, misschien door ze te beschieten en te vernietigen (zoals Skynet doet in de klassieke sciencefiction Terminator- filmserie )? Of zouden ze gedrag kunnen vertonen dat, ten goede of oneindig veel slechter, onze verbeelding volledig te boven gaat?
Topfunctionarissen van het Amerikaanse leger en diplomatieke functionarissen benadrukken dat AI inderdaad kan worden gebruikt zonder dat dit soort toekomstige risico’s met zich meebrengt, en dat dit land alleen apparaten zal gebruiken die grondig adequate waarborgen bieden tegen eventueel toekomstig gevaarlijk wangedrag. Dat is in feite het essentiële punt dat naar voren wordt gebracht in de ‘Politieke Verklaring over Verantwoord Militair Gebruik van Kunstmatige Intelligentie en Autonomie’, uitgegeven door het ministerie van Buitenlandse Zaken in februari 2023.
Veel prominente veiligheids- en technologiefunctionarissen zijn zich echter maar al te goed bewust van de potentiële risico’s van opkomend gedrag in toekomstige robotwapens en blijven waarschuwen tegen het snelle gebruik van AI in oorlogsvoering.
Van bijzonder belang is het eindrapport dat de National Security Commission on Artificial Intelligence in februari 2021 heeft uitgebracht. Onder medevoorzitterschap van Robert Work (terug bij CNAS na zijn periode bij het Pentagon) en Eric Schmidt , voormalig CEO van Google, adviseerde de commissie het snelle gebruik van van AI door het Amerikaanse leger om de overwinning in elk toekomstig conflict met China en/of Rusland te verzekeren. Het uitte echter ook zijn bezorgdheid over de potentiële gevaren van met robots verzadigde slagvelden.
“Het ongecontroleerde mondiale gebruik van dergelijke systemen brengt mogelijk het risico met zich mee van onbedoelde conflictescalatie en crisisinstabiliteit”, aldus het rapport .
Dit kan om een aantal redenen gebeuren, onder meer “vanwege uitdagende en ongeteste complexiteit van de interactie tussen AI-compatibele en autonome wapensystemen [dat wil zeggen, opkomend gedrag] op het slagveld.” Gezien dat gevaar, zo concludeerde het rapport, “moeten landen maatregelen nemen die zich richten op het verminderen van de risico’s die gepaard gaan met AI-ondersteunde en autonome wapensystemen.”
Als de leidende voorstanders van autonome wapens ons vertellen dat we ons zorgen moeten maken over de onbedoelde gevaren die het gebruik ervan in de strijd met zich meebrengt, zou de rest van ons zich inderdaad zorgen moeten maken. Zelfs als we niet over de wiskundige vaardigheden beschikken om opkomend gedrag in AI te begrijpen, zou het duidelijk moeten zijn dat de mensheid een aanzienlijk risico voor haar voortbestaan zou kunnen lopen als moordmachines het vermogen zouden verwerven om zelfstandig te denken.
Misschien zouden ze iedereen verrassen en besluiten de rol van internationale vredeshandhavers op zich te nemen, maar gezien het feit dat ze ontworpen zijn om te vechten en te doden, is het veel waarschijnlijker dat ze er simpelweg voor kiezen om die instructies op een onafhankelijke en extreme manier uit te voeren.
Als dat zo is, zou er niemand in de buurt kunnen zijn die een RIP op de grafsteen van de mensheid kan zetten.
