“Het gebruik van dergelijke AI-systemen moet worden geclassificeerd als een oorlogsmisdaad”

Het Israëlische leger zou een AI-aangedreven systeem hebben gebruikt om doelen in Gaza te markeren. De foutenpercentages van dergelijke technologieën zijn hoog, waarschuwt de vereniging “Forum of Computer Scientists for Peace” en roept op om ze te verbieden. Een interview met Rainer Rehak, die mede-auteur was van de krant.

AI In het “Forum of Computer Scientists for Peace and Social Responsibility” (FIfF eV) zetten computerwetenschappers zich al meer dan 40 jaar in voor ontwapening in militaire toepassingen. Recentelijk heeft de FIfF eV, samen met “AK tegen gewapende drones” en het “Militariseringsinformatiecentrum” in een standpuntnota opgeroepen dat het “Lavendel”-systeem van de Israëlische strijdkrachten en andere op AI gebaseerde wapensystemen moet worden geclassificeerd als oorlogsmisdaden.

Indignatie.nl: Waarom besloot u het position paper te schrijven?

Rainer Rehak: In de discussie over de huidige oorlogen komen veel politieke, militaire, sociale, economische en mensenrechtenkwesties aan bod. Vooral in het geval van de huidige aanvallen vanuit Israël waarbij gebruik wordt gemaakt van op AI gebaseerde wapensystemen zijn er echter maar weinig stemmen die zowel de technologie als de sociale inbedding op competente wijze begrijpen.

Omdat we al langere tijd in werkgroepen werken aan bewapende drones, automatische, geautomatiseerde en autonome wapensystemen, beseften we dat we hier commentaar op moesten geven. Ons clublid Christian Heck is zeer nauw betrokken bij het onderwerp. Hij begon de boel en haalde ons toen allemaal binnen.

“We hebben een heel duidelijke politieke eis”

Indignatie.nl: Wie wil je bereiken met het position paper?

Rainer Rehak: Enerzijds de doelgroep van het geïnteresseerde publiek. We willen de lezers een meer gedifferentieerde kijk op de discussie geven. Als mensen praten over ‘gericht doden’ of AI, klinkt dat vaak positief. Net als de oudere termen ‘slimme bommen’ of ‘precisiewapens’ . Ze klinken klinisch schoon en mooi. Daarom wilden we classificeren wat er technisch achter zit. Ook proberen we de ontwikkelingen te begrijpen in relatie tot de historische context.

Aan de andere kant richten wij ons expliciet op de politiek. We hebben een heel duidelijke politieke eis: het gebruik van dergelijke AI-systemen moet worden geclassificeerd als een oorlogsmisdaad.

Indignatie.nl: Heeft u nog verdere eisen, expliciet aan de federale overheid?

Rainer Rehak: Het gebruik van autonome en bewapende drones zou in het algemeen politiek verboden moeten worden. Ons doel is ervoor te zorgen dat ze onder het internationaal recht op dezelfde manier worden behandeld als ABC-wapens. We realiseren ons dat bewapende drones al heel lang bestaan. Maar dat maakt het niet juister. Bij autonome drones merkten we dat dit een bijzonder lastig proces is. Er ontstaan ​​problemen bij het definiëren van wat autonome drones zijn en wat hen onderscheidt van normale drones.

Indignatie.nl: Om een ​​doelwit aan te vallen met een conventionele bewapende drone heb je nog steeds mensen nodig. Zij zijn bij het proces betrokken, zij het op grote fysieke afstand. Bij autonome systemen ligt dat anders. Waarom moeten mensen de beslissingen nemen?

Rainer Rehak: Zodra er actie wordt ondernomen, moet iemand verantwoordelijk zijn. Dit geldt zowel als er iets misgaat als als het goed gaat. Als mensen met wapens worden gedood, moeten mensen zich verantwoorden voor het feit dat zij het hebben gedaan of besloten het te doen.

“Een proces van verspreiding van verantwoordelijkheid en tegelijkertijd toenemende technologie en complexiteit”

Indignatie.nl: Is dat het geval met systemen als “Lavender”?

Rainer Rehak: Bij deze geautomatiseerde systemen waar we nu mee te maken hebben, bijvoorbeeld met “Lavender”, vindt een automatische doelselectie plaats. Toch is er iemand verantwoordelijk. Zij zijn degenen die zeiden: we gebruiken dit systeem, we kennen alle functies, we doen het niet langer uitsluitend bij de individuele soldaten die het op het slagveld gebruiken. Degenen hoger in de hiërarchie die strategieën ontwikkelen of politieke doelen stellen, dragen ook verantwoordelijkheid. Het wordt steeds makkelijker om op veel plekken verantwoordelijkheid te leggen. Helaas wordt dit effect ook strategisch uitgebuit. We hebben het over een proces van verspreiding van verantwoordelijkheid, terwijl tegelijkertijd de technologie en de complexiteit toenemen.

Er is een tweede aspect dat ik persoonlijk erg relevant vind: deze geautomatiseerde systemen zijn geen “precisiewapens”. Dat blijkt ook uit het onderzoeksonderzoek van journalist Yuval Abraham . Uit willekeurige steekproeven bleek dat ‘Lavender’ in tien procent van de gevallen geen legitiem doelwit was. Zelfs voor doelen die zogenaamde ‘legitieme doelen’ waren, stond het Israëlische leger toe dat voor elke vermoedelijke Hamas-strijder vijf tot twintig burgers werden gedood.

Deze automatisering zorgt er niet voor dat de wapens preciezer worden, maar wel dat ze sneller en breder ingezet kunnen worden. Bovendien zorgt mechanisatie ervoor dat er sprake is van schaalvergroting met verwoestende gevolgen.

“We zullen een paar parameters aanpassen en de focus simpelweg minder nauwkeurig maken.”

Indignatie.nl: Kunt u het schaaleffect gedetailleerder uitleggen?

Rainer Rehak: Voorheen gebruikten het Israëlische leiderschap en daarna de Israëlische strijdkrachten door mensen bediende systemen voor het genereren van doelwitten. Voor zover ik weet konden ze hierdoor ‘slechts’ doelstellingen van één cijfer per dag genereren. Deze werden vervolgens aangevallen, hetzij vanaf de grond, hetzij gebombardeerd. Meer recentelijk is de IDF begonnen met het gebruik van op informatie gebaseerde systemen om doelen te genereren. Nu konden ze elke dag duizenden van dergelijke doelen berekenen en deze vervolgens aanvallen.

Bij ‘Lavender’ was het soms zo dat ze alle huidige doelen hadden aangevallen die het systeem had uitgespuugd, maar, om het maar eens bot te zeggen, nog bommen over hadden voor die dag. Daarom zouden ze hebben besloten de toch al lage nauwkeurigheidseisen nog verder te verlagen. Dus je hebt een paar parameters aangepast en de focus minder nauwkeurig gemaakt, waarna het systeem meer doelen produceert. Deze mogelijkheden zijn een voorbeeld van schaaleffecten.

Als mens zou je naar de kaart kunnen kijken en naar willekeurige huizen kunnen wijzen. Dat zou duidelijk willekeurig zijn en een verschrikkelijke oorlogspraktijk. Maar als een machine dat doet, krijgt hij een soort ‘gericht goudstof’. Maar dat is niet waar en degenen die het gebruiken weten het goed. Toch gebruiken ze het zo.

Indignatie.nl: Het leger beweert dat dit gerichte moordpartijen waren. Aan de andere kant ken ik geen cijfers of bewijzen dat dit daadwerkelijk mensenlevens heeft gered. Is het u tijdens het debat ooit opgevallen dat een ‘gerichte moord’ met feiten bewezen kon worden?

Rainer Rehak: Eén moeilijkheid is het verkrijgen van onafhankelijke informatie. Drone-aanvallen en bombardementen worden meestal gebruikt door de technologisch sterkere partij in een oorlog. We hebben dit gezien bij de ‘War on Terror’ onder Obama , bij de drone-aanvallen in Afghanistan en in Waziristan, een regio in Pakistan . Alleen klokkenluiders als Daniel Hale of journalisten als Julian Assange konden onthullen dat publieke informatie van het leger onjuist was. Tot op zekere hoogte vertrouwt men op toeval als het gaat om inzicht in hoe goed of slecht dit soort wapens werken. Dit maakt de evaluatie uiterst lastig.

Maar voor zover we tot nu toe weten, zijn deze wapens ongelooflijk onnauwkeurig. We zien enorme foutenpercentages en ook zogenaamde nevenschade, dat wil zeggen doden van mensen die helemaal geen doelwit waren. Deze wapens zijn onnauwkeurig en hebben verwoestende gevolgen. Dit wordt weerspiegeld in de overeenkomstige sterftecijfers die we zien bij dit soort oorlogvoering door Israël. De meerderheid van de 37.000 slachtoffers waren vrouwen en kinderen.

Dit komt ook door een geautomatiseerd Lavender-subsysteem dat zou moeten bepalen wanneer de doelpersonen met hun gezinnen thuiskwamen, zodat hun huizen en dus hun gezinnen konden worden gebombardeerd. Dit doelsysteem heeft overigens de interne naam: “Waar is papa?”. Dat brengt ons ertoe te zeggen: dit soort wapens zijn oorlogsmisdaden.

Indignatie.nl: Staten gebruiken dergelijke systemen al heel lang. Wat is er nieuw aan systemen als ‘Lavender’?

Rainer Rehak: De AI-systemen die nu worden gebruikt zijn een afstammeling van de zogenaamde ‘signature strikes’ . Dit omvatte het doden van vermoedelijke militanten op basis van metagegevens van de communicatie. Simpel gezegd is dit informatie over wie met wie communiceert, waar. Dergelijke gegevens speelden een belangrijke rol in de gevechtsoperaties van het Amerikaanse leger in Afghanistan.

De aanpak is tot op de dag van vandaag in wezen niet veranderd: mensen tolereren simpelweg onnauwkeurigheden, en misschien heeft AI het zelfs nog erger gemaakt.

“Als er iets aan het licht komt, worden degenen die de systemen gebruiken niet gestraft”

Indignatie.nl: Geautomatiseerde systemen markeren de doelen op basis van de bestaande gegevens. Machine learning zal bijvoorbeeld ook in ‘Lavender’ worden gebruikt. Is er inzicht in welk type en hoeveelheid data wordt gebruikt?

Rainer Rehak: Voor zover wij weten worden er veel communicatiegegevens, bewegingsgegevens, satellietgegevens, maar ook kaartgegevens en betalingsgegevens gebruikt die kunnen worden verkregen. Data-analysebedrijven zoals Palantir Technologies Inc. helpen daarbij. De VS zijn na de terroristische aanslag op 11 september begonnen met deze op informatie gebaseerde doelwitanalyse.

Gaza is in dit opzicht bijzonder omdat het hele gebied rechtstreeks door Israël wordt gecontroleerd. Dit betekent ook informatie over wie of welke goederen wanneer in- en uitgaan.

De term ‘glazen slagveld’ die de Bundeswehr gebruikt, maakt ook duidelijk hoe alle kennis en alle gegevens moeten worden gebruikt om vervolgens de analysesystemen daarop toe te passen en te zeggen: laten we nu eens berekenen wie de terroristen zijn.

Indignatie.nl: Denkt u dat er bij de Verenigde Naties nog iets te bereiken is in de discussies over autonome wapensystemen?

Rainer Rehak: Er is momenteel veel weerstand, vooral van de staten die aan de wapens werken of van plan zijn ze te gebruiken. Toen China ooit zei voorstander te zijn van het verbieden van autonome wapensystemen en een definitie gaf, zou daar geen enkel wapensysteem onder vallen waar we het nu over hebben. Dit helpt uiteraard niet bij de praktische uitvoering van een verbod. Mijn indruk is dus dat dit langer gaat duren. Misschien meer dan tien jaar, misschien duurt het twintig of dertig jaar. Maar dat was ook het geval met ABC-wapens. In het begin werd gezegd dat we dit nooit zouden kunnen doen. Daarom is het naar mijn mening nog steeds belangrijk dat Duitsland en de EU samenwerken met andere partnerstaten om het als oorlogsmisdaad te verbieden.

Indignatie.nl: Wat moet er gebeuren voordat het gebruik van op AI gebaseerde wapensystemen wordt opgenomen in de lijst van schendingen van het internationaal humanitair recht?

“Wat gebeurt er als we besluiten op deze weg door te gaan?”

Rainer Rehak: We hebben een veel bredere discussie nodig over de specifieke systemen. We moeten beginnen met het verzamelen van de feiten, zoals we proberen te doen met ons artikel. Alleen dan kunnen lezers überhaupt beseffen dat het kritiek waard is en dat we nog niet genoeg weten. Serieuze journalistiek die met technische expertise over dit onderwerp bericht, is tegenwoordig nog steeds zeldzaam. We moeten ook een maatschappelijk debat voeren over de manier waarop oorlogvoering zich ontwikkelt. Een vraag die we onszelf stellen: wat gebeurt er als wij als wereld besluiten op deze weg door te gaan?

Indignatie.nl: Is er nog iets dat je de lezers zou willen vertellen?

Rainer Rehak: We moeten niet vergeten dat deze AI-systemen altijd onnauwkeurig zijn. Als er een fout optreedt en mij de verkeerde film of een nummer wordt aanbevolen dat ik niet leuk vind, dan is dat niet zo problematisch. Maar het gebruik van AI-systemen voor echt kritieke infrastructuur of wapensystemen is krankzinnig.

Zoals de kritische computerwetenschapper Joseph Weizenbaum altijd zei: Je moet de verleiding weerstaan. We moeten innerlijke kracht opbouwen en onszelf de vraag stellen: waar gaat het eigenlijk over? Willen we miljarden investeren in deze technologie of liever in vredesinspanningen op lange termijn en in sociale infrastructuur?

We moeten ons niet laten charmeren door de beloften van op AI gebaseerde systemen , vooral niet door degenen die deze graag willen verkopen of gebruiken.