Robin Vanderborght*

 

Libië, mei 2020. De troepen van de rebellerende generaal Khalifa Haftar druipen af nadat de Libische Regering van Nationaal Akkoord een uitbraakpoging pleegt vanuit de hoofdstad Tripoli. Haftars manschappen worden vervoegd door een ensemble van militaire transportmiddelen en proberen zich terug te trekken uit het gebied, nadat de Libische luchtmacht eerdere aanvalspogingen heeft afgeslagen. Tijdens de terugtrekking wordt het konvooi vanuit de lucht onder vuur genomen door onbemande Kargu-2 drones van Turkse makelij. Er vallen gewonden en er is behoorlijk wat materiële schade, en er is een vermoeden dat er ook dodelijk slachtoffers zijn gevallen. Het voorval is op zich niet zo verwonderlijk, want gewapende drones worden al tientallen jaren ingezet in allerlei maten en gewichten. Toch beroert het incident de internationale gemeenschap.

Die wereldwijde verwondering is het gevolg van een recent gepubliceerd VN-rapport over de situatie in Libië. Het VN-panel van deskundigen voor Libië onderzocht het voorval en kwam tot een opvallende conclusie. Volgens de experts werden de manschappen van generaal Haftar ‘opgejaagd en van afstand aangevallen’ door een zogenaamd ‘dodelijk autonoom wapensysteem’ – in expertkringen voornamelijk bekend onder het Engelse acroniem ‘LAWS’. Het onbemande wapensysteem zou geprogrammeerd zijn om doelwitten uit te schakelen zonder enige vorm van communicatie- of datalink met een operator. In geen tijd haalde het rapport het wereldnieuws, ondanks belangrijke ontbrekende informatie omtrent het incident. Het is bijvoorbeeld onduidelijk of de drone al dan niet van afstand bestuurd werd, en of een menselijke toezichthouder überhaupt de opdracht gaf voor de aanval. De wapenfabrikant benadrukte na het uitkomen van het rapport zelfs dat er steeds een menselijke supervisor nodig is. Dat is opvallend, want in eerdere advertenties benadrukte het bedrijf dat het wapensysteem verregaande autonome functies had. Doordat sommige vragen over de precieze omstandigheden van deze saga onbeantwoord blijven, circuleren er behoorlijk wat overhaaste conclusies en misleidende informatie. Ook bij experts en beleidsmakers leven nog heel wat misconcepties over het fenomeen van autonome wapensystemen.

Het is daarom belangrijk om op tijd en stond stil te staan bij de recente technologische ontwikkelingen in het domein, en de juridische en ethische kwesties die daar logischerwijze uit ontstaan helder te kaderen. Uit het verleden weten we bovendien dat militaire innovatie serieuze gevolgen kan hebben voor de internationale verstandhoudingen. We moeten ons afvragen welke internationaal politieke consequenties de ontwikkeling van autonome wapensystemen kan teweegbrengen. Tot slot moet er ook nagedacht worden over de toekomst. Hoe zal de technologie zich verder ontwikkelen? En hoe moet de internationale samenleving daarmee omgaan?

 

Autonome wapensystemen: een betwist begrip

Laten we beginnen bij het begin: wat, in ’s hemelsnaam, zijn autonome wapensystemen precies? Helaas, en zoals wel vaker het geval bij dergelijk omstreden thema’s, is er veel discussie over de precieze afbakening van het object ‘autonome wapensystemen’. Een vaak geciteerde omschrijving is de volgende: autonome wapensystemen zijn systemen die in staat zijn om, eens geactiveerd, een doelwit te selecteren en aan te vallen, zonder enige tussenkomst van een menselijke operator. Het is de definitie die gehanteerd wordt door het Amerikaanse Ministerie van Defensie, en dient in de meeste debatten over het onderwerp vaak als vertrekpunt. Als deze omschrijving wordt gevolgd, moeten we erkennen dat autonome wapensystemen eigenlijk al bestaan – in tegenstelling tot wat tot nu toe vaak wordt beweerd. Een aantal bestaande, voornamelijk defensieve, wapensystemen is al in staat om zonder menselijke tussenkomst een doelwit, bijvoorbeeld inkomend artilleriegeschut, te identificeren en te onderscheppen, al staan die wapensystemen wel nog steeds onder toezicht van een menselijke operator.

Het is echter opvallend dat heel wat andere betrokken actoren zich op andere omschrijvingen beroepen, vaak met een subtiel gewijzigde finaliteit. Waar bovenstaande definitie focust op de controlerelatie tussen mens en machine, richt de werkdefinitie van het Internationale Comité van het Rode Kruis zich op een eerder juridische omschrijving, waarbij de term ‘autonome wapensystemen’ een containerbegrip is voor elk type wapen dat over autonomie beschikt in zijn ‘kritieke functies’, waaronder het selecteren en aanvallen van doelwitten zonder menselijke tussenkomst. De focus ligt niet op de mens-machine relatie, maar op het karakter van de taken die het systeem autonoom kan uitoefenen. Het Verenigd Koninkrijk (VK), daarentegen, hanteert een definitie die zich richt op de capaciteiten van het systeem zelf. Autonome wapensystemen, volgens het VK, zijn systemen die een diepgaand begrip hebben van hun omgeving en het doel dat hen wordt opgedragen, en de meest gepaste acties kunnen ondernemen om dat doel te bereiken.

 

Wat maakt autonome wapensystemen autonoom?

Het is dus niet eenvoudig – zeg maar onmogelijk – om een omschrijving te geven van autonome wapensystemen waarin iedereen zich kan vinden. De afwezigheid van een universeel geaccepteerde definitie zorgt voor veel frustratie in internationale debatten over het onderwerp, en het is belangrijk om te begrijpen waar die discussie vandaan komt. Daarvoor moeten we inzoomen op dé cruciale eigenschap van autonome wapensystemen. Autonome wapensystemen werken, en dat mag niemand verbazen, op basis van autonomie. Dat is helaas geen duidelijk af te bakenen kenmerk. In eenvoudige termen betekent autonomie de mogelijkheid van een machine om taken uit te voeren zonder menselijke input, door middel van interacties tussen de computerprogrammatie en haar omgeving. Een autonoom wapensysteem beschikt dus over software of hardware waardoor het, eens geactiveerd, sommige taken of functies op zichzelf kan uitoefenen.[1] Het is echter te simplistisch om zwart-wit te stellen dat een wapensysteem autonoom is of niet.

Autonomie in wapensystemen kan beter beschouwd worden als een continuüm. Aan het ene eind van dat continuüm zijn heel wat (oudere) wapensystemen met geen of weinig autonome functies, zoals een granaat (geen autonomie) of een landmijn (weinig autonomie). Sommige hedendaagse wapensystemen beschikken reeds over meer autonomie, bijvoorbeeld de IAI Harpy, een rondvliegend wapensysteem dat afgaat op vijandige radarsignalen, of luchtafweersystemen zoals de Israëlische Iron Dome of het Amerikaanse Aegis Combat System. Deze wapens worden soms omschreven als semiautonome wapensystemen, met bepaalde autonome functies, maar nog steeds ondergeschikt aan menselijke controle. Volgens de definitie van het Amerikaanse Ministerie van Defensie zijn het dus weldegelijk ‘autonome’ wapensystemen. Aan het andere, uiterste eind van het continuüm vinden we volledig autonome wapensystemen. Zij kunnen àlle taken van de militaire geweldscyclus zelfstandig uitvoeren: het opsporen, identificeren, volgen, selecteren en elimineren van het doelwit.

Tot voor kort werd ervan uitgegaan dat volledig autonome wapensystemen vandaag de dag nog niet operationeel zijn. Er is steeds een vorm van menselijke controle aanwezig, ook al lijkt die in bepaalde gevallen minimaal. De Iron Dome, de IAI Harop, en bijvoorbeeld ook de Zuid-Koreaanse Super aEgis II, een stationair machinegeweer dat doelwitten uitzoekt door middel van sensors, hebben hoogtechnologische autonome kenmerken, maar functioneren nog niet volledig zonder menselijk toezicht. Door het rapport van de Verenigde Naties over de aanval met een Kargu-2 drone in Libië moeten we onze veronderstellingen mogelijk herzien. Indien correct, zou het de eerste keer zijn dat een drone autonoom, op basis van artificiële intelligentie, de beslissing maakte om een aanval op te zetten.

 

De technologie achter autonomie

Artificiële intelligentie, of AI, ligt aan de basis van de huidige vorm van autonomie in wapensystemen. Het is in principe geen nieuwe technologie, want wetenschappelijk onderzoek naar AI loopt al sinds de jaren vijftig. Artificiële intelligentie tracht machines te doen denken en handelen zoals een mens. Het stelt een machine in staat om grote hoeveelheden data te verwerken en door middel van mathematische algoritmes een voorgeschotelde taak, of taken, uit te voeren. Een actueel (en controversieel) voorbeeld is gezichtsherkenningstechnologie: een systeem dat is uitgerust met gezichtsherkenningssoftware analyseert biometrische gegevens van de gezichten die het scant, en vergelijkt die informatie met de database waar het toegang tot heeft. Artificiële intelligentie wordt gebruikt om de biometrische data om te zetten in numerieke uitdrukkingen, en die aan de hand van algoritmes te vergelijken met de beschikbare numerieke uitdrukkingen uit de database. Zodra er een overeenstemming ontstaat tussen de twee wiskundige formules, geeft het systeem een ‘match’ aan – het gezicht is herkend. Zulke systemen zijn vandaag de dag niet meer weg te denken uit bijvoorbeeld de Gazastrook of de Chinese provincie Xinjiang, waar respectievelijk Palestijnen dan wel Oeigoeren het subject vormen van deze invasieve AI-toepassing.

AI wordt bovendien al decennia gebruikt voor de programmatie van oudere wapensystemen. Het is dus een grote misvatting om te stellen dat autonome wapensystemen een spiksplinternieuwe technologische doorbraak zijn. Toegegeven, AI-onderzoek en vooruitgang zijn in verschillende periodieke golven verlopen. Experts spreken over AI-zomers en AI-winters, waarbij de zomers perioden van grote hype en verwachtingsvol discours aanduiden, terwijl de winters staan voor perioden van relatieve onverschilligheid en matige verwachtingen. De laatste decennia kunnen we zonder meer spreken over een hittegolf-rijke zomer, waarbij het potentieel van AI regelmatig tot ongekende hoogtes werd gekatapulteerd. En, daar moeten we ook eerlijk in zijn, de kennis rond en het gebruik van AI is de laatste jaren inderdaad exponentieel gestegen, en het ziet ernaar uit dat die exponentiële curve nog een tijd zal doorgaan.

De huidige focus in AI-land ligt op machinaal leren, waarbij een algoritme zichzelf kan blijven verbeteren door steeds meer en steeds grotere datasets te verwerken en daardoor steeds accurater taken kan uitvoeren, zonder voorafgaande programmatie. In bovenstaand voorbeeld over gezichtsherkenning zal een systeem dat gebaseerd is op de principes van machinaal leren zichzelf dus steeds verbeteren, door de resultaten van de gezichtsherkenningstaak mee op te nemen in de database en het algoritme. Uit het VN-rapport en een analyse van publieke informatie van fabrikant STM blijkt dat de besluitvormingsprocessen van de Kargu-2 drone gebaseerd kunnen zijn op machinaal leren. Besluiten worden in dat geval genomen door algoritmes die ‘getraind’ zijn op grote datasets, bijvoorbeeld om bepaalde objecten te herkennen, zoals tanks en andere militaire voertuigen. De vraag is natuurlijk of de wetenschap al zover staat dat dergelijke cruciale beslissingen volledig accuraat genomen kunnen worden.

Ondanks de grote vooruitgang en stevige investeringen van het afgelopen decennia in het AI-domein, kampt de technologie van machinaal leren nog met aanzienlijke kinderkwalen. Alles is afhankelijk van de beschikbare datasets waarmee de algoritmes getraind worden. De datasets die gebruikt worden bij gezichtsherkenning vertonen bijvoorbeeld typische gebreken: ze zijn niet voldoende uitgebreid, complex of gediversifieerd, waardoor het systeem de verkeerde lessen trekt uit het uitvoeren van de taak. Daarnaast is het vaak niet exact duidelijk hoe een systeem dat gebruik maakt van AI en machinaal leren tot een bepaalde oplossing voor een taak komt. Het hele proces is wat men noemt een ‘black box’. Soms geeft het systeem een correct antwoord, en soms niet. Maar waar precies dat antwoord vandaan komt, is niet altijd duidelijk. De gevolgen bij een foutieve uitvoering van de taak in een eenvoudig proces van gezichtsherkenning hoeven niet meteen dramatisch te zijn. Wanneer echter een autonoom wapensysteem beslist om over te gaan tot een aanval, gebaseerd op een incorrect selectieproces vanwege fouten of omissies in het aangeleerde en zichzelf steeds verbeterende algoritme, kunnen de gevolgen wél catastrofaal uitvallen. Het wapensysteem zou bijvoorbeeld per vergissing een civiel voertuig kunnen identificeren in plaats van een tank, of een burger in plaats van een strijder aanvallen.

 

Ethische en juridische bezwaren

De praktische zorgen die voortvloeien uit de technologie van AI en machinaal leren leiden logischerwijze tot een aantal belangrijke ethische en juridische vraagstukken omtrent autonome wapensystemen. Het fundamentele en overkoepelende morele argument tegen de ontwikkeling en het gebruik van zo’n systemen is dat zij indruisen tegen de principes van menselijke waardigheid.[2] De Universele Verklaring van de Rechten van de Mens stelt in de eerste zin van haar preambule dat ‘de erkenning van de inherente waardigheid en van de gelijke en onvervreemdbare rechten van alle leden van de menselijke gemeenschap de grondslag is voor de vrijheid, gerechtigheid en vrede in de wereld.’[3] Dat we de keuze over leven en dood aan een machine of artificieel proces zouden overlaten, lijkt intuïtief in strijd met de erkenning van de inherente waardigheid van mensen.

Machines kunnen niet alle morele en juridische overwegingen in rekening brengen die een specifieke beslissing over dood of leven zouden verantwoorden. Dergelijke verantwoording kan alleen als legitiem beschouwd worden wanneer die niet arbitrair is, en wanneer het dus gaat om een weldoordachte en geïnformeerde beslissing. Aangezien het alleen aan een mens kan toekomen om de waarde van een individueel leven en het verlies daarvan te vatten, omdat alleen de mens in staat is als een morele agent te handelen, druist een beslissing over leven en dood gemaakt door een machine in tegen het principe van menselijke waardigheid. En dus, wanneer een machine beslist, op basis van voorgeprogrammeerde of zelf-verbeterende algoritmes, een leven te nemen, zelfs indien er geen inbreuken zijn op specifieke oorlogswetten of mensenrechten, gebeurt dat zonder de mogelijkheid voor het slachtoffer zich te beroepen op het morele geweten van een persoon aan de andere zijde.

De hoop op medelijden, barmhartigheid en begrip dooft uit wanneer volledig autonome wapensystemen worden geïntroduceerd op het slagveld. Meerdere studies die de ervaring van militairen in conflictsituaties onder de loep nemen hebben reeds aangetoond dat de mens inherent niet geneigd is een ander te doden wanneer dat niet noodzakelijk is – al zijn er heel wat uitzonderingen die de regel bevestigen. Die weerzin leeft op in momenten van compassie en mededogen. Autonome wapensystemen, zelfs indien geprogrammeerd om alle juridisch-technische regels omtrent proportionaliteit en onderscheid tussen burgers en strijders in conflictsituaties na te leven, zullen zeer waarschijnlijk nooit in staat zijn om deze puur menselijke emoties te begrijpen, laat staan ernaar te kunnen handelen.

Een veel gehoord tegenargument is dat autonome wapensystemen in dat geval ook geen negatieve menselijke emoties kunnen tonen. Een machine zal niet uit pure haat- of wraakgevoelens beslissen een dorp volledig plat te branden, of burgers te verkrachten en kinderen uit te roeien. Maar machines blijven wél afhankelijk van de gegeven instructies en de manier waarop zij worden ingezet. Indien zij louter instrumenteel ingeschakeld worden om deel te nemen aan een slachtpartij of genocide, maakt het in dat geval niet uit of zij ‘vrij’ zijn van menselijke emoties. Integendeel zelfs, een autonoom wapensysteem zal in zo’n situatie geen twijfel of berouw tonen, maar onverminderd verdergaan met slachting en verwoesting tot de opdracht tot in de puntjes is uitgevoerd.

Bovenop de puur ethische bezwaren tegen de ontwikkeling en het gebruik van autonome wapensystemen zijn er ook heel wat juridische bekommernissen. Zowel het internationaal humanitair recht (IHL) als de internationale mensenrechten zijn van belang in conflictsituaties. IHL, ook gekend als oorlogsrecht, omvat internationaal erkende regels die tijdens gewapende conflicten dienen om personen die niet (meer) deelnemen aan de vijandigheden te beschermen. Het legt ook beperkingen op in de keuze van wapentuigen en de middelen en methoden van oorlogsvoering.

Het kernprincipe van IHL is dat er steeds een onderscheid gemaakt moet worden tussen strijders en niet-strijders. Burgers en burgerobjecten mogen niet worden aangevallen. Aanvallen zijn enkel en alleen legitiem wanneer ze gericht zijn op militaire doelwitten, en dan nog moeten de nodige voorzorgen in acht worden genomen om te zorgen dat ze geen disproportionele lichamelijke of materiële schade veroorzaken. Het is daarom verboden om wapens te gebruiken die het onderscheid tussen civiele en militaire doelwitten niet kunnen maken. Wapentuig of munitie die buitenproportionele schade veroorzaakt, zijn volgens het IHL eveneens niet geoorloofd.

De inzet van autonome wapensystemen in conflictsituaties kan in de nabije toekomst heel wat problemen veroorzaken in verband met de naleving van de principes van het oorlogsrecht.[4] Vooral de verplichting tot het maken van een onderscheid tussen personen die deelnemen aan de vijandigheden en personen die niet (meer) deelnemen lijkt voorlopig onverzoenbaar met de technologische mogelijkheden van autonome wapensystemen. Het is erg moeilijk – en volgens velen zelfs onmogelijk – een algoritme te ontwikkelen om dat onderscheid perfect en foutloos te kunnen maken in alle mogelijk voorstelbare scenario’s – én daarbuiten.

Een dergelijke verplichting is natuurlijk erg context gebonden. In theorie zou een autonoom wapensysteem kunnen functioneren in overeenstemming met het distinctiebeginsel indien in het conflictgebied alleen maar militaire doelwitten aanwezig zijn, en er absoluut geen enkele burger het conflictgebied zou kunnen betreden. Dat is bijvoorbeeld het geval bij een conflict op volle zee of in een afgelegen woestijn. Maar dan nog moet het systeem eigenlijk ook in staat zijn om een onderscheid te maken tussen personen die deelnemen aan de strijd en personen die erbuiten staan, bijvoorbeeld wanneer ze zichzelf overgeven.

De hedendaagse technologie staat absoluut niet ver genoeg om dat verschil te herkennen. Vandaag de dag maken getrainde AI-systemen nog steeds cruciale fouten in het ‘simpele’ identificatieproces van objecten en personen. In 2019 veroorzaakte een AI-getraind camerasysteem bijvoorbeeld opschudding door tijdens een voetbalwedstrijd niet de bal te volgen, waarvoor het eigenlijk geprogrammeerd was, maar het kale hoofd van één van de lijnrechters. Lachwekkend in een dergelijke onschuldige context, maar wanneer gelijkaardige identificatiefouten gemaakt worden door militaire systemen in conflictsituaties, zijn ze heel wat minder komisch.

Een laatste bekommernis die volgt uit de hierboven besproken ethische en juridische overwegingen focust op verantwoordelijkheid en aansprakelijkheid wanneer iets misloopt. Indien een militair de regels van het oorlogsrecht aan zijn laars lapt zijn er duidelijke gevolgen. De schending van de principes van het internationaal humanitair recht kan aanleiding geven tot een veroordeling voor oorlogsmisdaden of misdaden tegen de mensheid. Wanneer autonome wapensystemen echter fouten maken of acties ondernemen die indruisen tegen IHL, zijn de gevolgen heel wat minder duidelijk.

Stel dat een autonome drone de opdracht krijgt om een vijandige militaire basis in de buurt van een grootstad aan te vallen. De drone heeft bewezen in normale omstandigheden een onderscheid te kunnen maken tussen civiele en militaire doelen, met een gekende foutratio van 0,01%. Die dag steekt echter een zware zandstorm op, waardoor de drone een gruwelijke fout maakt in het identificatieproces en een hospitaal dat eveneens net buiten de stad lag verwoest, in plaats van de militaire basis. Wie is dan aansprakelijk voor de fout? De programmeur van het AI-systeem in het wapen? De militaire bevelhebber die de missie bewust liet doorgaan, ondanks de zandstorm? Of de soldaat op het terrein die de missie in goede banen had moeten leiden?

Er zijn veel mogelijke verantwoordelijken aan te duiden, aangezien ze allen een aandeel hebben in de uitkomst. Niemand is daarentegen alleen of individueel aansprakelijk. Dat is een veel voorkomend probleem bij software-ongelukken. Er ontstaat een aansprakelijkheidslacune omdat het niet fair zou zijn om slechts één specifieke persoon verantwoordelijk te houden voor het falen van het systeem. In bepaalde gevallen is het daarbij denkbaar dat geen moreel element van kennis of nalatigheid kan worden aangetoond. Omdat een systeem gebaseerd op autonomie en AI vaak tot een oplossing voor een taak komt zonder duidelijk zichtbaar proces – het hoger beschreven ‘black box’ fenomeen – is het niet eenvoudig aan te tonen waar en hoe iets is misgelopen, laat staan kennis of nalatigheid te bewijzen.

 

Internationaal-politieke gevolgen

Ook op internationaal-politiek vlak zijn ernstige gevolgen denkbaar. De inzet van autonome wapensystemen verlaagt de kosten van oorlogsvoering. Het zijn niet langer eigen militairen die gevaar lopen tijdens een conflict, maar machines en robots die in hun plaats ingezet worden. Studies hebben aangetoond dat de bevolking minder steun toont voor een militaire campagne wanneer er een risico is op veel (eigen) slachtoffers. De politieke kosten zijn dus een stuk lager, waardoor volgens experts het aantal conflicten gevoelig kan toenemen. Een verlaagde barrière om interstatelijk geweld te gebruiken zorgt ervoor dat conflicten sneller starten en escaleren, mogelijk zelfs met een tot hiertoe ongeziene steun van de bevolking – net omdat er weinig tot geen risico’s zijn voor de eigen strijdmacht.

Experts zien daarnaast een verhoogd risico op een wapenwedloop.[5] De dynamiek van een wapenwedloop leidt ertoe dat twee of meerdere staten met elkaar in competitie treden om telkens de militair-technologische bovenhand te halen op de andere. Wanneer bijvoorbeeld een staat zoals China stevige investeringen doorvoert op het gebied van autonome wapensysteem, voelen andere zich uit veiligheidsoverwegingen gedwongen te volgen, zelfs al zijn die niet altijd rationeel. Een wapenwedloop mondt vaak uit in verticale en horizontale proliferatie, waarbij steeds meer staten de nood zullen voelen hun (autonome) wapenarsenaal te blijven uitbreiden. Autonome wapensystemen kunnen daarbij ook in handen vallen van niet-statelijke actoren, zoals terreurgroepen, die zich nog minder dan sommige staten gebonden voelen door internationale normen en waarden.

Een laatste belangrijk gevolg is dat de automatisering van wapensystemen er onvermijdelijk toe leidt dat de snelheid van oorlogsvoering toeneemt. De rol van mensen in conflictsituaties wordt daardoor in het beste geval herleid tot het fungeren als toezichthouder op de beslissingen die genomen worden door geautomatiseerde processen. In het slechtste geval is er buiten de planning en eventuele noodremfunctie helemaal geen rol voor mensen. Beslissingen moeten goedgekeurd worden binnen enkele minuten dan wel seconden, waardoor de druk op de toezichthouder en het risico op foutieve besluiten enorm toeneemt. De toegenomen snelheid van oorlogsvoering kan in dergelijke geval leiden tot een vliegensvlugge en ongewilde escalatie van conflicten, waardoor wereldwijde vrede en stabiliteit finaal in het gedrang kunnen komen.

 

Een toekomstvisie

De internationale gemeenschap beseft de valkuilen die autonome wapensystemen met zich mee kunnen brengen. Sinds 2013 komt een honderdtal staten een aantal keer per jaar samen in de context van de Verenigde Naties Conventie over bepaalde Conventionele Wapens (CCW). Mede dankzij de druk van enkele transnationale NGOs zoals de Campaign to Stop Killer Robots en het Internationale Comité van het Rode Kruis wordt er in die setting gedebatteerd over een mogelijke regulering op autonome wapensystemen. Een dertigtal staten pleit voor een algeheel verbod, heel wat meer zijn van mening dat er minstens een juridisch bindend instrument moet komen. Maar zoals eerder besproken is het niet geheel duidelijk wat precies verboden zou moeten worden, of wat exact in dat instrument moet staan. Autonomie in wapensystemen is een continuüm, geen concreet af te bakenen eigenschap. Bovendien integreren enkele bestaande wapensystemen al een grote mate van autonomie in hun werking.

Dat argument wordt ook aangevoerd door de staten die momenteel serieuze investeringen doen in autonome wapensystemen. De Verenigde Staten, Israël, India en Rusland bemoeilijken de onderhandelingen over een internationale regulering. Zij zijn het vaak niet eens over de definitie van het object ‘autonoom wapensysteem’ en hebben er alle belang bij dat hun reeds bestaande wapensystemen met autonome functies niet beknot worden. Volgens deze landen komt het aan de staten zelf toe om hun wapensystemen in overeenstemming te brengen met de regels van het internationaal humanitair recht. Het lijkt dan ook praktisch onhaalbaar om een algemeen, internationaal gedragen verbod op autonome wapensystemen na te jagen.

Veel belanghebbenden beseffen dat. De technologie zal zich in de toekomst blijven ontwikkelen en er is een grote kans dat het potentieel van AI en machinaal leren de komende jaren effectief exponentieel zal stijgen – ook al is het met de beste wil van de wereld koffiedik kijken naar welke specifieke capaciteiten de technologie in de toekomst mogelijk zal maken. Er wordt daarom sinds enkele jaren nagedacht over een alternatief pad naar regulering, om de potentieel catastrofale gevolgen van autonome wapensystemen toch te kunnen beperken. In plaats van de focus te leggen op specifieke categorieën van wapensystemen die kost wat kost verboden moeten worden, dient de internationale gemeenschap na te denken over een norm die de relatie tussen mens en machine op het slagveld moet verduidelijken en vastleggen. Welke kritische stappen van de geweldscyclus moeten steeds door een mens uitgevoerd worden? Welke functies kunnen zonder gevaar autonoom uitgevoerd worden? Welke eigenschappen moet een machine hebben om verantwoordelijk toezicht uit te oefenen op bepaalde stappen van de geweldscyclus?

Deze vragen zijn onmogelijk op een pasklare en uniforme wijze te beantwoorden. De setting van de Verenigde Naties CCW blijft voorlopig de geschikte plaats om op zoek te gaan naar context-gebonden antwoorden, ondanks de soms hevige tegenwind van binnen- en buitenaf. Mens en machine zullen in de toekomst steeds nauwer moeten samenwerken, en door internationaal duidelijke normen af te spreken rond de kritische functies van mens dan wel machine in de geweldscyclus, valt de opkomst van steeds autonomere wapensystemen te beheersen. Alleen op deze manier is het mogelijk om een ethisch en juridisch verantwoorde militaire geweldscyclus in de toekomst te vrijwaren.

 

Reageren? Mail naar: Robin.Vanderborght@uantwerpen.be

 

Robin Vanderborght is doctoraatsonderzoeker Internationale Politiek aan de Universiteit Antwerpen. Zijn onderzoek focust op demonstraties van nieuwe militaire technologieën en de implicaties daarvan voor het concept ‘strategische stabiliteit’.

 

[1] Vincent Boulanin en Maaike Verbruggen, Mapping the Development of Autonomy in Weapon Systems, SIPRI, Stockholm, 2017.

[2] Peter Asaro, ‘On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanization of Lethal Decision-Making’, International Review of the Red Cross 94, no. 886 (2012), blz. 687–709.

[3] Verenigde Naties, ‘Universele Verklaring van de Rechten van de Mens’, 1948, https://www.un.org/sites/un2.un.org/files/udhr.pdf.

[4] Daniele Amoroso en Guglielmo Tamburrini, ‘The Ethical and Legal Case against Autonomy in Weapons Systems’, Global Jurist 18, no. 1 (2018).

[5] Jürgen Altmann en Frank Sauer, ‘Autonomous Weapon Systems and Strategic Stability’, Survival 59, no. 5 (2017), blz. 117–42.