Stel je voor: een militair op het slagveld wil zich op het allerlaatste moment overgeven. Hij heeft geen schijn van kans want het systeem dat hem op de hielen zit, wordt niet bestuurd door een mens, maar door kunstmatige intelligentie.
Nog een voorbeeld: een zwerm drones heeft de opdracht gekregen een brug op te blazen waar militairen overheen lopen. Op het laatste moment stroomt de brug vol met vluchtelingen, maar er is niets meer aan te doen: de machine is geprogrammeerd om aan te vallen en doet dat ook, terwijl de situatie totaal is veranderd.
Nog niet zo lang geleden was dit iets voor in de verre toekomst of zelfs totaal ondenkbaar, maar tegenwoordig zijn het voorstelbare situaties, geschetst door diplomaat en ontwapeningsambassadeur Robert in den Bosch. Aan hem de taak om de discussie hierover te leiden, zodat voorkomen wordt dat het helemaal uit de hand loopt met dodelijke autonome wapensystemen.
"Het is een race tegen de klok", zegt hij op zijn kantoor in Genève. "Dit soort wapens zijn er, ze worden gebruikt en in de toekomst zal het gebruik alleen maar toenemen. Dat machines besluiten over leven en dood, heeft enorme impact."
Geen simpele klus
In den Bosch geeft leiding aan een groep experts uit 128 landen die het eens proberen te worden over het gebruik van autonome wapensystemen. En "dat is geen simpele klus".
Rusland, China, India en de Verenigde Staten doen allemaal nog mee aan de onderhandelingen en dat is volgens In den Bosch maar goed ook. "Als we dit alleen met onze beste vrienden zouden bespreken, kunnen we makkelijk prachtige afspraken maken.
Maar het gaat hier over wapenbeheersing en over humanitair oorlogsrecht en dan moet je bijvoorbeeld ook met je mogelijke tegenstanders om tafel, zéker als ze er militair toe doen."
Het gebeurt allemaal in een tijdelijke zaal op het terrein van de Verenigde Naties, die het proces ondersteunen: een grijze hal zonder daglicht met ruimte voor zo'n 300 mensen. De onderhandelaars proberen het hier tijdens urenlange vergadersessies eens te worden over de vraag of er nieuwe en aanvullende wetten en regels nodig zijn om te voorkomen dat het in de toekomst misgaat.
"Wat kun je nog wel doen met die systemen en wat niet? Welke systemen kunnen door de beugel van het internationaal recht en humanitair oorlogsrecht en welke niet?"
Grondig overleggen
Tien jaar is de werkgroep nu bezig en het is een stroperig en traag proces. Het contrast met de razendsnelle ontwikkelingen op het slagveld kan bijna niet groter. "Maar het kan niet anders", zegt Jessica Dorsey, expert moderne oorlogsvoering bij Universiteit Utrecht.
Ook zij ziet de oorlogsvoering volledig veranderen door kunstmatige intelligentie. "Op het slagveld in Oekraïne, in Gaza en nu ook in Iran en Libanon." Ze laat een voorbeeld zien, de Oekraïense Saker Scout.
Het is een drone die geprogrammeerd is om 64 verschillende soorten objecten uit te schakelen, zoals militaire voertuigen. Een mens moet hem nog wel aanzetten, maar daarna gaat de drone zijn eigen weg.
Dorsey: "Het systeem kan zelf identificeren, selecteren en uitschakelen, zonder menselijke tussenkomst. Maar hoe weet je zeker dat de Saker Scout het juiste doel uitschakelt? Dat hij een burger niet voor een soldaat aanziet en een vrachtwagen met hulpgoederen niet verwart met een militair voertuig?"
Toch, zegt ze, is het goed dat de ontwapeningsambassadeur in Genève de tijd neemt. "Diplomatie, onderhandelen en discussie voeren kost nou eenmaal veel tijd. Het is beter om grondig te overleggen, zodat er straks een goede basis ligt om op verder te bouwen."
Verbod
De onderhandelingen kunnen leiden tot nieuwe regels, aanvullingen op een bestaand verdrag of zelfs tot een nieuw verdrag, zoals die er ook zijn voor mijnen en voor nucleaire en chemische wapens.
"Heel veel is al geregeld in bestaand oorlogsrecht, maar het zou sterk zijn als er in een verdrag een verbod komt op echt gevaarlijke systemen, bijvoorbeeld systemen die we niet voldoende begrijpen of kunnen voorspellen", zegt Dorsey.
In den Bosch wil daar nog niet op vooruitlopen, dat zou het delicate proces in de war kunnen schoppen. In november wordt op een toetsingsconferentie gekeken naar het werk van de ambassadeur en valt er een besluit over hoe het verder gaat. Maar over een ding is de werkgroep het wel eens: "Volledig autonome systemen wil niemand, geen enkel land."