Al llarg de la història de la guerra hem presenciat el naixement de moltes armes i tecnologies que canviaven les regles del joc. Des de l’espasa a l’Edat Mitjana fins a les armes de foc al Renaixement, des dels avions i els tancs de la Primera Guerra Mundial fins a l’armament nuclear. En èpoques més recents, els sistemes per control remot (anomenats avions no tripulats o, en anglès, drones ) han començat a formar part dels arsenals actuals. Podríem pensar que ja ho hem vist tot, però durant l’última dècada la tecnologia, especialment en el domini de la informàtica i l’electrònica, ha avançat cada vegada més, la qual cosa ha desembocat en els esforços per desenvolupar armes totalment autònomes, els anomenats robots assassins. Mentre que els avions no tripulats encara són dirigits per un humà, els robots assassins buscarien i atacarien objectius sense necessitat de cap intervenció humana significativa. Això vol dir que les decisions sobre la vida i la mort ja no les prendrien els humans, sinó unes màquines. És una tecnologia que canvia les regles del joc, que no només canviarà com es fa la guerra, sinó que també, per primera vegada a la història, canviarà la identitat mateixa de la guerra en el sentit de qui hi lluita.
Com en el cas d’altres tecnologies militars revolucionàries, no se sap gran cosa dels riscos potencials que aquestes armes robòtiques plantegen per als humans. L’armament nuclear i els drones ja havien generat molt de debat, però només després d’haver estat desenvolupats i utilitzats. Malgrat que alguns precursors dels robots assassins (majoritàriament armes defensives autònomes de base fixa) ja són en funcionament, el debat sobre els riscos potencials d’aquest armament encara es troba en una fase preliminar. El maig de 2011 IKV Pax Christi publicà un informe sobre els drones en què també incidia en la qüestió de l’armament totalment automàtic. 1 El novembre de 2012 Human Rights Watch i la Facultat de Dret de Harvard publicaren l’informe “Losing Humanity”, que alimentava el debat mundial. 2 Poques setmanes després de la publicació d’aquest informe, el Departament de Defensa dels Estats Units publicà una directiva sobre els sistemes autònoms d’armament. 3 Tot i que la directiva establia que les armes autònomes només s’utilitzarien per exercir una força no letal, no descarta totalment el desenvolupament i l’ús d’armament autònom en el futur.
Campanya per Aturar els Robots Assassins
En una reunió a Nova York l’octubre de 2011, moltes ONG reconegueren el problema plantejat per les armes totalment autònomes i expressaren els problemes que hi veien. En conseqüència, decidiren col·laborar per posar en marxa una campanya internacional per aturar el desenvolupament, la producció i la utilització d’armes totalment autònomes. L’abril de 2013, la coalició internacional d’ONG llançà oficialment la Campanya per Aturar els Robots Assassins a Londres. El maig del mateix any, el relator especial de les Nacions Unides Christof Heyns presentà el seu informe sobre els robots autònoms letals (RAL) al Consell dels Drets Humans de Ginebra. 4 La Campanya crida tots els estats a implementar les recomanacions d’aquest informe i a establir converses sobre la qüestió en els àmbits nacional i internacional. En conseqüència, un nombre impressionant de països ja s’ha manifestat a la Comissió dels Drets Humans de Ginebra i a la Primera Comissió de les Nacions Unides a Nova York, però també s’han iniciat debats en fòrums nacionals. 5 En termes generals, tots els estats reconeixen els problemes urgents que es plantegen i tots els estats semblen oberts a més negociacions.
Aquestes armes plantegen preguntes ètiques, morals i legals. Volem delegar a les màquines el poder per decidir sobre la vida i la mort?
Objeccions i preocupacions
Els defensors dels robots assassins solen recalcar que si despleguem armament totalment autònom estalviarem vides de militars i reduirem la mà d’obra humana necessària per manejar els sistemes i, per tant, es reduiran costos. Sembla que els partidaris d’aquestes armes se centren principalment en l’avantatge militar que es preveu, de manera que no són conscients dels perills d’aquesta arma per als civils. Tanmateix, considerem que aquestes armes plantegen diverses preguntes ètiques, morals i legals. Principalment, creiem que caldria fer-se una pregunta ètica: volem delegar a les màquines el poder per decidir sobre la vida i la mort? El relator especial de les Nacions Unides Christof Heyns estableix la urgència d’aquesta pregunta en el seu informe sobre les RAL:
“Fins i tot si se suposa que els robots autònoms letals —especialment quan funcionen acompanyats d’éssers humans— poden complir les exigències del dret internacional humanitari, i es pot demostrar que, de mitjana i en conjunt, salvaran vides, es planteja l’interrogant de si és o no és intrínsecament erroni deixar que màquines autònomes decideixin qui matar i quan fer-ho. […] Si la resposta és negativa, cap altra consideració pot justificar el desplegament de robots autònoms letals, independentment del nivell de competència tècnica al qual funcionen.” 6
Segons la Campanya per Aturar els Robots Assassins, a la línia de comandament sempre hi hauria d’haver un humà que exerceixi un control significatiu sobre la decisió de fer ús de la força contra un objectiu humà. Sense això, sembla que no n’hi hauria prou per garantir que algú hagi de rendir comptes per les violacions del dret internacional perpetrades pel robot. No hauria de sorprendre’ns que generalment es percebi els robots assassins com quelcom d’inherentment detestable. Com assenyala Peter Singer, politòleg i un dels principals experts mundials en els canvis en la guerra al segle xxi, “[La guerra] consisteix en patiment humà, en la pèrdua de vides humanes i en conseqüències per als éssers humans.” 7 Per tant, matar amb màquines és el pas definitiu que desproveeix la guerra de moral. Fins i tot en l’infern de la guerra s’hi pot trobar humanitat, i cal que la hi seguim trobant. 8
Qüestions ètiques a banda, també hi ha preguntes legals que reclamen un debat urgent. Per protegir els civils als conflictes armats, caldrà programar els robots assassins per actuar d’acord amb el dret internacional humanitari (DIH) i el dret internacional dels drets humans (DIDH). Més concretament, cal que l’armament totalment autònom sigui capaç, com a mínim, de discriminar entre civils i combatents i de ponderar els danys contra persones i objectes civils en relació amb els beneficis militars esperats. Aquestes normes s’anomenen principi de la distinció i principi de la proporcionalitat, i cal que s’avaluïn cas per cas i en totes les situacions. 9
Malgrat que alguns defensors d’aquestes armes, com Ronald Arkin, expert en robòtica i catedràtic al Georgia Institute of Technology, sostenen que en el propers 20 anys les màquines poden assolir una capacitat de discriminació tan bona com la dels humans, està més generalitzada l’opinió que serà molt improbable que els robots es puguin dissenyar de manera que puguin complir el DIH i el DIDH igual com poden fer-ho els humans. Tanmateix, aquests principis requereixen un enfocament cas per cas i una anàlisi complexa i en profunditat del context, els motius i la intenció dels actors. Aquests principis, i especialment el de proporcionalitat, són considerats les normes del dret internacional més difícils d’entendre i d’aplicar; especialment en les guerres actuals, en què cada vegada ha esdevingut més difícil discriminar entre civils i combatents. Consegüentment, és difícil imaginar com es pot desenvolupar una codificació de programari que limiti amb eficàcia el comportament del robot. Segons el Comitè Internacional de la Creu Roja, desenvolupar un sistema d’armes autònomes que pugui aplicar el DIH representa un desafiament de programació colossal que pot molt bé resultar inassolible. 10 És per això que Noel Sharkey, catedràtic d’Intel·ligència Artificial i Robòtica a la Universitat de Sheffield i cofundador del Comitè Internacional per al Control de les Armes Robòtiques (ICRAC, per les seves sigles en anglès), subratlla que “Són els humans, no pas les màquines, els que conceberen les lleis de la guerra, i són els humans, no pas les màquines, els que les entendran i n’entendran la lògica de l’aplicació”. 11
Cal debatre sobre els robots assassins perquè la comunitat internacional pugui legislar per evitar que aquestes armes causin un greu sofriment humanitari
El desplegament d’aquests enginys no només podria causar un gran sofriment en termes humanitaris, sinó que en les etapes preliminars de la guerra és probable que tinguessin efectes profunds sobre la presa de decisions. Els robots assassins facilitaran la decisió dels dirigents d’anar a la guerra. D’una banda, els robots assassins podrien salvar moltes vides de militars, però, d’altra banda, en fer-ho eixamplarien la distància entre la població i la guerra perquè ja no hi hauria éssers estimats que tornessin del camp de batalla dins d’una bossa per a cadàvers. Pot semblar cruel, però les bosses per a cadàvers tenen un paper vital en la guerra. Són un factor inhibidor d’una importància màxima, perquè poden fer que els polítics perdin vots. El desplegament dels robots assassins convertiria la població en un observador passiu, de manera que atorgaria als polítics més discrecionalitat per decidir quan i com anar a la guerra, la qual cosa, al seu torn, comportaria un increment en la durada i la quantitat dels conflictes a tot el planeta.
Conclusions
Els avantatges dels robots assassins poden semblar força lògics i clars. Els robots assassins estalvien vides de militars, poden resultar més barats i no maten per venjança o per un atac de fúria. Tanmateix, la manca d’emocions a la guerra és extremament perillosa i el baix cost d’aquests robots n’incentiva la proliferació mundial. En algun moment, aquestes armes també combatran entre si, i amb l’àmplia varietat d’algoritmes desconeguts les conseqüències seran impredictibles i devastadores. En aquest document els hem presentat una breu panoràmica d’alguns dels perills que aquestes armes poden implicar. Val a remarcar que aquesta llista no és exhaustiva i que només té el propòsit que el lector es pugui fer una idea del problema. No obstant això, el missatge és clar: cal debatre sobre els robots assassins perquè la comunitat internacional pugui desenvolupar una legislació per evitar que aquest armament causi un sofriment greu en termes humanitaris. Afortunadament, només set mesos després del llançament de la Campanya, la Convenció sobre Certes Armes Convencionals adoptà un mandat per debatre sobre qüestions relacionades amb els “sistemes d’armament autònoms letals”. Els debats sobre aquests sistemes d’armament, també coneguts com armes totalment autònomes o robots assassins, es celebraran el maig de 2014. Els robots assassins són a l’agenda i no en sortiran fins que estiguin prohibits.
1. IKV Pax Christi, Cor Oudes i Wim Zwijnenburg, Does Unmanned Make Unacceptable?, 2011.
2. Human Rights Watch i Harvard Law School International Human Rights Clinic, Losing Humanity – the Case Against Killer Robots, 2012.
3. “Directive 3000.09”, consultada el 9 de desembre de 2013. Disponible aqui.
4. Per a més informació sobre l’informe les recomanacions de Heyns, vegeu: “Report of the Special Rapporteur on extrajudicial summary or arbitrary executions, Christof Heyns”, disponible aqui. consultat el 9 de desembre de, 2013
5. Des que aquest tema començà a debatre’s al Consell de Drets Humans el 30 de maig de 2013, un total de 44 països s’han pronunciat públicament sobre les armes totalment automàtiques. Vegeu el web.
6. “Informe del relator especial sobre execucions sumàries o arbitràries, Christof Heyns.”
7. Peter W. Singer, “Interview with Peter W. Singer”, International Review of the Red Cross 94, 886 (2012), p. 476.
8. “IKV Pax Christi publicarà un altre informe sobre les vuit preocupacions més urgents suscitades pel desenvolupament, la producció i la utilització potencial dels robots assassins. Vegeu Merel Ekelhof i Miriam Struyk, Outsourcing Morality: 8 objections against killer robots, que es publicarà el gener de 2014.
9. Segons els articles 48, 51 i 52 del Protocol Addicional I de les Convencions de Ginebra, totes les parts en un conflicte hauran de distingir en tot moment entre civils i combatents, així com entre objectes civils i objectius militars, de manera que, en conseqüència, només dirigeixin les seves operacions contra objectius militars. El principi de proporcionalitat és codificat a l’article 51.5.b del Protocol Addicional I i es repeteix a l’article 57, i bàsicament significa que els danys contra persones i objectes civils no poden ser excessius en relació amb els progressos militars esperats.
10. “International Humanitarian Law and the challenges of contemporary armed conflicts.” Comitè Internacional de la Creu Roja, consultat el 9 de desembre de 2013, p. 40. Disponible aquí.
11. Noel Sharkey, “The Evitability of Autonomous Robot Warfare”. International Review of the Red Cross 94, 886 (2012), p. 796.
Fotografia: US Air Force. Modificada. Link a la llicència.
© Generalitat de Catalunya