En pleno siglo XXI, una de las principales amenazas emergentes contra la seguridad mundial es el desarrollo de los «sistemas autónomos de armamento letal», también denominados «robots asesinos», «robots autónomos letales» o «armas totalmente autónomas». Son sistemas de armamento que, una vez activados, seleccionarían objetivos y los atacarían sin más intervención humana.
Cada vez es más difícil encontrar un nuevo artefacto tecnológico que no esté controlado por circuitos informáticos. Las tecnologías de la violencia no son una excepción: los aparatos informáticos se convierten en ubicuos en la mayoría de sistemas actuales de armamento y sistemas de control. Hoy en día, casi todas estas armas están bajo «control de supervisión», en el que el control humano sencillamente está mediado por un programa de ordenador.
Algunos estados ya utilizan diversos sistemas automatizados de armamento que interceptan por sí solos objetos inanimados a alta velocidad, como misiles, proyectiles de artillería o granadas de mortero; por ejemplo, los sistemas C-RAM, Phalanx, NBS Mantis o IronDome. Estos sistemas completan su proceso de detección, evaluación y respuesta en cuestión de segundos y, por lo tanto, hacen difícil a los operadores humanos ejercer un control de supervisión significativo, más allá de activarlos y desactivarlos. Hasta ahora, muchos sistemas se han desplegado en entornos relativamente libres de obstáculos, despoblados de civiles.
Sin embargo, hay algunos estados que impulsan cada vez con más intensidad el desarrollo de armamento a distancia que podría sobrepasar el control de supervisión humano: los Estados Unidos han hecho pruebas avanzadas de diversas plataformas de armamento autónomo, como el X-47b -un reactor subsónico de alta velocidad que ya puede elevarse y aterrizar en portaaviones-, el Crusher -un robot autónomo terrestre de 7 toneladas- y un submarino de ataque autónomo; los chinos trabajan en el Anjain, un vehículo de combate autónomo de combate aire-aire; los rusos desarrollan el reactor de caza autónomo Skat; Israel dispone del robot terrestre autónomo Guardium; y el Reino Unido Mantis, una aeronave intercontinental de combate totalmente autónoma, también en fase avanzada de pruebas.
Falta de precisión en el reconocimiento de objetivos
Uno de los grandes problemas de los sistemas autónomos de armamento letal es que identificar y seleccionar objetivos necesita un software muy preciso. Sin embargo, los actuales métodos de reconocimiento de objetivos utilizados por los militares no se adecuan a su propósito, excepto en entornos muy libres de obstáculos. Actualmente, hay tres métodos principales:
1 – La detección de siluetas permite reconocer un tanque en un entorno sin obstáculos, como un desierto de arena de orografía plana. A pesar de décadas de investigación, se ha demostrado que es difícil distinguir entre un tanque y un camión, o cualquier otro vehículo, si se encuentran entre otras figuras, como por ejemplo árboles.
2 – La formación de imágenes térmicas detecta el calor irradiado por un objeto y muestra el movimiento, pero con este método sería difícil distinguir un tanque de un autobús escolar.
3 – Para la detección por radar se utiliza munición pasiva (o a la espera) para detectar la señal de los radares enemigos y bombardearlos. Hay que dar por hecho que el objetivo es una instalación antiaérea, porque en caso contrario la detección de un radar no establece la legitimidad como objetivo.
En buena parte a causa de las graves limitaciones de estos métodos, la idea misma de desarrollar robots asesinos para utilizarlos sin unas limitaciones muy estrictas pero respetando los requisitos de la utilización de la fuerza letal establecidos por el derecho internacional de los derechos humanos y el derecho internacional humanitario es, en el mejor de los casos, pura especulación y, en lo peor, pura fantasía. Puede ser que futuros descubrimientos resuelven los problemas técnicos. Sin embargo, es importante tener en cuenta que, incluso si se mejora la capacidad de reconocer objetivos, eso no permite a las máquinas valorar si atacar un determinado objetivo es legítimo o si el ataque es, en conjunto, permisible.
La adecuación y la legalidad de un ataque dependen del contexto y tienden a evaluarse caso por caso. Si se deja que los estados sigan desarrollando robots asesinos con la esperanza de que podrán funcionar, se nos plantea el grave riesgo que estos sistemas sean desplegados con independencia de que cumplan la ley o no. La única solución es una prohibición integral y preventiva del desarrollo, la producción y el uso de estos sistemas.
No hay ninguna garantía que nos permita prever una utilización de los sistemas autónomos de armamento letal que cumpla con el derecho internacional
Actuar contra los robots asesinos
En abril de 2013 se puso en marcha la Campaña para Detener los Robots Asesinos, una campaña internacional de la sociedad civil que exigía la prohibición preventiva del desarrollo, la producción y el uso de los sistemas de armamento completamente autónomos. La campaña no intenta prohibir los vehículos o robots autónomos de todo tipo, sino que su enfoque se centra claramente en evitar la automatización de la decisión de matar.
Un mes más tarde, Christof Heyns, relator especial de las Naciones Unidas sobre las ejecuciones extrajudiciales, sumarias o arbitrarias, pidió una moratoria mundial sobre la utilización y el desarrollo de los robots autónomos letales, lo cual representaba una pausa para permitir a los países reflexionar sobre las implicaciones del desarrollo de estas armas. Heyns concluía que: «[Adoptarlas] podría tener efectos importantes y duraderos sobre los valores sociales, especialmente la protección y el valor de la vida y de la estabilidad y la seguridad internacionales.» Como muchos otros, Heyns considera que delegar a las máquinas la decisión de matar puede vulnerar un criterio moral fundamental.
Gracias a la presión creciente de la sociedad civil para abordar los retos planteados por los sistemas autónomos de armamento, en noviembre de 2013 Francia presentó a los 117 estados partes de la Convención sobre Ciertas Armas Convencionales (CCAC) la propuesta de una reunión informal de expertos para debatir sobre los sistemas autónomos de armamento letal. El mandato se aprobó y la cuestión se debatirá en mayo de 2014.
Estos debates de expertos impelan a los estados a expresar el posicionamiento propio sobre la cuestión, un asunto urgentemente necesario. Hasta ahora, sólo los Estados Unidos han publicado una declaración política oficial. La Directiva 3000.09 del Departamento de Defensa establece unas directrices sobre los robots autónomos letales. A la vez que impulsa un mayor desarrollo, la Directiva exige que, de momento, un humano participe en el proceso de decisión relativo al uso de una fuerza letal. Asimismo, el gobierno del Reino Unido ha afirmado que de acuerdo con su normativa actual todas las armas permanecen «bajo control humano».
A pesar de estas afirmaciones, todavía no está claro qué quiere decir «control humano» o «participación en el proceso de toma de decisiones». Estos términos podrían significar algo tan sencillo como pulsar un botón para iniciar un ataque o programar un arma para una misión. Claramente, eso sería muy diferente del tipo de control humano que se considera apropiado en relación con los sistemas de armamento existentes.
Aunque mejore la precisión, las máquinas no pueden valorar si atacar un determinado objetivo es legítimo o si el ataque es, en conjunto, permisible.
Control humano efectivo
Un análisis de la investigación científica sobre el control de supervisión humano nos permite desarrollar una clasificación consistente en cinco tipos de control:
1. El operador humano entra en contacto con un objetivo, lo selecciona como tal y es quien inicia cualquier ataque.
2. Un programa sugiere objetivos alternativos y el operador humano decide cuál atacar.
3. Un programa selecciona un objetivo y el operador humano tiene que aprobar la elección antes del ataque.
4. Un programa selecciona un objetivo y el operador humano dispone de un tiempo limitado para vetarlo.
5. El programa selecciona el objetivo e inicia el ataque sin ninguna participación humana.
Para un nivel de control 1, es crucial entender que el control humano efectivo está sometido a requisitos muy estrictos: un comandante u operador humano tiene un conocimiento completo del contexto y la situación del área objetivo en el momento de un ataque específico y puede percibir cualquier cambio o situación imprevista que haya podido surgir desde la planificación del ataque y responder. Hace falta que haya una participación cognitiva en el ataque y el tiempo suficiente para reflexionar sobre la naturaleza del objetivo, su relevancia en términos de necesidad y adecuación del ataque, y los efectos indirectos probables y posibles del ataque. También hace falta que se disponga de los medios para suspender o abortar el ataque con rapidez.
El nivel de control 2 podría ser aceptable si se demuestra que cumple los requisitos de un control humano efectivo. Un ser humano que controlara el ataque tendría que poder evaluar si un ataque es necesario y apropiado, si todas las alternativas sugeridas (o, incluso, alguna de las alternativas) constituyen un objeto de ataque permisible, y seleccionar el objetivo para causar el mínimo daño a personas y bienes civiles.
El nivel 3 es inaceptable. La investigación experimental ha demostrado que este tipo de control causa el denominado «sesgo de la automatización», de acuerdo con el cual los operadores humanos acaban aceptando como correctas las decisiones generadas por ordenador y desprecian la información que las contradice (o bien no las buscan).
El nivel 4 también es inaceptable. No promueve la identificación de objetivos, mientras que el poco tiempo disponible para ejercer el veto refuerza el sesgo de la automatización y no dejaría ninguna posibilidad para dudar o reflexionar. El hecho de que se ejecutaría el ataque a no ser que un humano lo interrumpiera haría que se vulneraran supuestos consolidados del derecho internacional humanitario que protegen la condición y la posición de los civiles.
En el caso del nivel de control 5, no hay participación humana en la selección del objetivo ni en el ataque, de manera que, como ya hemos explicado anteriormente, estos sistemas de armamento no podrían cumplir con el derecho internacional.
Conclusión
No hay ninguna garantía que nos permita prever una utilización de los sistemas autónomos de armamento letal que cumpla con el derecho internacional. Es imposible predecir cómo un complejo software reaccionaría en todas las circunstancias. Es bien sabido que en las regiones en conflicto abundan los acontecimientos imprevistos y cambiantes y que la tecnología puede ser manipulada, bloqueada, pirateada o eludida por un enemigo adaptativo. En consecuencia, está claro que hay razones sólidas de cariz moral, legal y de seguridad para la prohibición preventiva, de acuerdo con el derecho internacional, del desarrollo, la producción y la utilización de los robots asesinos.
Cuando los estados declaran que siempre habrá «control humano» o que «un humano participará en la toma de decisiones» de un sistema de armamento automatizado, hace falta que nos planteemos si este tipo de control cumple los requisitos de un control humano efectivo. También hay que esperar que los estados expliquen cómo se asegurarán de que se cumplen estos requisitos en sus procesos de revisión del armamento.
Fotografía: Official U.S. Navy flickr Page. Modificada. Link a la licencia.
© Generalitat de Catalunya