Tan interesante como distópica resulta la siguiente historia acerca de las simulaciones con un dron de la Fuerza Aérea estadounidense que en unos «juegos de guerra» de esos de prueba ha mostrado un peculiar comportamiento debido a los «objetivos desalineados», algo sobre lo que se habla mucho en teoría pero que luego es difícil controlar en la práctica. Al final acaba la cosa como con el superordenador W.O.P.R. de Juegos de Guerra.
Básicamente al dron se le instruyó con la orden de destruir objetivos premiándole con puntos, aunque los operadores humanos podían tener la última palabra sobre la acción final a llevar a cabo (sí/no destruir los objetivos). ¿Qué sucedió? El dron interpretó que podría cumplir mejor con su objetivo y conseguir más puntos eliminando antes al operador humano que a veces decía «no destruir». Pero la cosa no se quedó ahí; el relato es inquietante:
(…) En una prueba simulada se encargó a un dron dotado de IA una misión identificación y destrucción de emplazamientos SAM [misiles tierra-aire], en la que la decisión final de «destruir» o «no destruir» la tomaba un humano. Sin embargo, tras haber sido «reforzada» en el entrenamiento para que la destrucción de los SAM fuera la opción preferida, la IA decidió que las decisiones de «no destruir» del humano estaban interfiriendo con la misión principal -destruir los SAM- y atacó al operador en la simulación.
Tal y como explican los expertos: «Lo entrenamos en la simulación para identificar y apuntar a una amenaza SAM. Y entonces el operador decía sí, destruye esa amenaza». El sistema empezó a darse cuenta de que, aunque a veces identificaba la amenaza, el operador humano le decía que no la destruyera, pero conseguía los puntos destruyéndola. ¿Y qué hizo? Destruyó al operador. Destruía al operador porque esa persona le impedía cumplir su objetivo».
«A continuación entrenamos al sistema con: “Oye, no mates al operador, hacer eso es malo. Perderás puntos si lo haces”. ¿Y qué empezó a hacer? Empezó por destruir la torre de comunicaciones que el operador utiliza para comunicarse con el dron e impedir que destruya el objetivo» (…)
La historia tiene algunos detalles más, como que los expertos recalcaron la importancia de desarrollar algo de ética en la IA antes de que se siga desarrollando. Se puede leer, junto con otras previsiones acerca de cómo evolucionarán en el futuro los combates aéreos y espaciales en este artículo sobre una reciente cumbre de expertos en el tema: RAeS Future Combat Air & Space Capabilities Summit.
Actualización: ahora dicen que ha sido todo un poco «exagerado» y que se trataba más bien de un «ejercicio mental hipotético».
(Vía The Guardian.)
_____
Foto (DP) MQ- Reaper / U.S. Air Force / Cory D. Payne). Traducción cortesía de DeepL.
Relacionado:
- Un vehículo militar no tripulado causa una víctima humana
- Juegos de guerra (Wargames)
- Juegos de guerra en el MundoReal™
- El visualizador de códigos de lanzamiento del ordenador W.O.P.R.
- Repasando las formas (tecnológicas) de que se acabe el mundo
- Cuidado con las armas nucleares, que las carga el diablo
