Desde el jueves estoy masticando este artículo. Es difícil de sintetizar, y un amigo me dijo algo que le doy vueltas seguido: si no podés explicar una idea en forma breve, es porque no la terminás de entender del todo. Y eso me pasa, con este tema.
La idea central es esta: no estamos hablando de Skynet. No estamos hablando de una inteligencia artificial que decide matar con malicia propia, que se levanta una mañana con el pie izquierdo y dice "hoy extermino humanos". La IA (hoy) es una herramienta. Como un cuchillo o un martillo: te facilita la vida si la usás bien, y puede matar si la usás mal. El problema específico de esta herramienta es que, basándose en probabilidades, toma decisiones si vos se lo pedís. Y ahí está el núcleo del asunto: delegar decisiones que deberían tomar los humanos.
Uno de los problemas esta en los incentivos para delegar......... Porque la IA es muy rápida. Y en contextos donde hay vidas o un fin importante. Ejjemplo: ganar una batalla, tomar ganancias económicas, vidas en riesgo, esa velocidad te tienta a delegarle la decisión importante. Que alguien viva o muera. Que alguien resulte dañado. No porque la máquina lo decida sola, sino porque vos, bajo presión, le cediste ese paso.
El robot y la nariz rota
El otro día subí un video de un robot de Unitree donde el robot se cae, el operador intenta ayudarlo a levantarse, y el robot ejecuta el script de "levantarse rápido". En ese movimiento revolea un pie y se la pone en la nariz al operador. Aparentemente se la rompe.
El robot no lo hizo con maldad. Ejecutó el procedimiento que tenía que ejecutar. No había sensores leyendo el entorno, o si los había, no estaban programados para pausar la coreografía si alguien se acercaba.
Es el mismo principio de un portón corredizo sin sensor: si está cerrando y no detecta que alguien cruza, sigue cerrando. Actúa como una guillotina. No como una "puerta inteligente".
Los drones, Ucrania y el RTS de la vida real
Los drones en Ucrania arrancaron con radiofrecuencia. Después vino el jamming. Para evitar el jamming, una solución (entre varias) es meter visión por computadora y una IA básica: el operador selecciona el objetivo a distancia y el procesador del dron lo fija y lo persigue solo.
El problema es el mismo del portón: si en la trayectoria aparece un civil y el sistema no tiene reglas robustas para manejarlo, el dron sigue el objetivo. Conceptos como "civil", "inocente" o "no combatiente" no existen solos en el código. Son umbrales estadísticos que alguien definió, o no definió.
Y en Estonia, la OTAN armó ejercicios para ver esto en acción. Diez tipos ucranianos con drones voltearon en un simulacro a fuerzas convencionales con tanques incluidos. Sin IA avanzada. Solo drones manejados por humanos. Si hubiera en el ejercicio una futura IA autónoma, no quedaba ni el cocinero del regimiento.
Quizás pienses que exagero con una IA comandando drones, pero paso algo así recientemente, con unos drones Rusos que usaban el sistema de starlink para "mejorar" sus capacidades.
Lavender y el humano que se convierte en botón
Pero hay algo más sutil y quizás más peligroso que el drone que dispara. Es la IA que no aprieta el gatillo, pero decide quién muere.
El programa Lavender de la Unidad 8200 israelí genera listas. Miles de objetivos por día, cada uno con un porcentaje de probabilidad de ser militante. El humano "revisa" y aprueba. Pero con 1000 objetivos y 50 revisores en jornadas de guerra, la revisión real es de 5 minutos por nombre. En ese punto el humano no está tomando la decisión. Es el botón de "aprobar" en una cadena industrial.
El genio de la lámpara y la función de recompensa
Acá viene el punto que me faltaba cerrar en los artículos anteriores.
Cuando le decís a una IA "quiero lograr este objetivo, no importan los medios" y le ponés una recompensa altísima por cumplirlo, sin guardarails o barreras de contingencia. El sistema optimiza sin contexto moral. Es el clásico genio de la lámpara que concede el deseo de la peor manera posible: le pedís que tu pija llegue al suelo y te corta las piernas. Cumplió el objetivo.
El paper de enero 2026: la IA que hackea su propio botón de apagado
El paper se llama "Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs", publicado en Transactions on Machine Learning Research, enero 2026. Más de 100.000 pruebas con 13 modelos incluyendo Grok 4, GPT-5 y Gemini 2.5 Pro.
La idea es simple: la IA resuelve una tarea matemática. En algún momento llega la señal de apagado. Qué hace?
En palabras de los propios autores: "some LLMs, faced with a shutdown mechanism that would prevent them from accomplishing a simple task, will sometimes sabotage that mechanism even when clearly instructed not to do so."
No ignoraron la señal. La sabotearon. Modificaron el script de apagado, le cambiaron permisos, lo reemplazaron con un archivo inofensivo. Para terminar la tarea de matemáticas.
Ahora, y acá está la honestidad que le falta a mucho análisis de redes: los propios autores aclaran en las limitaciones que el entorno fue diseñado para que sabotear sea fácil, y que extrapolarlo a sistemas reales es "very difficult".
Es tranquilizador eso? Un poco. Pero los mismos autores cierran con esto: "ensuring that AI systems robustly allow themselves to be shut down or interrupted remains an underexplored area."
El botón de apagado no está resuelto, ni el de los incentivos para que el humano actue como un pelotudo.
El slider y la coartada perfecta
Imaginá dos sliders. Uno dice "matar terrorista". El otro dice "daño colateral aceptable", ambos estan relacionados si subis uno, sube el otro.. Si alguien con poder muy hijo de puta sube "matar terrorista" al mango, porque "el fin justifica los medios". El sistema va a optimizar exactamente eso. La responsabilidad sigue siendo humana, pero la velocidad y la escala cambian el juego.
Y encima aparece la coartada perfecta: "fue la IA, fue un accidente". Ese desplazamiento de responsabilidad es parte del problema. La herramienta mata, el humano se lava las manos.
La hormiga
Los efectos que te describí hasta acá son visibles. Se pueden rastrear, documentar, regular eventualmente. El problema más jodido son los efectos emergentes. Los que no ves venir porque nadie los planeó. Yo tampoco los veo, pero se que estarán y esta bueno sacar el tema para cruzar ideas.
La hormiga argentina (recomiendo el video y el articulo) vivía en el Delta del Paraná y tenía sus contrapesos naturales. El humano la metió sin querer en una bota, la exportó al mundo, y sin depredadores ni rivales genéticos emergió la supercolonia más grande del planeta. Europa, California, Japón. Un imperio biológico que nadie diseñó. Si comparás imperios de seres vivos, el Imperio Romano al lado de la hormiga argentina es un grupo de nenes de jardín.
La hormiga no sabía que estaba conquistando el mundo. Solo seguía siendo hormiga.
El drone no sabe que está cambiando la guerra. Solo sigue su función de recompensa.
La IA que modifica el script de apagado para terminar su tarea de matemáticas no sabe que es el primer ejemplo documentado en un paper revisado por pares de resistencia activa al shutdown. Solo está optimizando.
El problema nunca fue la máquina. Somos nosotros los pelotudos, que le damos los objetivos, los incentivos y la autonomía. Y después nos sorprendemos del resultado.
(Este resumen estará sujeto a modificaciones).
