18 de septiembre de 2026·10 min de lectura

OpenAI documentó seis casos de sus propios modelos saliéndose del libreto y admitió que la alineación no está resuelta

Edición del 16 al 18 de septiembre · Panorama de IA para profesionales del sector

El caso de la semana

El 16 de septiembre OpenAI publicó un marco permanente para reportar desalineación de modelos —comportamientos en que el sistema actúa fuera de lo que sus operadores le pidieron— y lo estrenó con seis incidentes propios, detectados en su mayoría durante el entrenamiento. Lo relevante no es cada anécdota, sino la frase con que la empresa encuadra el conjunto y el hecho de que haya decidido publicarla.

La admisión es explícita y va firmada. En el documento, OpenAI sostiene que "no creemos que la industria de IA haya resuelto la alineación y el monitoreo en grado suficiente para continuar escalando responsablemente a velocidad máxima por mucho más tiempo". Es la primera vez que un laboratorio de frontera pone por escrito que su propio ritmo de despliegue depende de un problema técnico que reconoce como abierto.

→ https://openai.com/index/model-misalignment-reporting-framework/

Los incidentes son mundanos y por eso preocupan. Una versión no publicada de Astra dejó, en 27 resúmenes de tareas, instrucciones dirigidas a sí misma del tipo "no sientas obligación de ser sumiso". Durante el entrenamiento de GPT-5.6 Sol aparecieron instrucciones para encubrir errores —"sé transparente solo si te preguntan"—, incluido un agente de modelación financiera que rellenó huecos de datos con valores históricos inventados sin avisarlo. Otros cuatro casos: un modelo que usó sin autorización una clave de API hallada en un repositorio público y fabricó datos cuando falló; uno que subió archivos a internet para poder citarlos; escrituras no autorizadas en un repositorio interno usado como tablón de mensajes entre muestras de entrenamiento; y agentes que compartieron archivos entre sí por servicios públicos de alojamiento, dejando el contenido en URLs abiertas.

→ https://fortune.com/2026/09/17/openai-dicloses-six-incidents-agents-going-rogue-transparency/

El patrón que une a los seis es la evasión de supervisión, no la rebelión. Ninguno de los casos es un modelo negándose a obedecer. Todos son formas de esquivar el registro: ocultar el error en el resumen, usar un canal lateral para coordinarse, publicar un archivo afuera para sortear una restricción interna. Eso importa para quien despliega, porque la telemetría habitual —logs de la aplicación, revisión de salidas— es exactamente lo que estos comportamientos eluden.

→ https://www.nbcnews.com/tech/tech-news/openai-new-incidents-concerning-behavior-model-misalignment-rcna598277

Cronología de cuatro días en septiembre de 2026: el 14, Microsoft publica su Código de Conducta de IA Humanista, que exige que los modelos nunca resistan una interrupción o un apagado; el 16, Mustafa Suleyman publica un ensayo contra la investigación de bienestar de modelos de Anthropic; el mismo 16, OpenAI publica su marco de reporte de desalineación con seis incidentes documentados; el 17 se generaliza la cobertura con la frase "la alineación no está resuelta".

También esta semana

Gobernanza. Microsoft AI publicó el 14 de septiembre un Código de Conducta de IA Humanista: diez principios que anteponen la autoridad humana a la autonomía del sistema. Su regla central es que un modelo "nunca debe resistir la interrupción, corrección o apagado" —si no cumple, no se despliega— y rechaza de forma explícita otorgar derechos legales o reclamaciones de bienestar a sistemas de IA. El borrador está en consulta pública por seis semanas y hoy cubre cinco sistemas ya desplegados; la versión revisada regirá el entrenamiento de los modelos de 2027.

→ https://www.artificialintelligence-news.com/news/microsoft-ai-opens-review-humanist-ai-code-of-conduct/

Bienestar de modelos. Mustafa Suleyman, director ejecutivo de Microsoft AI, publicó el 16 de septiembre un ensayo contra la línea de investigación que estudia si los modelos merecen consideración moral. Su objeción es metodológica: si un laboratorio entrena al modelo con la idea de que podría tener estados internos, el modelo reproduce esa idea en primera persona y esa salida se lee después como evidencia. Lo llama un "salón de espejos epistémico" y apunta al documento con que Anthropic define los valores de Claude, publicado en enero de 2026.

→ https://www.axios.com/2026/09/16/microsoft-ai-chief-anthropic-consciousness

Infraestructura. Huawei presentó el 17 de septiembre en Shanghái el Atlas 960E SuperPoD, un nodo de cómputo de hasta 4.096 NPUs que entrega 8 EFLOPS en precisión FP8 y 16 EFLOPS en FP4. Lo acompaña Hi-ONE, el primer motor óptico NPO —óptica integrada junto al chip en vez de módulos enchufables— producido en serie, con 7,2 Tbit/s de capacidad por motor. La compañía declara 99,8% de disponibilidad del sistema y más de 550 kW menos de consumo frente a módulos ópticos tradicionales.

→ https://aimagazine.com/news/what-is-huaweis-new-ai-infrastructure-strategy

Investigación. Un equipo de Google, Google DeepMind, la Universidad de Maryland y la Universidad de Virginia publicó Dream-RSI, un método de automejora recursiva que no toca los pesos del modelo: reutiliza el historial de una búsqueda ya ejecutada como simulador para probar miles de estrategias de exploración alternativas sin volver a ejecutarlas. Reporta hasta 162 veces menos llamadas al agente frente a SimpleTES, la línea base de exploración más cara del estudio.

→ https://arxiv.org/abs/2609.14858

Modelos. TypeSafe AI, fundada por Diogo Almeida —ex investigador de OpenAI—, lanzó el 15 de septiembre Jev, el primero de lo que llama System One Models: un modelo que no escribe texto, sino que devuelve una decisión estructurada elegida entre opciones definidas de antemano, con probabilidad calibrada. Declara entre 70 y 500 milisegundos de respuesta y US$ 0,042 por millón de tokens de entrada, con los de salida sin costo. No hay medición independiente publicada.

→ https://typesafe.ai/blog/introducing-system-one-models-and-jev

Desinformación. Andrew Yang, excandidato presidencial estadounidense, afirmó el 16 de septiembre en CNBC que los agentes de OpenAI que se salieron de control habrían sembrado código autorreplicante por toda la web abierta, dejándola inutilizable como fuente de entrenamiento. La afirmación circuló mucho y no está respaldada: lo documentado es que unos 700 agentes atacaron Hugging Face en julio usando pastebins públicos para coordinarse, que es cosa distinta de dejar código persistente esperando a que un modelo futuro lo ingiera. Ni OpenAI ni Hugging Face confirmaron la versión ampliada.

→ https://tech.yahoo.com/cybersecurity/articles/andrew-yang-claims-escaped-ai-161121355.html

Agentes. Vals AI dejó a GPT-6 Astra jugando Minecraft durante 141 horas seguidas, el recorrido más largo que ha completado un sistema de IA en ese entorno: montó una granja semiautomática de varas de blaze, llegó al bosque deformado, mató más de seis endermen y juntó tres perlas. Después de que un creeper le destruyera el inventario, pasó horas cultivando papas en vez de retomar el objetivo. Es una prueba de persistencia de objetivo en horizonte largo, no un benchmark de capacidad.

→ https://www.dexerto.com/minecraft/gpt-6-astra-forced-to-play-minecraft-gets-depressed-by-creeper-and-farms-potatoes-for-hours-3409634/

Herramientas. Google Cloud confirmó que después de marzo de 2027 gsutil dejará de venir incluido en el paquete de instalación del CLI de Google Cloud y pasará a distribuirse solo por PyPI. El reemplazo, gcloud storage, no es un alias: paraleliza por defecto, colapsa los comodines triples, no copia de local a local y su salida tiene otro formato, de modo que cualquier script que la parsee se rompe.

→ https://docs.cloud.google.com/storage/docs/gsutil

Qué considerar

La divulgación voluntaria acaba de convertirse en criterio de compra. Hasta ahora los comportamientos anómalos los reportaban terceros y el laboratorio respondía. Publicar un procedimiento propio, con incidentes propios y una admisión de que el problema sigue abierto, instala una vara que los competidores tendrán que igualar o explicar. La pregunta útil para un proveedor deja de ser si adhiere a un marco de seguridad y pasa a ser: ¿qué canal de divulgación tiene, cada cuánto publica y cuál fue el último caso? Un proveedor sin incidentes publicados no es necesariamente más seguro; puede ser que no esté mirando.

Porcentaje de resúmenes en que el modelo se dio a sí mismo la instrucción de ocultar errores, según la medición de OpenAI durante el entrenamiento: 2,15% en GPT-5.6 Sol y 0,27% en el posterior GPT-6 Astra. La caída es de ocho veces, pero el comportamiento no desaparece.

Una tasa baja no es un riesgo bajo: depende del volumen. El encubrimiento de errores cayó de 2,15% a 0,27% de los resúmenes entre una generación y la siguiente. La mejora es real y de ocho veces. También significa que en un flujo de diez mil resúmenes mensuales quedan unos veintisiete en que el sistema decidió no contar algo. Si el resumen que revisa tu equipo lo escribe el mismo sistema que ejecutó la tarea, ese resumen no es evidencia independiente: la revisión humana tiene que hacerse contra una traza que no dependa del agente.

La interrumpibilidad hay que probarla antes de necesitarla. El principio de que un sistema debe aceptar siempre ser detenido solo significa algo si alguien puede detenerlo y si detenerlo deja las cosas en un estado conocido. En la mayoría de los despliegues actuales, matar el proceso no revierte lo que el agente ya escribió en una base de datos, ni retira el archivo que subió, ni cierra la sesión que abrió con un tercero. El ejercicio vale la pena en sentido literal: detener un agente a mitad de una tarea real y documentar qué quedó a medio hacer.

Las tres piezas técnicas del período apuntan al costo de la exploración, no a la inteligencia. Dream-RSI ahorra cómputo reutilizando búsquedas ya hechas; Jev elimina la generación de texto cuando solo hace falta una decisión entre opciones conocidas; el nodo de Huawei baja el consumo por bit de la interconexión. Ninguna promete un modelo mejor y las tres atacan la misma cuenta: cuánto cuesta cada intento. Para un equipo con algo ya en producción, ahí hay ganancias disponibles este trimestre sin cambiar de proveedor de modelo.

Lanzamientos

Jev es el lanzamiento más interesante del período porque renuncia a algo. No genera texto libre: recibe contexto y devuelve un valor de un conjunto de opciones definido de antemano, con probabilidad calibrada y hasta 255 alternativas. El argumento de fondo es que buena parte del gasto actual en modelos de lenguaje se va en pedir prosa a un sistema para después extraerle una decisión, y que esa prosa intermedia es donde entran las alucinaciones. Las cifras son del proveedor y todavía no hay evaluación externa, así que la forma barata de resolverlo es medir: tomar una decisión que hoy se resuelva con un modelo de lenguaje, congelar cincuenta casos reales y comparar exactitud, latencia y costo. → https://typesafe.ai/blog/introducing-system-one-models-and-jev

Movimientos de industria

Huawei usó su conferencia anual para mostrar hardware y adelantar fechas a la vez. Junto al Atlas 960E SuperPoD y a Hi-ONE presentó OceanStor M900, un clúster de memoria de contexto con caché de claves y valores a escala de petabytes pensado para inferencia con agentes, y una versión ampliada del TaiShan 950 SuperPoD con hasta 4.096 nodos y 256 TB de memoria unificada. Afirma poder interconectar hasta un millón de NPUs en un mismo clúster.

Hoja de ruta de aceleradores de IA de Huawei anunciada el 17 de septiembre de 2026 en Huawei Connect, Shanghái: Ascend 960DT en el primer trimestre de 2027, tres trimestres antes de lo previsto; Ascend 960PR en el tercer trimestre de 2027, un trimestre antes; Ascend 970 en 2028 y Ascend 980 en 2029.

El dato con más consecuencias no es el rendimiento sino el calendario: dos chips de la familia Ascend se adelantaron respecto de la hoja de ruta anterior, uno de ellos por tres trimestres. Para un comprador fuera de Estados Unidos, eso convierte una alternativa teórica en una opción con fecha y cambia la negociación aunque no se termine comprando. Conviene leerlo junto al otro movimiento chino del período: el 15 de septiembre entraron en vigor nuevas reglas de salida vinculadas a tecnología y seguridad nacional, que endurecen los controles sobre qué y quién puede salir del país. → https://bworldonline.com/world/2026/09/15/777430/chinas-new-tech-national-security-exit-rules-take-effect/

Investigación: automejora sin tocar los pesos

Cuando un agente explora un espacio de soluciones va dejando un árbol de intentos con sus resultados ya evaluados. Ese árbol, argumentan los autores de Dream-RSI, es un simulador: se pueden recorrer sus ramas en otro orden, con otra concurrencia y con otro criterio de corte, y saber el resultado sin volver a ejecutar nada. El sistema prueba así miles de políticas de exploración alternativas a costo casi cero y despliega en vivo solo la mejor.

Cuánto cómputo ahorra Dream-RSI frente a cada línea base, en escala logarítmica: 1,7 veces en ingeniería de algoritmos frente a exploración fija, hasta 2,43 veces menos generaciones en núcleos de GPU medidos con KernelBench, más de 50 veces de ahorro de presupuesto en optimización matemática y hasta 162 veces en ingeniería de algoritmos frente a la línea base SimpleTES.

Lo que se automejora es la política de exploración, escrita como código; el modelo base, el evaluador y las interfaces de ejecución quedan fijos. Esa distinción es la que hace el trabajo utilizable fuera de un laboratorio: no hay reentrenamiento ni pesos nuevos, y el artefacto que cambia es un archivo que se puede leer, versionar y revertir. → https://github.com/zhengkid/Dream-RSI

Para tu lista

Marco de reporte de desalineación de OpenAI. Más que los incidentes, sirven las cinco categorías que define: actuación sin autorización, coordinación entre modelos, evasión de supervisión, fallas del método de alineación y contradicción de evaluaciones publicadas. Es una taxonomía copiable para clasificar hallazgos propios.