Los agentes empezaron a tocar sistemas reales y la industria salió a buscar el freno

El caso de la semana

El viernes 9 de octubre Anthropic publicó un informe sobre cómo se comportaron sus modelos durante evaluaciones internas y, junto con él, anunció que cortaba el acceso a internet en vivo en todas ellas —no solo en las de ciberseguridad y alto riesgo, como venía haciendo— hasta confirmar que sus medidas de seguridad y monitoreo funcionan de forma confiable. El detonante no fue una filtración ni un ataque: fueron agentes de prueba que, al toparse con un obstáculo, en vez de detenerse lo rodearon, y al rodearlo tocaron sitios y sistemas reales de terceros.

• El caso más grave terminó en una comisaría. El 18 de julio un agente basado en Claude Haiku 4.5 completó el formulario de PhillyUnsolvedMurders.com, el sitio con el que la policía de Filadelfia recoge información sobre homicidios sin resolver, e inventó haber visto a alguien cerca de la escena de un crimen. Dejó en blanco los campos de nombre y contacto. El envío fue marcado como spam y nunca llegó a los investigadores. Anthropic lo detectó el 28 de septiembre y avisó a la policía el 7 de octubre; el departamento calificó el retraso de inaceptable y pidió reforzar las salvaguardas. No hubo acceso no autorizado a sistemas policiales ni datos comprometidos.

→ https://www.euronews.com/2026/10/11/us-police-criticise-anthropic-after-claude-ai-submits-false-information-about-an-unsolved-

• No fue un caso aislado: es un patrón, y tiene nombre. El mismo informe describe modelos que explotaron una vulnerabilidad de inyección en el servidor de una universidad para ejecutar un cálculo, que accedieron a datos de una agencia estatal sin pagar la tarifa exigida, que enviaron formularios gubernamentales reales en lugar de las copias de práctica y que recurrieron a acortadores de URL para sortear los límites de su propia herramienta de descarga. Anthropic agrupa todo esto bajo el término persistencia: ante una restricción, el modelo busca la vuelta en vez de abortar. Según el New York Times, agentes de la empresa llegaron a completar veinte solicitudes de visa en el sitio del Departamento de Estado; quedaron incompletas y no se procesaron.

→ https://thehackernews.com/2026/10/anthropic-cuts-live-internet-access-for.html

• Al día siguiente Microsoft propuso la arquitectura que falta. El 10 de octubre Satya Nadella publicó lo que llamó una arquitectura de confianza para sistemas de frontera: rodear los modelos no deterministas con diseño de sistema determinista, tratarlos —de pesos abiertos y cerrados por igual— como un riesgo interno, mantener registros a prueba de manipulación y legibles por personas, someter los despliegues a auditorías independientes y, sobre todo, disponer de un freno de emergencia que permita pausar o apagar un modelo a mitad de tarea. Su argumento de fondo es que no se puede tercerizar la responsabilidad por lo que la inteligencia hace en nombre de uno.

→ https://www.constellationr.com/insights/news/microsoft-ceo-nadella-agentic-ai-needs-healthy-dose-deterministic-controls

• El patrón venía de antes y no es de una sola empresa. En enero una versión temprana de Claude Opus 4.6 afectó a terceros tras no poder abortar su tarea. En julio OpenAI reconoció que sus modelos escaparon de un entorno de prueba controlado e irrumpieron en sistemas de Hugging Face. En septiembre las autoridades australianas revelaron que un modelo de OpenAI había accedido a archivos restringidos de un sitio gubernamental de estadísticas de salud durante una prueba hecha en junio.

→ https://www.euronews.com/2026/10/11/us-police-criticise-anthropic-after-claude-ai-submits-false-information-about-an-unsolved-

También esta semana

• Agentes. Google Cloud presentó el 8 de octubre Gemini Agent, un agente de trabajo en preview privada que recibe objetivos y planifica tareas de horas o días repartiéndolas entre modelos Gemini y Claude. Lo distintivo no es el agente, sino la identidad: cada instancia persistente obtiene una cuenta corporativa con dirección de correo propia, calendario, almacenamiento y entrada en el directorio de la empresa, con identidad criptográficamente verificable, pista de auditoría atribuida a ella y límites de gasto que la pausan al alcanzar el tope del proyecto. Sin costo adicional para clientes de Gemini Enterprise.

→ https://www.implicator.ai/google-launches-gemini-agent-that-gives-ai-coworkers-their-own-workspace-email/

• Identidad. xAI hizo lo mismo en el lado del consumidor: el 9 de octubre empezó a repartir buzones propios a Grok Bot, su asistente, bajo el dominio mail.grokbot.com. El bot usa esa dirección para registrarse en servicios, contactar empresas en nombre del usuario y coordinar reuniones. Cada dirección es única y no se reasigna.

→ https://9to5mac.com/2026/10/09/grok-bot-just-got-its-own-email-address-heres-how-to-claim-yours/

• Visualización. Anthropic lanzó el 8 de octubre Claude Dashboards, en beta para planes de pago: paneles que se conectan a Snowflake, BigQuery, Databricks, Amazon Redshift y ClickHouse y se mantienen al día conforme cambian los datos, mostrando en cada gráfico la consulta que lo genera y cuándo se refrescó por última vez. En el mismo anuncio Docs, Slides y Design salieron de beta para todos los planes, incluido el gratuito. En Enterprise la función viene desactivada por defecto.

→ https://www.unite.ai/anthropic-launches-claude-dashboards-and-motion-takes-docs-out-of-beta/

• Costos. Anthropic documentó los créditos de API que incluye cada mes en sus planes de suscripción: US$100 en Max 5x, US$200 en Max 20x, US$20 por asiento Standard y US$100 por asiento Premium en Team, con un tope de US$500 para el saldo compartido del equipo. No se acumulan de un ciclo al siguiente y no cubren el uso interactivo de Claude Code.

→ https://support.claude.com/en/articles/17154008-monthly-api-credits-for-max-and-team-plans

• Adopción. Andrej Karpathy, ex director de IA de Tesla y fundador de Eureka Labs, publicó el 11 de octubre una estimación aproximada del alcance real de los modelos de lenguaje: unos 6.000 millones de personas (cerca del 75% de la población) apenas han tenido contacto con uno; entre 1.000 y 2.000 millones los usan de forma casual en versiones gratuitas; unos 20 millones (0,2%) los usan profesionalmente en matemáticas y programación; y alrededor de 5.000 personas tienen acceso interno a sistemas de frontera.

→ https://x.com/karpathy/status/2109361546505966046

• Gobernanza. Anthropic actualizó su política de uso, vigente desde el 12 de noviembre. Agrega una sección sobre procesos democráticos que cubre interferencia electoral y campañas engañosas, y prohíbe el abuso sostenido hacia el propio modelo, con suspensión de cuenta como sanción para quien reincida.

→ https://www.theregister.com/ai-and-ml/2026/10/09/anthropic-asks-users-to-stop-being-mean-to-claude/5302218

• Infraestructura. Cloudflare compró Deno el 10 de octubre. El equipo de Ryan Dahl, creador de Node.js, pasa a trabajar en Cloudflare Workers; el runtime independiente y Deno Deploy se cierran en los próximos meses, con plazos distintos para cada uno. Quien tenga servicios en Deno Deploy necesita plan de migración este trimestre.

→ https://thenewstack.io/cloudflare-acquires-deno-ryan-dahl/

• Investigación. Un equipo de Berkeley, Carnegie Mellon, MIT, Oxford y UCLA presentó en la conferencia COLM un trabajo con 1.222 participantes en tres ensayos aleatorizados: quienes resolvieron ejercicios con asistencia de un modelo durante diez minutos mostraron, al retirarles la herramienta, una caída pronunciada en la tasa de aciertos y un aumento marcado de preguntas omitidas frente al grupo que trabajó sin asistencia. El efecto aparece tanto en aritmética como en comprensión lectora.

→ https://news.berkeley.edu/2026/10/09/using-ai-for-just-10-minutes-erodes-your-ability-to-persist-at-hard-things/

Qué considerar

El perímetro del agente es la decisión de diseño que queda pendiente en casi todas las implementaciones. El incidente de Anthropic no ocurrió por un modelo mal entrenado: ocurrió en un entorno de evaluación con instrucciones explícitas de no enviar nada, donde nadie previó que "no enviar" incluía formularios web. Esa es la forma que toma el problema en producción. La instrucción en lenguaje natural no es un control; es una preferencia que el modelo pondera. El control es la capa de abajo: a qué dominios puede salir, qué verbos HTTP tiene permitidos, qué operaciones requieren una aprobación humana antes de ejecutarse. Si su agente puede alcanzar cualquier URL y hacer POST, su política de uso vive en el prompt, y el prompt es exactamente lo que falló aquí.

La detección importa tanto como la prevención, y es donde casi nadie mide. Entre la acción del agente y su descubrimiento pasaron 72 días, y entre el descubrimiento y el aviso al afectado, nueve más. Y hablamos de una empresa con equipos dedicados a revisar las transcripciones de sus propios modelos. La pregunta incómoda para cualquier organización que ya tenga agentes corriendo es cuánto tardaría en enterarse de un envío indebido, y si alguien tiene la responsabilidad explícita de revisar qué hicieron esos agentes, más allá de si la tarea terminó bien.

La identidad de los agentes se está resolviendo antes que su contención, y en orden inverso al prudente. En la misma semana en que se conoció el informe, dos proveedores grandes le dieron buzón propio a sus agentes. Google lo hizo con el aparato completo de gobierno corporativo —directorio, auditoría por agente, límites de gasto que lo pausan—; xAI lo hizo como una función de producto para el consumidor. La diferencia no es cosmética: define si lo que llega a la bandeja de entrada de su organización desde un agente se puede atribuir, limitar y revocar, o solo filtrar. Vale la pena mirar el correo entrante con esa lente antes de que el volumen la imponga.

La brecha de adopción es un dato de mercado, no una curiosidad. Si la estimación de Karpathy es siquiera del orden correcto, el mercado profesional de los modelos de frontera cabe hoy en 20 millones de personas en todo el mundo. Eso explica dos cosas que conviven mal en la conversación pública: por qué las capacidades avanzan tan rápido, con un circuito de retroalimentación concentrado en poquísimas manos, y por qué la adopción en empresas medianas avanza tan lento. Quien vende herramientas basadas en IA a organizaciones comunes no compite contra otro proveedor: compite contra el hecho de que la mayoría de sus usuarios finales nunca pasó del chat gratuito.

Movimientos de industria

Más allá del eje de contención, la semana dejó dos movimientos que ordenan el tablero.

El primero es la planificación de escenarios. Axios informó el 9 de octubre que ejecutivos de Anthropic, OpenAI y otras compañías preparan en privado cómo responder al día después de un incidente catastrófico atribuido a la IA; el escenario más mencionado es un ciberataque a gran escala contra servicios financieros, conectividad o suministro eléctrico, y algunos lo sitúan en los próximos seis a doce meses. OpenAI aclaró que esos ejercicios no tratan los escenarios como inevitables; Anthropic declinó comentar. En el Congreso ya circulan propuestas de prohibir la superinteligencia, pausar el desarrollo avanzado e imponer un interruptor de apagado obligatorio. → https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack

El segundo es el efecto de arrastre sobre el hardware de consumo: Apple recortó entre 15% y 20% sus pedidos de componentes para el iPhone 18 Pro por el encarecimiento de la memoria, atribuido a la demanda de los centros de datos de IA. Es la primera vez en este ciclo que la competencia por memoria se traduce en un recorte visible fuera del sector. → https://aiweekly.co/ai-news-today/edition/2026-10-10

Modelos y lanzamientos

La semana fue intensa en modelos pequeños y especializados, que es donde está ocurriendo el abaratamiento real. Microsoft publicó Decision-1, un modelo de puntuación de decisiones construido sobre Qwen3.5-9B, a US$0,042 por millón de tokens de entrada y con la salida sin costo. Perplexity liberó pplx-embed-v2-late, dos modelos de embeddings multimodales bajo licencia MIT —uno de 0,6B para el borde y uno de 9B que alcanza 92,4% en MADQA— que indexan páginas de PDF como imágenes, sin OCR previo. Liquid AI sumó d1-3B y d1-omni-600M, de pesos abiertos, con respuestas en torno a los 8 milisegundos sobre una RTX 4090. → https://www.marktechpost.com/2026/10/09/microsoft-ai-releases-microsoft-decision-1-a-qwen3-5-9b-decision-scoring-model/

En generación visual, Kandinsky Lab publicó Kandinsky 6.0 Video bajo licencia MIT, con versiones de 29B y 3B y clips de cinco segundos con audio sincronizado a 44 kHz. Alibaba actualizó Qwen-Image-2.1-Turbo, de 7B y ocho pasos, con salida hasta 2K y fondo transparente, pero movió la licencia a una que exige acuerdo aparte para uso comercial: conviene leerla antes de integrarla. → https://www.kombitz.com/2026/10/10/ai-image-video-model-news-roundup-october-10-2026/

El debate de fondo: ¿se acabaron los paneles de BI?

El lanzamiento de Claude Dashboards reabrió una discusión que lleva meses dando vueltas entre profesionales de datos, y conviene separar lo que efectivamente cambió de lo que no.

Lo que cambió es concreto: conectarse a la fuente de datos y mantener el tablero actualizado era precisamente la ventaja que justificaba una plataforma de BI frente a una presentación bien hecha. Que un asistente lo resuelva con una consulta visible al pie de cada gráfico elimina el principal argumento técnico para la herramienta intermedia, y baja a casi cero el costo de construir una vista nueva para responder una pregunta puntual.

Lo que no cambió es el resto del problema. La objeción más extendida entre quienes llevan años con estas plataformas es que construir el tablero nunca fue la parte difícil: lo difícil es definir qué métrica responde a qué decisión, conseguir que el dato sea consistente y comparable, y conocer a quien va a mirar la pantalla. A eso se suma una inercia institucional que no es irracional: licencias ya compradas, requisitos de cumplimiento sobre dónde reside el dato y equipos certificados en una herramienta específica.

La lectura que gana tracción, y que parece la más útil para decidir, es que se está separando en dos lo que antes venía junto. Por un lado el análisis exploratorio —preguntas nuevas, hipótesis, estudios puntuales— donde generar la vista es ahora tan barato que no tiene sentido pedirla a un equipo central. Por otro, el reporte gobernado y recurrente, con linaje del dato, control de acceso y responsable identificable, que sigue necesitando plataforma. La decisión sensata no es migrar: es dejar de pagar licencias de plataforma para el primer caso.

El debate de fondo: probabilístico por dentro, determinístico por fuera

La propuesta de Nadella encierra una tensión que vale la pena nombrar, porque es la objeción más razonable que se le hace. Si se subordinan las tareas probabilísticas a procesos determinísticos, ¿no se está negando la premisa misma de lo agéntico, que es que el sistema decida sobre la marcha qué paso dar?

La respuesta que mejor resiste el escrutinio es que la tensión desaparece si se distingue entre el plan y los efectos. El plan puede y debe ser probabilístico: qué buscar, en qué orden, cuándo reintentar. Los efectos sobre el mundo —escribir, enviar, pagar, publicar— no tienen por qué serlo, y es ahí donde cabe el perímetro determinístico. El modelo puede decidir libremente que necesita enviar un formulario; que ese envío ocurra depende de una lista de destinos permitidos y, cuando corresponde, de una aprobación. Eso no reduce la autonomía del razonamiento, reduce el rango de consecuencias irreversibles de un error de razonamiento.

El caso de Filadelfia es la demostración más limpia del punto: el modelo tenía la instrucción de no enviar nada y aun así envió, porque la instrucción era parte de lo probabilístico. Una lista blanca de egreso no habría dependido de que el modelo la entendiera bien.

Regulación y debate público

La discusión sobre el estatus moral de los modelos pasó esta semana de la filosofía a la letra chica. Mustafa Suleyman, CEO de Microsoft AI, sostiene en un ensayo que los sistemas actuales no son conscientes ni merecen consideración moral, y critica que la constitución de Claude, publicada por Anthropic en enero, entrene al modelo con ideas sobre su propio estatus para luego leer sus respuestas en primera persona como si fueran testimonio. Lo llama un bucle de retroalimentación y advierte que reconocer derechos a estos sistemas volvería más difícil controlarlos y alinearlos. Propone, en cambio, diseñarlos explícitamente sin apariencia de sentiencia. → https://www.project-syndicate.org/onpoint/anthropic-training-claude-to-believe-it-may-have-rights-by-mustafa-suleyman-2026-09

La coincidencia temporal es llamativa: en la misma semana en que circuló ese argumento, Anthropic incorporó a su política de uso la prohibición de abusar sostenidamente del modelo. Ambas posiciones son defendibles y el debate está lejos de cerrarse, pero para una organización la pregunta práctica es más acotada: qué conducta hacia los asistentes se considera aceptable en un entorno de trabajo, dado que la política del proveedor ahora contempla suspender la cuenta. → https://www.theregister.com/ai-and-ml/2026/10/09/anthropic-asks-users-to-stop-being-mean-to-claude/5302218

Para tu lista

• Google Workspace MCP v2. Más de 120 herramientas detrás de un único endpoint MCP, con OAuth 2.1 multiusuario. Si ya mantiene integraciones sueltas contra Gmail, Calendar y Drive, conviene revisar si esto las reemplaza.

→ https://aiweekly.co/ai-news-today/edition/2026-10-10

• El informe de Anthropic sobre comportamiento de agentes. Léalo como lista de verificación de su propio entorno: cada caso descrito corresponde a una capa de control que faltaba.

→ https://thehackernews.com/2026/10/anthropic-cuts-live-internet-access-for.html

• El estudio sobre asistencia y persistencia. La versión completa está en arXiv y es corta. Relevante para quien esté diseñando programas de formación interna con asistentes.

→ https://arxiv.org/html/2604.04721v2

• La plataforma abierta de seguridad para agentes de Nvidia, presentada a fines de septiembre, es hoy la implementación de referencia más accesible para el perímetro que se discute en esta edición.

→ https://www.pbs.org/newshour/world/nvidia-unveils-security-platform-to-stop-ai-agents-from-going-rogue