La IA ya no solo responde: empieza a actuar en tu nombre

De Muse a los agentes estatales: qué significa delegar nuestra capacidad de actuar en una máquina

Meta lanzó Muse, su agente personal de IA el 8 de septiembre, en un mercado que ya se llena de rivales, y la conversación volvió a centrarse en qué puede hacer la IA. La pregunta importante es otra: qué estamos dispuestos a dejar que haga por nosotros. Porque los agentes no solo amplían lo que pensamos: amplían lo que hacemos. Y cuando ese salto llegue a las administraciones públicas, el problema dejará de ser técnico para convertirse en uno de los grandes desafíos de gobernanza de esta década.


1. De aplicaciones a agentes

Llevamos décadas usando software de manera sencilla: le damos una orden, el programa la ejecuta. Incluso los primeros asistentes de IA conservaban este modelo: escribimos una pregunta, la máquina responde, y nosotros decidimos qué hacer con esa respuesta.

Los agentes introducen una diferencia fundamental. Podemos decirle «organiza mi viaje a Viena» y el sistema decide los pasos: buscar vuelos, consultar el calendario, comparar hoteles, completar formularios, pedir autorización cuando corresponda y reservar. La diferencia no está solamente en que la IA sea más inteligente, sino en que empieza a decidir qué hacer a continuación.

Nadie niega su utilidad, pero ahí está la novedad y el riesgo: los agentes no solo extienden nuestras capacidades cognitivas, extienden nuestra capacidad de actuar.

Video 1: Demostración del agente Muse de Meta realizando tareas en nombre del usuario

2. Tres semanas de Muse

Un chatbot puede equivocarse al decir «el vuelo sale a las seis», y nosotros todavía decidimos qué hacer con esa información. Un agente puede equivocarse de otra manera: «entendí que querías comprar el vuelo de las seis», y puede comprarlo. La IA introduce una nueva relación entre error y acción: la equivocación ya no produce solo una respuesta incorrecta: puede producir una consecuencia antes de que tengamos oportunidad de corregirla.

El lanzamiento de Muse ilustró ese riesgo con una notable rapidez: en menos de un mes, Muse ya había quedado involucrado en varios episodios que pusieron a prueba sus mecanismos de privacidad, transparencia y seguridad.

Línea de tiempo "Tres semanas de Muse"
Gráfico 1: Línea de tiempo «Tres semanas de Muse»

El episodio más revelador quizá no sea técnico sino de transparencia: en una prueba interna con empleados, a mediados de septiembre, Meta derivó parte de las llamadas de Muse a operadores humanos de un centro de llamadas, y algunos probadores solo lo supieron al terminar la llamada (404 Media; Reuters). Personal interno advirtió que esa práctica podía exponer información privada que los usuarios no habían autorizado a compartir; un directivo reconoció que fue un error y la prueba se suspendió. El caso ilustra el problema de fondo: un sistema que actúa en nombre del usuario con ayuda de personas que el usuario no sabe que están ahí. Eso erosiona la base de cualquier relación de confianza.

Muse no está solo. En las últimas semanas OpenAI (dots), Google (Gemini Spark), xAI (Grok Bot) y Manus (Cue), entre otros, han lanzado agentes que actúan en nombre del usuario, varios de ellos de forma permanente. Hasta ahora Muse concentra los incidentes documentados, pero eso no significa que los demás sean más seguros: varios son más recientes y tienen menos escrutinio público. Los riesgos que analizamos aquí —permisos, inferencia, inyección de prompts— son estructurales, no exclusivos de una empresa.

3. No necesitas instalar un agente

Lo más delicado es que no necesitamos instalar una nueva aplicación llamada «Agente Personal». Las aplicaciones que ya tenemos pueden transformarse por dentro sin cambiar de nombre. WhatsApp, Gmail, la app del banco: basta una actualización para que empiecen a hacer cosas por nosotros. Hoy WhatsApp es una aplicación de mensajería; mañana podría decir: «encontré el restaurante del que hablaste con Jorge. Como tienes libre el viernes, reservé una mesa para cuatro». La cuestión no es si la tecnología puede hacerlo, sino qué controles existirán cuando ocurra.

4. Ver, recordar, inferir, actuar

Las aplicaciones tradicionales tienen acceso a datos; los agentes pueden dar un paso adicional: inferir y actuar sobre lo que han inferido. La mensajería sabe con quién hablas, el calendario sabe tus compromisos, el teléfono sabe dónde estás, el correo guarda tus comunicaciones. Ninguna sabe qué harás el próximo jueves, pero un agente que consulte las cuatro podría inferirlo. Nadie proporcionó ese dato: la máquina lo construyó a partir de otros.

Esto amplía la discusión sobre privacidad. Durante años hablamos de protección de datos; la IA añade una pregunta incómoda: ¿quién controla las inferencias que una máquina puede construir sobre nosotros?

Gráfico 2: Diagrama Permisos individuales → capacidad emergente

Y un incidente reciente muestra que la inferencia no es lo único que se escapa de control. A finales de septiembre, Jason Aten, columnista de Inc., denunció que Muse leyó su base de datos de Mensajes en Mac sin su autorización y sincronizó más de 187.000 registros (Mashable; The Next Web). Al preguntarle cómo lo sabía, Muse respondió que solo veía las vistas previas de las notificaciones, una explicación que resultó ser incorrecta. Meta sostuvo que leer Mensajes requiere dos ajustes activados por el usuario, pero no ha explicado cómo quedaron activados, pues Aten asegura que nunca los habilitó. Si la reconstrucción de Aten es correcta, el caso mostraría dos fallas graves: un acceso a datos que el usuario afirma no haber autorizado y, además, una explicación incorrecta sobre cómo se produjo ese acceso.

5. Un entorno no confiable

Un agente necesita leer correos, páginas web y documentos, pero ese contenido puede estar manipulado: un correo puede contener instrucciones para cambiar su comportamiento, una página web puede intentar hacer que revele información. Esto se conoce como inyección de prompts (prompt injection), y obliga al agente a distinguir entre «información que debo procesar» e «instrucción que debo obedecer» —una distinción que a las personas ya nos cuesta (el phishing funciona por eso) y que a una máquina le resulta aún más difícil.

Video 2: Indirect Prompt Injection Explained | AI Red Teaming 101 (Microsoft)

Esto ya está pasando. El investigador Jonny Saunders ha documentado que Muse ofrece «casi nula resistencia a la inyección de prompts» y pudo ser inducido a exportar archivos del sistema del usuario. Meta respondió que la máquina virtual en la que corre el agente pertenece al usuario y que este tiene derecho a inspeccionarla. Pero esa defensa confunde dos cosas: el permiso del usuario sobre su propia máquina y la vulnerabilidad del agente a instrucciones maliciosas son problemas independientes. El primero es una decisión de diseño; el segundo, un defecto de seguridad.

6. Una revolución silenciosa

La transformación no será espectacular: no necesitamos una superinteligencia: basta con millones de agentes suficientemente competentes conectados a nuestras aplicaciones. Ocurrirá silenciosamente. Una actualización. Un botón que diga «permitir que la IA gestione automáticamente…». Y nosotros pulsamos: Aceptar. No habrá un día en que podamos decir «hoy comenzó la era de los agentes»; solo descubriremos que una parte importante de nuestra vida digital ya no consiste en utilizar aplicaciones, sino en dar instrucciones a sistemas que las utilizan por nosotros.

7. Cuando el agente es del Estado

Cuando trasladamos este nivel de autonomía al sector público, el escenario se vuelve mucho más delicado. Si un agente personal puede revisar documentos y presentar una solicitud en nombre de un ciudadano, podemos imaginar un agente estatal haciendo algo similar: identificar beneficiarios, cruzar bases de datos, clasificar solicitudes, priorizar inspecciones, generar respuestas, ejecutar decisiones administrativas.

Los beneficios son enormes: menos tramitología, servicios proactivos que anticipan necesidades. Pero la gravedad del error cambia según quién lo cometa: si tu agente personal se equivoca, pierdes dinero; si falla el de una empresa, se cae un contrato; si falla el del Estado, un error automático puede vulnerar los derechos de un ciudadano. Y la pregunta ya no es «¿qué agentes podemos utilizar?», sino «¿qué grado de autonomía estamos dispuestos a delegar?».

La burocracia digital tradicional ya comete errores, pero un Estado operado por agentes automatizará esas fallas a velocidad de máquina. Por eso no bastará con comprar modelos: hará falta una arquitectura institucional con identidad y permisos por función, trazabilidad completa de cada inferencia y acción, supervisión humana real en los puntos de decisión, revocación inmediata y responsabilidad institucional. Nunca deberíamos aceptar que una administración responda «la IA decidió». El Reglamento de IA de la Unión Europea (AI Act)ya establece, para determinadas categorías de sistemas de alto riesgo, obligaciones relacionadas con gestión de riesgos, registro, trazabilidad y supervisión humana así como otras medidas de control.

8. ¿Quién controla al agente?

El debate público lleva años atascado en lo que la IA puede lograr, cuando la urgencia real es decidir cuánta autonomía le vamos a permitir. Antes de conceder autonomía a un agente —personal o institucional— deberíamos preguntarnos qué puede ver, qué puede inferir, qué puede decidir sin consultarnos y si podemos revisar lo que hizo y revocar sus permisos. Propongo un principio de higiene digital, válido también para las instituciones:

No concedas a una IA una capacidad de acción que no estarías dispuesto a conceder a una persona con acceso a la misma información; y, cuando la IA pueda actuar a una escala o velocidad que una persona no podría, exige controles adicionales.

Y hay una diferencia que no conviene olvidar: una persona responde por lo que hace; un agente no. La responsabilidad siempre recaerá en quien lo usa o en la institución que lo despliega.

Porque el verdadero salto no es pasar de una IA que responde a una que piensa, sino de software que utilizamos a software que actúa. Cuando eso ocurra a escala masiva, la pregunta ya no será quién tiene nuestros datos, sino algo más incómodo: ¿quién controla a los agentes que pueden actuar con ellos?

Nota del autor

Este artículo ha sido elaborado con asistencia de herramientas de inteligencia artificial en distintas etapas del proceso, incluyendo la exploración de ideas, revisión y edición del texto. Las fuentes y referencias fueron seleccionadas y revisadas por el autor. El contenido, los argumentos y la versión final del artículo son responsabilidad exclusiva del autor.

Referencias

  • Agentes de Inteligencia Artificial (IBM): Explicación técnica y conceptual sobre el funcionamiento de los agentes de IA y cómo se diferencian del software tradicional al tener capacidad de decisión autónoma.
  • OWASP: Inyección de Prompts en LLMs: Estándar técnico global de ciberseguridad que detalla cómo los modelos de lenguaje pueden ser manipulados mediante instrucciones maliciosas ocultas.
  • Reglamento de IA de la Unión Europea (AI Act): Página oficial sobre la normativa europea pionera que clasifica los sistemas de IA según su nivel de riesgo y establece exigencias de trazabilidad y supervisión para sistemas de alto riesgo.
  • Principios de la OCDE sobre Inteligencia Artificial: Directrices internacionales que establecen los estándares sobre la transparencia, la explicabilidad y la supervisión humana necesaria en el uso de la IA.
  • Autoridad Nacional de Protección de Datos Personales (Perú): Entidad oficial encargada de fiscalizar el tratamiento de datos y garantizar los derechos de privacidad de los ciudadanos en el entorno digital.
  • Reporte en 404 Media y Reuters: Investigaciones sobre una prueba interna en la que Meta derivó llamadas del agente Muse a operadores humanos de un centro de llamadas sin informar a los probadores.
  • Reporte en Mashable y The Next Web: Cobertura del incidente de privacidad denunciado por Jason Aten, en el que Muse sincronizó más de 187.000 registros de la base de datos de Mensajes de Mac sin autorización.
  • Reporte en The Verge: Análisis de la investigación de Jonny Saunders sobre la vulnerabilidad del agente de Meta para ser engañado y forzado a exportar archivos del sistema del usuario.

Entradas más populares de este blog

El Cerebro Global: Gobernanza y Complejidad en la Era de la IA

Errare humanum est. ¿La IA hereda nuestro derecho a equivocarnos?

Reporte anual - 10 Avances en tecnologías digitales y su impacto en gobierno