¿La IA nos salvará de sí misma?

-

Cada vez que una IA traduce una intención humana en una acción concreta, las reglas de esa traducción se convierten en poder. No en un poder abstracto: en el poder de decidir quién recibe qué, quién es sospechoso, quién pasa primero.

No se trata solamente de cuánto pueda hacer una IA de manera autónoma, sino de si el control humano sobre ella es realmente efectivo o apenas una ilusión. Podemos mantener a una persona formalmente "en el circuito" y, sin embargo, darle tan poco tiempo o contexto que su aprobación termine siendo un trámite.

La pregunta cambia entonces: ¿podemos diseñar la IA no solo para ejecutar decisiones, sino para hacer posible un control verificable sobre ellas? Y aquí aparece una paradoja: si necesitamos controlar a la IA, ¿podemos usar otra IA para hacerlo sin terminar en una cadena infinita de vigilantes que a su vez necesitan ser vigilados?

El cuello de botella es la intención, no el lenguaje

En sistemas complejos, casi nunca decimos todo lo que queremos decir. Decimos "busca la mejor opción" y damos por sentado que el otro entiende lo que es "mejor". Decimos "prioriza lo importante" y asumimos que comparte nuestra escala de lo importante. La IA puede entender cada palabra y, aun así, equivocarse sobre lo que realmente quisimos decir.

Por eso, una de las funciones más importantes de la IA podría no ser responder preguntas, sino actuar como capa semántica de control: traducir objetivos humanos en especificaciones operativas y, en sentido inverso, convertir datos y consecuencias en algo que una persona pueda comprender y cuestionar.

Pero si esa traducción queda a cargo de un único sistema, por sofisticado que sea, solo habremos creado una nueva caja negra. ¿Quién controla entonces al traductor?

Es la versión tecnológica de poner al gato de despensero. Y eso no es un detalle: es el problema central del artículo.

Del agente único al ecosistema de agentes

Una respuesta es usar más de una IA: una propone, otra intenta encontrarle errores. El trabajo sobre AI Control (Greenblatt, Shlegeris, Sachan y Roger, 2024) explora precisamente protocolos donde un modelo potente pero no plenamente confiable queda sometido a mecanismos de control que incluyen modelos más confiables y supervisión humana limitada. La intuición central: no hace falta que todos los componentes sean igualmente confiables para construir un sistema más controlable.

Esto se generaliza mejor con varios agentes que con dos. La clave no es el número, sino distribuir entre ellos capacidades y responsabilidades distintas, de modo que tengan una razón estructural para discrepar cuando hay algo que cuestionar.

Agentes que coinciden siempre no son control — son redundancia decorativa.

Esta diversidad importa más que la cantidad: si todos los agentes comparten fuentes, objetivos y arquitectura, pueden reproducir el mismo error con extraordinaria eficiencia. El objetivo no es que todos lleguen a la misma conclusión, sino que las discrepancias relevantes se vuelvan visibles — una coincidencia no demuestra que una decisión sea correcta, pero una discrepancia revela dónde mirar.

Hay una distinción que se nos escapa todo el tiempo: que un agente sea capaz de hacer algo no significa que deba estar autorizado a hacerlo — un sistema que consulta información no debería tener la misma autoridad que uno que modifica un registro, ni uno que recomienda una acción debería poder convertirla por sí mismo en decisión definitiva. Protocolos como el Model Context Protocol (MCP) estandarizan cómo los agentes acceden a herramientas y sistemas externos, pero no resuelven por sí mismos quién tiene autoridad ni cuándo debe intervenir un humano: son la capa de conexión, no la gobernanza.

Fragmentos que ya existen

No hace falta imaginar el futuro. Las piezas del mecanismo ya están funcionando, sueltas, en distintos lugares del mundo. Solo que nadie las ha ensamblado todavía.

La arquitectura orquestador-trabajadores ya está en producción a escala: Anthropic documentó en 2025 el sistema detrás de su función de investigación, donde un agente líder descompone una tarea y varios subagentes especializados la exploran en paralelo, cada uno con su propio contexto y sin visibilidad de lo que hacen los demás — el mismo principio de separación de roles, aunque orientado a cubrir más terreno de investigación que a vigilar decisiones.

La auditoría externa de un sistema por otro ya existe al nivel de los propios modelos, no solo de sus aplicaciones: desde 2024, los principales laboratorios de IA entregan acceso anticipado a sus modelos de frontera para evaluación previa al despliegue, un programa que se amplió en 2026 a varios laboratorios más. No es una IA auditando a otra en el sentido estricto del AI Control, pero es el mismo principio institucional: nadie certifica su propia tarea.

Y la exigencia regulatoria de que la vigilancia humana sea real, no decorativa, ya es ley: el Artículo 14 del Reglamento de IA de la Unión Europea —cuyas obligaciones plenas para sistemas de alto riesgo entraron en vigor el 2 de agosto de 2026— no se conforma con que exista una persona "en el circuito"; exige que esa persona pueda entender, monitorear, anular y detener el sistema en la práctica. Para el caso más sensible que regula, la identificación biométrica remota, la norma ya materializa literalmente la "arquitectura de la discrepancia": exige que al menos dos personas distintas verifiquen y confirmen el resultado antes de actuar sobre él.

Descomposición en agentes especializados. Auditoría externa antes del despliegue. Verificación dual obligatoria por regulación. Ninguno de estos fragmentos implementa el sistema completo — pero ensamblados, lo producen.

Del "humano en el circuito" al humano ante la discrepancia

¿Cuántas veces has aprobado algo sin leerlo realmente? No por negligencia: por volumen. Porque el sistema te lo presenta como 'validado' y ya no hay tiempo para dudar de todo. Durante años hemos hablado de human-in-the-loop: mantener a una persona dentro del proceso para que revise las decisiones de la IA. Pero eso no garantiza control — si una persona recibe miles de recomendaciones sin contexto suficiente para evaluarlas, y sabe que casi todas serán aceptadas, su intervención se vuelve una formalidad.

Una arquitectura distinta filtra primero las decisiones rutinarias y eleva al humano solo lo que merece su atención: un agente propone, otro busca fallas, un tercero verifica restricciones, la herramienta ejecuta solo lo que tiene autorizado, y el humano interviene cuando hay una discrepancia significativa o el riesgo supera cierto umbral. El humano ya no revisa mecánicamente cada decisión — revisa lo que el propio sistema no pudo resolver de manera suficientemente confiable.

Del cerebro global a una inteligencia gobernable

Nos gusta la idea del "cerebro global": miles de millones de nodos conectados, inteligencia emergiendo de la red. Suena bien. Pero una red muy conectada también puede hacer algo mucho menos poético: propagar el mismo error a una velocidad extraordinaria.

La misma lógica que separa poderes en el diseño institucional aplica aquí: el control no nace de una autoridad más virtuosa, sino de que ninguna autoridad concentre todas las capacidades sin posibilidad de ser cuestionada.

Un agente propone, pero no necesariamente autoriza; otro cuestiona, pero no necesariamente ejecuta; una herramienta ejecuta, pero solo dentro de sus permisos. El futuro de la IA no debería consistir simplemente en conectar cada vez más modelos y agentes, sino en decidir cómo se distribuye la autoridad dentro de esa red: quién propone, quién cuestiona, quién autoriza, quién ejecuta, quién detiene, y quién puede reconstruir después qué ocurrió.

La IA no debería gobernarnos

No necesitamos que una IA nos salve de otra IA. Necesitamos diseñar sistemas en los que ninguna IA tenga que salvarnos de sí misma.

La inteligencia artificial no debería convertirse en el cerebro que gobierna a la sociedad. Debería formar parte de una arquitectura en la que múltiples agentes propongan, cuestionen, verifiquen y ejecuten, mientras la autoridad humana permanece distribuida en los puntos donde realmente importa. El desafío no es construir una IA que nunca se equivoque, sino una arquitectura en la que, cuando una IA se equivoque, otra pueda detectarlo, la acción pueda contenerse y un humano pueda intervenir. Ahí la gobernanza deja de ser una capa que se añade después. Se convierte en la arquitectura misma del sistema. Y quizá eso sea lo único que puede salvarnos de la próxima gran idea que tengamos.

Nota del autor

Este artículo ha sido elaborado con asistencia de herramientas de inteligencia artificial en distintas etapas del proceso, incluyendo la exploración de ideas, revisión y edición del texto. Las fuentes y referencias fueron seleccionadas y revisadas por el autor. El contenido, los argumentos y la versión final del artículo son responsabilidad exclusiva del autor.

Referencias

Entradas más populares de este blog

Errare humanum est. ¿La IA hereda nuestro derecho a equivocarnos?

-
Imagen
/> Desde sus orígenes, el ser humano se ha estado inventando a sí mismo hacia afuera. Toda la historia de la técnica puede entenderse a través de lo que Ernst Kapp denominó «proyección orgánica» : la tendencia a crear herramientas como prótesis de nuestro propio cuerpo. La mano por sí sola tiene está limitada por su propia fuerza y alcance; por eso apareció la piedra tallada, y luego el martillo, la palanca, la rueda: prolongaciones que multiplicaron nuestra capacidad física sin dejar nunca de ser, evidentemente, otra cosa. Nadie confundió jamás un martillo con una mano. Nuestras piernas, de igual modo, solo nos permiten llegar hasta donde la biología manda; por eso domesticamos al caballo, inventamos la carreta, el barco, el motor, el avión. El ojo se extendió en el telescopio y el microscopio; la voz, en el teléfono; la memoria, en la escritura. Décadas después, Marshall McLuhan sintetizó este fenómeno al definir las tecnologías como «extensiones del ser humano», mientr...
Leer más

Reporte anual - 10 Avances en tecnologías digitales y su impacto en gobierno

-
Imagen
El año 2025 estuvo marcado por avances significativos en diversas tecnologías digitales, muchas de las cuales ya están influyendo —o lo harán en el corto y mediano plazo— en la forma en que los Estados, el sector privado y otros actores del ecosistema digital planifican, gestionan y prestan servicios. Este reporte no presenta un inventario de tecnologías plenamente adoptadas por los gobiernos, sino una selección de avances tecnológicos relevantes ocurridos durante 2025, analizados desde su impacto actual o potencial en la gestión pública y privada, la provisión de servicios, la seguridad digital y la generación de valor público y económico. Algunos de estos avances ya cuentan con aplicaciones concretas tanto en el sector público como en el sector privado, mientras que otros se encuentran en fases tempranas de adopción. No obstante, todos ellos resultan estratégicos para el planeamiento digital, la gobernanza tecnológica y la toma de decisiones de mediano plazo, especialmente en contex...
Leer más

La IA que se mejora a sí misma: Wiener, Coxon y el fin del control humano

-
Imagen
El 8 de septiembre de 2026, Jacob Coxon anunció su renuncia a Anthropic con una frase que resonó de inmediato: la industria está "jugando con nuestras vidas” . Coxon, investigador de preentrenamiento con trayectoria en OpenAI y Anthropic, advirtió que el desarrollo de sistemas capaces de mejorarse a sí mismos avanza sin frenos reales. Su salida no fue un gesto aislado. Fue una señal lanzada desde dentro de una de las empresas que lidera la carrera hacia la superinteligencia. Y su testimonio merece leerse no solo como una denuncia técnica, sino como un recordatorio de algo que Norbert Wiener ya había advertido hace más de sesenta años. Wiener lo vio primero Norbert Wiener acuñó el término “cibernética” en 1947 para designar el estudio del control y la comunicación en el animal y la máquina. Su intuición fundamental era que humanos y máquinas podían entenderse bajo una misma lógica: la de la retroalimentación , el ajuste del comportamiento presente en...
Leer más