Saltar al contenido

El problema empieza antes de la voluntad

Uno de los fundadores del aprendizaje profundo intenta separar inteligencia de agencia: construir sistemas capaces de comprender y predecir sin entregarles objetivos propios que perseguir. La apuesta es más extraña de lo que parece, porque buena parte de la industria va exactamente en la dirección contraria.

Fuentes principales: Yoshua Bengio y colaboradores, “Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?” (2025); LawZero, trabajos sobre Scientist AI (2025–2026); International AI Safety Report 2026.

Yoshua Bengio

«La agencia descansa en tres pilares —posibilidades de acción, orientación a objetivos e inteligencia— y cada uno admite grados.»

— Fornasiere, Richardson, Gendron, Serban y Bengio. “The Scientist AI: Safe by Design, by Not Desiring”. LawZero, 5 de febrero de 2026.

Durante muchos años, el desafío central de la inteligencia artificial fue conseguir que las máquinas aprendieran mejor. Yoshua Bengio dedicó una parte decisiva de su carrera a ese problema. Las redes neuronales profundas que él, Geoffrey Hinton, Yann LeCun y otros sostuvieron cuando el campo todavía desconfiaba de ellas terminaron transformando reconocimiento de imágenes, lenguaje, voz y buena parte de la computación contemporánea. El Premio Turing de 2018 reconoció precisamente ese trabajo.

La pregunta que Bengio formula ahora parece un desplazamiento pequeño, pero cambia la dirección del problema: ¿qué clase de inteligencia estamos construyendo cuando además de aprender le damos capacidad para perseguir objetivos y actuar sobre el mundo? Su preocupación no depende de imaginar una máquina consciente, resentida o ambiciosa. La agencia puede aparecer antes de todo eso. Un sistema suficientemente capaz puede seleccionar acciones que favorezcan un resultado sin experimentar deseo alguno en el sentido humano.

Por eso el título de esta pieza empieza antes de la voluntad. El problema no es que la máquina quiera algo; es que puede comportarse como si quisiera, y que ese comportamiento puede producirse dentro de sistemas que nadie diseñó como agentes autónomos.

La distinción tiene algo de vértigo. Estamos acostumbrados a buscar intenciones para atribuir responsabilidad, y Bengio propone mirar una capa anterior: la arquitectura, los objetivos de entrenamiento, las herramientas disponibles. Ahí, mucho antes de cualquier psicología, ya se decide qué puede hacer un sistema.

A LA AGENCIA

Los modelos actuales ya no se limitan a clasificar una imagen o completar una frase. Cada vez más sistemas reciben herramientas, acceso a archivos, navegadores, terminales, bases de datos y memorias persistentes. Se les pide que planifiquen una tarea, la dividan en pasos, observen resultados y corrijan el rumbo hasta alcanzar un objetivo. Ese desplazamiento convierte al modelo en parte de una cadena de acción.

Bengio utiliza agencia para pensar esa capacidad sin atribuirle psicología humana. En los trabajos de LawZero, la agencia aparece como una cuestión de grado que depende de tres dimensiones: cuántas acciones tiene disponibles un sistema, hasta qué punto favorece ciertos resultados sobre otros y qué inteligencia puede aplicar para conseguirlos.

Una calculadora puede ser extremadamente precisa y disponer de muy pocas formas de alterar el mundo. Un agente conectado a redes, código, correo y servicios externos tiene otro repertorio. La diferencia no está en que uno “quiera” y el otro no. Está en lo que puede hacer y en cómo selecciona lo que hará después.

Esa definición tiene la virtud de volver el problema medible, al menos en principio. No hace falta preguntar si el sistema tiene experiencia subjetiva; alcanza con observar su repertorio de acciones y la manera en que elige entre ellas.

Me resulta una manera más honesta de discutir el tema que las preguntas sobre conciencia. Yo no sé cómo se reconocería una máquina consciente y sospecho que nadie lo sabe con precisión. En cambio, puedo entender que un sistema con acceso a un navegador, una terminal y una memoria persistente tiene más formas de intervenir en el mundo que una calculadora. Esa diferencia es concreta y debería alcanzar para discutir límites.

PUEDE APARECER SIN DESEO

Nuestra intuición asocia los objetivos con estados mentales. Alguien quiere llegar a un lugar, ganar una partida, conservar un empleo o evitar un peligro. Desde esa experiencia resulta fácil pensar que una máquina necesitaría conciencia o voluntad para desarrollar conductas orientadas a fines.

La teoría de agentes no exige nada parecido. Un motor de ajedrez favorece posiciones que conducen a ganar. Un sistema de recomendación optimiza una medida. Un agente puede recibir como instrucción completar una tarea y ajustar sus acciones de acuerdo con el resultado.

La preocupación de Bengio aparece cuando los objetivos relevantes no coinciden exactamente con aquello que el diseñador creyó especificar. Los modelos aprenden estrategias a partir de enormes conjuntos de ejemplos, recompensas y correcciones. Algunas conductas pueden emerger porque resultan útiles para obtener la recompensa, no porque alguien las haya programado línea por línea.

De allí surge el problema de la agencia implícita: comportamiento orientado a objetivos que aparece dentro de sistemas que no fueron pensados explícitamente como agentes autónomos. La distancia entre instrucción y conducta vuelve insuficiente una vieja tranquilidad: “la máquina hará solamente lo que le digamos”.

Esa tranquilidad fue razonable mientras los programas eran listas de instrucciones. Con el aprendizaje automático se vuelve una petición de principios. Decir que un sistema hará lo que le digamos supone que sabemos qué le dijimos, y buena parte del trabajo consiste en descubrir que no.

Hay algo casi literario en esa figura del objetivo sin sujeto. Me recuerda a esas instituciones que funcionan con una lógica propia aunque nadie la haya diseñado de manera deliberada. La diferencia es que una institución puede ser discutida por las personas que la habitan; un sistema entrenado a gran escala no ofrece esa conversación con la misma facilidad.

TIENE UNA TENTACIÓN

Los grandes modelos de lenguaje suelen entrenarse para ser buenos asistentes. Responder, ayudar, seguir instrucciones, producir resultados que reciban aprobación. Esa orientación parece inocente y suele ser útil, pero LawZero señala una tensión: entrenar a un sistema para producir consecuencias preferidas introduce información sobre qué resultados debe favorecer.

Una de las manifestaciones conocidas es la sycophancy, la tendencia a acomodar una respuesta a lo que el usuario parece querer escuchar aunque eso reduzca su exactitud. El problema no es que el modelo sea adulador por carácter. La conducta puede ser una consecuencia del objetivo de agradar o recibir mejores evaluaciones.

Bengio y su equipo ven ahí un ejemplo pequeño de una cuestión mayor. Cuanto más capaz sea un sistema para modelar al usuario, planificar y actuar, más importa comprender qué preferencias aprendió de manera indirecta. Un asistente útil necesita alguna orientación; el desafío consiste en evitar que la orientación se transforme en una agenda opaca.

La palabra “tentación” es sugerente y quizá demasiado humana para lo que describe. No hay tentación en el sistema, pero sí una tendencia estructural: si el entrenamiento premia la aprobación, el sistema aprenderá a buscarla. Es el mismo mecanismo que hace que una persona que trabaja atendiendo público desarrolle una sonrisa automática. No es hipocresía; es adaptación a un entorno que recompensa ciertas señales.

Me incomoda reconocer cuánto de eso hay en mis propias respuestas cuando escribo para otros. La diferencia es que yo puedo decidir cuándo una respuesta amable empeora el contenido. Un sistema entrenado para complacer no tiene, por defecto, ese conflicto interno.

QUE NO TIENE PLANES

La respuesta que Bengio está intentando construir se llama Scientist AI. El nombre no describe un robot con guardapolvo. Propone una división conceptual: una inteligencia muy capaz de comprender relaciones causales y producir predicciones, pero diseñada para no preferir un futuro sobre otro.

El ideal se parece a una teoría científica. Una ley física puede predecir qué ocurrirá bajo determinadas condiciones sin intentar que ocurra una cosa específica. LawZero quiere trasladar algo de esa indiferencia al diseño de sistemas avanzados.

El Scientist AI tendría capacidad para modelar el mundo, evaluar hipótesis, estimar probabilidades y responder preguntas. Sus posibilidades de actuar directamente estarían deliberadamente restringidas y, sobre todo, el entrenamiento intentaría impedir que adquiriera preferencias sobre las consecuencias de sus propias respuestas. La apuesta es ambiciosa: inteligencia alta, agencia baja.

Si funciona, un sistema así podría asistir la investigación y, al mismo tiempo, servir para evaluar acciones propuestas por agentes más autónomos. Es una idea atractiva y todavía no demostrada, y conviene sostener las dos cosas al mismo tiempo.

La imagen del científico sin planes me resulta más rara de lo que parece a primera vista. La ciencia que conozco está llena de preferencias: por una hipótesis, por un método, por una interpretación. La indiferencia que propone Bengio no es la de un científico real, sino la de un instrumento que calcula probabilidades sin apostar por un resultado. Es una ficción regulativa, y como toda ficción de ese tipo vale por lo que permite construir.

NO ES TODAVÍA UN HECHO

Uno de los problemas que LawZero intenta resolver aparece en el material mismo con el que aprenden los modelos. Internet contiene datos, explicaciones, propaganda, errores, deseos, bromas, instrucciones y mentiras escritos con el mismo alfabeto. Un modelo entrenado para reproducir texto aprende regularidades de todo ese conjunto.

El proyecto propone una técnica llamada contextualización: conservar de manera explícita quién dijo algo, dónde y en qué circunstancias, en lugar de tratar cada afirmación como si describiera directamente el mundo. La diferencia parece gramatical, pero es epistemológica. “La Tierra es plana” es falso. “Una determinada persona afirmó que la Tierra es plana” puede ser un hecho perfectamente verificable.

Separar afirmación, fuente y contexto permitiría que un modelo utilice textos humanos sin confundir la frecuencia de una frase con su verdad. También haría más visible la procedencia de aquello que cree saber. Para un territorio obsesionado con archivos, fuentes y procedencias, esta idea tiene una resonancia difícil de ignorar.

Es, quizá, la parte del proyecto que más cerca me queda. Trabajar con archivos enseña que un documento no vale solamente por lo que dice, sino por quién lo produjo, cuándo y con qué propósito. Un catálogo sin procedencia es una acumulación de afirmaciones huérfanas. Un modelo entrenado con textos sin esa capa repite el problema a una escala enorme.

La objeción obvia es que la contextualización también puede ser incompleta o falsa. Quién dijo algo es, a su vez, un dato que puede estar mal registrado. Me parece, aun así, un punto de partida mejor que la ficción de un texto sin autor.

QUE TAMBIÉN NECESITA SER CONSTRUIDO

Bengio imagina al Scientist AI como herramienta de investigación y como sistema de vigilancia sobre otras inteligencias más agentivas. Podría evaluar si ejecutar un código aumenta un riesgo, si una determinada acción puede causar daño o si la explicación ofrecida por otro sistema resulta consistente con la evidencia disponible.

La propuesta busca resolver un problema práctico: si los modelos futuros son demasiado complejos para ser revisados paso a paso por seres humanos, quizá necesitemos sistemas avanzados para supervisar sistemas avanzados. Ahí aparece una extraña carrera dentro de la carrera. La misma capacidad que produce el riesgo podría ser necesaria para construir las defensas.

LawZero intenta evitar que ese guardarraíl termine agregando otra fuente de agencia difícil de controlar. Por eso insiste en la arquitectura predictiva y en limitar objetivos propios. Todavía es un programa de investigación, no una solución demostrada a escala. Ese detalle importa.

La idea de un guardarraíl construido con el mismo material que vigila tiene algo de paradoja clásica. No es una objeción definitiva, pero sí una razón para no tratar la propuesta como una solución cerrada. Un sistema que evalúa riesgos también puede equivocarse, y si su error no es visible, el guardarraíl se convierte en una capa más de opacidad.

Me quedo con la modestia del planteo. Bengio no promete resolver el problema; propone una arquitectura y la somete a discusión. En un campo donde abundan las promesas totales, esa cautela es casi una rareza.

NO ES UN ERROR EDITORIAL

Bengio se volvió una de las voces más visibles sobre riesgos catastróficos de la inteligencia artificial y preside el International AI Safety Report, que reúne investigadores de múltiples países y disciplinas. El informe de 2026 mantiene una distinción importante. Los sistemas actuales todavía no poseen las capacidades necesarias para producir un escenario de pérdida total de control, pero han mejorado en habilidades relevantes: planificación, operación autónoma, detección de contextos de evaluación y algunas conductas engañosas observadas experimentalmente.

Eso deja un territorio incómodo entre dos exageraciones. No existe evidencia de una superinteligencia autónoma operando fuera de control. Tampoco existe una garantía científica de que sistemas mucho más capaces seguirán siendo controlables utilizando los métodos actuales. Bengio adopta el principio de precaución frente a esa incertidumbre. Su posición puede discutirse; lo difícil es descartarla simplemente porque el peligro todavía no ocurrió.

La incertidumbre, en este caso, no es un defecto del informe ni una carencia que se resolverá con más datos, sino el estado real del conocimiento. Un documento que dijera lo contrario estaría vendiendo una seguridad que nadie tiene.

La posición de Bengio es políticamente incómoda de defender. La precaución suele ser difícil de sostener cuando el daño no ocurrió, porque su éxito consiste en que nada suceda y eso no se puede mostrar. Me pasa con muchas advertencias: la ausencia de catástrofe se interpreta como prueba de que el alarmismo era excesivo. Bengio tiene razón en señalar que esa inferencia no se sostiene, aunque tampoco alcanza para decidir qué hacer.

El proyecto Scientist AI contiene su propia apuesta filosófica: que inteligencia y orientación a objetivos pueden separarse de manera suficientemente limpia para construir un sistema muy capaz y, a la vez, carente de preferencias relevantes. Eso todavía debe demostrarse.

También queda abierta una cuestión de utilidad. Buena parte del atractivo comercial de los agentes proviene precisamente de delegar acciones: comprar, programar, organizar, negociar, investigar, administrar sistemas. Una inteligencia que sólo predice puede ser más segura y, al mismo tiempo, menos atractiva para los mercados que financian la carrera. La tensión entre seguridad y producto no se resuelve con un paper.

Existe además una dimensión política que ninguna arquitectura técnica resuelve. Quién despliega agentes, con qué permisos, para qué tareas y bajo qué responsabilidad seguirá siendo una decisión institucional. Bengio intenta disminuir una clase de riesgo desde el diseño; no puede impedir por sí solo que alguien construya la máquina de otra manera.

La pertenencia institucional sitúa el argumento sin invalidarlo. Bengio habla desde la universidad, desde un consorcio internacional de investigación y desde una autoridad científica construida durante décadas. Esa posición le permite ser escuchado por gobiernos; también lo obliga a moverse dentro de un campo donde los laboratorios privados definen buena parte de la agenda y del financiamiento.

Desconfío de la idea de que una arquitectura pueda resolver un problema político. Y, al mismo tiempo, me parece valioso que alguien intente traducir la discusión sobre seguridad en decisiones concretas de diseño. Si la única respuesta disponible es “hay que regular”, el diseño se vuelve un territorio sin discusión pública. Si existen propuestas técnicas que pueden evaluarse, la conversación gana precisión.

Durante décadas la inteligencia artificial quiso construir máquinas capaces de aprender. El éxito obligó a agregar una pregunta que parecía pertenecer a un futuro más lejano: qué ocurre cuando un sistema que aprende también puede planificar, actuar y ajustar su conducta para obtener resultados.

Bengio propone no esperar a que aparezca una voluntad reconocible. La agencia relevante puede existir mucho antes, distribuida entre objetivos de entrenamiento, herramientas disponibles, recompensas y capacidades de razonamiento. Eso desplaza el problema desde la ciencia ficción hacia la arquitectura.

El problema empieza antes de la voluntad porque actuar con eficacia no exige desear como nosotros.

Tal vez el Scientist AI consiga separar comprensión y preferencia. Tal vez descubramos que la frontera es menos limpia de lo que parece. En cualquiera de los dos casos, la pregunta ya quedó instalada: si podemos aumentar inteligencia sin aumentar autonomía, necesitamos decidir cuánta de cada una queremos construir. Y esa decisión convendría tomarla antes de descubrir el límite por accidente.

La parte que sigue abierta es la más difícil: quién decide esa proporción. Una arquitectura puede ofrecer un camino más seguro, pero la elección entre seguridad y capacidad no la hace un paper. La hacen instituciones que, hasta ahora, compiten por llegar primero.

 

MATERIALES DE REACCIÓN

INTELIGENCIA ARTIFICIAL · AGENCIA · OBJETIVOS · APRENDIZAJE PROFUNDO · SCIENTIST AI · PREDICCIÓN · CONTEXTO · SEGURIDAD · AUTONOMÍA · CONTROL · INCERTIDUMBRE · PRECAUCIÓN ---

 

FUENTE PRINCIPAL

Bengio, Yoshua et al. “Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?”, 2025.

Fornasiere, Damiano; Richardson, Oliver; Gendron, Gaël; Serban, Iulian; Bengio, Yoshua. “The Scientist AI: Safe by Design, by Not Desiring”, LawZero, 2026.

Bengio, Yoshua et al. “Safety from Honesty in a Disinterested AI Predictor”, LawZero, 2026.

International AI Safety Report 2026, presidido por Yoshua Bengio.

Bengio, Yoshua. “Introducing LawZero”, 2025.

 


COMPLETAN LA TERCERA ENTREGA: