La autonomía también necesita a quién rendir cuentas.

A LEER EL CONTEXTO

En su tesis de 2000, Oliver desarrolló modelos estadísticos para reconocer comportamientos individuales e interacciones entre personas. Trabajó con expresiones faciales, movimientos coordinados de las manos, encuentros y maniobras de conducción. Cámaras y sensores reunían señales que luego debían interpretarse: había que detectar movimiento, identificar qué actividad estaba ocurriendo y, en ciertos casos, anticipar qué podía ocurrir a continuación.

El contexto era la pieza incómoda. Una inclinación de cabeza cambia de sentido según la conversación. Dos manos pueden ejecutar gestos idénticos en momentos distintos y estar haciendo cosas diferentes. Una maniobra al volante depende tanto del conductor como del tránsito que lo rodea. Los comportamientos humanos tienen una estructura temporal y relacional que exige leer las señales en conjunto.

Ese interés por la situación concreta también ayuda a entender por qué Oliver discutía tempranamente las consecuencias sociales de la tecnología. En 1998, todavía como doctoranda, presentó ante una comisión especial del Senado español trabajos sobre inteligencia perceptiva, computación vestible e interacción sensible al contexto. En aquella conversación aparecían ya la privacidad, la educación, el acceso a Internet y las desigualdades frente a las nuevas redes. La escala de las aplicaciones era muy distinta de la actual; las preguntas no resultan tan antiguas.

Percibir mejor puede significar que un dispositivo reconozca una necesidad o evite una distracción peligrosa. También puede permitir que una organización clasifique personas, anticipe conductas y actúe sobre ellas sin que sepan exactamente cómo se construyó ese conocimiento. Ninguna de esas consecuencias está contenida de antemano en una cámara o en un modelo probabilístico. Dependen de quién lo utiliza, con qué información y para hacer qué.

La historia me acerca a una preocupación bastante cotidiana del trabajo con software. Cuando diseñamos un sistema solemos hablar del contexto como información que mejora su funcionamiento, y es verdad: esa mejora exige decidir qué vale la pena observar y durante cuánto tiempo conservarlo. Me cuesta pensar en una interfaz «inteligente» sin preguntarme qué parte de la vida de su usuario hubo que convertir en dato para conseguir esa inteligencia.

ENTRA EN LA VIDA PÚBLICA

La expansión de los teléfonos móviles, las redes y los servicios digitales llevó el estudio del comportamiento humano mucho más allá del laboratorio. Desplazarse por una ciudad, conectarse a una antena, buscar información o utilizar una aplicación produce rastros. Cuando se reúnen y analizan en grandes cantidades, esos registros pueden mostrar patrones de movilidad, relaciones sociales o cambios en la actividad colectiva que sería muy difícil reconstruir mediante encuestas tradicionales.

Oliver investigó durante años esa posibilidad. La ciencia social computacional encontraba una fuente de observación inédita para estudiar propagación de enfermedades, migraciones, pobreza, bienestar o respuesta ante emergencias. Sería injusto reducir esa promesa a una coartada de vigilancia: conocer mejor los desplazamientos de una población, por ejemplo, puede ayudar a preparar servicios y entender una crisis sanitaria. El valor público es real, aunque no quede garantizado por el volumen de los datos.

El problema cambia de naturaleza cuando una predicción se convierte en criterio para distribuir oportunidades. Equivocarse al recomendar una película tiene un costo acotado; aplicar un resultado opaco a decisiones sobre empleo, crédito, salud, policía o recursos públicos puede afectar durante años a quienes recibieron una clasificación. Además, una predicción estadísticamente acertada puede apoyarse en datos sesgados o reforzar una desigualdad previa. La precisión, por sí sola, dice bastante menos de lo que parece.

En el trabajo que publicó con Bruno Lepri, Emmanuel Letouzé, Alex Pentland y Patrick Vinck en 2017, posteriormente aparecido en Philosophy & Technology, Oliver examinó los desafíos de construir procesos algorítmicos de decisión justos, transparentes y responsables. Allí la opacidad, la discriminación y las asimetrías de información aparecen junto a un hecho institucional: los criterios que orientan esos sistemas deberían discutirse también fuera del equipo que los programó. Responsables públicos, especialistas de otras disciplinas y ciudadanía necesitan intervenir en la discusión sobre los objetivos, los grupos afectados y las posibilidades de impugnar los resultados.

Reconozco en este desplazamiento un límite del reflejo profesional de optimizar. Cuando un problema se traduce a variables, restricciones y funciones objetivo, empieza a resultar tentador creer que su solución también quedó traducida. La justicia se discute en un plano distinto del de la tasa de error. Quisiera que los sistemas que afectan la vida de las personas conservaran siempre algún lugar desde donde discutir una decisión, incluso cuando la máquina pueda justificarla con estadísticas impecables.

LA A TIENE TRES TRABAJOS

En 2019, Oliver formuló una propuesta de gobernanza bajo el acrónimo FATEN. Su estructura parece la de tantos marcos de principios, con una diferencia interesante: intenta reunir dentro de un mismo esquema cualidades técnicas, derechos y responsabilidades institucionales.

La F corresponde a fairness, justicia y ausencia de discriminación. La T reúne trust y transparency, confianza y transparencia; la E incorpora educación, beneficencia, equidad e impacto positivo; y la N, de non-maleficence, remite a la seguridad, la fiabilidad, la privacidad y la obligación de reducir daños. En el centro, la A carga con tres tareas: autonomy, accountability y augmentation.

Vale la pena detenerse ahí porque esas palabras complican una idea demasiado cómoda de progreso técnico. Autonomy protege la posibilidad de que las personas sigan decidiendo sobre sus pensamientos y acciones, precisamente cuando los sistemas aprenden a inferir deseos, preferencias y necesidades. Accountability exige que las consecuencias de una decisión puedan atribuirse a responsables concretos dentro de una cadena que incluye desarrolladores, proveedores, instituciones y autoridades. Augmentation propone orientar la inteligencia artificial hacia la ampliación de capacidades humanas, en lugar de tomar la independencia de la máquina como un mérito en sí mismo.

Las tres se necesitan, aunque su relación no siempre sea pacífica. Una herramienta puede ampliar la competencia de una persona y aumentar su dependencia del proveedor. La transparencia para un ingeniero no garantiza que alguien pueda apelar una decisión. Una explicación correcta pierde valor si la institución carece de mecanismos para revisar lo que hizo.

FATEN tiene, entonces, el mérito de situar la ética en el diseño y en la organización del sistema. No resuelve de antemano cómo se distribuye una responsabilidad ni qué ocurre cuando los principios entran en conflicto. Ofrece un lenguaje para no perder de vista esos problemas cuando aparecen los presupuestos, las métricas y las decisiones de implementación.

Me detengo especialmente en la palabra augmentation. En programación he aprendido a valorar las herramientas que amplían lo que puedo hacer; sería extraño negarle ese mérito a la inteligencia artificial. La incomodidad llega cuando esa ampliación se vuelve difícil de separar de una cesión de criterio. Necesito saber qué tarea realiza mejor el sistema y qué decisiones sigo estando en condiciones de comprender y cuestionar mientras lo uso.

COMO PRUEBA DE REALIDAD

En 2020, las discusiones sobre la utilidad de los datos y sus riesgos dejaron de desarrollarse en condiciones de laboratorio. La pandemia colocó a los gobiernos ante decisiones urgentes, tomadas con información incompleta y consecuencias que no podían esperar a que terminara una investigación. Oliver fue comisionada de la Presidencia de la Generalitat Valenciana para inteligencia artificial y ciencias de datos en la lucha contra la COVID-19. Participó en trabajos sobre movilidad, encuestas, modelos epidemiológicos y análisis destinados a respaldar decisiones públicas.

Los registros de telefonía móvil podían ayudar a entender cómo cambiaban los desplazamientos y qué efectos tenían las medidas sanitarias. Un artículo de Science Advances encabezado por Oliver y Bruno Lepri examinó su uso a lo largo de distintas etapas de la pandemia, desde el seguimiento de patrones de movilidad hasta la evaluación de medidas de distanciamiento y el apoyo a la salud pública. El trabajo insistía también en algo menos visible que las curvas: marcos legales, protección de la privacidad, colaboración interdisciplinaria y acuerdos entre operadores, autoridades y especialistas.

Al año siguiente, Oliver codirigió con J. Alberto Conejero el equipo VALENCIA IA4COVID19, ganador del Pandemic Response Challenge de XPRIZE. El desafío combinaba la predicción de la evolución epidemiológica con la propuesta de intervenciones que debían considerar tanto contagios como costos sociales. Era una prueba exigente porque no bastaba con ajustar una curva: cualquier plan plausible tenía que convivir con necesidades humanas que tiraban en direcciones diferentes.

Ahí se encuentra una de las enseñanzas más concretas de su recorrido. Un modelo puede comparar escenarios, hacer visibles tendencias y ayudar a estimar las consecuencias de una medida. No puede decidir por sí solo cuánto peso otorgar a la salud, los derechos, la economía, el cuidado o la legitimidad de una restricción. Esas prioridades requieren deliberación pública, y también requieren que alguien pueda explicar los supuestos detrás de una recomendación.

La pandemia me dejó una desconfianza especial hacia las decisiones que se presentan como puramente técnicas cuando la urgencia es enorme. Comprendo el deseo de contar con una respuesta rápida y con herramientas que procesen más información de la que una persona podría abarcar. Precisamente por eso necesito distinguir el dato que informa de la autoridad que decide. La velocidad puede ser una virtud de la herramienta; no debería convertirse en una forma de eludir responsabilidades.

QUIÉN DEFINE EL BIEN

La expresión AI for social good, frecuente en el trabajo de Oliver, reúne proyectos que utilizan datos e inteligencia artificial para intervenir sobre problemas de salud pública, pobreza, movilidad, desarrollo, crisis humanitarias o cambio climático. Es un programa atractivo. También es uno de esos nombres que exigen cierta vigilancia crítica, porque casi nadie se presenta voluntariamente como partidario del mal social.

Definir un beneficio colectivo implica elegir a quién se observa, qué indicador se considera importante y durante cuánto tiempo se medirán sus efectos. Una política puede mejorar una variable y empeorar otra; un sistema útil para una administración puede aumentar el control sobre la comunidad a la que afirma asistir. Incluso cuando los datos se reúnen con una finalidad legítima, pueden contener información sensible sobre rutinas, desplazamientos o relaciones. Esa ambivalencia no borra el valor del proyecto, pero obliga a preguntarse por sus condiciones.

En sus trabajos vinculados con Data-Pop Alliance y los datos móviles, Oliver ha defendido marcos capaces de aprovechar la información para fines públicos sin abandonar privacidad, seguridad y responsabilidad. El asunto se vuelve más complejo porque buena parte de los registros de comportamiento humano está en manos de compañías privadas. Quienes los poseen suelen controlar además la infraestructura y el conocimiento necesarios para analizarlos. El acceso a los datos y la capacidad de convertirlos en evidencia pública no están distribuidos de manera pareja.

Por eso la educación y la equidad incluidas en FATEN son algo más que buenos deseos. Una comunidad que no puede comprender cómo la clasifican dispone de escasas herramientas para discutir el resultado; una administración que depende por completo de proveedores externos encuentra dificultades adicionales para ejercer control sobre las decisiones que adopta. Hablar de IA para el bien social exige examinar esas dependencias y también mostrar los beneficios esperados.

Prefiero sostener cierta incomodidad en este punto. La tecnología puede resolver problemas colectivos y sería absurdo despreciar esa posibilidad; cuando alguien invoca el bien social, quisiera conocer el procedimiento mediante el cual se definió ese bien, quién pudo oponerse y qué ocurrirá si los perjudicados aparecen después. El sentido de una intervención pública también depende de la posibilidad de corregirla.

TAMBIÉN CAMBIA A QUIEN DELEGA

Con la expansión de la IA generativa, la autonomía adquirió para Oliver una dimensión que no siempre aparece en los debates sobre privacidad o decisiones automatizadas. Los sistemas actuales redactan, traducen, resumen, explican, programan y resuelven ejercicios. Es fácil comprender por qué resultan útiles: alivian tareas repetitivas y permiten avanzar donde antes faltaban tiempo, conocimientos o recursos. La dificultad aparece cuando también empiezan a reemplazar partes del trabajo mediante el cual aprendemos.

La descarga cognitiva describe esa transferencia de esfuerzo hacia una herramienta. Hay delegaciones razonables, por supuesto; nadie necesita rehacer cada cálculo a mano para merecer una conclusión. Recordar, comparar fuentes, formular argumentos o revisar una contradicción, sin embargo, son actividades que forman las capacidades que luego utilizamos para juzgar una respuesta. Si desaparecen sistemáticamente del proceso, conviene preguntarse qué clase de competencia estamos conservando.

En un trabajo de 2025, Lucile Favero, Juan Antonio Pérez-Ortiz, Tanja Käser y Oliver examinaron el uso educativo de la IA atendiendo a cognición, agencia, bienestar emocional y ética. En 2026, el grupo desarrolló el principio scaffold, do not substitute: proporcionar andamiaje para el aprendizaje en vez de sustituir la actividad que permite aprender. El apoyo puede orientar, ofrecer pistas y ayudar a superar obstáculos sin eliminar de antemano la dificultad que hace falta atravesar.

La preocupación se volvió especialmente explícita en intervenciones públicas de Oliver durante octubre de 2026, cuando advirtió sobre la pérdida de capacidades asociadas al pensamiento crítico si delegamos continuamente aquello que antes debíamos comprender. El problema no se resuelve midiendo cuántos minutos ahorra una herramienta. Hay que considerar también qué permanece en la persona después de utilizarla.

Este punto me obliga a revisar una tentación propia de quien trabaja con software: automatizar todo lo que se pueda. Muchas veces esa inclinación es sensata y produce herramientas excelentes. Otras, sin embargo, descubro que resolver un problema demasiado rápido me deja sin la comprensión que buscaba al enfrentarlo. No quiero convertir el esfuerzo en una virtud moral; quisiera distinguir el esfuerzo inútil de aquel que todavía me está enseñando algo.

QUE OBLIGA A PENSAR

ELLIS Alicante desarrolló una respuesta experimental a esa preocupación mediante un chatbot socrático orientado a favorecer el pensamiento crítico. En lugar de limitarse a entregar una solución, el sistema formula preguntas, solicita razones y propone examinar otras perspectivas. La estrategia tiene algo de contracorriente en un mercado que suele presentar la respuesta inmediata como prueba máxima de calidad.

En educación, una respuesta perfectamente redactada puede clausurar el ejercicio que el estudiante necesitaba realizar. Una pregunta oportuna, en cambio, obliga a organizar una explicación propia, descubrir una inconsistencia o reconocer qué parte del problema todavía no se entiende. Eso no vuelve automáticamente bueno a cualquier chatbot que pregunte mucho: importa la calidad de las preguntas, la situación de aprendizaje y la capacidad de adaptar la intervención a quien está del otro lado.

Los primeros experimentos del proyecto compararon esas interacciones con las de tutores más convencionales y encontraron señales favorables para la reflexión y el pensamiento crítico. Los investigadores trabajaron, además, con modelos relativamente pequeños capaces de ejecutarse de manera local en equipos accesibles. La elección no es menor: permite pensar en privacidad y acceso sin depender siempre de la infraestructura más costosa disponible.

Allí una idea general como «IA centrada en las personas» empieza a tener consecuencias verificables de diseño. La ubicación del modelo, el tratamiento de los datos, la forma de la interfaz y la clase de ayuda que ofrece determinan qué puede hacer el usuario y qué queda en manos del sistema. No toda fricción es un defecto que convenga eliminar. Algunas pausas están puestas para que alguien pueda pensar antes de seguir.

Me seduce, lo admito, cualquier herramienta que acelere el trabajo y evite una búsqueda interminable. Pero hay momentos en los que necesito exactamente lo contrario: que alguien —incluso una máquina— me obligue a explicar por qué doy algo por cierto. La prueba más interesante de una ayuda educativa quizá ocurra fuera de la conversación, cuando el estudiante se encuentra otra vez solo frente a un problema y dispone de más recursos propios que antes.

La trayectoria de Oliver transcurre cerca de instituciones que participan directamente en la economía de los datos. Microsoft Research, Telefónica y Vodafone le dieron acceso a problemas, recursos y escalas que difícilmente podrían reproducirse en un laboratorio pequeño. Esa experiencia es una de las fortalezas de su mirada: conoce las posibilidades de estas tecnologías desde adentro. También sitúa su defensa de una IA centrada en las personas dentro de un sistema empresarial cuya concentración de información y capacidad técnica merece ser interrogada.

La pertenencia institucional sitúa sus argumentos y permite entender mejor la dificultad de llevarlos a la práctica. Un marco como FATEN puede orientar el diseño y ofrecer criterios para evaluar proyectos, aunque sus principios corren el riesgo de convertirse en formularios de cumplimiento si no modifican decisiones materiales. La transparencia que incomoda a un proveedor, la auditoría que retrasa un lanzamiento o la explicación que permite impugnar una clasificación tienen costos concretos. También los tiene renunciar a ellas, sólo que a menudo esos costos recaen sobre otros.

No es sencillo determinar cuánta transparencia basta para una persona afectada por una decisión, cómo resolver conflictos entre distintas concepciones de justicia o a quién exigirle cuentas cuando el sistema combina modelos, datos y servicios de múltiples proveedores. Las cadenas de responsabilidad pueden alargarse hasta que cada participante considere que su intervención fue apenas una pieza menor. Precisamente entonces se necesita documentar quién autorizó un despliegue, quién lo supervisa, quién puede detenerlo y qué procedimiento permite reparar un daño.

En una entrevista del 12 de octubre de 2026, Oliver discutió los riesgos de agentes capaces de encontrar estrategias inesperadas para maximizar objetivos. Su respuesta reclamó evaluaciones rigurosas de seguridad y marcos claros de responsabilidad, comparables a los que exigimos para otros productos potencialmente dañinos. La complejidad de una tecnología obliga a perfeccionar los mecanismos de control, también para quienes la ponen en circulación.

Queda, además, la cuestión más difícil de la autonomía. Un servicio puede cumplir estándares de privacidad y seguir diseñado para capturar atención o inducir elecciones. Puede pedir consentimiento y ofrecer muy pocas alternativas reales. Si la libertad del usuario sólo existe dentro de opciones definidas por la empresa, la arquitectura institucional importa tanto como la del modelo.

Necesito que la propuesta de Oliver conserve su filo crítico justo en este punto. Los principios me sirven; quisiera saber qué ocurre cuando mantenerlos significa perder dinero, aceptar una objeción pública o detener un sistema que funciona muy bien para sus propietarios. La responsabilidad se vuelve una palabra interesante cuando empieza a contrariar algún interés; antes de eso, suele ser bastante fácil de pronunciar.

Hay una continuidad poco evidente entre los primeros experimentos de Nuria Oliver con gestos y movimientos humanos y sus trabajos recientes sobre educación. En ambos casos se trata de construir sistemas que interpreten nuestras acciones para intervenir de alguna manera en ellas. Cambiaron el tamaño de los datos, las capacidades de los modelos y las instituciones involucradas. Lo que todavía exige discusión es la relación que establecemos con una tecnología capaz de conocernos cada vez mejor.

La inteligencia perceptiva abrió la posibilidad de reconocer el contexto. Los datos móviles ampliaron esa mirada hacia poblaciones enteras y la pandemia mostró su utilidad, junto con la responsabilidad que supone convertir estimaciones en decisiones públicas. FATEN ofreció un vocabulario para discutir justicia, transparencia, autonomía y rendición de cuentas. Más recientemente, el trabajo educativo de ELLIS Alicante desplazó la atención hacia las capacidades que podemos perder si una ayuda termina sustituyendo el aprendizaje.

Ese último movimiento introduce una dificultad que no se resuelve con una auditoría del algoritmo. Podemos diseñar un sistema seguro, preciso y razonablemente transparente que, utilizado todos los días, nos vuelva menos capaces de decidir sin él. También podemos construir herramientas que nos permitan acceder a conocimientos antes inaccesibles y desarrollar habilidades nuevas. La diferencia no surge únicamente de lo que una máquina sabe hacer; depende de cómo organizamos su presencia en el trabajo, la escuela y la vida cotidiana.

Durante años medimos el avance de la autonomía artificial preguntando cuántas tareas podía realizar un programa sin intervención humana. Oliver obliga a mirar también hacia el otro lado de esa relación. Cuando una máquina observa, recomienda o actúa, ¿qué conserva la persona para comprender lo que sucede, disentir y tomar otro camino? ¿Y qué instituciones estarán dispuestas a responder si esa posibilidad se pierde?

No encuentro en su trayectoria una receta que cierre esas preguntas, y prefiero que sea así. Entre la máquina que nos asiste y la que nos acostumbra a delegar hay decisiones de diseño, formas de propiedad, políticas públicas y hábitos personales que todavía pueden discutirse. Una inteligencia artificial capaz de hacer más cosas podría dejarnos más autonomía, pero habrá que construir deliberadamente las condiciones para que eso ocurra.