Publicado
El problema empieza antes de la voluntad.
«La tecnología tiene el potencial de ocultar, acelerar e incluso profundizar la discriminación.»
Yoshua Bengio
La desigualdad no necesita programadores maliciosos para entrar en una tecnología. A veces le alcanza con que nadie discuta los valores, los datos y las decisiones que el diseño da por normales. Benjamin llama New Jim Code a esa combinación de innovación, jerarquías heredadas y objetividad imaginada.
Fuentes principales: Ruha Benjamin, Race After Technology: Abolitionist Tools for the New Jim Code (2019); conferencias y materiales de Princeton University sobre el “New Jim Code”; Viral Justice (2022); Imagination: A Manifesto (2024).

«La tecnología tiene el potencial de ocultar, acelerar e incluso profundizar la discriminación.»
— Ruha Benjamin, presentación “A New Jim Code?”, UC Berkeley, 2018.
Un dispensador automático de jabón parece un objeto demasiado pequeño para cargar con una teoría social. Una cámara que no reconoce bien ciertos rostros puede parecer apenas un producto defectuoso. Un algoritmo que asigna riesgo, ordena candidatos o decide a quién mostrarle una vivienda suele llegar envuelto en una promesa distinta: eliminar arbitrariedades, acelerar trámites, reemplazar prejuicios humanos por decisiones más objetivas.
Ruha Benjamin empieza justamente ahí, en el momento en que la innovación adquiere autoridad moral por el solo hecho de parecer técnica. Su trabajo no necesita imaginar a un programador racista escondiendo instrucciones discriminatorias dentro del código. El problema es más ordinario y, por eso, más difícil de señalar. Los sistemas se construyen con datos producidos por sociedades desiguales, objetivos elegidos por instituciones concretas y definiciones de eficiencia que nunca son neutrales. Una tecnología puede cumplir exactamente aquello para lo que fue diseñada y, aun así, profundizar una injusticia.
Benjamin llamó New Jim Code a esa combinación de innovación, desigualdad e imaginada objetividad. El nombre remite a una historia específicamente estadounidense, pero la operación que describe viaja bien: modernizar un procedimiento no garantiza que desaparezcan las jerarquías que ya estaban dentro.
La expresión tiene algo de diagnóstico y algo de advertencia. No dice que toda tecnología sea racista; dice que ninguna llega limpia al lugar donde se la instala. Esa diferencia es la que permite discutir casos concretos sin convertir la crítica en una condena general.
Existe una forma tranquilizadora de pensar el sesgo tecnológico: algo salió mal. La base de datos estaba incompleta, el modelo no fue suficientemente probado, faltó diversidad en el equipo, una variable funcionó como sustituto de otra. El sistema produjo un resultado discriminatorio y, por lo tanto, corresponde corregir el defecto.
Benjamin obliga a considerar una posibilidad menos cómoda. A veces el resultado desigual no es un accidente externo al sistema. Puede ser la consecuencia previsible de un diseño que optimiza una institución cuyos criterios ya eran desiguales. Un algoritmo policial entrenado con registros históricos no recibe una fotografía neutral del delito. Recibe una historia de dónde se vigiló, a quién se detuvo, qué conductas fueron perseguidas y cuáles quedaron fuera del registro. Si utiliza ese pasado para decidir dónde concentrar vigilancia futura, la predicción puede colaborar en la producción de los datos que después parecen confirmarla.
La máquina no necesita odiar a nadie. Le basta con aprender una regularidad social y devolverla con el prestigio de un cálculo. Esa es la parte que más me cuesta aceptar, porque no hay un culpable individual al que señalar. Hay una cadena de decisiones razonables que, vistas en conjunto, producen un resultado injusto.
El error que funciona es más difícil de corregir que el error que falla. Cuando un sistema se equivoca, se puede ajustar. Cuando acierta dentro de una lógica injusta, la corrección exige discutir la lógica, y eso ya no es una tarea de ingeniería.
Hay algo de esta idea que me resulta familiar en el trabajo con formularios y bases de datos. Una categoría que en el papel parece descriptiva termina organizando la realidad que dice medir: si el sistema sólo ofrece determinadas opciones, las personas aprenden a entrar en ellas o quedan fuera del registro. La tecnología no inventa la jerarquía, pero le da una forma estable.
El New Jim Code es una de las formulaciones más conocidas de Benjamin. Describe tecnologías que reflejan y reproducen desigualdades existentes mientras son presentadas como más objetivas, progresistas o imparciales que los sistemas anteriores.
La referencia al Jim Crow no es ornamental. En Estados Unidos, las leyes y prácticas de segregación racial explícita fueron reemplazadas en muchos ámbitos por mecanismos formalmente neutrales que podían conservar efectos profundamente desiguales. Benjamin observa una mutación semejante en sistemas digitales: la discriminación puede perder su lenguaje antiguo y reaparecer dentro de procedimientos que hablan de puntuaciones, perfiles, riesgo, personalización o eficiencia.
El desplazamiento importa porque modifica la forma de discutir el daño. Una decisión humana puede ser interpelada por sus prejuicios. Un resultado algorítmico llega acompañado por una cadena técnica que distribuye la responsabilidad entre datos, modelos, proveedores, instituciones y operadores. La injusticia adquiere así una nueva defensa: parece haber ocurrido sin que nadie la haya decidido.
Esa defensa es eficaz porque contiene una parte de verdad. Nadie decidió, en el sentido de querer el daño. La ausencia de intención, sin embargo, no equivale a la ausencia de responsabilidad. Es la diferencia entre un acto malicioso y un sistema mal diseñado, y nuestras instituciones están mucho mejor preparadas para juzgar lo primero que lo segundo.
Me interesa conservar la comparación con el Jim Crow aunque sea ajena a nuestra historia. No porque los contextos sean equivalentes, sino porque el mecanismo formal es reconocible: una regla que trata a todos por igual puede producir resultados radicalmente desiguales cuando las condiciones de partida no son iguales. Esa lección no pertenece a un solo país.
Benjamin distingue varias formas de desigualdad tecnológica. Una de las más fértiles es la default discrimination: sistemas que reproducen divisiones sociales porque quienes los diseñan no consideran seriamente el contexto donde serán utilizados. No hace falta programar una exclusión. Puede bastar con tomar como universal aquello que corresponde sólo a una parte de la población.
Un conjunto de entrenamiento que representa mejor algunos rostros que otros; una interfaz que supone determinadas capacidades físicas; un sistema de identidad que interpreta como anomalía aquello que no coincide con su población de referencia. En todos esos casos, la norma queda escondida dentro del diseño.
La palabra default tiene aquí una potencia especial. En informática es la opción que aparece antes de que alguien elija. Socialmente también existen valores por defecto: cuerpos esperados, nombres legibles, direcciones confiables, trayectorias laborales normales, barrios considerados seguros. La automatización puede convertir esas expectativas en infraestructura. Y una vez que la infraestructura funciona, resulta tentador tratar sus categorías como si hubieran estado siempre allí.
Ese es el punto donde la crítica se vuelve más difícil, porque no hay una decisión visible que impugnar. Hay una serie de supuestos que se volvieron invisibles al volverse técnicos. Discutirlos exige volver sobre el momento en que alguien decidió qué era normal, y ese momento suele estar muy lejos del producto final.
Pienso en la cantidad de veces que una opción por defecto en un sistema terminó funcionando como norma. El campo vacío que se completa solo, la categoría que se elige si nadie elige, el formato que no admite excepciones. Ninguna de esas decisiones parece ideológica cuando se toma. Después de unos años, ya no parece una decisión: parece la realidad.
Una de las promesas recurrentes de la inteligencia artificial consiste en dejar que los datos hablen. El problema es que los datos rara vez llegan solos. Llegan después de instituciones, censos, diagnósticos, patrullajes, mercados de trabajo, escuelas, hospitales y administraciones que decidieron durante años qué observar y cómo registrarlo. Un conjunto de datos puede ser enorme y seguir cargando una historia muy estrecha.
Benjamin discute así una ilusión habitual: la idea de que quitar una variable sensible elimina automáticamente la discriminación. Un sistema puede ignorar explícitamente la raza y trabajar con código postal, ingresos, historial crediticio, educación o antecedentes. Si esas variables fueron moldeadas por segregaciones anteriores, la historia reaparece sin necesidad de ser nombrada.
El código no inventó esa desigualdad. Tampoco queda fuera de ella por no haberla creado. Cada modelo elige qué pasado vuelve operativo.
La formulación “dejar que los datos hablen” merece desconfianza en casi cualquier contexto. Los datos no hablan; alguien los hizo hablar de una manera determinada. Y cuando esa manera se institucionaliza, la interpretación se confunde con el registro.
Trabajar con archivos me enseñó esa lección con bastante crudeza. Un expediente no es la vida de una persona; es lo que una institución consideró relevante anotar sobre ella. Después, un modelo entrenado con esos expedientes aprende la institución, no la vida. Y lo hace con una confianza que el archivo nunca tuvo.
Otra tensión aparece con lo que Benjamin llama coded exposure. Las comunidades marginadas pueden sufrir porque una tecnología no las reconoce correctamente. Ser reconocidas por un sistema de vigilancia, clasificación o control, en cambio, tampoco constituye necesariamente una mejora.
Esa paradoja complica la demanda de “inclusión” tecnológica. Conseguir que un sistema de reconocimiento facial identifique con igual precisión todos los tonos de piel resuelve un problema técnico, pero no responde si ese sistema debería utilizarse para vigilar poblaciones, fronteras o espacios públicos. La pregunta por la representación queda entonces ligada a otra más incómoda: ¿incluir a alguien en qué sistema y para qué?
Una tecnología puede ser más justa en la distribución de sus errores y seguir siendo discutible en su finalidad. Benjamin desplaza así el problema desde la corrección del modelo hacia el diseño de la institución que lo utiliza.
Esa distinción me parece especialmente útil porque interrumpe una respuesta automática. Frente a un sistema que falla con ciertos grupos, la reacción previsible es pedir más datos y mejor representación. Ambas cosas pueden ser necesarias. La pregunta anterior —para qué existe el sistema—, sin embargo, no se responde con una mejora en la tasa de acierto.
Me preocupa que la inclusión funcione como una forma de legitimación. Si el sistema ahora reconoce a todos, parece más difícil oponerse a él. La mejora técnica puede volver más aceptable una práctica que merecía discusión por otros motivos. No siempre es así, pero conviene tenerlo presente antes de celebrar cada corrección.
Las tecnologías que prometen reparar desigualdades merecen una atención especial. Benjamin utiliza la idea de technological benevolence para señalar intervenciones que se presentan como soluciones a un problema social y pueden terminar reproduciéndolo debido a la forma estrecha en que definen justicia, riesgo o bienestar.
No se trata de desconfiar de toda herramienta destinada a mejorar una situación, sino de examinar qué problema fue formulado antes de construir la solución. Si una ciudad entiende la violencia únicamente como un problema de predicción, buscará mejores sistemas para anticiparla. Si una institución interpreta la desigualdad educativa como déficit individual, probablemente diseñará herramientas que midan y corrijan estudiantes antes que estructuras. La tecnología hereda el marco conceptual de quien encarga el trabajo.
Por eso un algoritmo puede ser sofisticado y la pregunta que intenta responder, pobre. La innovación también depende de la imaginación institucional que la precede.
Ese punto tiene una consecuencia práctica para cualquiera que participe en un proyecto tecnológico: la definición del problema es la decisión más importante y suele ser la menos discutida. Se discuten las herramientas, los plazos, los presupuestos. El marco que hace inteligible el problema queda fuera del acta.
Suelo pensar que la buena voluntad es un mal punto de partida para evaluar una intervención. No porque la buena voluntad no exista, sino porque no alcanza para examinar los efectos. Una herramienta puede estar hecha con las mejores intenciones y reproducir exactamente la relación de poder que decía querer corregir.
La obra posterior de Benjamin se desplazó con mayor claridad hacia esa zona. Viral Justice examina transformaciones que crecen mediante prácticas locales, repetidas y contagiosas. Imagination: A Manifesto lleva la discusión todavía más lejos: si los sistemas actuales fueron imaginados, diseñados y naturalizados, transformarlos exige recuperar la capacidad de imaginar instituciones distintas.
No es un giro optimista agregado al final de una crítica sombría. Forma parte del mismo argumento. Una sociedad que sólo discute cómo reducir el sesgo de los sistemas existentes acepta de antemano que esos sistemas constituyen el horizonte. Benjamin propone ampliar la pregunta: quién puede imaginar, financiar, probar y convertir en infraestructura otras formas de organizar cuidado, seguridad, conocimiento o acceso.
La imaginación deja entonces de ser un lujo cultural. También distribuye poder. Antes de programar una solución, alguien decidió qué futuro merecía ser construido.
Hay algo reconfortante en ese desplazamiento, y también algo exigente. Reconfortante porque no deja la crítica en el lamento; exigente porque obliga a proponer. No alcanza con señalar que un sistema es injusto: hay que animarse a describir qué institución lo reemplazaría, con qué criterios y con qué conflictos.
Desconfío de las utopías de diseño, pero me interesa la parte de la imaginación que se vuelve trabajo concreto. Imaginar una institución distinta no es escribir un manifiesto: es discutir presupuestos, competencias, derechos y formas de control. La imaginación sirve cuando se mete en esas discusiones y no cuando se queda en la consigna.
El concepto de New Jim Code nace de la historia racial estadounidense y conserva deliberadamente esa raíz. Trasladarlo sin mediaciones a cualquier sociedad puede borrar diferencias importantes entre formas de racismo, colonialismo, clase, género, discapacidad, territorio y administración. La metáfora viaja, pero no viaja sola: lleva consigo un contexto que conviene explicitar.
También existe el riesgo de que la crítica al “sesgo algorítmico” termine concentrándose demasiado en sistemas digitales y nos haga olvidar instituciones analógicas capaces de discriminar con igual eficacia. Benjamin ofrece herramientas para evitar esa reducción porque su análisis no se detiene en el software. Su objeto real es sociotécnico: tecnologías e instituciones produciéndose mutuamente.
La dificultad aparece cuando esa idea entra en el lenguaje público y se vuelve consigna. “El algoritmo discrimina” puede ser cierto y, al mismo tiempo, insuficiente. A veces el algoritmo apenas vuelve más rápida, opaca o escalable una decisión cuya arquitectura nació mucho antes. La tecnología merece crítica; la institución que la necesita, también.
La pertenencia institucional de Benjamin —una universidad de élite, una fundación, un circuito académico de prestigio— no invalida su argumento, pero ayuda a situarlo. Su voz circula en espacios donde la crítica es escuchada y, al mismo tiempo, donde las propuestas radicales corren el riesgo de convertirse en bibliografía. Esa tensión no es exclusiva de ella; es la de buena parte del pensamiento crítico.
Queda una incomodidad que no quiero resolver demasiado rápido. La crítica al sesgo puede ser un primer paso y, a la vez, una manera de no discutir lo que la tecnología hace cuando funciona bien. Preferiría conservar las dos preguntas juntas: cómo se corrige el daño y para qué existe el sistema.
Ruha Benjamin sirve como precursora porque desarma una asociación que todavía conserva demasiada fuerza: innovación igual a progreso. Una herramienta nueva puede ampliar derechos, aliviar trabajo, abrir capacidades y corregir arbitrariedades. También puede transportar desigualdades antiguas hacia sistemas más veloces y difíciles de discutir. Ninguna de esas posibilidades viene incorporada de fábrica.
El aporte de Benjamin está en obligarnos a mirar el momento anterior al resultado: quién define el problema, qué población se convierte en norma, qué historia entra en los datos y qué clase de mundo vuelve deseable una determinada solución.
Eso cambia también la discusión sobre inteligencia artificial. La pregunta ya no empieza en si una máquina puede ser imparcial. Empieza bastante antes, allí donde decidimos qué significa imparcialidad y quién soportará el costo de nuestros errores.
La innovación también sabe discriminar porque aprende dentro de sociedades que ya saben hacerlo. La parte verdaderamente política del diseño consiste en decidir qué queremos que aprenda de nosotros y qué estamos dispuestos a dejar de repetir.
Lo que queda abierto es si esa decisión puede tomarse en los lugares donde se construyen los sistemas o solamente en los tribunales y las auditorías, cuando el daño ya ocurrió. Benjamin apuesta a la imaginación institucional; la pregunta es cómo se traduce esa apuesta en poder real.
INNOVACIÓN · NEW JIM CODE · DISCRIMINACIÓN · DATOS · DISEÑO · OBJETIVIDAD · ALGORITMOS · VIGILANCIA · DESIGUALDAD · JUSTICIA · IMAGINACIÓN · PODER ---
Benjamin, Ruha. Race After Technology: Abolitionist Tools for the New Jim Code. Polity, 2019.
Benjamin, Ruha. Viral Justice: How We Grow the World We Want. Princeton University Press, 2022.
Benjamin, Ruha. Imagination: A Manifesto. W. W. Norton, 2024.
Princeton University, Department of African American Studies. Perfil académico y materiales sobre Race After Technology.
UC Berkeley. “A New Jim Code?”, conferencia y presentación de Ruha Benjamin, 2018–2019.
MacArthur Foundation. Perfil de Ruha Benjamin, MacArthur Fellow 2024.
Publicado
«La tecnología tiene el potencial de ocultar, acelerar e incluso profundizar la discriminación.»
Yoshua Bengio
Publicado
«Nada en la trayectoria de esta —ni de ninguna— tecnología es inevitable.»
Daron Acemoglu
Publicado
«La tecnología tiene el potencial de ocultar, acelerar e incluso profundizar la discriminación.»
Geoffrey Hinton