La innovación también sabe discriminar

QUE FUNCIONA

Existe una forma tranquilizadora de pensar el sesgo tecnológico: algo salió mal.

La base de datos estaba incompleta. El modelo no fue suficientemente probado. Faltó diversidad en el equipo. Una variable funcionó como sustituto de otra. El sistema produjo un resultado discriminatorio y, por lo tanto, corresponde corregir el defecto.

Benjamin obliga a considerar una posibilidad menos cómoda. A veces el resultado desigual no es un accidente externo al sistema. Puede ser la consecuencia previsible de un diseño que optimiza una institución cuyos criterios ya eran desiguales.

Un algoritmo policial entrenado con registros históricos no recibe una fotografía neutral del delito. Recibe una historia de dónde se vigiló, a quién se detuvo, qué conductas fueron perseguidas y cuáles quedaron fuera del registro. Si utiliza ese pasado para decidir dónde concentrar vigilancia futura, la predicción puede colaborar en la producción de los datos que después parecen confirmarla.

La máquina no necesita odiar a nadie.

Le basta con aprender una regularidad social y devolverla con el prestigio de un cálculo.

El New Jim Code es una de las formulaciones más conocidas de Benjamin. Describe tecnologías que reflejan y reproducen desigualdades existentes mientras son presentadas como más objetivas, progresistas o imparciales que los sistemas anteriores.

La referencia al Jim Crow no es ornamental. En Estados Unidos, las leyes y prácticas de segregación racial explícita fueron reemplazadas en muchos ámbitos por mecanismos formalmente neutrales que podían conservar efectos profundamente desiguales. Benjamin observa una mutación semejante en sistemas digitales: la discriminación puede perder su lenguaje antiguo y reaparecer dentro de procedimientos que hablan de puntuaciones, perfiles, riesgo, personalización o eficiencia.

El desplazamiento importa porque modifica la forma de discutir el daño. Una decisión humana puede ser interpelada por sus prejuicios. Un resultado algorítmico llega acompañado por una cadena técnica que distribuye la responsabilidad entre datos, modelos, proveedores, instituciones y operadores.

La injusticia adquiere así una nueva defensa: parece haber ocurrido sin que nadie la haya decidido.

POR DEFECTO

Benjamin distingue varias formas de desigualdad tecnológica. Una de las más fértiles es la default discrimination: sistemas que reproducen divisiones sociales porque quienes los diseñan no consideran seriamente el contexto donde serán utilizados.

No hace falta programar una exclusión. Puede bastar con tomar como universal aquello que corresponde solo a una parte de la población.

Un conjunto de entrenamiento que representa mejor algunos rostros que otros; una interfaz que supone determinadas capacidades físicas; un sistema de identidad que interpreta como anomalía aquello que no coincide con su población de referencia. En todos esos casos, la norma queda escondida dentro del diseño.

La palabra default tiene aquí una potencia especial. En informática es la opción que aparece antes de que alguien elija. Socialmente también existen valores por defecto: cuerpos esperados, nombres legibles, direcciones confiables, trayectorias laborales normales, barrios considerados seguros.

La automatización puede convertir esas expectativas en infraestructura.

Y una vez que la infraestructura funciona, resulta tentador tratar sus categorías como si hubieran estado siempre allí.

LLEGAN CON HISTORIA

Una de las promesas recurrentes de la inteligencia artificial consiste en dejar que los datos hablen. El problema es que los datos rara vez llegan solos.

Llegan después de instituciones, censos, diagnósticos, patrullajes, mercados de trabajo, escuelas, hospitales y administraciones que decidieron durante años qué observar y cómo registrarlo. Un conjunto de datos puede ser enorme y seguir cargando una historia muy estrecha.

Benjamin discute así una ilusión habitual: la idea de que quitar una variable sensible elimina automáticamente la discriminación. Un sistema puede ignorar explícitamente la raza y trabajar con código postal, ingresos, historial crediticio, educación o antecedentes. Si esas variables fueron moldeadas por segregaciones anteriores, la historia reaparece sin necesidad de ser nombrada.

El código no inventó esa desigualdad. Tampoco queda fuera de ella por no haberla creado.

Cada modelo elige qué pasado vuelve operativo.

TAMBIÉN PUEDE SER UN RIESGO

Otra tensión aparece con lo que Benjamin llama coded exposure.

Las comunidades marginadas pueden sufrir porque una tecnología no las reconoce correctamente. Pero ser reconocidas por un sistema de vigilancia, clasificación o control tampoco constituye necesariamente una mejora.

Esa paradoja complica la demanda de “inclusión” tecnológica. Conseguir que un sistema de reconocimiento facial identifique con igual precisión todos los tonos de piel resuelve un problema técnico, pero no responde si ese sistema debería utilizarse para vigilar poblaciones, fronteras o espacios públicos.

La pregunta por la representación queda entonces ligada a otra más incómoda: ¿incluir a alguien en qué sistema y para qué?

Una tecnología puede ser más justa en la distribución de sus errores y seguir siendo discutible en su finalidad.

Benjamin desplaza así el problema desde la corrección del modelo hacia el diseño de la institución que lo utiliza.

DE LA TECNOLÓGICA

Las tecnologías que prometen reparar desigualdades merecen una atención especial.

Benjamin utiliza la idea de technological benevolence para señalar intervenciones que se presentan como soluciones a un problema social y pueden terminar reproduciéndolo debido a la forma estrecha en que definen justicia, riesgo o bienestar.

No se trata de desconfiar de toda herramienta destinada a mejorar una situación. Se trata de examinar qué problema fue formulado antes de construir la solución.

Si una ciudad entiende la violencia únicamente como un problema de predicción, buscará mejores sistemas para anticiparla. Si una institución interpreta la desigualdad educativa como déficit individual, probablemente diseñará herramientas que midan y corrijan estudiantes antes que estructuras. La tecnología hereda el marco conceptual de quien encarga el trabajo.

Por eso un algoritmo puede ser sofisticado y la pregunta que intenta responder, pobre.

La innovación también depende de la imaginación institucional que la precede.

ES PARTE DEL DISEÑO

La obra posterior de Benjamin se desplazó con mayor claridad hacia esa zona.

Viral Justice examina transformaciones que crecen mediante prácticas locales, repetidas y contagiosas. Imagination: A Manifesto lleva la discusión todavía más lejos: si los sistemas actuales fueron imaginados, diseñados y naturalizados, transformarlos exige recuperar la capacidad de imaginar instituciones distintas.

No es un giro optimista agregado al final de una crítica sombría. Forma parte del mismo argumento.

Una sociedad que solo discute cómo reducir el sesgo de los sistemas existentes acepta de antemano que esos sistemas constituyen el horizonte. Benjamin propone ampliar la pregunta: quién puede imaginar, financiar, probar y convertir en infraestructura otras formas de organizar cuidado, seguridad, conocimiento o acceso.

La imaginación deja entonces de ser un lujo cultural. También distribuye poder.

Antes de programar una solución alguien decidió qué futuro merecía ser construido.

El concepto de New Jim Code nace de la historia racial estadounidense y conserva deliberadamente esa raíz. Trasladarlo sin mediaciones a cualquier sociedad puede borrar diferencias importantes entre formas de racismo, colonialismo, clase, género, discapacidad, territorio y administración.

También existe el riesgo de que la crítica al “sesgo algorítmico” termine concentrándose demasiado en sistemas digitales y nos haga olvidar instituciones analógicas capaces de discriminar con igual eficacia.

Benjamin ofrece herramientas para evitar esa reducción porque su análisis no se detiene en el software. Su objeto real es sociotécnico: tecnologías e instituciones produciéndose mutuamente.

La dificultad aparece cuando esa idea entra en el lenguaje público y se vuelve consigna. “El algoritmo discrimina” puede ser cierto y, al mismo tiempo, insuficiente. A veces el algoritmo apenas vuelve más rápida, opaca o escalable una decisión cuya arquitectura nació mucho antes.

La tecnología merece crítica. La institución que la necesita, también.

Ruha Benjamin sirve como precursora porque desarma una asociación que todavía conserva demasiada fuerza: innovación igual a progreso.

Una herramienta nueva puede ampliar derechos, aliviar trabajo, abrir capacidades y corregir arbitrariedades. También puede transportar desigualdades antiguas hacia sistemas más veloces y difíciles de discutir. Ninguna de esas posibilidades viene incorporada de fábrica.

El aporte de Benjamin está en obligarnos a mirar el momento anterior al resultado: quién define el problema, qué población se convierte en norma, qué historia entra en los datos y qué clase de mundo vuelve deseable una determinada solución.

Eso cambia también la discusión sobre inteligencia artificial. La pregunta ya no empieza en si una máquina puede ser imparcial. Empieza bastante antes, allí donde decidimos qué significa imparcialidad y quién soportará el costo de nuestros errores.

La innovación también sabe discriminar porque aprende dentro de sociedades que ya saben hacerlo.

La parte verdaderamente política del diseño consiste en decidir qué queremos que aprenda de nosotros y qué estamos dispuestos a dejar de repetir.