Lo posible no es todavía una obligación

Joy cuenta que durante buena parte de su carrera la posibilidad de máquinas capaces de desplazar a los seres humanos le había parecido lejana. Conocía demasiado bien la fragilidad del software y las limitaciones de las computadoras como para aceptar sin más los escenarios grandiosos de la ciencia ficción.

Su inquietud cambió cuando empezó a relacionar genética, nanotecnología y robótica con una propiedad que conocía por su experiencia en redes: la capacidad de reproducción. Un programa que se copia fuera de control puede derribar un servicio; un sistema capaz de replicarse en el mundo físico introduce otra clase de consecuencias. La pregunta dejó entonces de ser cuánto poder podía alcanzar una tecnología y pasó a incluir qué podía ocurrir si escapaba del contexto para el cual había sido diseñada.

En ese punto Joy empezó a discutir una convicción muy arraigada en la cultura técnica: la idea de que, si algo puede hacerse, tarde o temprano alguien necesariamente lo hará.

CUANDO SE VUELVE CAPACIDAD

Las armas de destrucción masiva del siglo XX exigieron, al menos durante buena parte de su desarrollo, Estados, instalaciones enormes, materiales difíciles de obtener y conocimientos fuertemente protegidos. Joy creyó ver una diferencia en algunas tecnologías emergentes: podían combinar gran potencia con barreras de acceso decrecientes y, en ciertos casos, capacidad de autorreplicación.

De allí surgió su expresión knowledge-enabled mass destruction: destrucción masiva habilitada por conocimiento. Lo que le preocupaba no era solamente una mayor capacidad destructiva, sino que herramientas antes reservadas a organizaciones gigantescas pudieran quedar al alcance de grupos mucho más pequeños.

Su argumento era deliberadamente extremo, pero señalaba un desplazamiento real. Cuando una parte creciente de la capacidad técnica reside en información reproducible, el conocimiento deja de ser únicamente descripción del mundo y puede convertirse, con menos mediaciones, en capacidad de intervenir sobre él.

DE LOS PEQUEÑOS PASOS

Joy no necesitaba imaginar un laboratorio construyendo de una vez la máquina definitiva. Le preocupaba algo más cotidiano: una sucesión de avances razonables, útiles y defendibles considerados por separado podía acumular una capacidad que nadie hubiera decidido crear como conjunto.

Una mejora médica, un robot más competente, un material nuevo o una herramienta genética más precisa pueden responder a objetivos perfectamente atendibles. El problema aparece cuando esos desarrollos se acoplan, se abaratan, circulan y alcanzan una escala distinta de aquella que justificó cada decisión inicial.

La política tecnológica suele llegar tarde precisamente por eso. Muchas capacidades no nacen después de un debate colectivo acerca de su conveniencia, sino de miles de decisiones distribuidas entre universidades, empresas, Estados, laboratorios, inversores y consumidores. El riesgo sistémico rara vez tiene un único autor.

COMO COARTADA

Uno de los argumentos más persistentes contra cualquier límite tecnológico sostiene que detenerse es inútil. Si un laboratorio renuncia, continuará otro; si un país regula, otro aprovechará la ventaja; si una empresa desacelera, un competidor ocupará su lugar.

Ese razonamiento describe una dificultad real, pero también puede funcionar como coartada. Convierte decisiones humanas, inversiones, políticas públicas y estrategias empresariales en una fuerza semejante al clima. Entonces el mercado, la competencia o el progreso aparecen como nombres de un destino al que solo cabría adaptarse.

Joy discutía ese fatalismo. Ninguna tecnología se desarrolla por generación espontánea: necesita financiación, infraestructura, instituciones, trabajo, permisos y mercados. Llamar inevitable al resultado puede borrar las elecciones que lo hicieron posible y, de paso, eximir de responsabilidad a quienes todavía pueden modificarlas.

La inevitabilidad tecnológica suele proclamarse después de que alguien decidió financiarla.

La palabra más polémica de “Why the Future Doesn’t Need Us” es relinquishment:  renuncia.

Joy no proponía abandonar toda investigación científica. Planteaba que algunas líneas de desarrollo podían alcanzar un nivel de riesgo que justificara no continuarlas o limitar deliberadamente sus aplicaciones. Para mostrar que esa posibilidad no era absurda recurrió a los acuerdos internacionales sobre armas biológicas y químicas: existen antecedentes de sociedades que decidieron no explotar ciertas capacidades aunque fueran técnicamente realizables.

La propuesta choca con una convicción moderna poderosa: el conocimiento debe avanzar. Joy obliga a separar, al menos por un momento, conocimiento y despliegue. Investigar una posibilidad no obliga a convertirla en producto, infraestructura o arma; del mismo modo, una sociedad puede admitir determinados usos y prohibir otros cuando las consecuencias lo justifican.

Lo radical de su argumento no está únicamente en la renuncia. Está en recuperar una capacidad política que el discurso de la innovación suele presentar como anacrónica: también podemos decidir que no.

DECIR QUE NO

La renuncia abre enseguida un problema que Joy no resuelve por completo. ¿Quién tiene autoridad para declarar que una tecnología es demasiado peligrosa? Una comunidad científica, un Estado, una empresa, un organismo internacional y la población que cargará con las consecuencias no ocupan la misma posición ni tienen los mismos intereses.

El freno puede expresar prudencia, pero también censura, monopolio o privilegio. Un actor que ya domina una capacidad podría invocar el riesgo para impedir el acceso de otros; una regulación puede proteger a la sociedad o consolidar a las empresas que tienen recursos suficientes para cumplirla; un país puede reclamar límites universales mientras conserva ventajas estratégicas.

La discusión, por lo tanto, no termina cuando aceptamos que algunas tecnologías deberían poder frenarse. Recién empieza.

Tan importante como decidir qué limitar es decidir quién puede hacerlo, con qué legitimidad y bajo qué controles.

MAL

Varias imágenes del ensayo conservan la temperatura del cambio de milenio. La nanotecnología no produjo los ensambladores autorreplicantes capaces de convertir la biosfera en la famosa grey goo, y la convergencia entre genética, nanotecnología y robótica no ocurrió exactamente en los términos ni con los calendarios que Joy temía. Parte de su alarma se apoyaba en escenarios altamente especulativos cuya plausibilidad sigue siendo discutida.

Eso importa. Un precursor no obtiene inmunidad retrospectiva y una advertencia temprana no se transforma automáticamente en profecía.

Sin embargo, el núcleo del problema sobrevivió mejor que algunas de sus imágenes. Joy intentaba pensar qué ocurre cuando automatización, difusión del conocimiento, barreras de acceso decrecientes, capacidad de réplica y consecuencias potencialmente irreversibles empiezan a combinarse.

Los objetos cambiaron; la arquitectura de la pregunta, no tanto.

REACCIONANDO

El centro del debate tecnológico se desplazó desde 2000. La nanotecnología perdió parte de su protagonismo público, la genética avanzó por caminos menos lineales que los imaginados entonces y la inteligencia artificial pasó a ocupar un lugar que en aquel ensayo aparecía principalmente bajo la categoría de robótica.

Con ese desplazamiento regresaron preguntas familiares. Un sistema capaz de producir código, instrucciones, diseños o conocimiento puede reducir barreras para usos beneficiosos y también para acciones peligrosas. Al mismo tiempo, las empresas que desarrollan esas capacidades compiten por llegar primero y suelen advertir que desacelerar unilateralmente equivaldría a perder la carrera.

Joy no ofrece una solución aplicable sin dificultades a ese escenario. Su propuesta de renuncia tropieza con Estados, mercados y organizaciones que no comparten objetivos ni riesgos. Pero introduce una palabra que el discurso tecnológico preferiría mantener en segundo plano: límite.

Preguntar por un límite no obliga a rechazar una tecnología. Obliga a discutir quién absorbe sus riesgos, qué condiciones justifican su despliegue y por qué deberíamos tratar como inevitable algo que todavía depende de decisiones.

Bill Joy formuló su advertencia desde el mismo ecosistema industrial que había ayudado a construir. Conocía los beneficios de la innovación y también una tentación frecuente entre quienes producen tecnología: confundir la capacidad de crear con la capacidad de controlar después todo lo creado.

No hace falta aceptar sus escenarios más extremos ni su propuesta de renuncia como solución universal para conservar la distinción que dejó planteada. Poder hacer algo no significa que debamos hacerlo.

Entre posibilidad y obligación existe un espacio donde pueden intervenir la ética, la regulación, la precaución, el desacuerdo y la política. También, llegado el caso, la decisión de detenerse.

Cuando ese espacio se clausura de antemano con el argumento de que “alguien lo hará de todos modos”, la inevitabilidad deja de describir el futuro. Empieza a colaborar en su fabricación.