En esa intervención habló de beneficios científicos, armas biológicas y pérdida de control. Formuló uno de los escenarios que organizan buena parte del miedo contemporáneo: que las capacidades de los modelos avancen más rápido que la capacidad de sus propios desarrolladores para gobernarlas.
También dijo algo que importa para esta discusión: Anthropic está dispuesta a desacelerar cuando considere que los riesgos de mal uso o pérdida de control lo requieren, pero su propuesta no consiste en detener el desarrollo.
Propone una arquitectura en tres niveles: controles externos dentro de Anthropic, coordinación entre empresas para fijar estándares y modular el ritmo de desarrollo, y cooperación entre gobiernos para establecer reglas internacionales, sistemas de verificación y protocolos frente a riesgos globales.
Él mismo se coloca dentro de ese esquema: compromete a su empresa a aceptar evaluadores externos y a colaborar con los gobiernos.
Amodei es nuestra puerta. Podría haber sido otro. Podemos cambiar el nombre, la empresa, la disciplina o el grado de alarma; pero casi todos esos caminos terminan entrando en una habitación parecida:
¿Qué harán con nosotros cuando puedan hacer más que nosotros?
La pregunta parece razonable. También podría estar hablando más de nosotros que de ellas.