CUANDO SE TERCERIZA TAMBIÉN LA LÓGICA
Existe un umbral distinto al de alojar datos o ejecutar aplicaciones en infraestructura ajena.
Aparece cuando una administración utiliza sistemas automatizados o modelos para asistir decisiones sobre personas: acceso a prestaciones, elegibilidad, riesgo, fraude, prioridad o continuidad de un servicio.
El Reglamento de Inteligencia Artificial de la Unión Europea considera de alto riesgo determinados sistemas utilizados por autoridades para decidir si prestaciones y servicios públicos esenciales deben concederse, denegarse, reducirse, revocarse o reclamarse. La razón no es que toda automatización pública sea ilegítima, sino que esas decisiones pueden afectar de manera significativa derechos y condiciones materiales de vida.
Este antecedente requiere una distinción importante.
Una cosa es tercerizar infraestructura.
Otra es depender también de una lógica de clasificación que el organismo debe poder comprender, supervisar, impugnar y explicar.
Cuando esa capacidad disminuye, el problema deja de ser solamente dónde funciona el sistema.
Empieza a ser quién puede dar razones por lo que el sistema decide.
Qué demuestra
Que la regulación contemporánea reconoce riesgos específicos cuando sistemas automatizados intervienen en decisiones públicas capaces de afectar derechos o prestaciones esenciales.
Qué no demuestra
Que todos los algoritmos utilizados por gobiernos sean opacos, privados, ilegales o discriminatorios. Tampoco demuestra que el Estado actual haya delegado de manera generalizada su capacidad de decisión a proveedores externos.
Estado
OPERATIVO COMO PROBLEMA REGULATORIO / EN EXPANSIÓN COMO CAPACIDAD ADMINISTRATIVA.
Continuidad del dossier
Este expediente registra solamente el umbral. La conversión de personas en perfiles, puntajes y categorías de elegibilidad continúa en IDLI-AAN-009 — El cuerpo convertido en perfil.