Una decisión automatizada nunca surge como una abstracción. Puede ser la puntuación que clasifica a los candidatos para un puesto de trabajo, la evaluación que contribuye a una solicitud de crédito, la prioridad asignada a un caso de salud o la verificación que determina si un documento requiere mayor comprobación. En todas estas situaciones, la IA no se limita a generar una predicción: ayuda a determinar quién tiene prioridad, quién encuentra obstáculos y quién debe aportar más información. La confianza, antes una cualidad humana y relacional, se convierte en una variable calculada.
Esto no significa que debamos rechazar todos los sistemas. Un modelo puede ayudar a gestionar grandes volúmenes de solicitudes, detectar inconsistencias, reducir los tiempos de espera y sugerir criterios más consistentes. Sin embargo, la velocidad puede ocultar lo esencial: un resultado estadístico no equivale a un juicio justo sobre un caso individual. Un sistema puede ser preciso en promedio y aun así equivocarse respecto a la persona que lo consulta. Para quien recibe esa respuesta, el promedio nunca resulta reconfortante.
La Ley Europea de IA clasifica varios sistemas utilizados en educación, empleo, acceso a servicios esenciales y evaluación de solvencia crediticia como aplicaciones de alto riesgo. Esta clasificación no es alarmista; reconoce que, cuando una puntuación influye en oportunidades concretas, el modelo debe regirse por datos, documentación, registros, supervisión humana y controles de rendimiento adecuados. La pregunta clave no es «¿es neutral el algoritmo?», sino «¿qué efectos produce y quién puede cuestionarlos?».
