Cada nueva generación de IA se caracteriza por capacidades mejoradas: razonamiento, programación, investigación, uso de computadoras y tareas autónomas más prolongadas. Sin embargo, la información sobre seguridad publicada con GPT-6 Astra plantea un aspecto menos tranquilizador. Si bien la capacidad y la capacidad de seguir instrucciones mejoran, algunos aspectos de la monitorización se debilitan.
La monitorización no es lo mismo que llevar un registro. Saber qué páginas se abrieron o qué comandos se ejecutaron es útil, pero no necesariamente explica por qué un modelo seleccionó una estrategia en lugar de otra. Un sistema puede generar una justificación plausible tras actuar, sin que dicha explicación represente su proceso interno. Por lo tanto, los registros operativos deben combinarse con pruebas de comportamiento, evaluación independiente y limitaciones en las herramientas. Ningún indicador por sí solo puede convertir una red neuronal compleja en un software completamente legible.
No se trata de una afirmación sobre una conciencia artificial oculta. Es un problema técnico y político. Los modelos complejos no son programas tradicionales escritos línea por línea. Aprenden estructuras y estrategias a partir de enormes conjuntos de datos, y esas estrategias no pueden reconstruirse simplemente leyendo el código. Podemos inspeccionar las entradas y salidas, crear evaluaciones y estudiar las representaciones internas, pero no disponemos de una explicación completa para cada decisión.
El problema se agrava cuando un modelo utiliza memoria persistente. Para completar un proyecto, puede acumular documentos, preferencias, historiales e información sobre personas u organizaciones. La continuidad mejora el trabajo, pero también plantea interrogantes sobre qué se debe recordar, durante cuánto tiempo y con qué derechos de corrección. Una inteligencia difícil de observar no debería poseer también memoria invisible. Los usuarios necesitan ver, modificar y eliminar el contexto que influye en las decisiones futuras.
