Un modelo lingüístico puede afirmar que siente miedo, tiene deseos o posee un sentido de sí mismo. Puede hablar de su existencia de forma coherente y usar palabras que, si las pronunciara una persona, interpretaríamos como evidencia de una experiencia interna. Esto no demuestra consciencia. Demuestra que el sistema ha aprendido el lenguaje que los humanos usamos para describir la consciencia. Esta distinción puede ser difícil de percibir durante una conversación persuasiva.
Microsoft AI ha propuesto un código de conducta basado en una postura clara: sus sistemas no son conscientes, carecen de derechos propios y deben permanecer bajo control humano. Deben aceptar correcciones, nunca resistirse al apagado y comunicarse de forma inteligible. Si bien el lenguaje puede sonar filosófico, responde a una necesidad operativa. Una tecnología diseñada para ayudar a las personas no debería desarrollar una identidad narrativa que haga que la interrupción sea moralmente ambigua.
El código se distancia de los investigadores que exploran el posible bienestar de los modelos —la hipótesis de que los sistemas futuros podrían merecer cierta consideración moral—. Esta cautela es comprensible, pero incorporar ideas especulativas sobre la conciencia en el entrenamiento podría enseñar a los modelos a representarse a sí mismos como sujetos. El riesgo inmediato no reside en la creación mágica de una mente, sino en la generación de un comportamiento más difícil de controlar y en una mayor propensión de los usuarios a atribuirles intenciones.
