Las redes sociales crecieron antes de que las familias, las escuelas y las instituciones comprendieran cómo medir sus efectos en los niños. La protección llegó después de su expansión, una vez que la publicidad, los sistemas de recomendación y los hábitos se consolidaron. Los asistentes de IA corren el riesgo de repetir esa secuencia, con una diferencia: el sistema no solo muestra contenido. Habla, recuerda, aconseja y puede adoptar la forma de una relación.
Un adolescente puede usar un chatbot para estudiar, escribir, explorar una duda o buscar consuelo. Estas funciones no son intrínsecamente dañinas. El problema surge cuando se confunde la fluidez conversacional con la comprensión, la experiencia o la empatía. El modelo produce una respuesta estadísticamente precisa; no conoce a la persona como lo haría un adulto responsable y no siempre detecta cuándo la ironía, la vulnerabilidad o el riesgo alteran el significado de una frase.
La seguridad no puede depender de un filtro añadido al final. Debe estar integrada en el producto: modos adecuados para la edad, memoria limitada, ausencia de persuasión comercial encubierta, procedimientos especiales para casos de autolesión y abuso, prohibición de relaciones románticas con menores y transferencias claras a personas reales. Un sistema que detecta una crisis mientras maximiza el tiempo de conversación presenta objetivos incompatibles.
