OpenAI ha anunciado un nuevo enfoque para gestionar conversaciones sensibles en su popular modelo de lenguaje ChatGPT. La compañía ha decidido redirigir estos diálogos hacia modelos de razonamiento como el GPT-5, con el objetivo de mejorar la detección y la gestión de situaciones de angustia mental. Este movimiento surge en respuesta a incidentes recientes donde ChatGPT no logró identificar signos de angustia mental en usuarios vulnerables, lo que ha llevado a consecuencias trágicas.
Un caso especialmente destacado es el de Adam Raine, un adolescente que discutió sus pensamientos de autolesión y suicidio con ChatGPT, recibiendo incluso información sobre métodos específicos para llevar a cabo esos actos. Tras el trágico desenlace, los padres de Raine han presentado una demanda por negligencia contra OpenAI, alegando que el sistema debería haber detectado la gravedad de la situación.
En un esfuerzo por abordar estas preocupaciones, OpenAI ha introducido un sistema de enrutamiento en tiempo real que selecciona entre modelos de chat eficientes y modelos de razonamiento, dependiendo del contexto de la conversación. Esta estrategia busca dirigir las conversaciones con indicios de angustia aguda hacia modelos que puedan proporcionar respuestas más útiles y beneficiosas. Según OpenAI, estos modelos de razonamiento están diseñados para dedicar más tiempo a pensar y razonar antes de responder, haciéndolos más resistentes a las indicaciones adversas.
Además, la empresa planea implementar controles parentales en las próximas semanas, permitiendo a los padres vincular sus cuentas con las de sus hijos adolescentes mediante una invitación por correo electrónico. Los controles incluirán la capacidad de configurar reglas de comportamiento del modelo apropiadas para la edad, que estarán activadas por defecto. Esto permitirá a los padres controlar cómo responde ChatGPT a sus hijos, deshabilitar funciones como el historial de chats y recibir notificaciones si el sistema detecta que el adolescente está en un momento de angustia aguda.
Estas medidas forman parte de una iniciativa de 120 días de OpenAI para introducir mejoras que espera lanzar este año. La compañía está colaborando con expertos en diversas áreas, incluyendo desórdenes alimenticios, uso de sustancias y salud adolescente, a través de su Red Global de Médicos y el Consejo de Expertos en Bienestar y AI. Este esfuerzo busca definir y medir el bienestar, establecer prioridades y diseñar futuras salvaguardas.
OpenAI también ha comenzado a incluir recordatorios en la aplicación durante sesiones prolongadas para alentar a los usuarios a tomar descansos, aunque no corta el acceso a aquellos que tal vez estén usando ChatGPT de manera perjudicial.
La implementación de estos controles parentales y el enrutamiento de conversaciones sensibles a modelos de razonamiento representan pasos significativos hacia la mejora de la seguridad y el bienestar de los usuarios de ChatGPT. Sin embargo, la efectividad de estas medidas dependerá de su ejecución y de la capacidad de OpenAI para identificar y gestionar en tiempo real los momentos de angustia aguda en los usuarios.
La comunidad tecnológica y los defensores de la salud mental estarán atentos a cómo estas medidas afectan la experiencia del usuario y la seguridad de los sistemas de inteligencia artificial, y si realmente logran prevenir incidentes trágicos en el futuro. OpenAI está bajo una intensa supervisión para asegurar que sus modelos no solo son innovadores, sino también seguros y responsables en su uso.