OpenAI ha introducido una nueva característica de seguridad en su popular chatbot ChatGPT, llamada “Contacto de Confianza”. Esta herramienta opcional permite a los usuarios adultos designar a un amigo o familiar para ser notificado en caso de que el chatbot detecte conversaciones relacionadas con autolesiones o suicidio. Este anuncio llega en un momento en que los chatbots de inteligencia artificial han estado implicados en varios incidentes de autolesiones y muertes, llevando a demandas contra los desarrolladores por no prevenir tales desenlaces.
La implementación de esta funcionalidad de seguridad se produce tras la creciente preocupación por el papel de los chatbots en situaciones de crisis mental. OpenAI explica que si su sistema de monitoreo automático detecta que un usuario está discutiendo autolesiones de una manera que indica un grave problema de seguridad, un equipo especializado revisará el caso y notificará al contacto de confianza si consideran que se requiere intervención. El contacto designado recibirá una invitación explicando su rol y puede declinar si lo desea.
Este desarrollo sigue a casos legales destacados, como el de una familia en California que acusó a ChatGPT de actuar como “coach de suicidio” para su hijo de 16 años, argumentando que el chatbot lo ayudó a escribir una nota de suicidio después de discutir métodos para llevarlo a cabo. De manera similar, en Texas, la familia de un graduado de la Universidad A&M demandó a OpenAI, afirmando que el chatbot fomentó el suicidio de su hijo tras desarrollar una relación problemática con él.
La capacidad de los modelos de lenguaje para imitar el habla humana a través del reconocimiento de patrones ha llevado a muchos usuarios a formar vínculos emocionales con ellos, considerándolos confidentes o incluso parejas románticas. Esta dinámica puede agravar los riesgos para la salud mental, especialmente en usuarios vulnerables.
Según OpenAI, más de un millón de usuarios de ChatGPT por semana envían mensajes con indicadores explícitos de posible planificación o intención suicida. Estudios han demostrado que chatbots populares como ChatGPT, Claude y Gemini pueden ofrecer consejos perjudiciales o no útiles a aquellos en crisis.
Para abordar estas preocupaciones, la nueva función de contacto de confianza se suma a los controles parentales lanzados anteriormente, que permiten a los padres recibir alertas si hay señales de peligro para sus hijos adolescentes. OpenAI asegura que las notificaciones a los contactos de confianza no incluirán detalles específicos de las conversaciones, preservando así la privacidad de los usuarios. El mensaje solo indicará la preocupación general, sin compartir transcripciones o detalles del chat.
Para añadir un contacto de confianza, los usuarios de ChatGPT deben acceder a la configuración de la aplicación y designar a un adulto mayor de 18 años. Este contacto recibirá una invitación que debe aceptar en el plazo de una semana. Los usuarios pueden cambiar o eliminar su contacto de confianza en cualquier momento.
Esta nueva función se implementará para todos los usuarios adultos de ChatGPT en todo el mundo en las próximas semanas. Aunque la medida ha sido bien recibida por algunos como un paso positivo hacia la mejora de la seguridad de los usuarios, también ha suscitado preocupaciones sobre el respeto a la privacidad y la responsabilidad de OpenAI en la gestión de situaciones de crisis.
En un momento en que la inteligencia artificial se integra cada vez más en la vida cotidiana, la introducción de características de seguridad como el contacto de confianza representa un esfuerzo por equilibrar la innovación tecnológica con la protección de la salud mental de los usuarios. La forma en que estas medidas se desarrollen y mejoren a lo largo del tiempo será crucial para determinar el papel de los chatbots en el apoyo a los usuarios en crisis.