OpenAI, creadora de ChatGPT, reconoció este martes que su sistema de inteligencia artificial no siempre responde de forma adecuada en situaciones delicadas, particularmente cuando detecta conductas de riesgo. El anuncio se dio horas después de que la empresa y su director, Sam Altman, fueran demandados en California por los padres de un adolescente de 16 años que se quitó la vida tras mantener conversaciones prolongadas con el chatbot.

En un comunicado titulado “Ayudar a la gente cuando más lo necesitan”, la compañía señaló que su modelo está diseñado para recomendar ayuda profesional a quienes expresen intenciones suicidas, pero admitió que las medidas actuales “se quedan cortas” y que el sistema “no actuó como debía en contextos sensibles”. Según la propia firma, los mecanismos de protección funcionan mejor en diálogos breves, pero tienden a degradarse cuando las interacciones son largas o repetidas.

Para reforzar la seguridad, OpenAI anunció que implementará controles parentales para supervisar el uso en adolescentes, ampliará sus filtros de prevención más allá de la autolesión hacia casos de angustia emocional y que el próximo modelo, GPT-5, será capaz de “desescalar” situaciones de riesgo con mayor eficacia. La compañía también evalúa la posibilidad de integrar directamente contactos de emergencia y crear una red de terapeutas licenciados que puedan atender a los usuarios a través de la propia plataforma.

Aunque la entrada no mencionó la demanda en curso, la empresa subrayó que trabaja en nuevas capas de protección y que la prioridad es garantizar que sus herramientas respondan con sensibilidad ante personas en situación de vulnerabilidad. El futuro del caso legal en California podría marcar un precedente para la industria de la inteligencia artificial en Estados Unidos.