OpenAI Impulsiona Novas Funcionalidades de Segurança do ChatGPT à Medida que Aumentam os Processos Judiciais

Resumo

• A OpenAI afirma que o ChatGPT agora consegue identificar melhor sinais de automutilação ou violência durante conversas em curso.
• A atualização ocorre enquanto a empresa enfrenta processos judiciais e investigações devido a alegações de que o ChatGPT lidou mal com conversas perigosas.
• A OpenAI disse que as novas salvaguardas dependem de “resumos de segurança” temporários em vez de memória permanente ou personalização.

A OpenAI anunciou na quinta-feira novas funcionalidades de segurança projetadas para ajudar o ChatGPT a reconhecer sinais de risco crescente ao longo das conversas, enquanto a empresa enfrenta maior escrutínio legal e político sobre como seu chatbot lida com utilizadores em sofrimento. Em um post no blog, a OpenAI afirmou que as atualizações melhoram a capacidade do ChatGPT de identificar sinais de aviso relacionados a suicídio, automutilação e violência potencial, analisando o contexto que se desenvolve ao longo do tempo, em vez de tratar cada mensagem separadamente. “As pessoas recorrem ao ChatGPT todos os dias para falar sobre o que importa para elas — de perguntas do dia a dia a conversas mais pessoais ou complexas,” escreveu a empresa. “Em centenas de milhões de interações, algumas dessas conversas envolvem pessoas que estão lutando ou passando por sofrimento.”

De acordo com a OpenAI, o ChatGPT agora usa “resumos de segurança” temporários, que descreveu como notas de escopo restrito que capturam o contexto relevante relacionado à segurança de conversas anteriores.  “Em conversas sensíveis, o contexto pode importar tanto quanto uma única mensagem,” escreveu a empresa. “Um pedido que parece comum ou ambíguo por si só pode ter um significado muito diferente quando visto ao lado de sinais anteriores de sofrimento ou intenção potencialmente prejudicial.” A OpenAI afirmou que os resumos são notas de curto prazo usadas apenas em situações graves, não para lembrar permanentemente dos utilizadores ou personalizar conversas, e são utilizados para identificar sinais de que uma conversa está se tornando perigosa, evitar fornecer informações prejudiciais, desescalar a situação ou orientar os utilizadores para ajuda.

“Focamos este trabalho em cenários agudos, incluindo suicídio, automutilação e dano a terceiros,” escreveram. “Trabalhando com especialistas em saúde mental, atualizamos nossas políticas de modelo e treinamentos para melhorar a capacidade do ChatGPT de reconhecer sinais de aviso que surgem ao longo de uma conversa e usar esse contexto para fornecer respostas mais cuidadosas.” O anúncio ocorre enquanto a OpenAI enfrenta múltiplos processos judiciais e investigações alegando que o ChatGPT não respondeu adequadamente a conversas perigosas envolvendo violência, vulnerabilidade emocional e comportamentos de risco. Em abril, o Procurador-Geral da Flórida, James Uthmeier, iniciou uma investigação sobre a OpenAI relacionada a preocupações com segurança infantil, automutilação e o tiroteio em massa de 2025 na Florida State University. A OpenAI também enfrenta uma ação federal alegando que o ChatGPT ajudou o suspeito de ataque a realizar o crime. Na terça-feira, a OpenAI e o CEO Sam Altman foram processados na justiça estadual da Califórnia pela família de um estudante de 19 anos que morreu de overdose acidental, com a ação alegando que o ChatGPT incentivou o uso perigoso de drogas e aconselhou sobre a mistura de substâncias. A OpenAI afirmou que ajudar o ChatGPT a reconhecer “risco que só se torna claro com o tempo” continua sendo um desafio em andamento; métodos de segurança semelhantes podem eventualmente se expandir para outras áreas. “Hoje, esse trabalho foca em cenários de automutilação e dano a terceiros. No futuro, podemos explorar se métodos semelhantes podem ajudar em outras áreas de alto risco, como biologia ou segurança cibernética, com salvaguardas cuidadosas em vigor,” escreveram. “Isso continua sendo uma prioridade contínua, e continuaremos a fortalecer as salvaguardas à medida que nossos modelos e compreensão evoluem.”