MentalHealthBench mede como chatbots lidam com conversas difíceis
No dia 23 de setembro, a OpenAI lançou o MentalHealthBench, um benchmark aberto para medir como sistemas de IA respondem em conversas realistas sobre saúde mental. Benchmark é um conjunto fixo de casos de teste com um método de pontuação, para comparar modelos diferentes nas mesmas perguntas. A OpenAI diz que a maioria dos testes anteriores nessa área olhava só para emergências, e este quer cobrir tudo, do estresse do dia a dia ao sofrimento intenso e à crise.
A OpenAI dá o contexto sem rodeios: mais de um bilhão de pessoas usam o ChatGPT toda semana, e parte dessas conversas é sobre relações difíceis, estresse ou como ajudar alguém querido.
Como foi feito
A OpenAI diz que trabalhou com mais de 80 psicólogos e psiquiatras licenciados de 22 países, que falam 19 idiomas. As conversas são sintéticas, escritas para refletir padrões reais de uso sem usar conversas de usuários reais, e incluem adultos, adolescentes de 13 a 17 anos, cuidadores e profissionais de saúde.
Para cada conversa, pelo menos três especialistas escreveram critérios para avaliar a última resposta do modelo, como fazer a pergunta certa ou indicar ajuda no mundo real. Cada critério tem um peso de menos 10 a mais 10, então respostas que fazem mal perdem pontos. A OpenAI manteve só os critérios em que pelo menos dois especialistas concordaram e que nenhum terceiro contradisse.
Quem dá a nota
A correção é automática. A OpenAI usa um modelo dela, o GPT-5.6 Sol, para comparar cada resposta com os critérios dos especialistas. A OpenAI diz que os detalhes estão no artigo que acompanha o benchmark. Um teste criado por um laboratório e corrigido pelo modelo desse laboratório é um ponto de partida razoável, e também é a primeira coisa que pesquisadores de fora vão querer conferir rodando o benchmark aberto por conta própria.
A OpenAI também fez um estudo separado com 44 adultos que já usaram IA como apoio emocional. Eles deram mais valor a próximos passos práticos e ao tom do que os especialistas, que deram mais peso a entender o contexto primeiro. Esse estudo não mudou a pontuação.
O que dá e o que não dá para dizer ainda
Os resultados aparecem em gráficos na página da OpenAI, comparando modelos recentes de vários fornecedores. A OpenAI diz que as notas melhoraram com os modelos mais novos e que eles passaram a pedir mais contexto. A OpenAI também diz que o ChatGPT não substitui terapia nem atendimento profissional.
O que fazer com isso
Se a sua empresa tem um chatbot que conversa com o público, as pessoas às vezes vão levar problemas pessoais para ele, seja qual for o motivo para o qual ele foi feito. Como o benchmark é aberto, uma equipe pode rodar o próprio bot nas conversas do dia a dia e nas de emergência e ver como ele responde antes que um usuário real descubra. Junte isso a um encaminhamento claro para uma linha de crise nas regiões que você atende.
O que a gente pensa
Um teste aberto escrito por profissionais de saúde mental é mais útil que mais uma rodada de promessas sobre respostas seguras. A diferença entre o que usuários e especialistas valorizaram é a parte que mais chamou a atenção da gente, porque uma resposta pode seguir todas as regras clínicas e ainda soar fria para quem lê.
Fontes