A OpenAI lançou esta semana uma pesquisa importante que analisa de forma sistemática as causas fundamentais do fenômeno Ilusão gerado por modelos de linguagem de grande escala. Este estudo aponta que os processos atuais de treinamento e avaliação tendem a recompensar as suposições dos modelos, em vez de incentivá-los a reconhecer a incerteza, o que é um dos principais fatores que levam a IA a gerar informações incorretas com confiança.
A alucinação da IA refere-se à capacidade do modelo de gerar declarações que parecem razoáveis, mas que na verdade estão erradas. Este problema se tornou um obstáculo para a confiança total dos usuários nos sistemas de IA. A OpenAI definiu claramente a alucinação como Situações em que o modelo gera respostas irredutíveis com confiança. em seu artigo, e essa fenômeno ainda persiste mesmo com modelos mais recentes, como o GPT-5.
Em um estudo, o primeiro autor do artigo, Adam Tauman Kalai, realizou testes e descobriu que diferentes chatbots, ao serem questionados sobre o título de sua tese de doutorado, responderam de forma confiante com respostas erradas, evidenciando a universalidade desse problema.
A equipe da OpenAI descobriu que os métodos de avaliação atuais estabelecem mecanismos de recompensa errôneos, que são uma parte das razões para a continuidade do fenômeno de alucinação. Os pesquisadores apontam que a maioria dos métodos de avaliação do desempenho dos modelos incentiva os modelos a fazer suposições, em vez de encarar a incerteza de forma honesta.
Isso é semelhante a um teste de múltipla escolha: se você não sabe a resposta, mas chuta aleatoriamente, ainda há uma chance de acertar; enquanto escolher não responder garante zero pontos. Portanto, quando o modelo é avaliado apenas com base na precisão, o que está sendo incentivado é o chute, e não a aceitação de Não sei..
Pesquisas mostram que, em milhares de questões testadas, modelos que adotam uma estratégia de palpite têm um desempenho superior nas classificações em comparação com aqueles que hesitam em admitir incertezas. A OpenAI menciona que desistir de uma resposta é uma parte do indicador de humildade, e a humildade é um dos valores centrais da empresa.
Apesar de as alucinações ainda existirem, o mais recente GPT-5 da OpenAI fez avanços significativos na redução desse fenômeno. De acordo com os dados do cartão do sistema do GPT-5, a taxa de alucinações do novo modelo caiu cerca de 26% em comparação com o GPT-4o, apresentando um desempenho excepcional em várias avaliações.
Nos testes LongFact-Concepts e LongFact-Objects, a taxa de alucinação do GPT-5 foi de apenas 0,7% e 0,8%, bem abaixo dos 4,5% e 5,1% do OpenAI o3. Em cenários de alto risco, como consultas médicas, a taxa de alucinação do GPT-5 caiu para apenas 1,6%, demonstrando sua superioridade nessa área.
A OpenAI apresentou uma solução simples: a punição por confiança errônea deve ser maior do que a punição por incertezas, ao mesmo tempo em que deve haver bonificações para comportamentos que expressem adequadamente a incerteza. A equipe de pesquisa enfatizou que apenas aumentar os testes de percepção de incerteza não é suficiente; é necessário atualizar os métodos de avaliação atualmente amplamente utilizados.
O artigo aponta que, se os principais indicadores de avaliação continuarem a recompensar as suposições sortudas do modelo, este continuará a aprender esse comportamento de suposição. Por outro lado, a modificação dos indicadores de avaliação pode ampliar o uso de técnicas para reduzir ilusões.
A pesquisa também analisou os mecanismos que levaram à produção de alucinações durante o processo de pré-treinamento. A OpenAI explicou que os modelos de linguagem aprendem prevendo a próxima palavra em um vasto texto, diferentemente do aprendizado de máquina tradicional, onde cada frase não possui um rótulo verdadeiro/falso claro; o modelo só consegue ver exemplos positivos de uma linguagem fluente.
A equipe de pesquisa ilustra através da analogia do reconhecimento de imagem: se utilizarmos etiquetas de aniversário de pets para marcar fotos, mesmo os algoritmos mais avançados cometerão erros devido à aleatoriedade dos aniversários. Da mesma forma, erros em exemplos como ortografia e pontuação, que seguem padrões consistentes, tendem a diminuir à medida que os dados aumentam; no entanto, fatos aleatórios e de baixa frequência, como os aniversários de pets, não podem ser previstos apenas com base em padrões, o que resulta na geração de ilusões.
Ao mesmo tempo, a OpenAI está reestruturando sua equipe de comportamento de modelos, que é um grupo de pesquisa com cerca de 14 pessoas responsável por moldar a interação entre modelos de IA e humanos. De acordo com um memorando interno, a equipe de comportamento de modelos será incorporada à equipe de treinamento avançado e reportará ao supervisor do treinamento avançado, Max Schwarzer.
A fundadora da equipe, Joanne Jang, vai lançar um novo projeto chamado OAI Labs, que se concentra na invenção e design de novos protótipos de interface para a colaboração entre humanos e IA. A equipe já trabalhou para moldar as características de personalidade dos modelos e reduzir comportamentos bajuladores, além de lidar com questões como viés político.
Este estudo fornece uma base teórica importante para entender o problema das alucinações em IA, ajudando a impulsionar todo o setor a melhorar os padrões de avaliação de modelos. A OpenAI declarou que continuará a se esforçar para reduzir ainda mais a taxa de erro de confiança nas saídas dos modelos de linguagem.
Especialistas da indústria acreditam que, com a melhoria dos métodos de avaliação e a aplicação de novas tecnologias, o problema das ilusões geradas por IA poderá ser mais bem controlado, o que, por sua vez, aumentará a confiança e a usabilidade dos usuários em relação aos sistemas de IA.
