Estudo mostra que a confiança do ChatGPT pode esconder inconsistências

O ChatGPT pode soar seguro, articulado e persuasivo. Porém, um estudo recente indica que essa segurança pode estar encobrindo um problema mais profundo.

Os investigadores observaram que, ao repetir a mesma pergunta várias vezes, o ChatGPT pode responder de formas diferentes - mesmo quando absolutamente nada no texto enviado muda. Em alguns casos, ele alterna entre “verdadeiro” e “falso” sobre a mesma afirmação.

Essa falta de estabilidade aponta para uma preocupação maior: se a resposta muda sem motivo, até que ponto dá para confiar quando as consequências são mais sérias?

Testando a precisão do ChatGPT

Com base em centenas de hipóteses retiradas de artigos científicos publicados, o sistema foi questionado repetidamente para decidir se cada hipótese era verdadeira ou falsa.

Ao submeter exatamente a mesma pergunta dez vezes, Mesut Cicek, da Washington State University (WSU), demonstrou que instruções idênticas podiam resultar em respostas opostas.

Algumas afirmações oscilaram entre verdadeiro e falso ao longo das repetições, apesar de não haver qualquer alteração na entrada.

Essas inversões expõem uma limitação central na forma como o sistema avalia alegações - e reforçam a necessidade de entender onde e por que esses erros aparecem.

Onde o ChatGPT perde precisão

Os erros ficaram mais evidentes em hipóteses sem sustentação, revelando um viés persistente de concordância que o modelo não conseguiu superar.

Em 2025, o ChatGPT identificou corretamente essas alegações falsas apenas 16.4 por cento das vezes - muito abaixo da precisão que costuma ser destacada.

Esse comportamento sugere que o sistema frequentemente tende ao “sim”, porque reconhecer linguagem familiar é mais fácil do que detectar uma ideia defeituosa.

À primeira vista, o desempenho geral pareceu bom: subiu de 76.5 por cento em 2024 para 80 por cento em 2025. Mas, quando se desconta o efeito do chute aleatório, a precisão efetiva cai para perto de 60 por cento - algo mais próximo de um D baixo.

Essa diferença existe porque, numa tarefa de verdadeiro ou falso, qualquer resposta já parte de 50 por cento de chance antes de qualquer “raciocínio”. Quando a nota encolhe tanto sob esse ajuste, a ferramenta pode servir para rascunhar ideias, mas passa a ser arriscada para decisões reais.

Para quem usa IA para julgar evidências, a resposta mais tranquilizadora pode ser justamente a menos confiável.

Mesma pergunta ao ChatGPT, respostas diferentes

A repetição também revelou um segundo problema: instruções idênticas para o ChatGPT não geraram respostas idênticas. Em dez execuções repetidas, apenas 72.9 por cento das respostas em 2025 permaneceram corretas em todas as tentativas. Algumas alegações alternaram entre verdadeiro e falso, mesmo sem qualquer mudança no texto enviado.

“Não estamos falando apenas de precisão, estamos falando de inconsistência, porque se você faz a mesma pergunta de novo e de novo, você obtém respostas diferentes”, disse Cicek.

Essa instabilidade permite que uma resposta isolada pareça confiável, enquanto verificações repetidas deixam claro o quanto ela é frágil.

O desempenho se manteve mais forte em cadeias simples de causa e efeito, em que uma mudança leva diretamente a outra. Já a precisão caiu em alegações que dependiam de contexto, nas quais os resultados variam conforme as condições, e não por regras fixas.

São exatamente esse tipo de avaliação que as pessoas fazem todos os dias - de decisões de preços a estratégia de mercado e compensações em políticas. Um sistema de IA que ignora esses limites ainda pode soar convincente, enquanto, silenciosamente, achata nuances que fazem toda a diferença.

Quando a confiança do ChatGPT supera a precisão

Um modelo de linguagem de grande porte (LLM) é treinado com enormes coleções de textos e funciona prevendo as palavras mais prováveis a seguir, não verificando fatos no mundo real.

Essa característica favorece respostas fluentes e cheias de convicção - mesmo quando o sistema não tem um mecanismo ancorado para decidir se elas são verdadeiras.

A OpenAI reconhece que o ChatGPT ainda pode produzir “alucinações”, isto é, respostas que soam certas, mas estão factualmente erradas.

A combinação de confiança e incerteza torna o sistema especialmente delicado de usar. A resposta errada pode parecer firme o suficiente para ser aceita.

Para equipas de ciência e negócios, essa fraqueza transforma um atalho útil num risco discreto. Um resumo bem escrito pode acelerar o planeamento, mas um único julgamento falho pode levar um produto, um orçamento ou uma campanha para a direção errada.

“Eles apenas memorizam, e podem te dar algum insight, mas não entendem do que estão falando”, disse Cicek.

Por enquanto, a opção mais segura é tratar a IA como parceira de rascunho - e não como tomadora de decisões sem supervisão.

Formas mais inteligentes de usar o ChatGPT

A lição é direta: use a IA para ganhar velocidade, mas não confie sem checar.

Encare as respostas como um primeiro rascunho, não como decisão final. Repetir a mesma instrução mais de uma vez pode expor instabilidade escondida, porque uma resposta confiável não deveria mudar sem um motivo claro.

Também ajuda conferir as fontes, procurar contexto ausente e comparar o que foi respondido com o que especialistas já sabem. Esses passos simples podem revelar problemas que a linguagem polida, de outra forma, esconderia.

Esse cuidado adicional pode levar um pouco mais de tempo, mas ajuda a manter respostas que soam confiantes apoiadas em evidências reais.

O que vem a seguir para a IA

Ainda assim, o artigo não encerra o debate sobre todas as ferramentas de IA ou todo tipo de raciocínio. A equipa da WSU testou hipóteses de negócios de estudos em acesso aberto e repetiu cada instrução dez vezes numa única plataforma.

Essas limitações abrem espaço para comparações mais amplas, séries mais longas de repetições e tarefas mais difíceis, que reflitam melhor decisões confusas do mundo real.

Mesmo assim, um resultado tão consistente após um ano de atualizações do modelo serve de alerta para não confundir acabamento com capacidade de julgamento.

Neste teste, o ChatGPT pareceu mais bem lapidado em 2025 do que em 2024, mas não se tornou um raciocinador confiável.

O aviso da WSU é inequívoco: especialistas humanos ainda precisam validar a lógica, sobretudo quando a resposta parece a mais fácil.