Por que a IA dá uma resposta diferente a cada pergunta, e o que isso faz com o seu "ranking"

A mesma pergunta ao ChatGPT traz uma lista de marcas diferente a cada vez porque o modelo escolhe cada palavra por probabilidade, a busca na web traz páginas diferentes e o ambiente muda o sistema que responde. Segundo um estudo da SparkToro com 2.961 respostas, a chance de o ChatGPT ou a IA do Google repetirem a mesma lista em duas respostas é menor que 1 em 100.

Isso parece o fim da medição. Não é. A ordem das marcas muda o tempo todo, mas a frequência com que cada uma aparece fica estável quando a amostra é grande. O problema não é a IA variar. É tratar uma resposta como se fosse um ranking.

Quatro motivos para a resposta mudar

1. O modelo sorteia cada palavra

Um modelo de linguagem não busca a resposta numa tabela. A cada passo, calcula a probabilidade das próximas palavras possíveis e escolhe uma. A própria OpenAI, no guia sobre o parâmetro seed, diz que suas APIs “são não determinísticas por padrão”, ou seja, a resposta pode mudar de um pedido para outro. Rand Fishkin, da SparkToro, resumiu: essas ferramentas são “motores de probabilidade”, feitos para gerar uma resposta única a cada vez.

Quando a resposta é uma lista de marcas, cada marca é uma dessas escolhas. Basta uma diferente para a lista mudar.

2. Nem com temperatura zero a resposta se repete

Temperatura é o parâmetro que controla quanto o modelo arrisca na escolha das palavras. Em zero, ele deveria escolher sempre a mais provável. Na prática, não é o que acontece.

Em setembro de 2025, a Thinking Machines, um laboratório de IA, fez 1.000 vezes o mesmo pedido (“me fale sobre Richard Feynman”) a um modelo aberto, o Qwen3, com temperatura zero. Saíram 80 respostas diferentes. Todas eram iguais nos primeiros 102 tokens, os pedaços de palavra que o modelo gera, e se separavam no 103º: Feynman nasceu em “Queens, Nova York” em 992 casos e na “cidade de Nova York” em 8. A causa, segundo Horace He, autor do estudo: a carga do servidor muda o tamanho do lote de pedidos processados juntos, e isso altera o cálculo numérico. A OpenAI diz algo parecido: mesmo com os mesmos parâmetros, há “uma pequena chance” de as respostas diferirem.

Para quem só usa o ChatGPT, isso quer dizer que a variação não é um defeito que dá para desligar. Ela vem da forma como esses sistemas rodam em escala.

3. A busca na web traz fontes diferentes

Quando a IA busca na web antes de responder, a resposta depende das páginas que ela leu. E a busca também varia. No estudo metodológico FA-MET-02, “API ou interface, eis a questão”, publicado pela First Answer em abril de 2026, com 1.000 chamadas pela API do ChatGPT e 1.000 pela interface:

• A interface buscou na web em 99,5% das chamadas. A API, em 77,5%.
• Na API, algumas marcas só apareciam quando havia busca, e outras só quando não havia.
• Quando os dois buscavam, buscavam de jeitos diferentes: a API leu em média 22,6 URLs com 1,55 consultas por resposta; a interface, 16,9 URLs com uma consulta.

4. O ambiente muda o sistema que responde

API, interface, aplicativo, conta grátis ou paga: cada ambiente pode usar outro modelo, outra configuração e outra busca. Na interface do ChatGPT sem login, nem dá para saber qual modelo respondeu. No FA-MET-02, com a mesma pergunta, 12 das 15 marcas mais relevantes mudaram de forma significativa entre a API e a interface. Uma foi de 11,1% para 92,6%.

O estudo não testou memória, histórico nem personalização de usuário logado. É uma fonte de variação provável que ainda não foi medida com método aberto.

Então não existe ranking?

Não um ranking fixo. A SparkToro estimou que duas respostas com as mesmas marcas na mesma ordem aparecem perto de 1 vez em 1.000. E posição e presença contam histórias diferentes: o hospital City of Hope apareceu em 69 de 71 respostas do ChatGPT, mas foi o primeiro citado em só 25.

O que se repete é a presença. No estudo metodológico FA-MET-01, “Como medir o que uma IA recomenda”, com 7.000 chamadas na interface do ChatGPT, a porcentagem de respostas em que cada marca aparece convergiu para um valor estável. Ao estender um experimento de 1.000 para 5.000 chamadas, nenhuma das dez marcas principais saiu da margem de ±3,1 pontos calculada com as primeiras 1.000. A maior variação foi de 2,9 pontos.

A analogia é uma moeda. Um lançamento não diz nada. Mil lançamentos dizem com bastante precisão se ela está viciada.

O que isso faz com o seu “ranking”

• Um print é uma amostra de um. Se alguém mostra uma resposta do ChatGPT com a sua marca em primeiro, isso prova que ela pode aparecer, não que costuma aparecer.
• Posição média engana. Como a ordem muda quase sempre, “estamos em 2º no ChatGPT” é uma frase sem sentido sem dizer em quantas respostas e com que margem.
• Mudanças pequenas são ruído. Entre duas rodadas de 1.000 chamadas, variações abaixo de ~4 pontos não indicam mudança real, segundo o FA-MET-01.
• A cauda é instável. No mesmo estudo, 29% das marcas raras vistas nas primeiras 1.000 chamadas não voltaram nas 4.000 seguintes.

O que fazer

1. Troque posição por presença: a pergunta certa é “em quantas de cada 100 respostas a marca aparece”.
2. Repita a pergunta em conversas novas: 100 a 200 vezes para um diagnóstico, 1.000 para acompanhar a marca.
3. Fixe o ambiente e anote qual é: API ou interface, logado ou não.
4. Exija a margem de erro de qualquer número de visibilidade em IA que receber.

O passo a passo completo está em como medir a visibilidade de uma marca nas IAs.

Variação não é ruído puro

A IA muda a resposta a cada pergunta, e isso não vai mudar. A boa notícia é que a variação tem forma: em escala, ela vira uma porcentagem que dá para medir, comparar e acompanhar. Quem mede uma resposta só está medindo a sorte.