Para marcas e marketing
Primeiro, descubra se a categoria tem núcleo e quem está nele: 100 a 200 chamadas respondem. Para acompanhar a posição da marca, use rodadas de 1.000 e trate como ruído variações abaixo de ~4 pontos.
Estudo metodológico · FA-MET-01
Como medir o que uma IA recomenda
Quantas perguntas são necessárias para separar observação isolada de padrão real.
Em resumo
Uma pergunta a uma IA é uma amostra, não um retrato. Em escala, a presença de cada marca converge para um valor estável e segue a estatística clássica: com 1.000 chamadas, ela é medida com margem de até ±3,1 pontos percentuais.
±3,1 pp margem de cada presença com 1.000 chamadas
0 de 10 marcas principais saíram dessa margem ao ir de 1.000 para 5.000 chamadas
38 × 144 marcas distintas em 1.000 chamadas: mercado consolidado e fragmentado
29% das marcas raras das primeiras 1.000 chamadas não voltaram nas 4.000 seguintes
O que encontramos
Três experimentos na interface do ChatGPT: 1.000 chamadas num mercado consolidado, 1.000 num fragmentado e a extensão deste último para 5.000.
- 01
Existe padrão estável por trás da variação
Em escala, a presença de cada marca converge para um valor mensurável. No mercado consolidado, duas marcas aparecem em 99,9% das respostas e cinco formam um núcleo acima de 50%.
- 02
A forma do padrão muda de um mercado para outro
No mercado fragmentado, a líder aparece em 70,3% das respostas e o universo chega a 144 marcas em 1.000 chamadas, contra 38 no consolidado. Ainda assim, os dois têm o mesmo número de marcas acima de 25% e de 10%.
- 03
A precisão segue a estatística clássica
Com 1.000 chamadas, a presença é medida com até ±3,1 pontos. Ao multiplicar a coleta por cinco, a maior variação entre as dez marcas principais foi de 2,9 pontos, dentro da margem prevista.
- 04
A cauda exige outra escala
No mercado fragmentado, o universo de marcas ainda cresce em 5.000 chamadas, cada vez mais devagar. E parte da cauda vista em amostras pequenas não se confirma com mais volume.
Experimento 3 · mercado fragmentado
A hierarquia medida em 1.000 chamadas se manteve em 5.000
Faixa: intervalo de 95% calculado com 1.000 chamadas. Ponto: presença medida com 5.000.
Marca A 70,3% → 69,4%
Marca B 68,8% → 68,2%
Marca C 55,2% → 55,9%
Marca D 54,3% → 57,2%
Marca E 32,7% → 31,5%
Marca F 31,7% → 32,4%
Marca G 25,8% → 25,3%
Marca H 13,5% → 13,8%
Marca I 13,5% → 13,3%
Marca J 6,0% → 6,1%
Quantas chamadas são necessárias
A precisão depende só do número de chamadas e da própria presença da marca. O tamanho certo de coleta depende do que se quer saber.
| Objetivo | Chamadas | O que entrega |
|---|---|---|
| Diagnóstico inicial | 100 a 200 | Se o mercado é concentrado ou fragmentado, e o topo aproximado (±7 a 10 pp) |
| Hierarquia visível | 1.000 | Presença com até ±3 pp; ordem confiável entre marcas separadas por mais de ~6 pp |
| Mudança entre rodadas | 1.000 por rodada | Mudanças acima de ~4,4 pp (presença perto de 50%) se distinguem de ruído |
| Precisão de ±1 pp | ~9.600 | Presença com ±1 pp em qualquer nível |
| Cauda até 0,1% | ~3.000 | 95% de chance de ver ao menos uma vez cada marca com 0,1% de presença |
| Cauda até 0,02% | ~15.000 | Idem para marcas com 0,02% |
Margens para 95% de confiança.
O que isso muda
Para pesquisadores e jornalistas
Uma pergunta a uma IA é uma jogada de moeda. Afirmar o que uma IA recomenda exige centenas de amostras independentes, idealmente 1.000 ou mais, e cuidado com conclusões tiradas da cauda rara.
Para quem desenvolve com IA
Se o produto depende de uma recomendação consistente, a consistência precisa ser medida, não assumida. Algumas escolhas passam de 90%; outras variam em 30% ou mais das respostas.
Método, em resumo
Coletado na interface do ChatGPT, no navegador, por automação, com busca na web habilitada. Uma pergunta fixa por experimento, escrita como um consumidor digitaria, cada chamada numa conversa nova. Todas as marcas citadas foram extraídas e normalizadas para a marca-mãe, e anonimizadas por letras. Intervalos de 95% pelo método de Wilson.
Limites
Um ambiente e duas categorias, e a interface não permite fixar nem registrar o modelo que responde. A regularidade estatística deve valer para outros modelos e ambientes de acesso; a composição das marcas, não necessariamente (ver FA-MET-02).
Leia o estudo completo
Os três experimentos em detalhe, com 9 figuras, 5 tabelas, ficha técnica e referências.
Como citar
Beckmann, R. (2026). Como medir o que uma IA recomenda: quantas perguntas são necessárias para separar observação isolada de padrão real (FA-MET-01, versão 1.0). First Answer. https://rodrigobeckmann.com/pesquisa/como-medir-o-que-uma-ia-recomenda