# Como medir o que uma IA recomenda Rodrigo Beckmann · First Answer · Versão 1.0 · Publicado em 2026-04-30 · Versão HTML: https://rodrigobeckmann.com/pesquisa/como-medir-o-que-uma-ia-recomenda/ *Estudo metodológico · FA-MET-01.* Quantas perguntas são necessárias para separar observação isolada de padrão real. 3 experimentos · 7.000 chamadas · interface do ChatGPT · [Estudo completo (PDF)](https://rodrigobeckmann.com/pesquisa/FA-MET-01_como-medir_v1.0_2026-04-30.pdf) ## Em resumo Uma pergunta a uma IA é uma amostra, não um retrato. Em escala, a presença de cada marca converge para um valor estável e segue a estatística clássica: com 1.000 chamadas, ela é medida com margem de até ±3,1 pontos percentuais. ## Números principais - **±3,1 pp**: margem de cada presença com 1.000 chamadas - **0 de 10**: marcas principais saíram dessa margem ao ir de 1.000 para 5.000 chamadas - **38 × 144**: marcas distintas em 1.000 chamadas: mercado consolidado e fragmentado - **29%**: das marcas raras das primeiras 1.000 chamadas não voltaram nas 4.000 seguintes ## O que encontramos Três experimentos na interface do ChatGPT: 1.000 chamadas num mercado consolidado, 1.000 num fragmentado e a extensão deste último para 5.000. 1. **Existe padrão estável por trás da variação.** Em escala, a presença de cada marca converge para um valor mensurável. No mercado consolidado, duas marcas aparecem em 99,9% das respostas e cinco formam um núcleo acima de 50%. 2. **A forma do padrão muda de um mercado para outro.** No mercado fragmentado, a líder aparece em 70,3% das respostas e o universo chega a 144 marcas em 1.000 chamadas, contra 38 no consolidado. Ainda assim, os dois têm o mesmo número de marcas acima de 25% e de 10%. 3. **A precisão segue a estatística clássica.** Com 1.000 chamadas, a presença é medida com até ±3,1 pontos. Ao multiplicar a coleta por cinco, a maior variação entre as dez marcas principais foi de 2,9 pontos, dentro da margem prevista. 4. **A cauda exige outra escala.** No mercado fragmentado, o universo de marcas ainda cresce em 5.000 chamadas, cada vez mais devagar. E parte da cauda vista em amostras pequenas não se confirma com mais volume. ## A hierarquia medida em 1.000 chamadas se manteve em 5.000 *Experimento 3 · mercado fragmentado.* Faixa: intervalo de 95% calculado com 1.000 chamadas. Ponto: presença medida com 5.000. | Marca | Faixa (intervalo de 95%) | Ponto | Valores | | --- | --- | --- | --- | | Marca A | 67,4%–73,1% | 69,4% | 70,3% → 69,4% | | Marca B | 65,9%–71,6% | 68,2% | 68,8% → 68,2% | | Marca C | 52,1%–58,3% | 55,9% | 55,2% → 55,9% | | Marca D | 51,2%–57,4% | 57,2% | 54,3% → 57,2% | | Marca E | 29,9%–35,7% | 31,5% | 32,7% → 31,5% | | Marca F | 28,9%–34,6% | 32,4% | 31,7% → 32,4% | | Marca G | 23,2%–28,6% | 25,3% | 25,8% → 25,3% | | Marca H | 11,5%–15,8% | 13,8% | 13,5% → 13,8% | | Marca I | 11,5%–15,8% | 13,3% | 13,5% → 13,3% | | Marca J | 4,7%–7,6% | 6,1% | 6,0% → 6,1% | Marcas anonimizadas. Base: 1.000 e 5.000 respostas, intervalo de Wilson. Fonte: FA-MET-01, Tabela 4. ## Quantas chamadas são necessárias A precisão depende só do número de chamadas e da própria presença da marca. O tamanho certo de coleta depende do que se quer saber. | Objetivo | Chamadas | O que entrega | | --- | --- | --- | | Diagnóstico inicial | 100 a 200 | Se o mercado é concentrado ou fragmentado, e o topo aproximado (±7 a 10 pp) | | **Hierarquia visível** | **1.000** | **Presença com até ±3 pp; ordem confiável entre marcas separadas por mais de ~6 pp** | | Mudança entre rodadas | 1.000 por rodada | Mudanças acima de ~4,4 pp (presença perto de 50%) se distinguem de ruído | | Precisão de ±1 pp | ~9.600 | Presença com ±1 pp em qualquer nível | | Cauda até 0,1% | ~3.000 | 95% de chance de ver ao menos uma vez cada marca com 0,1% de presença | | Cauda até 0,02% | ~15.000 | Idem para marcas com 0,02% | Margens para 95% de confiança. ## O que isso muda ### Para marcas e marketing Primeiro, descubra se a categoria tem núcleo e quem está nele: 100 a 200 chamadas respondem. Para acompanhar a posição da marca, use rodadas de 1.000 e trate como ruído variações abaixo de ~4 pontos. ### Para pesquisadores e jornalistas Uma pergunta a uma IA é uma jogada de moeda. Afirmar o que uma IA recomenda exige centenas de amostras independentes, idealmente 1.000 ou mais, e cuidado com conclusões tiradas da cauda rara. ### Para quem desenvolve com IA Se o produto depende de uma recomendação consistente, a consistência precisa ser medida, não assumida. Algumas escolhas passam de 90%; outras variam em 30% ou mais das respostas. ## Método, em resumo Coletado na interface do ChatGPT, no navegador, por automação, com busca na web habilitada. Uma pergunta fixa por experimento, escrita como um consumidor digitaria, cada chamada numa conversa nova. Todas as marcas citadas foram extraídas e normalizadas para a marca-mãe, e anonimizadas por letras. Intervalos de 95% pelo método de Wilson. ## Limites Um ambiente e duas categorias, e a interface não permite fixar nem registrar o modelo que responde. A regularidade estatística deve valer para outros modelos e ambientes de acesso; a composição das marcas, não necessariamente (ver [FA-MET-02](https://rodrigobeckmann.com/pesquisa/api-ou-interface/)). ## Leia o estudo completo Os três experimentos em detalhe, com 9 figuras, 5 tabelas, ficha técnica e referências. [Estudo completo (PDF)](https://rodrigobeckmann.com/pesquisa/FA-MET-01_como-medir_v1.0_2026-04-30.pdf) ## Como citar Beckmann, R. (2026). *Como medir o que uma IA recomenda: quantas perguntas são necessárias para separar observação isolada de padrão real* (FA-MET-01, versão 1.0). First Answer. https://rodrigobeckmann.com/pesquisa/como-medir-o-que-uma-ia-recomenda ## Estudo relacionado [FA-MET-02 — API ou interface, eis a questão](https://rodrigobeckmann.com/pesquisa/api-ou-interface/): Por que a mesma pergunta traz marcas diferentes conforme o ambiente de acesso.