Uma única resposta do ChatGPT não serve para medir a visibilidade da sua marca. Não porque a resposta seja errada, mas porque os modelos de linguagem são não determinísticos: o mesmo prompt pode citar sua marca numa rodada e ignorá-la na seguinte, sem que nada tenha mudado no mundo. Tirar conclusões de uma amostra de uma resposta é como julgar o clima de uma cidade a partir de uma única foto do céu.
O sinal confiável vem de dois eixos combinados: largura (quantos prompts diferentes você usa para cobrir os tipos de consulta relevantes) e profundidade (quantas vezes você repete cada prompt para que a média se estabilize). Este artigo trata do volume certo em cada eixo e de como reconhecer quando você mediu o suficiente. Se você quer entender a causa da variação, o ponto de partida está em por que o ChatGPT muda de resposta. Se quer saber quais perguntas usar, a lista detalhada está em quais prompts usar para testar a visibilidade. E se quer entender as métricas que esse conjunto de prompts vai alimentar, veja as métricas de visibilidade em IA. Aqui o foco é o volume.
Por que uma resposta isolada engana
A variação nas respostas das IAs tem uma causa técnica precisa: a temperatura, o parâmetro que controla quanto de aleatoriedade o modelo injeta ao gerar texto. Com temperatura diferente de zero, o modelo amostra de uma distribuição de probabilidade em vez de escolher sempre a saída mais provável. O resultado é que respostas diferentes ao mesmo prompt são o comportamento esperado, não uma falha.
Isso cria um problema direto para quem mede visibilidade. Se você roda um prompt uma vez e sua marca não aparece, não sabe se a marca está ausente do conhecimento do modelo ou se foi só uma rodada desfavorável. Se aparece, não sabe se é presença sólida ou sorte estatística. Uma única rodada mistura presença real com ruído e não permite separar os dois.
A solução não é eliminar a variação, o que seria impossível sem travar a temperatura em zero, o que por sua vez tornaria o modelo mecânico e pouco representativo de como usuários reais interagem com ele. A solução é acumular rodadas suficientes para que a média convirja. Quando a taxa de citação de um prompt para de oscilar de forma significativa entre uma rodada e a seguinte, você chegou no sinal.
O que é largura e por que ela importa
Largura é o número de prompts diferentes que você inclui no conjunto de medição. Cada prompt abre uma janela diferente para a percepção que o modelo tem da sua marca, e janelas diferentes revelam dimensões distintas.
Um único prompt do tipo "qual a melhor ferramenta de X?" diz se o modelo te menciona quando o assunto é recomendação de opções. Mas não diz como você aparece quando o cliente está comparando alternativas diretas ou avaliando a reputação de uma marca específica. Para cobrir esses cenários, você precisa de prompts de tipos diferentes.
Há três categorias de consulta que cobrem a maior parte das intenções reais de um comprador que usa IA:
- Recomendação: "Quais são os melhores serviços de X para Y?" Mede se o modelo te cita como opção relevante sem você ter pedido.
- Comparação: "Qual a diferença entre a marca A e a marca B?" Mede como o modelo te posiciona em relação aos concorrentes diretos.
- Reputação: "A marca X é confiável?" Mede o tom com que o modelo fala de você quando a pergunta é diretamente sobre a marca.
Essas categorias são complementares. Uma marca pode ter alta taxa de citação em recomendação e sentimento neutro em reputação. Outra pode raramente aparecer em recomendação mas ter sentimento positivo quando citada. Você só vê esses padrões com largura suficiente.
Quantos prompts compõem uma largura suficiente?
A resposta depende do tamanho do seu espaço competitivo e das variações de cliente e contexto relevantes para o seu negócio. Há, porém, uma faixa orientativa que funciona para a maioria dos casos.
Para a maioria das marcas, entre dez e quinze prompts por rodada é suficiente para cobrir os tipos de consulta que importam, com variações que representem intenções reais. Abaixo de dez, um ou dois tipos de consulta ficam sub-representados e a leitura geral se distorce. Acima de vinte, o ganho marginal de cada prompt adicional cai muito e o esforço de execução sobe sem compensação equivalente.
Uma divisão orientativa dentro desse intervalo: metade dos prompts cobre recomendação orgânica (sem citar sua marca pelo nome), três a quatro cobrem comparação com os concorrentes principais, dois a três cobrem reputação direta. Essa proporção coloca o peso maior em descoberta orgânica, o cenário mais exigente, porque revela com mais clareza se o modelo lembra de você sozinho.
A tabela abaixo resume os dois eixos da medição com as faixas práticas como orientação:
| Dimensão | O que cobre | Faixa prática orientativa |
|---|---|---|
| Largura (número de prompts) | Variedade de intenções: recomendação, comparação, reputação | 10 a 15 prompts por rodada |
| Profundidade (repetições por prompt) | Variação aleatória do modelo para o mesmo prompt | 3 a 5 rodadas por prompt |
| Espaçamento entre rodadas | Reduz correlação entre amostras da mesma sessão | Algumas horas a dias entre rodadas |
O que é profundidade e quantas rodadas estabilizam a média?
Profundidade é o número de vezes que você repete cada prompt antes de calcular a taxa de citação. É o eixo que doma o ruído do não determinismo.
A questão central é: quantas repetições de um mesmo prompt você precisa para que a taxa de citação reflita a presença real da marca e não o acaso de algumas rodadas? A resposta prática, calibrada pela variação típica observada nesses modelos, é que três rodadas por prompt é o mínimo funcional para a maioria dos casos. Com três rodadas você tem três instâncias independentes: se a marca apareceu em duas de três, isso é sinal mais firme do que qualquer resultado isolado.
Cinco rodadas por prompt é uma profundidade adequada para prompts com alta variação, ou seja, prompts em que a marca aparece em algumas rodadas mas não em outras. Nesse caso, a taxa de citação é sensível: três rodadas podem não ser suficientes para distinguir uma presença de 40% de uma de 60%. Com cinco rodadas, a margem de oscilação cai.
Acima de cinco rodadas, o ganho diminui rapidamente para a maioria dos usos práticos. Cada rodada adicional consome tempo e esforço de análise para uma melhora marginal na estabilidade da média. Esse esforço costuma ser melhor direcionado para aumentar a largura do conjunto de prompts do que para adicionar mais repetições do mesmo.
Uma exceção é quando você investiga um prompt específico com comportamento instável ou quer mais certeza sobre um resultado próximo de um limiar relevante. Nesses casos, mais rodadas pontuais fazem sentido.
Como saber quando você já mediu o suficiente?
A resposta operacional é: quando a taxa de citação de cada prompt para de oscilar de forma significativa entre uma rodada e a seguinte. Na prática, isso se manifesta de duas formas.
Dentro de um ciclo de medição: se você roda um prompt três vezes e a marca aparece nas três, há estabilidade naquele ciclo. Se aparece em duas de três, isso ainda é sinal, com mais variância. Se aparece em apenas uma de três, a presença é fraca e instável, e mais rodadas tendem a confirmar isso em vez de resolver a ambiguidade.
Entre ciclos de medição: a linha de base que você constrói ao longo de múltiplos ciclos começa a mostrar tendência quando os valores param de saltar entre extremos. Se a taxa de citação de um prompt foi 2/3 num ciclo, 1/3 no seguinte, 3/3 no próximo, você ainda está no domínio do ruído. Se foi 2/3, 2/3, 2/3 em três ciclos consecutivos, isso é sinal estável. Três ciclos com resultados consistentes são um indicador razoável de que a média convergiu.
É aqui que a média móvel entra como ferramenta. Ao calcular a média dos três ciclos mais recentes para cada prompt, você suaviza as oscilações pontuais e expõe a tendência subjacente. Um pico isolado de presença não move muito a média móvel. Uma melhora consistente ao longo de três ciclos, sim. Para estruturar esse processo do início, veja como estabelecer a linha de base da visibilidade e, depois de ter a base, com que frequência medir a visibilidade.
O custo de medir pouco e o custo de medir demais
Medir com poucos prompts e poucas rodadas tem um custo visível: você toma decisões com base em ruído e não consegue distinguir se uma variação é real ou acidental. Uma queda pode ser acaso, uma melhora pode ser sorte, e você não tem como separar os dois sem mais dados.
Medir com muitos prompts e muitas rodadas também tem custo, só que inverso: tempo, esforço de análise e custo de execução sobem sem compensação equivalente na qualidade do sinal. A maioria das marcas não precisa de trinta prompts e dez rodadas por prompt para ter um resultado firme o suficiente para agir.
O equilíbrio prático está nas faixas descritas acima: dez a quinze prompts, três a cinco rodadas cada, espaçadas no tempo. Isso produz dados suficientes para calcular a taxa de citação com variância tolerável e para comparar ciclos de medição com confiança razoável. Para o panorama completo de visibilidade em IA e o que você pode fazer com esses dados, o hub do pilar reúne os aprofundamentos.
Montar esse conjunto à mão e executar em ciclos regulares é viável para começar, mas trabalhoso de sustentar ao longo de meses. A Promptis faz isso automaticamente: aplica um conjunto fixo de prompts que cobre as categorias de consulta que importam, repete cada um em várias rodadas espaçadas, calcula a média móvel de três ciclos e mostra a tendência no dashboard. Você chega no sinal sem precisar controlar o volume de rodadas nem montar planilhas. A primeira análise é gratuita e não pede cartão.
