Como medir sua visibilidade em IA com uma planilha

Dá para medir a sua visibilidade em IA com uma planilha e disciplina de rodadas, sem contratar ferramenta nenhuma. O que separa um teste solto no ChatGPT de uma medição de verdade é a forma de registrar: uma linha por prompt e por rodada, colunas fixas e duas contas que você refaz a cada ciclo.

Medir visibilidade em IA na mão é rodar um conjunto fixo de perguntas em um chatbot, anotar numa planilha o que apareceu em cada resposta e converter esse registro em dois números: com que frequência a sua marca é citada e em que posição ela costuma surgir. A planilha é o instrumento. A disciplina de repetir sempre do mesmo jeito é o que faz o número valer alguma coisa.

Este é o passo que vem depois de você ter a lista de perguntas. Se ainda não montou a sua, os prompts para testar a visibilidade da sua marca nas IAs trazem os quatro tipos que vale usar. E se você quer entender o que cada número significa antes de calcular, as métricas que importam para medir visibilidade em IA são o mapa. Aqui o assunto é mais estreito e mais prático: o que fazer com as respostas depois que elas chegam.

O que a planilha precisa ter para virar medição?

Uma planilha de visibilidade tem uma regra de ouro: uma linha para cada marca citada, dentro de cada rodada de cada prompt. Parece muita linha, e é. Essa granularidade é justamente o que deixa você filtrar depois por marca, por prompt ou por modelo sem refazer nada.

Sete colunas dão conta do recado. Cada uma existe para responder uma pergunta que você vai fazer na hora de calcular:

Um detalhe que quase todo mundo erra: registre também as rodadas em que a sua marca não apareceu. Sem isso, o denominador fica torto. Se você anota só os acertos, a taxa de citação parece 100%, porque as ausências sumiram da conta. Basta marcar a rodada como feita (o total de rodadas é o denominador) e deixar a linha da sua marca de fora quando ela não veio.

Como fica na prática?

Com dois prompts e duas rodadas cada, num único modelo, a planilha começa mais ou menos assim:

Repare na segunda rodada da primeira pergunta: a sua marca não aparece. A rodada existe, foi feita, mas não há linha dela ali. Esse zero pesa tanto quanto os acertos na hora da conta.

Como rodar os prompts para domar o não determinismo?

Rodar cada pergunta uma vez só engana. O ChatGPT, como qualquer modelo de linguagem, é não determinístico: a mesma pergunta, feita duas vezes, pode trazer listas de marcas diferentes. Uma resposta isolada é um instante ruidoso, não a sua visibilidade.

A saída é repetir. Rode cada prompt algumas vezes e olhe a frequência com que cada marca aparece, em vez da foto de uma resposta só. Três rodadas por prompt é um piso razoável: o bastante para diferenciar "apareceu por sorte" de "aparece com regularidade" sem virar trabalho sem fim.

Quanto fixar entre uma rodada e outra?

Para as repetições valerem como comparação, algumas coisas ficam congeladas. A lista de prompts é a primeira: as mesmas perguntas, sempre. O modelo e o modo vêm logo atrás, com busca ou sem busca, nunca os dois embolados na mesma conta, porque medem coisas que mudam em ritmos diferentes. Se você testa pela API, fixe a temperatura perto de zero, o parâmetro que define o quanto a resposta varia; na interface do ChatGPT, onde você não mexe nisso, o jeito é compensar com mais rodadas.

Sobre a cadência, não adianta medir todo dia. O conhecimento de longo prazo do modelo muda devagar, então uma medição mensal já pega a tendência. Para o modo com busca, se você publica conteúdo novo com frequência, quinzenal faz sentido.

Como transformar a planilha em taxa de citação e posição média?

Com o registro pronto, duas contas simples fazem o trabalho pesado. Nenhuma delas pede mais do que somar e dividir.

Taxa de citação. A taxa de citação de uma marca é o número de rodadas em que ela apareceu dividido pelo total de rodadas que você rodou naquele modelo e modo. Suponha um conjunto maior: quatro prompts, três rodadas cada, doze rodadas no total. Se a sua marca surgiu em sete delas, a taxa é 7 dividido por 12, ou 58%. Rode a mesma conta para cada concorrente usando a coluna de marca citada. Se o Concorrente A apareceu em onze das doze, ele está em 92%, e a distância entre 58% e 92% é o tamanho do buraco que você tem para cobrir.

Posição média. A posição média de uma marca é a média das posições nas rodadas em que ela foi citada. Some as posições anotadas e divida pela quantidade de aparições. Se a sua marca saiu nas posições 2, 1, 3, 2, 4, 1 e 3, a soma é 16, e 16 dividido por 7 aparições dá 2,3. Quanto menor, melhor: 2,3 quer dizer que, quando você aparece, costuma estar perto do topo da resposta.

Juntas, as duas leituras deixam o quadro honesto. Uma marca pode ter taxa de citação boa e posição média ruim (aparece bastante, mas sempre no fim), ou o contrário: rara, porém sempre em primeiro. Presença e proeminência são coisas distintas, e cada conta mede uma.

A primeira planilha completa é a sua linha de base, o retrato contra o qual toda medição seguinte é lida. Um número sozinho não diz se você está subindo ou descendo. O sinal aparece quando você refaz a mesma medição, com os mesmos prompts e o mesmo modelo, e compara com o ciclo anterior. Uma queda real reaparece de forma consistente em várias medições; um vale isolado quase sempre é a variância do modelo, o mesmo ruído que as três rodadas existem para filtrar. Guarde cada ciclo numa aba nova e datada, e a coluna de tendência se monta sozinha.

O sentimento não vira fórmula aqui, mas merece um olho. Conte quantas menções vieram positivas, neutras e negativas para cada marca. Se a taxa de citação está estável enquanto as menções neutras escorregam para negativas de um ciclo para o outro, esse é um aviso que os dois números principais não capturam sozinhos.

Quando a planilha deixa de bastar?

A planilha resolve muito bem no começo e trava por peso. Quatro sinais costumam avisar que chegou a hora de automatizar.

O primeiro é o número de linhas explodindo. Cada modelo, cada modo e cada concorrente novo multiplica as rodadas a rodar e a tabular. Prompts vezes rodadas vezes modelos vezes marcas vira uma conta que ninguém preenche à mão sem escorregar.

O segundo é a vontade de olhar longe. Comparar julho com março exige que a sua convenção de anotação tenha sido idêntica o tempo todo, e memória humana não é confiável a esse ponto.

O terceiro é o erro de tabulação começando a competir com o sinal. Cansaço e viés na hora de julgar posição e sentimento introduzem uma variação que não é do modelo, é sua. Quando o ruído de quem anota se confunde com o ruído que você quer medir, o dado perde o valor.

O quarto é precisar dos dois modos separados sem dobrar o esforço. Rodar com busca e sem busca, cada um em várias passagens, é o dobro de tudo, feito à mão.

Nenhum desses sinais transforma o método manual em erro. Ele segue sendo a forma mais barata de sair do zero e a melhor de entender, na prática, o que cada número quer dizer antes de confiar num painel. O que muda é quem faz o trabalho repetitivo. Ferramentas de monitoramento de marca em IA existem para automatizar esse ciclo: rodar o conjunto fixo em várias passagens, separar os modos, guardar o histórico e calcular a taxa e a tendência contra a linha de base.

É esse ciclo que a análise de visibilidade da Promptis assume por você. Ela roda o mesmo conjunto de perguntas, registra onde a sua marca aparece e com qual destaque, e mostra a evolução contra a sua linha de base, sem planilha para manter. O conjunto de perguntas continua sendo o seu; o trabalho de repetir, anotar e comparar deixa de ser. Para ver todas as dimensões que dá para acompanhar, o hub de visibilidade em IA reúne os aprofundamentos.