Por que a resposta muda | Volatilidade e o que fazer

A resposta muda entre execuções porque a seleção de fontes não é determinística. Rodar a mesma pergunta duas vezes no mesmo dia costuma devolver listas diferentes de origens. Nenhuma repetição costuma devolver a mesma lista de citação. A variação é o comportamento normal, e não um defeito.

Nenhuma consulta costuma repetir a mesma lista de citação entre execuções.
A maior parte dos domínios aparece em uma única superfície.
Cada superfície cita diferente: AI Mode e AI Overviews, do mesmo Google, apontam para URLs bem distintas.
Quase nunca os dois recursos abrem a resposta com a mesma frase.
A consequência: captura de tela não prova posição consolidada.
A saída: repetir cada pergunta e comparar rodadas, não execuções.

O que faz a resposta mudar entre execuções?

Três coisas concorrem. O sistema decompõe a pergunta de formas ligeiramente diferentes a cada vez, os resultados de busca variam no intervalo, e o modelo escreve o texto do zero em cada execução. Somadas, essas três fontes de variação produzem listas de citação distintas para a mesma pergunta.

Personalização, localização e histórico de conversa acrescentam variação quando a coleta não é feita em sessão limpa, e aí a resposta muda por motivo que não tem nada a ver com o seu site.

Quanto a resposta muda, na prática?

Bastante, e há medição pública disso. A maior parte dos domínios aparece em uma única superfície, e nenhuma consulta repete a mesma lista de citação. AI Mode e AI Overviews, dois recursos do mesmo Google, citam URLs bem diferentes entre si.

A dispersão é a regra, e não a exceção: a resposta muda mesmo dentro de uma única plataforma.

Isso invalida a medição?

Não invalida, desde que o método considere a variação. Repetir cada pergunta três vezes por rodada e comparar rodadas inteiras, em vez de execuções isoladas, resolve o problema na prática. A diferença entre duas coletas próximas vira um indicador próprio, chamado de volatilidade.

O método completo está em como medir menções e citações em IA, com a composição da amostra e o denominador.

O que fazer e o que não fazer

A tabela separa a reação errada da reação que funciona quando a resposta muda entre execuções no ChatGPT ou no AI Mode. A coluna da direita é o que sustenta decisão de investimento.

Reações à variação das respostas, e qual delas sustenta decisão.
Situação	Reação errada	Reação que funciona
Apareci numa consulta	Tratar a captura de tela como posição conquistada.	Registrar a execução e esperar a rodada fechar.
Sumi numa consulta	Concluir que o trabalho parou de funcionar.	Conferir se a ausência se repete nas outras repetições.
Concorrente apareceu	Redirecionar orçamento por causa de uma aparição.	Contar a frequência dele na rodada inteira.
Resultado diferente entre plataformas	Escolher a plataforma que dá o melhor número.	Reportar as duas em colunas separadas.

Por que perseguir uma citação não funciona?

Porque a citação observada hoje pode não se repetir amanhã na mesma pergunta, e otimizar para uma consulta específica não garante nada nas outras. O esforço que rende é ampliar cobertura do tema e menção em fontes externas, que aumentam a chance em todas as perguntas ao mesmo tempo.

Território e presença se constroem; um print, não. O mesmo raciocínio aparece em os mitos que circulam no mercado.

Como reportar variação para quem cobra resultado?

Mostre a taxa de presença da rodada, com denominador e data, e informe a volatilidade medida entre duas coletas do mesmo dia. Esse segundo número antecipa a pergunta difícil e transforma a instabilidade em informação, em vez de deixá-la aparecer como contradição no meio da reunião.

Relatório que ignora a variação perde credibilidade no primeiro teste que o cliente fizer sozinho, tema de o que um relatório precisa trazer.

Testou e viu resultado diferente do relatório?

É esperado. Eu mostro a variação medida e explico o que dá para concluir de cada rodada.

Entender a variação

Perguntas frequentes

Se a resposta muda sempre, adianta trabalhar nisso?

Adianta, porque o que se constrói é a probabilidade de aparecer, e não uma posição fixa. Cobertura de tema e menção externa aumentam a chance em todas as execuções. A variação afeta a leitura de uma consulta isolada, e não a tendência ao longo de rodadas.

Quantas repetições são suficientes?

Três por pergunta dão leitura razoável para uso comercial, separando movimento real de acaso. Mais repetições melhoram a precisão e aumentam bastante o custo da coleta manual. O objetivo não é precisão de pesquisa acadêmica, é decidir com segurança razoável.

Devo coletar sempre no mesmo horário?

Ajuda a reduzir uma fonte de variação, principalmente quando a coleta é feita por pessoas diferentes. O mais importante é registrar data e hora de cada execução, porque as plataformas mudam sem aviso e a comparação entre rodadas depende de saber quando cada uma foi feita.

Sessão limpa faz diferença?

Faz bastante. Histórico de conversa, personalização e localização influenciam a resposta, e coletar logado no meio de uma conversa antiga contamina o resultado. Sessão nova em cada execução é parte do método, e não detalhe de rigor excessivo.

Meu cliente testou e não me achou. Como explico?

Explique a variação pelo mecanismo: a lista de citação raramente se repete entre execuções. Um teste isolado não contradiz uma rodada medida. O que sustenta a conversa é apresentar a taxa de presença com denominador, e não discutir o caso pontual.

A variação diminui com o tempo?

Não há motivo para esperar estabilização, porque ela vem do próprio funcionamento dos sistemas. O que muda com o tempo é a posição média da sua empresa nessa distribuição: quanto mais cobertura e menção, mais execuções trazem a marca, mesmo com a lista sempre mudando.

Por que a resposta muda toda vez que você pergunta de novo