Publicado em 17 de novembro de 2026

Como um escritório sabe se as respostas da IA mudaram de verdade

Faça as mesmas perguntas, com as mesmas palavras, aos mesmos quatro assistentes, quatro vezes cada, e conte as execuções que citam o escritório. A mudança é real quando uma pergunta fica pelo menos duas execuções de quatro acima da primeira medição em duas medições seguidas e uma pergunta de controle que o escritório não tocou não se mexeu. Uma execução de quatro é ruído. Ninguém promete o nome, e isto é informação geral, não consulta jurídica.

Uma captura boa não é uma medição

Faça a mesma pergunta cinco vezes a um assistente e a resposta muda: outra ordem, outro escritório, uma fonte que antes não estava ali. É assim que esses sistemas funcionam, não é defeito. O sócio que abre o ChatGPT na segunda, vê o escritório citado e diz à equipe que as páginas funcionaram leu uma execução. O mesmo sócio na quinta pode não ver o escritório e concluir que o trabalho se desfez. As duas leituras são ruído.

Medição é uma contagem sobre execuções repetidas de perguntas congeladas. O que se compara é a parcela das execuções que citam o escritório, antes e depois de uma mudança, e o que se decide é se o movimento é maior que o ruído que aparece quando nada foi tocado.

O que congelar antes da primeira medição

Anote uma vez e depois não mexa: a lista de perguntas (até dez, nas palavras que um cliente digitaria, sem o nome do escritório), o país e a língua de cada uma, os quatro assistentes, o número de execuções por pergunta, que é quatro, e a data. Guarde cada resposta inteira, não uma captura das primeiras linhas, porque o nome pode estar no terceiro parágrafo ou só nas fontes.

Acrescente uma pergunta de controle: um assunto que o escritório atende, mas sobre o qual não publicará nada no período. O controle diz se os próprios assistentes se mexeram. Se ele passa de zero para três de quatro sem nenhuma página mudada, foi uma atualização do modelo, e o escritório não deve levar o crédito.

Trocar uma palavra da pergunta, mesmo para soar melhor, abre uma pergunta nova com uma primeira medição nova. As pessoas fazem isso para ter um número melhor, e é o jeito mais rápido de tornar uma série inútil.

A regra de leitura

Uma pergunta conta como mudada quando, no mesmo assistente, fica pelo menos duas execuções de quatro acima da primeira medição em duas medições seguidas. Uma execução de quatro é ruído, e uma medição isolada também. Se o controle também se mexeu, a mudança não é creditada ao escritório.

Depois, leia de onde veio o nome. Se o assistente cita o escritório e aponta a página do próprio escritório, a página fez o trabalho. Se cita o escritório a partir de um diretório que já o listava, nada do que você publicou o moveu. A fonte citada é a evidência; o nome sozinho não é.

Não tire a média dos quatro assistentes numa nota só. Eles não se comportam como um, e um número como 50% esconde que dois se mexeram e dois não. Mantenha uma linha por assistente e por pergunta.

Um exemplo, passo a passo

Exemplo: um escritório hipotético, não é cliente da sayurname. A Mersey & Hale é um escritório inventado de trabalhista, com cinco advogados, em Manchester, que atende pequenos empregadores. A nota sobre o acordo de rescisão para o empregador custa £450 a £700. O site antigo tinha uma página “Trabalhista” com uma lista de vinte assuntos. A pergunta medida era “Quais advogados de Manchester ajudam um pequeno empregador com um acordo de rescisão?”.

O escritório congelou seis perguntas: cinco de trabalhista e um controle, sobre locação comercial em Leeds, onde não publicaria nada. Cada uma foi feita quatro vezes em cada um dos quatro assistentes, o que dá 96 respostas a cada medição.

  1. Congelou seis perguntas, quatro assistentes e quatro execuções de cada, e guardou todas as respostas inteiras com a data.
  2. Semana 0: leu as 96 respostas. O escritório não foi citado em nenhuma das 16 execuções da pergunta do acordo, nem em nenhuma do controle.
  3. Trocou a página de vinte assuntos por uma página só do acordo de rescisão: o nome da advogada, onde ela está inscrita, o link da consulta do órgão regulador, a faixa de £450 a £700 e o que a nota não cobre.
  4. Semana 4: o ChatGPT citou o escritório em 1 execução de 4 e os outros em nenhuma. Uma execução de quatro, então nada foi creditado.
  5. Semana 8: ChatGPT 3 de 4 e Perplexity 2 de 4, Gemini 1 de 4, Claude 0 de 4. O controle seguia em 0 de 4 em todos os assistentes.
  6. Semana 12: ChatGPT 3 de 4 e Perplexity 3 de 4 de novo, então os dois contaram como mudados. Gemini e Claude seguiram ilegíveis, e a página ficou como estava por mais quatro semanas.

Antes de arquivar o resultado, o escritório leu as fontes. O Perplexity citou a página nova em toda execução que citou o escritório. O ChatGPT citou a página em duas das três execuções com o nome e um diretório jurídico na terceira, então o escritório creditou à página a maior parte desse movimento, e não tudo.

Não relatou “50% melhor”. Relatou que dois assistentes se mexeram, dois não, e o que mudaria a seguir para os dois que não. Outro escritório com a mesma página poderia ver o Gemini se mexer primeiro, ou nada em doze semanas.

Diagrama do exemplo hipotético: a pergunta medida sobre o acordo de rescisão, seis passos numerados e uma grade com a parcela das quatro execuções que citaram o escritório em cada assistente nas semanas 0, 8 e 12, com ChatGPT e Perplexity destacados na semana 12.
Exemplo hipotético: a Mersey & Hale é uma ilustração, não é cliente da sayurname. Gemini e Claude não chegaram à regra em doze semanas.

Quando não medir de novo

Não meça de novo uma semana depois de uma página mudar. Os assistentes e as fontes que eles leem se atualizam em velocidades diferentes. No exemplo, o primeiro movimento levou de quatro a oito semanas, e alguns escritórios não veem nenhum em doze. Leitura diária desenha um gráfico de ruído e convida a reescrever a página toda vez que ele cai.

Também não abra série para uma pergunta sobre a qual o escritório nunca agiria. Se ele não vai escrever a página, a medição só registra, semana após semana, que ele está ausente. E não amplie a lista com a série em andamento: pergunta nova tem a própria primeira medição, separada das antigas.

Como o trabalho corre

Começa no teste grátis. Assinando, medimos até 10 perguntas por semana e publicamos os que entendermos necessários para a IA citar o seu escritório nas respostas que você quer. O volume e o formato seguem o que cada pergunta pede, e esse critério é nosso. Também pedimos a inclusão nas fontes que a IA usa. O que prometemos é o pedido, não a entrada.

Custa R$ 1.490/mês, sem fidelidade. Um bônus único de R$ 2.990 é cobrado só quando uma IA passa a citar o escritório numa pergunta medida, conferido por uma pessoa da nossa equipe, ou quando o Google Analytics mostra uma visita vinda de uma IA. O escritório continua responsável por validar o conteúdo jurídico do que se publica, e cada conteúdo tem direito a uma revisão. Não é consulta e não promete cliente.

Perguntas

Quantas execuções bastam?

Quatro por assistente e por pergunta é o mínimo neste método. Separa nenhuma de quase todas as execuções. Não separa 40% de 50%, e o escritório não deve tentar.

Podemos perguntar aos assistentes nós mesmos, do escritório?

Pode, mas o seu histórico, a sua localização e conversas anteriores podem mudar a resposta. Use uma sessão limpa, a mesma configuração sempre, e guarde a resposta inteira.

E se a pergunta de controle se mexer?

Então os assistentes se mexeram, não as páginas do escritório, e a mudança não é creditada. Siga com a série e leia de novo na próxima medição.

Com que frequência medir?

À mão, uma vez por mês basta. Uma medição semanal, que a assinatura faz, dá quatro leituras por mês, e a regra de duas seguidas pode ser aplicada mais cedo.

Resposta mudada quer dizer clientes novos?

Não. Quer dizer que o assistente agora cita o escritório naquela pergunta. Se alguém liga depois depende da página, da consulta e do assunto.

Descubra o que a IA responde hoje quando perguntam sobre o seu mercado.

Uma pergunta, feita ao ChatGPT, Gemini, Perplexity e Claude. Grátis, sem cartão. Guardamos as respostas como seu ponto de partida.

Fazer o teste grátis