Medir a visibilidade nas IA: share of voice, citado ou apenas recuperado

A visibilidade no Google mede-se há mais de dez anos com posições, impressões e cliques, fornecidos pela própria Google. A visibilidade nos motores generativos não tem equivalente: nem o ChatGPT, nem a Perplexity, nem os AI Overviews dão a um editor a lista das perguntas para as quais foi citado. É preciso, portanto, construir a medida por conta própria, e fazê-lo de forma reproduzível, senão o que se mede é apenas ruído. Eis o método que usamos, com os seus limites.

Porque é que uma pergunta não chega

A mesma pergunta feita duas vezes ao mesmo motor pode produzir duas listas de fontes diferentes. Fazer uma única pergunta e ver se o site aparece citado não diz nada. É preciso fazer um conjunto de perguntas que cubra a maneira como os utilizadores formulam realmente a sua necessidade, e repetir a medição ao longo do tempo.

A própria Google descreveu como o seu modo IA decompõe uma pergunta em várias subconsultas lançadas em paralelo, uma técnica a que chama query fan-out no anúncio do modo IA. A medição tem de fazer o mesmo ao contrário: partir da pergunta central, desdobrá-la em variantes e interrogar cada variante.

Construir o conjunto de perguntas

A partir de uma pergunta de partida, geram-se seis famílias de variantes:

Cerca de trinta variantes por pergunta central é uma boa ordem de grandeza. Abaixo disso, a medição depende demasiado da formulação; acima, o custo de recolha sobe sem ganho de precisão. As variantes geram-se à mão para um primeiro conjunto e depois com um modelo de linguagem para os conjuntos seguintes, desde que sejam relidas: uma variante que não corresponde a nenhuma pergunta real falseia a medição tanto como uma variante em falta.

Citado ou apenas recuperado: a distinção que conta

Quando um motor generativo responde, recupera um conjunto de páginas candidatas e depois cita algumas delas na sua resposta. Uma página pode ser recuperada sem ser citada: serviu de matéria-prima, mas o utilizador nunca a verá. Alguns motores expõem as duas listas, outros apenas as citações. Uma medição honesta separa as duas e segue sobretudo a segunda, porque é ela que produz notoriedade e visitas.

A distinção também esclarece o diagnóstico. Um site muitas vezes recuperado e raramente citado tem um problema de citabilidade: as suas passagens não são suficientemente nítidas, documentadas ou atribuíveis para serem retomadas. Um site nunca recuperado tem um problema de acesso ou de indexação. Os remédios não são os mesmos: o primeiro é matéria de escrita, descrita em «Resposta primeiro, nuance depois»; o segundo é matéria de robots.txt, de sitemaps e de logs.

Escolher os motores e o ritmo

Três motores cobrem já uma boa parte dos usos na Europa: o ChatGPT com a sua pesquisa integrada, a Perplexity e as respostas geradas da Google. Cada um se interroga pela interface ou por uma API, com as mesmas variantes. O ritmo depende do que está em jogo: uma medição mensal chega para seguir uma tendência de fundo; uma medição semanal é útil durante uma campanha de produção, para ver se os novos conteúdos são recuperados e depois citados. O que não muda é o protocolo: as mesmas perguntas, o mesmo contexto, o mesmo método de contagem. Alterar o conjunto de perguntas a meio equivale a recomeçar do zero.

O custo de recolha é baixo face ao que evita: trinta variantes em três motores, uma vez por semana, dão noventa pedidos por semana, automatizáveis. A análise, essa, exige um olhar humano, desde logo para ler como os concorrentes são apresentados e com que palavras.

O share of voice

A métrica de síntese é um share of voice: no conjunto das respostas obtidas para um conjunto de perguntas, a proporção das respostas em que uma dada fonte é citada, comparada com a dos seus concorrentes. Calcula-se por motor, por família de perguntas e por período, e cada um destes eixos lê-se de maneira diferente:

• Por motor: um site pode ser bem citado pela Perplexity e estar ausente do ChatGPT, porque os índices e os robots diferem. É frequente, e é muitas vezes uma questão de robots.txt, como explicamos em «robots.txt e IA».
• Por família de perguntas: ser citado nas comparações e não nas perguntas de definição indica onde produzir.
• Ao longo do tempo: só a série temporal tem sentido. Uma medição pontual é um ponto, não é uma tendência.

Os limites a escrever preto no branco

Esta medição tem limites que mais vale aceitar do que esconder:

1. As respostas variam de uma execução para outra. Não se comparam duas medições, comparam-se duas médias sobre várias execuções.
2. Os motores mudam sem aviso prévio: uma mudança de índice ou de modelo desloca toda a série. É preciso datar cada medição e anotar as mudanças conhecidas.
3. A personalização e a localização influem nas respostas. Mede-se a partir de um contexto neutro e estável, e esse contexto documenta-se.
4. A correlação com o tráfego é indireta. Ser citado não garante um clique. O share of voice mede uma presença, não um volume de negócios; tem de ser cruzado, à parte, com o tráfego real que chega a partir das IA, quando as ferramentas de analytics o sabem distinguir.

O que a medição muda na produção

Um share of voice seguido por família de perguntas diz exatamente o que escrever a seguir: as perguntas em que os concorrentes são citados e o seu site não, as famílias em que ninguém é citado de forma estável, os motores em que está ausente por uma razão técnica. É este o nosso ciclo de produção: perceber o que o mercado pergunta, produzir por passagens citáveis, medir, retomar o que desce. Sem medição, escreve-se às cegas; com uma medição pontual, conta-se uma história a si próprio. Só uma série por família e por motor permite pilotar.

Um último conselho prático: guardar as respostas em bruto, e não apenas as pontuações. Reler, seis meses depois, como um motor formulava uma resposta e quem citava é muitas vezes mais instrutivo do que uma curva. É também a única maneira de verificar, quando um número se mexe, se foi o site que mudou ou o motor.