Mierzenie widoczności w AI: share of voice, cytowany czy tylko pobrany

Widoczność w Google mierzy się od ponad dziesięciu lat pozycjami, wyświetleniami i kliknięciami, które dostarcza samo Google. Widoczność w silnikach generatywnych nie ma odpowiednika: ani ChatGPT, ani Perplexity, ani AI Overviews nie dają wydawcy listy pytań, przy których został zacytowany. Pomiar trzeba więc zbudować samodzielnie i zrobić to w sposób powtarzalny, inaczej mierzy się wyłącznie szum. Oto metoda, którą stosujemy, wraz z jej ograniczeniami.

Dlaczego jedno pytanie nie wystarczy

To samo pytanie zadane dwa razy temu samemu silnikowi może dać dwie różne listy źródeł. Zadanie jednego pytania i sprawdzenie, czy się w nim pojawiamy, nie mówi nic. Trzeba zadać zestaw pytań, który oddaje sposób, w jaki użytkownicy naprawdę formułują swoją potrzebę, i powtarzać pomiar w czasie.

Google samo opisało, jak jego tryb AI rozkłada pytanie na kilka podzapytań uruchamianych równolegle, technikę, którą nazywa query fan-out, w zapowiedzi trybu AI. Pomiar musi zrobić to samo w drugą stronę: wyjść od pytania centralnego, rozpisać je na warianty i odpytać każdy wariant.

Budowanie zestawu pytań

Z pytania wyjściowego tworzy się sześć rodzin wariantów:

Około trzydziestu wariantów na jedno pytanie centralne to dobry rząd wielkości. Poniżej tej liczby pomiar zbyt mocno zależy od sformułowania; powyżej koszt zbierania danych rośnie bez zysku na precyzji. Pierwszy zestaw wariantów pisze się ręcznie, kolejne można tworzyć modelem językowym, pod warunkiem że się je przeczyta: wariant, któremu nie odpowiada żadne realne pytanie, psuje pomiar tak samo jak wariant brakujący.

Cytowany czy tylko pobrany: rozróżnienie, które ma znaczenie

Kiedy silnik generatywny odpowiada, najpierw pobiera zbiór stron kandydujących, a potem cytuje kilka z nich w odpowiedzi. Strona może zostać pobrana i nie zostać zacytowana: posłużyła za materiał, ale użytkownik nigdy jej nie zobaczy. Niektóre silniki pokazują obie listy, inne tylko cytowania. Uczciwy pomiar rozdziela jedno od drugiego i śledzi przede wszystkim to drugie, bo to ono buduje rozpoznawalność i przynosi wizyty.

Rozróżnienie porządkuje też diagnozę. Witryna często pobierana, a rzadko cytowana ma problem z cytowalnością: jej fragmenty nie są dość wyraziste, dość oparte na źródłach ani dość przypisywalne, by dało się je przejąć. Witryna nigdy niepobierana ma problem z dostępem lub z indeksacją. Lekarstwa są inne: pierwsze należy do pisania, opisanego w tekście „Najpierw odpowiedź, potem niuans”; drugie należy do robots.txt, plików sitemap i logów.

Wybór silników i rytmu

Trzy silniki pokrywają już sporą część europejskich zastosowań: ChatGPT ze zintegrowanym wyszukiwaniem, Perplexity oraz generowane odpowiedzi Google. Każdy odpytuje się przez interfejs albo przez API, tymi samymi wariantami. Rytm zależy od stawki: pomiar miesięczny wystarczy, by śledzić tendencję długiego okresu; pomiar tygodniowy przydaje się w trakcie kampanii produkcyjnej, żeby zobaczyć, czy nowe treści są pobierane, a potem cytowane. Niezmienny pozostaje protokół: te same pytania, ten sam kontekst, ta sama metoda liczenia. Zmiana zestawu pytań w trakcie oznacza powrót do punktu wyjścia.

Koszt zbierania danych jest niski wobec tego, czego pozwala uniknąć: trzydzieści wariantów na trzech silnikach raz w tygodniu to dziewięćdziesiąt zapytań tygodniowo, które da się zautomatyzować. Sama analiza wymaga już ludzkiego oka, zwłaszcza po to, by przeczytać, jak przedstawiani są konkurenci i jakimi słowami.

Share of voice

Metryką syntetyczną jest share of voice: udział odpowiedzi, w których dane źródło zostało zacytowane, w całości odpowiedzi uzyskanych dla zestawu pytań, zestawiony z udziałem konkurentów. Liczy się go osobno dla każdego silnika, dla każdej rodziny pytań i dla każdego okresu, a każda z tych osi czyta się inaczej:

• Według silnika: witryna może być dobrze cytowana przez Perplexity i nieobecna w ChatGPT, bo indeksy i roboty są różne. Zdarza się to często i często jest kwestią robots.txt, co wyjaśniamy w tekście „robots.txt i AI”.
• Według rodziny pytań: bycie cytowanym przy porównaniach, a nie przy pytaniach o definicje, wskazuje, gdzie produkować.
• W czasie: sens ma wyłącznie szereg czasowy. Pojedynczy pomiar to punkt, a nie tendencja.

Ograniczenia, które trzeba zapisać czarno na białym

Ten pomiar ma ograniczenia, które lepiej przyjąć niż ukrywać:

1. Odpowiedzi zmieniają się z wykonania na wykonanie. Nie porównuje się dwóch pomiarów, tylko dwie średnie z wielu wykonań.
2. Silniki zmieniają się bez uprzedzenia: zmiana indeksu lub modelu przesuwa cały szereg. Każdy pomiar trzeba datować i notować znane zmiany.
3. Personalizacja i lokalizacja wpływają na odpowiedzi. Mierzy się z kontekstu neutralnego i stabilnego, i opisuje się ten kontekst.
4. Związek z ruchem jest pośredni. Zacytowanie nie gwarantuje kliknięcia. Share of voice mierzy obecność, a nie obrót; trzeba go zestawiać, osobno, z rzeczywistym ruchem przychodzącym z AI, o ile narzędzia analytics potrafią go wyodrębnić.

Co pomiar zmienia w produkcji

Share of voice śledzony według rodzin pytań mówi dokładnie, co pisać dalej: pytania, przy których cytowani są konkurenci, a nie my, rodziny, w których nikt nie jest cytowany w sposób stabilny, silniki, w których nie ma nas z przyczyn technicznych. Na tym polega nasza pętla produkcyjna: zrozumieć, o co pyta rynek, produkować cytowalnymi fragmentami, mierzyć, poprawiać to, co odpada. Bez pomiaru pisze się na ślepo; z pomiarem jednorazowym opowiada się sobie historię. Sterować pozwala dopiero szereg prowadzony według rodzin i według silników.

Ostatnia rada praktyczna: zachowywać surowe odpowiedzi, nie same wyniki liczbowe. Przeczytanie pół roku później, jak silnik formułował odpowiedź i kogo cytował, uczy zwykle więcej niż wykres. To także jedyny sposób, by przy zmianie liczby sprawdzić, czy zmieniła się witryna, czy silnik.