Experiment toont: zichtbaarheid van bedrijven in AI-tools is nu meetbaar met serverlogs

Hoe vaak een bedrijf verschijnt in AI-zoekmachines, is meetbaar via de serverlogs van een website. Dit blijkt uit het recente SEO voor AI-experiment van onlinemarketingbureau Doublesmart. Terwijl Alphabet Analytics alleen verkeer laat zien dat direct vanuit AI-tools komt, geven serverlogs een completer beeld: ze laten zien hoe vaak content wordt gebruikt in AI-antwoorden en hoe vaak een bedrijf als bron wordt vermeld.

Serverlogs: exacte data over AI-crawls op website

Serverlogs zijn automatische bestanden die elke activiteit op een website bijhouden. Zo’n serverlog houdt bij welke informatie op een website wordt geraadpleegd en door wie. Op die manier kun je ook achterhalen welke content wordt opgevraagd door AI-tools voor het formuleren van een antwoord, zo blijkt uit het experiment van Doublesmart. In een serverlog vindt men bijvoorbeeld informatie over de URL die is bezocht door een AI-tool, het moment waarop dit is gedaan én welke user-agent (tool/software) dit is geweest.

Type user-agent laat zien hoe AI content gebruikt

Patrick Straver, technisch SEO-specialist bij Doublesmart , licht toe dat met name de informatie over de user-agent interessant is. Dit geeft namelijk aan of content is geraadpleegd voor het trainen van AI of voor het ophalen van actuele informatie.

Patrick: “Als het gaat om het meten van zichtbaarheid in AI, zijn er twee belangrijke categorieën user-agents. User-agents die eindigen op ‘Bot’, zoals GPTBot, PerplexityBot en ClaudeBot, gebruiken content om hun interne kennis te trainen. User-agents die eindigen op ‘user’, zoals ChatGPT-user, Perplexity-user en Claude-user, raadplegen content om actuele kennis te vergaren, die niet in hun bestaande interne kennis voorkomt.”

Meten van bronvermeldingen via AI

Het aantal keer dat men informatie over AI-tools terugziet in serverlogs, geeft inzicht in het aantal keer dat er content is geraadpleegd voor het formuleren van antwoorden. Maar dat zegt nog niks over de mate waarin een bedrijf direct als bron vermeld wordt in een antwoord. Dat is volgens het experiment te achterhalen door het aantal user-agents die eindigen op ‘user’ te meten. Oftewel: het aantal keer dat content geraadpleegd is om actuele informatie op te halen.

Patrick Straver zegt hier het volgende over:

“ChatGPT en Perplexity bepalen bij elke vraag die wordt gesteld, of er actuele informatie nodig is om deze te beantwoorden. Zo ja: dan voeren ze een zoekopdracht uit, openen ze de meest relevante zoekresultaten en vermelden ze de gebruikte bronnen vervolgens direct bij het antwoord. Content die alleen wordt gebruikt om kennis te trainen (user-agents die eindigen op ‘bot’), worden niet direct als bron genoemd. Goed om te weten is overigens dat dit enkel geldt voor ChatGPT en Perplexity. Gemini en Copilot raadplegen geen of nauwelijks externe bronnen voor het ophalen van actuele informatie.” Zichtbaar worden in AI: de waarde van de verschillende user-agents

Patrick Straver benadrukt dat beide soorten user-agents van waarde zijn voor de zichtbaarheid in AI-tools: “Directe bronvermelding is waardevol, maar AI-tools gebruiken lang niet altijd actuele informatie. Live informatie ophalen is namelijk kostbaar. Daarom is het belangrijk om een sterke basis te hebben: train AI-modellen met jouw content, zodat jouw bedrijf hier bekend wordt én publiceer zo veel mogelijk actuele content, om óók directe bronvermeldingen te genereren.”