Google Lighthouse ‘Agentic Browsing’ Score & llms.txt: De nieuwe SEO-standaard

Een elegant zwevend glazen scorecard-paneel met oplichtende amber rating-indicatoren in een lichte ruimte

SEO is niet langer alleen gericht op het behagen van Google’s traditionele zoekalgoritme. De nieuwe standaard draait om AI-vriendelijkheid en de aanwezigheid van llms.txt.

Dit artikel maakt deel uit van ons diepgaande dossier over de Agentic Web Transitie en de nieuwe economische infrastructuur.

In het kort

  • De Nieuwe Audit: Google introduceert de ‘Agentic Browsing’ score in Lighthouse om te meten hoe gemakkelijk AI-bots uw website kunnen navigeren.
  • Het llms.txt Bestand: Een verplicht tekstbestand (/llms.txt) aan de root van uw website dat een vlijmscherpe Markdown-samenvatting van uw site biedt aan AI-modellen.
  • Bypass-strategie: Door llms.txt aan te bieden, omzeilt u de Token Squeeze en zorgt u dat AI-modellen uw site direct en foutloos indexeren.

De verschuiving naar AI-toegankelijkheid

Voorheen optimaliseerden we websites voor menselijke kliks en de Google-indexeercrawlers. We letten op laadsnelheid, mobiele vriendelijkheid en zoekwoorddichtheid. In de huidige AI-economie is er echter een nieuwe, zeer invloedrijke bezoeker bij gekomen: de autonome AI-agent die namens gebruikers het web afzoekt. Google speelt hier direct op in door de introductie van de Lighthouse Agentic Browsing Score en de brede adoptie van de llms.txt standaard.

Wanneer een AI-bot uw website bezoekt, heeft deze geen boodschap aan prachtige CSS-animaties, JavaScript-sliders of popups. De bot wil zo snel en goedkoop mogelijk de essentie van uw pagina begrijpen. Als uw websitecode rommelig is, raakt de AI-agent de weg kwijt, stijgen de computational kosten tot onacceptabele hoogtes, en haakt de crawler af.

“Net zoals robots.txt twintig jaar geleden bepaalde welke pagina’s zoekmachines mochten indexeren, bepaalt llms.txt vandaag de dag hoe goed AI-modellen uw kernboodschap begrijpen.”

Wat meet de Agentic Browsing Score precies?

Google’s Lighthouse ontwikkelaarstool bevat een nieuwe, deterministische audit-categorie die websites beoordeelt op AI-vriendelijkheid. De tool controleert twee kritieke factoren:

  1. De Integriteit van de Accessibility Tree: AI-bots navigeren websites niet visueel, maar via de semantische boomstructuur van de code (de accessibility tree). Is deze niet perfect gestructureerd, dan is uw site onbegaanbaar voor AI.
  2. De Aanwezigheid van llms.txt: De tool controleert of er een llms.txt bestand aanwezig is in de root directory van uw domein (jouwdomein.nl/llms.txt). Dit bestand dient als een vlijmscherpe, machine-leesbare Markdown-samenvatting van uw volledige website, inclusief een /llms-full.txt voor de volledige sitestructuur.

De Bypass-strategie tegen de Token Squeeze

Het implementeren van een llms.txt bestand is een meesterlijke zet binnen de bredere Bypass-strategie van uw onderneming. AI-crawlers kampen namelijk met de Token Squeeze: het fenomeen waarbij het inlezen van zware HTML-code hen te veel tokens (en dus direct geld) kost.

Wanneer u een AI-crawler dwingt om door megabytes aan HTML en Javascript heen te ploegen, dwingt u hen om een hoge ‘token-tax’ te betalen. Om deze kosten te drukken, weigeren AI-bedrijven steeds vaker om zware websites te indexeren. Door /llms.txt in uw root te plaatsen, biedt u een directe bypass aan. De AI-crawler herkent het bestand onmiddellijk, laadt de vederlichte Markdown-versie van uw content in een fractie van een seconde in, en omzeilt de Token Squeeze volledig. Uw Lighthouse Agentic Browsing Score schiet omhoog naar de maximale 100%, en uw content wordt feilloos opgenomen in het geheugen van de LLM’s.

Kernpunten voor een perfecte AI-indexering:

  • Plaats llms.txt in de root: Dit bestand moet direct toegankelijk zijn op uwdomein.nl/llms.txt.
  • Gebruik pure Markdown: Geen HTML-ballast, maar heldere koppen, opsommingen en directe links naar uw belangrijkste pagina’s.
  • Houd het actueel: Zorg dat wijzigingen in uw aanbod direct live worden gesynchroniseerd in uw llms.txt bestand.

Waarom llms.txt de nieuwe SEO-standaard is

Zonder een correct geconfigureerd llms.txt bestand riskeert u dat AI-modellen uw aanbod verkeerd begrijpen, hallucineren over uw prijzen en diensten, of uw site simpelweg negeren vanwege te hoge indexeringskosten. Met een llms.txt bestand lost u dit probleem in één klap op en biedt u AI-bots een kant-en-klare, goedkope en foutloze handleiding van uw business.

FAQ (Veelgestelde Vragen)

Wat is een llms.txt bestand?

Een llms.txt bestand is een specifiek gestructureerd tekstbestand in Markdown-formaat dat in de root directory van een website wordt geplaatst om Large Language Models (LLM’s) en AI-bots een snelle, schone en begrijpelijke samenvatting van de website-inhoud te bieden.

Wat is de Token Squeeze en hoe helpt llms.txt hierbij?

De Token Squeeze verwijst naar de budgettaire beperkingen van AI-crawlers die betalen per verwerkte token. Omdat traditionele HTML erg zwaar is, weigeren ze deze te scannen. Een llms.txt bestand biedt een vederlichte Markdown-versie aan, waardoor de AI-crawler tot wel 96% aan token-kosten bespaart en uw site met prioriteit indexeert.

Hoe kan ik een llms.txt bestand opzetten voor mijn website?

U kunt dit bestand handmatig schrijven in Markdown, of gebruikmaken van dynamische systemen zoals LLMentry die uw WordPress-database automatisch omzetten in een live, up-to-date llms.txt en llms-full.txt bestand.


Verdere verdieping: