llms.txt: wat het is, wie het leest en of je het nodig hebt

llms.txt is een tekstbestand op je server dat je website samenvat voor taalmodellen: wie je bent, wat je doet en welke pagina's ertoe doen. Het idee is dat een AI-systeem dat bestand leest in plaats van je hele site te crawlen. Het eerlijke antwoord op de vraag of je het nodig hebt: geen enkele grote aanbieder heeft bevestigd dat hij het leest. Het kost een half uur en kan geen kwaad, dus doen. Maar reken er niets van af.

Ik heb het op deze site staan, en ik heb er tot nu toe geen enkel meetbaar effect van gezien. Dat schrijf ik erbij omdat ik vind dat het erbij hoort. Er zijn bureaus die llms.txt als hoofdmoot van een AI-pakket verkopen, en dat is niet eerlijk tegenover een klant die daar geld voor betaalt.

Wat llms.txt precies is

Het is een bestand dat je in de hoofdmap van je domein zet, dus bereikbaar op jouwdomein.nl gevolgd door een schuine streep en de bestandsnaam. Het bevat markdown: een kop met je bedrijfsnaam, een korte omschrijving, en daaronder een reeks lijstjes met links naar je belangrijkste pagina's, elk met een zinnetje uitleg.

De gedachte erachter is praktisch. Een moderne website bestaat uit navigatie, cookiemeldingen, opmaak en JavaScript, en de eigenlijke tekst is daar een klein deel van. Een taalmodel dat snel wil begrijpen waar een site over gaat, moet dat er allemaal uit filteren. Een kant-en-klaar overzicht in platte tekst scheelt dat werk.

Er is ook een uitgebreide variant, met de volledige tekst van al je artikelen in één bestand. Die is bedoeld voor systemen die de inhoud zelf willen lezen in plaats van alleen de structuur. Op deze site staat die er ook, opgebouwd uit dezelfde artikelen die je nu leest.

Het verschil tussen llms.txt, robots.txt en je sitemap

Deze drie worden vaak door elkaar gehaald, terwijl ze totaal verschillende dingen doen.

De eerste twee moet je op orde hebben. Dat is geen discussie. Welke crawlers je moet toelaten en waarom een fout in je robots.txt je stilletjes buitensluit, staat in AI-crawlers toelaten of blokkeren. Het derde bestand komt daarna, als je tijd over hebt.

Waarom niemand bevestigt dat hij llms.txt leest

Het voorstel komt uit september 2024, van een ontwikkelaar die het publiceerde als een idee, en het staat beschreven op llmstxt.org. Het is geen standaard die door een consortium is vastgesteld, en er is geen partij die er verantwoordelijkheid voor draagt. Dat is niet erg, want zo begint elke standaard, maar het verklaart de stilte.

Ik heb gekeken in de documentatie van de grote aanbieders. OpenAI beschrijft in zijn documentatie over bots precies welke crawlers het inzet en waar die zich aan houden, en llms.txt komt daar niet in voor. Bij Google en Anthropic hetzelfde beeld. Wat je wel ziet zijn losse berichten van ontwikkelaars die in hun logboek een verzoek naar dat bestand zagen langskomen. Dat bewijst dat iets het ophaalt, niet dat het meeweegt in een antwoord.

Er is ook een tegenargument dat hout snijdt. Een bestand dat een site zelf beschrijft, is per definitie een bron waarin een partij over zichzelf schrijft. Dat is precies het type bron waar een model voorzichtig mee moet zijn. Je zou het kunnen volstoppen met claims die nergens op slaan. Dat maakt het minder aantrekkelijk als betrouwbare bron dan een pagina die door anderen wordt gelinkt.

Wat er in een goede llms.txt hoort

Doe je het, doe het dan goed. De opzet die ik aanhoud, in deze volgorde.

1. 1Een kop met je bedrijfsnaam. Eén regel, precies zoals je overal heet.
2. 2Een samenvatting van één of twee zinnen. Wat je doet, voor wie, en waar. Geen marketingtaal, gewoon feiten.
3. 3Een feitenblok. Vestigingsplaats, KvK-nummer, werkgebied, diensten, prijsindicatie. Dit is het waardevolste deel, want het is controleerbaar.
4. 4Je diensten, elk met een link en een regel uitleg.
5. 5Je belangrijkste pagina's: over, cases, contact, blogoverzicht.
6. 6Je artikelen, elk met titel, link en de samenvatting die je toch al hebt.
7. 7Een verwijzing naar de uitgebreide variant en naar je sitemap.

Wat je moet laten: superlatieven, claims die je niet kunt onderbouwen, en zoekwoorden erin proppen. Als een model dit bestand ooit serieus gaat gebruiken, dan juist omdat het feitelijk en saai is. Een bestand vol verkoopteksten is precies het soort bron dat genegeerd wordt.

Handmatig bijhouden of automatisch genereren

Een handmatig bestand is na drie maanden verouderd. Dat is de praktijk bij elk bestand dat je met de hand bijhoudt. Je publiceert een artikel, je vergeet het toe te voegen, en na een halfjaar staat de helft er niet meer in.

Beter is het genereren uit de data die je toch al hebt. Op deze site wordt het bestand opgebouwd uit dezelfde lijst artikelen die ook de sitemap voedt. Publiceer ik iets nieuws, dan staat het er automatisch in. Dat kost eenmalig wat bouwwerk en daarna niets meer.

Zit je op WordPress en overweeg je een plugin, kijk dan wanneer die voor het laatst is bijgewerkt. Dit onderwerp is jong, en er zijn plugins verschenen die na een paar maanden zijn blijven liggen. Een verlaten plugin is een beveiligingsrisico dat je niet wilt inruilen voor een bestand met onbewezen nut.

Wat wel werkt in plaats van llms.txt

Als je een uur hebt en je wilt beter gevonden worden in AI-antwoorden, dan is dit de volgorde waarin ik het zou besteden. llms.txt staat op plek vijf, niet op plek één.

1. 1Controleer je robots.txt. Sluit je jezelf onbedoeld uit, dan is al het andere zinloos.
2. 2Zet het antwoord in de eerste alinea van je belangrijkste pagina's. Een model dat citeert, pakt het blok dat op zichzelf klopt.
3. 3Maak je [Google Bedrijfsprofiel](/blog/google-bedrijfsprofiel-checklist) compleet. Bij lokale vragen is dat de meest geciteerde bron die er is.
4. 4Zet controleerbare feiten op je site: prijzen, plaatsnamen, doorlooptijden. Vage claims worden niet geciteerd.
5. 5Dan pas llms.txt.

Dat eerste punt is geen theorie. Ik kom bij overnames van andere bureaus regelmatig sites tegen waar een plugin ooit alle AI-crawlers heeft geblokkeerd. Zo'n bedrijf valt structureel buiten AI-antwoorden zonder dat iemand het merkt, want je krijgt er geen melding van. Dat repareren kost vijf minuten en levert meer op dan welk nieuw bestand ook.

Wil je begrijpen waarom die volgorde zo ligt, lees dan hoe AI aan informatie over je bedrijf komt. Daar staat welke bronnen een systeem daadwerkelijk raadpleegt, en dan zie je meteen waarom een zelfgeschreven samenvattingsbestand onderaan die lijst hoort.