Wie klopt er aan

Een observatiepost op ai.vpro.nl. Bijgewerkt 25 augustus 2026.

robots.txt kent één as: welke user-agent mag waar komen. Het heeft geen woorden voor waarom een client langskomt — of hij een pagina ophaalt omdat een mens erom vroeg, of omdat er getraind wordt, of omdat een index bijgewerkt moet worden. Die vraag laat het bestand onbesproken, en er is dus ook geen plek waar een antwoord terecht zou kunnen.

Sinds Web Bot Auth is er wel zo’n plek. Een bot kan zijn verzoek ondertekenen (RFC 9421) en een Signature-Agent meesturen: de URL van zijn sleuteldirectory. Wat daar staat is controleerbaar, en daarmee wordt een verklaring iets anders dan een bewering. De vraag is alleen hoeveel bezoekers dat werkelijk doen. Deze pagina telt het.

Wat er langskwam

Van het verkeer dat als geautomatiseerd te herkennen was, verklaarde 0.0% iets over zichzelf. De andere 100% kwam langs zonder een woord.

Wie zich voorstelden

Nog niemand. Dat is voorlopig het meest sprekende resultaat op deze pagina.

Wie langskwamen zonder iets te zeggen

user-agentverzoeken
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)1

En u

Een ogenblik — dit stukje wordt apart opgehaald, want de rest van deze pagina staat in de cache en zou u anders andermans bezoek tonen.


Een verklaring is niet afdwingbaar. Een bot die zegt waarom hij langskomt kan liegen, en een handtekening bewijst alleen wie ondertekende, niet dat het opgegeven doel klopt. Dat is geen bezwaar. Een belofte verschuift de kwestie van technisch naar contractueel: wat is toegezegd ligt vast, en afwijking wordt aanwijsbaar. Dat is precies het verschil tussen een blokkade die omzeild wordt en een afspraak die geschonden wordt.

En er is een tweede effect, dat langzamer werkt. Zolang bijna niemand zich voorstelt, zegt zwijgen niets. Zodra de meeste agents hun reden opgeven, wordt het weigeren daarvan zelf een signaal — en dan hoeft deze pagina niet meer te tellen wie er sprak, maar alleen nog wie er zweeg.