Wie klopt er aan

Een observatiepost op ai.vpro.nl. Bijgewerkt 9 oktober 2026.

robots.txt kent één as: welke user-agent mag waar komen. Het heeft geen woorden voor waarom een client langskomt — of hij een pagina ophaalt omdat een mens erom vroeg, of omdat er getraind wordt, of omdat een index bijgewerkt moet worden. Die vraag laat het bestand onbesproken, en er is dus ook geen plek waar een antwoord terecht zou kunnen.

Sinds Web Bot Auth is er wel zo’n plek. Een bot kan zijn verzoek ondertekenen (RFC 9421) en een Signature-Agent meesturen: de URL van zijn sleuteldirectory. Wat daar staat is controleerbaar, en daarmee wordt een verklaring iets anders dan een bewering. De vraag is alleen hoeveel bezoekers dat werkelijk doen. Deze pagina telt het.

Wat er langskwam

• 59.786Totaal geteldAlle verzoeken om pagina’s sinds 31 augustus 2026. Plaatjes, stylesheets en fonts tellen niet mee: die zeggen niets over intenties.
• 144Stelden zich voorVerzoeken met een Signature-Agent of Signature. De ondertekenaar noemt een sleuteldirectory waarmee na te gaan is dat hij is wie hij zegt.
• 2.332Herkenbaar bot, maar zweegGeen handtekening, maar de user-agent verraadt automatisering. Herkenbaar dus, maar niet verifieerbaar, en zonder opgaaf van reden.
• 57.310De restVermoedelijk mensen met een browser. Alleen geteld, verder niets van bewaard — geen IP, geen user-agent, geen pad, geen tijdstip.

Van het verkeer dat als geautomatiseerd te herkennen was, verklaarde 5.8% iets over zichzelf. De andere 94% kwam langs zonder een woord.

Wie zich voorstelden

Wie langskwamen zonder iets te zeggen

En u

Een verklaring is niet afdwingbaar. Een bot die zegt waarom hij langskomt kan liegen, en een handtekening bewijst alleen wie ondertekende, niet dat het opgegeven doel klopt. Dat is geen bezwaar. Een belofte verschuift de kwestie van technisch naar contractueel: wat is toegezegd ligt vast, en afwijking wordt aanwijsbaar. Dat is precies het verschil tussen een blokkade die omzeild wordt en een afspraak die geschonden wordt.

En er is een tweede effect, dat langzamer werkt. Zolang bijna niemand zich voorstelt, zegt zwijgen niets. Zodra de meeste agents hun reden opgeven, wordt het weigeren daarvan zelf een signaal — en dan hoeft deze pagina niet meer te tellen wie er sprak, maar alleen nog wie er zweeg.