In robots.txt staat welke delen van uw site zoekmachines wel en niet mogen bezoeken. Het staat in de hoofdmap en is voor iedereen leesbaar.
Wat het wel doet
Het houdt crawlers weg bij mappen waar ze niets te zoeken hebben, bijvoorbeeld beheerpagina’s. Dat spaart serverbelasting en houdt de aandacht bij uw echte inhoud.
Wat het niet doet
Dit is een hardnekkig misverstand: robots.txt beveiligt niets. Het bestand is openbaar, dus wie erin kijkt, ziet precies welke mappen u liever verborgen houdt. Wilt u iets afschermen, gebruik dan een wachtwoord.
Het houdt een pagina ook niet noodzakelijk uit de zoekresultaten. Wordt er van buitenaf naar gelinkt, dan kan Google hem alsnog opnemen. Wilt u een pagina echt weren, gebruik dan een noindex-instelling.
De klassieke blunder
Tijdens de bouw van een site wordt vaak alles geblokkeerd. Vergeet iemand dat bij oplevering terug te zetten, dan blijft uw site maandenlang onvindbaar zonder dat iemand snapt waarom.
Controleer het bestand daarom bij elke oplevering: ga naar mijn-eigen-domeinnaam.nl/robots.txt en kijk of er geen algemene blokkade in staat.
Vermeld uw sitemap
Voeg onderaan een regel toe die verwijst naar uw sitemap. Zo vinden zoekmachines die ook zonder Search Console.
