Optimaliseren van robots.txt

     

Het text-bestand met de naam robots.txt is geplaatst in de root van een website. Dit is de map waar ook de index-pagina van een website is opgeslagen. Robots.txt bestand vertelt de diverse zoekbots van de diverse zoekmachines welke pagina's en/of mappen wel of niet doorzocht of geïndexeerd mogen worden. De robots.txt mag en kan geen andere naam hebben. Deze moet opgeslagen worden als robots.txt. Wordt deze wel anders opgeslagen wordt deze gewoon als tekst-bestand gezien en dus ook als dusdanig gecrawld.

Dat de meeste zoekmachines nu weten dat bepaalde mappen en bestanden niet gecrawled of geïndexeerd mogen worden betekend natuurlijk niet dat deze bestanden ineens beveiligd zijn. Door zoekbots die geprogrammeerd zijn om zich niets aan te trekken van de robots.txt of zelfs geprogrammeerd zijn om juist de niet toegestane bestanden en mappen te doorzoeken. Hiernaast zijn hiermee niet ineens de mappen en bestanden beveiligd. Ze zijn dus nog steeds te doorzoeken door een gebruiker. Zelfs dan kan de URL nog steeds in de zoekresultaten voorkomen maar dan alleen als URL zonder titel of omschrijving.

Wat valt er dan nog te optimaliseren? Niet zo veel. Alleen controleren dat de inhoud goed is ingesteld, zorgen dat de mappen die gecrawld moeten worden ook bereikbaar zijn en andersom.

@BotsenBytes volgen