De voor- en nadelen van robots.txt: alles wat je moet weten
Crawlen sturen zonder belangrijke pagina's te blokkeren
Robots.txt is een klein tekstbestand op je website dat zoekmachinecrawlers vertelt welke delen ze wel en niet mogen crawlen en indexeren. Daarmee heeft het invloed op hoe zichtbaar je site is in zoekmachines.
Goed ingesteld helpt het je de indexering te sturen. Een fout kan je juist zichtbaarheid kosten. Hieronder staan de belangrijkste voor- en nadelen, zodat je beter kunt inschatten hoe je het bestand inzet.
Voordelen
Hier kan robots.txt je mee helpen:
Crawlbudget beheren
Met robots.txt vertel je zoekmachines welke delen van je site ze wel en niet moeten crawlen. Zo beheer je het crawlbudget dat een zoekmachine aan je site besteedt. De aandacht van de crawler gaat dan vooral naar de belangrijkste pagina's.
Gevoelige delen uit de zoekresultaten houden
Bevat een deel van je site privégegevens of andere gevoelige informatie, dan kun je zoekmachines via robots.txt laten weten dat ze daar weg moeten blijven. De bedoeling is dat die pagina's dan niet in de zoekresultaten verschijnen. Of dat lukt, hangt af van de zoekmachine (zie de nadelen).
Relevantere zoekresultaten
Sluit je onbelangrijke pagina's uit van indexering, dan tonen zoekmachines vaker de inhoud die voor bezoekers relevant en waardevol is. Wie zoekt, komt zo eerder op een pagina terecht waar hij iets aan heeft.
Dubbele content voorkomen
Soms indexeren zoekmachines delen van je site meer dan eens. Dat kan problemen met duplicate content in de zoekresultaten opleveren. Met robots.txt kun je dat voorkomen, omdat je zelf aangeeft welke delen de crawler moet overslaan.
Zoekmachines informeren over wijzigingen
Verandert de structuur van je site, dan kun je robots.txt aanpassen zodat zoekmachines daarvan op de hoogte zijn. Waarschijnlijk helpt dat ze om updates sneller in hun index door te voeren.
Alleen nuttige pagina's in de index
In het robots.txt-bestand geef je aan welke delen van je website zoekmachines niet hoeven te crawlen. Het idee is dat ze dan vooral relevante en nuttige pagina's indexeren. Dat komt de zoekresultaten ten goede, en daarmee ook de ervaring van wie via een zoekmachine op je site belandt.
Minder belasting voor je server
Elke crawler die door je site gaat, vraagt iets van je server. Vooral bij grote websites met veel pagina's kan dat flink oplopen. Sluit je met robots.txt bepaalde secties uit, dan voorkom je overbelasting en houd je serverresources vrij voor andere belangrijke taken.
Mis je een voordeel?
Laat ons weten welk voordeel je mist!
Nadelen
Het bestand heeft ook zwakke plekken, vooral als je het verkeerd instelt of er te veel van verwacht.
Verkeerd gebruik kan schade doen
Een fout in robots.txt kan de indexering van je site flink schaden. Denk aan belangrijke pagina's die je per ongeluk blokkeert en die daarna niet meer in de zoekresultaten verschijnen.
Geen garantie op privacy
Robots.txt geeft zoekmachines instructies, meer niet. Of gevoelige informatie echt wordt afgeschermd, is daarmee niet gezegd. Hackers en andere kwaadwillenden kunnen nog steeds bij de delen die je in het bestand noemt. Het bestand vraagt om weg te blijven, maar houdt niemand tegen.
Kans op seo-fouten
Ook voor je SEO kan een vergissing duur uitpakken. Raken belangrijke pagina's per ongeluk geblokkeerd, dan kan je site dalen in de organische zoekresultaten.
Nieuwe pagina's worden mogelijk niet geïndexeerd
Robots.txt moet meegroeien met je site. Werk je het bestand niet goed bij, dan kan het de indexering van nieuwe pagina's in de weg zitten. Die komen dan mogelijk niet in de zoekresultaten van zoekmachines terecht.
Lastig te beheren op grote sites
Voor grote en complexe websites is het bijhouden van een effectieve robots.txt een uitdaging. Dat geldt vooral als de site-architectuur voortdurend verandert en het bestand steeds mee moet.
Fouten in de configuratie
Een verkeerd ingesteld robots.txt-bestand kan tot ongewenste resultaten leiden, zoals belangrijke pagina's die per ongeluk voor indexering geblokkeerd raken. Werk daarom nauwkeurig en houd je aan de juiste syntax en instructies.
Beperkte bescherming van privacy
Hoeveel bescherming robots.txt geeft, hangt af van de zoekmachines zelf. Die volgen de instructies vrijwillig op. Sommige negeren het bestand mogelijk, en dan kan gevoelige informatie toch openbaar worden. Voor materiaal dat echt privé moet blijven, is het bestand dus een zwakke schakel.
Mis je een nadeel?
Laat ons weten welk nadeel je mist!
Conclusie
Wil je het crawlen sturen of je server ontlasten, dan is robots.txt een handig hulpmiddel. Voor het echt afschermen van gevoelige informatie is het te zwak, omdat zoekmachines de instructies vrijwillig opvolgen. Controleer na elke wijziging of je geen belangrijke pagina's hebt geblokkeerd.
Wat vind jij?
Vind jij dat de voordelen opwegen tegen de nadelen?
