Die Robots.txt Datei gibt den Crawlern der Suchmaschinen vor, welche Webseiten oder Bereiche einer Website indexiert werden dürfen und welche nicht. Die Crawler durchsuchen beim Lesen einer Webseite zuerst die Robots.txt Datei und lesen aus dem Wurzelverzeichnis (Root-Verzeichnis) die notwendigen Informationen aus. Gerade bei großen Webseiten kann es Sinn machen, unwichtige Unterseite und Verzeichnisse nicht zu indexieren um Crawl Budget zu sparen.
Sie möchten sich einmal kostenlos und unverbindlich beraten lassen? Dann rufen Sie uns jetzt an
030 239 897 65
Webdesign
Online besser gefunden werden
Social Media
Grafik Design
Erklärvideo
Kontakt
