Sie sind hier:

Was ist Robots.txt?

Die Robots.txt Datei gibt den Crawlern der Suchmaschinen vor, welche Webseiten oder Bereiche einer Website indexiert werden dürfen und welche nicht. Die Crawler durchsuchen beim Lesen einer Webseite zuerst die Robots.txt Datei und lesen aus dem Wurzelverzeichnis (Root-Verzeichnis) die notwendigen Informationen aus. Gerade bei großen Webseiten kann es Sinn machen, unwichtige Unterseite und Verzeichnisse nicht zu indexieren um Crawl Budget zu sparen. 

 

Sie möchten sich einmal kostenlos und unverbindlich beraten lassen? Dann rufen Sie uns jetzt an

+49 30 235987210
Alexandra Buckard
Geschäftsführerin der Agentur Emilian

Kontaktieren Sie uns noch heute!

    Mit der Erhebung, Verarbeitung und Nutzung meiner personen­bezogenen Daten zum Zweck der Kontakt­aufnahme auf meine Anfrage erkläre ich mich einverstanden. Mein Einverständnis kann ich jederzeit ohne Angabe von Gründen widerrufen.

    * erforderlich

    Hinweise zum Datenschutz