+49 30 235987210 info@agentur-emilian.de
Kontakt
Sie sind hier:

Was ist Robots.txt?

Die Robots.txt Datei gibt den Crawlern der Suchmaschinen vor, welche Webseiten oder Bereiche einer Website indexiert werden dürfen und welche nicht. Die Crawler durchsuchen beim Lesen einer Webseite zuerst die Robots.txt Datei und lesen aus dem Wurzelverzeichnis (Root-Verzeichnis) die notwendigen Informationen aus. Gerade bei großen Webseiten kann es Sinn machen, unwichtige Unterseite und Verzeichnisse nicht zu indexieren um Crawl Budget zu sparen. 

 

Sie möchten sich einmal kostenlos und unverbindlich beraten lassen? Dann rufen Sie uns jetzt an

030 239 897 65
Alexandra Buckard
Geschäftsführerin der Agentur Emilian

Kontaktieren Sie uns noch heute!

    Mit der Erhebung, Verarbeitung und Nutzung meiner personen­bezogenen Daten zum Zweck der Kontakt­aufnahme auf meine Anfrage erkläre ich mich einverstanden. Mein Einverständnis kann ich jederzeit ohne Angabe von Gründen widerrufen.

    * erforderlich

    Hinweise zum Datenschutz

    
    Google Maps

    Mit dem Laden der Karte akzeptieren Sie die Datenschutzerklärung von Google.
    Mehr erfahren

    Karte laden