Sie sind hier:

Was ist Robots.txt?

Die Robots.txt Datei gibt den Crawlern der Suchmaschinen vor, welche Webseiten oder Bereiche einer Website indexiert werden dürfen und welche nicht. Die Crawler durchsuchen beim Lesen einer Webseite zuerst die Robots.txt Datei und lesen aus dem Wurzelverzeichnis (Root-Verzeichnis) die notwendigen Informationen aus. Gerade bei großen Webseiten kann es Sinn machen, unwichtige Unterseite und Verzeichnisse nicht zu indexieren um Crawl Budget zu sparen. 

 

Sie möchten sich einmal kostenlos und unverbindlich beraten lassen? Dann rufen Sie uns jetzt an

030 239 897 65
Alexandra Buckard
Geschäftsführerin der Agentur Emilian

Kontaktieren Sie uns noch heute!

Mit der Erhebung, Verarbeitung und Nutzung meiner personen­bezogenen Daten zum Zweck der Kontakt­aufnahme auf meine Anfrage erkläre ich mich einverstanden. Mein Einverständnis kann ich jederzeit ohne Angabe von Gründen widerrufen.

* erforderlich

Hinweise zum Datenschutz


Google Maps

Mit dem Laden der Karte akzeptieren Sie die Datenschutzerklärung von Google.
Mehr erfahren

Karte laden

PGlmcmFtZSBzcmM9Imh0dHBzOi8vd3d3Lmdvb2dsZS5jb20vbWFwcy9lbWJlZD9wYj0hMW0xOCExbTEyITFtMyExZDI0MjYuMjgxOTA2OTkxNDAzITJkMTMuNDA1NDYyMDE1MzUxNDghM2Q1Mi41NDY0MjU0NDIwMjM2MSEybTMhMWYwITJmMCEzZjAhM20yITFpMTAyNCEyaTc2OCE0ZjEzLjEhM20zITFtMiExczB4NDdhODUzNjVkNjUyMWI1MSUzQTB4MmEzZDQyMDVjNGI5MWJmZSEyc0FnZW50dXIrRW1pbGlhbiE1ZTAhM20yITFzZGUhMnNpbiE0djE1NjIwNDM3NTY3MzAhNW0yITFzZGUhMnNpbiIgd2lkdGg9IjEwMCUiIGhlaWdodD0iMzUwIiBmcmFtZWJvcmRlcj0iMCIgc3R5bGU9ImJvcmRlcjowIiBhbGxvd2Z1bGxzY3JlZW4+PC9pZnJhbWU+