Menü

robots.txt

Die Robots.txt ist eine Datei die Auskunft darüber gibt, ob und welche Seiten einer Webseite von Suchmaschinen (es können an dieser Stelle auch Suchmaschinen ausgeschlossen werden) durchsucht (crawling) und in den Suchergebnissen angezeigt werden dürfen.

Es ist also möglich in dieser übergreifend wirkenden Datei die Durchsuchung bestimmter Seiten zu unterbinden. Wenn keine Robots.txt Datei für die Webseite hinterlegt wurde, wird in den Suchmaschinen eine Fehlermeldung generiert.

robots.txt
Bewerten Sie diesen Artikel

Andreas Nitsche

Andreas Nitsche

Andreas Nitsche ist Gründer und Inhaber von sixhop.net, dem starken Partner für Hosting und Pflege von Webplattformen. Der leidenschaftliche Webservice-Spezialist und sein Team stehen für zuverlässigen Service in den Bereichen Webhosting, Webentwicklung, Weboptimierung sowie Datensicherheit.
Andreas Nitsche

Letzte Artikel von Andreas Nitsche (Alle anzeigen)