robots.txt

Die Robots.txt ist eine Datei die Aus­kunft dar­über gibt, ob und wel­che Sei­ten einer Web­seite von Such­ma­schi­nen (es kön­nen an die­ser Stel­le auch Such­ma­schi­nen aus­ge­schlos­sen wer­den) durch­sucht (craw­ling) und in den Such­ergeb­nis­sen ange­zeigt wer­den dür­fen.

Es ist also mög­lich in die­ser über­grei­fend wir­ken­den Datei die Durch­su­chung bestimm­ter Sei­ten zu unter­bin­den. Wenn kei­ne Robots.txt Datei für die Web­seite hin­ter­legt wur­de, wird in den Such­ma­schi­nen eine Feh­ler­mel­dung gene­riert.

robots.txt
Bewer­ten Sie die­sen Arti­kel

Andreas Nitsche

Andreas Nitsche

Andreas Nitsche ist Gründer und Inhaber von sixhop.net, dem starken Partner für Hosting und Pflege von Webplattformen. Der leidenschaftliche Webservice-Spezialist und sein Team stehen für zuverlässigen Service in den Bereichen Webhosting, Webentwicklung, Weboptimierung sowie Datensicherheit.
Andreas Nitsche

Latest posts by Andreas Nitsche (see all)