robots.txt

Die Robots.txt ist eine Datei die Aus­kunft dar­über gibt, ob und wel­che Sei­ten einer Web­seite von Such­ma­schi­nen (es kön­nen an die­ser Stel­le auch Such­ma­schi­nen aus­ge­schlos­sen wer­den) durch­sucht (craw­ling) und in den Such­ergeb­nis­sen ange­zeigt wer­den dürfen.

Es ist also mög­lich in die­ser über­grei­fend wir­ken­den Datei die Durch­su­chung bestimm­ter Sei­ten zu unter­bin­den. Wenn kei­ne Robots.txt Datei für die Web­seite hin­ter­legt wur­de, wird in den Such­ma­schi­nen eine Feh­ler­mel­dung generiert.