Als Crawling wird der Prozess bezeichnet, mit dem Crawler, Bots oder Spider z. B. der Suchmaschinen das Internet nach neuen und aktualisierten Webseiten durchsuchen.
Wenn Sie die Google Search Console (ehem. Webmaster Tools) nutzen, erhalten Sie auf Ihre Webseite bezogen u. a. Informationen über:
- Crawling-Fehler und
- Crawling-Statistiken.