Webcrawler (Bot)

Ein Programm, das das Web automatisch durchsucht und Seiten herunterlädt. Es wird von Suchmaschinen (Googlebot), Werkzeugen zur Website-Analyse und auch von KI-Diensten genutzt. Was es besuchen darf, legt die robots.txt fest. Siehe auch KI-Crawler.