Program, který automaticky prochází web a stahuje stránky. Používají ho vyhledávače (Googlebot), nástroje pro analýzu webu i AI služby. Co smí navštěvovat, určuje robots.txt. Viz též AI crawlery.
FAQ / Slovníček pojmů
FAQ / Slovníček pojmů
Program, který automaticky prochází web a stahuje stránky. Používají ho vyhledávače (Googlebot), nástroje pro analýzu webu i AI služby. Co smí navštěvovat, určuje robots.txt. Viz též AI crawlery.