Bots von KI-Diensten durchsuchen Websites und sammeln Inhalte, um Modelle zu trainieren oder Nutzern Antworten zu geben. Zu den bekannten gehören GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended oder CCBot. In der robots.txt können Sie jedem Bot den Zugriff erlauben oder verbieten. Wenn Sie alle sperren, erscheint Ihre Website nicht in den Antworten von KI-Assistenten.
FAQ / Glossar
KI-Crawler
Wissen Sie immer noch nicht weiter?
Schreiben Sie uns, wir lösen das gemeinsam.
Support kontaktieren ›