Eine Textdatei im Stammverzeichnis der Website (/robots.txt), die Bots mitteilt, wohin sie dürfen und wohin nicht. Die Anweisung Disallow: / verbietet Bots die gesamte Website. Sie enthält auch einen Verweis auf die Sitemap.
Die Datei ist nur eine Empfehlung und sichert keine Inhalte. Schützen Sie sensible Dinge mit einem Passwort, nicht mit der Datei robots.txt.