robots.txt-Generator
Erstellen Sie eine robots.txt mit mehreren User-Agent-Blöcken, Allow/Disallow-Regeln, optionaler Crawl-delay, Host und Sitemap-Zeilen. Die Live-Vorschau aktualisiert sich beim Tippen.
User-Agent-Blöcke
Global
Hinweise:
Host wird von einigen Crawlern (z. B. Yandex) berücksichtigt. Crawl-delay wird von Google nicht verwendet, ggf. aber von anderen. Wildcards * und $ sind weit verbreitet (nicht Teil der Kern-RFC).
Vorschau (robots.txt)
URL-Tester
Hinweis:
robots.txt ist öffentlich zugänglich und dient als Empfehlung für gutartige Crawler; sie ist kein Zugriffs-Kontrollmechanismus.
Asted Cloud
Kommentare (0)
Teile deine Meinung — bitte bleib höflich und beim Thema.
Zum Kommentieren anmelden