Robots.txt Generator

Erstelle eine suchmaschinenfreundliche robots.txt für deine Website – ohne Syntaxfehler.

🤖 SEO & Crawler-Optimierung

Website-URL (für Sitemap)

Nur für die Sitemap-Zeile relevant. Ohne Slash am Ende empfohlen.

Grundkonfiguration

Standard: Alles erlauben (empfohlen) – einzelne Bereiche blockieren

Alles sperren (Disallow: /) – z. B. für Staging/Test

Nur eigene Regeln verwenden (unten)

Typische Bereiche sperren

Admin- & Login-Bereiche blockieren /admin/, /wp-admin/, /wp-login.php, /cgi-bin/ …

Temp-/Systemordner blockieren /tmp/, /temp/, /backup/, /old/ …

Crawler Einstellungen

Crawl-Delay (Sek., optional)

Sitemap-Zeile automatisch hinzufügen z. B. Sitemap: https://example.com/sitemap.xml

Eigene Regeln (optional)

Zusätzliche Disallow-Regeln

Eine Regel pro Zeile, ohne Disallow:.

Zusätzliche Allow-Regeln

Eine Regel pro Zeile, ohne Allow:.

User-agent: * Googlebot Bingbot Andere Crawler → verwenden i.d.R. auch *

Generierte robots.txt