Kostenloses SEO-Tool
Robots.txt Generator - Robots.txt erstellen
Generieren Sie eine ordnungsgemäß formatierte robots.txt-Datei für Ihre Website. Wählen Sie User Agents, legen Sie Allow/Disallow-Regeln fest, geben Sie eine Sitemap an und kontrollieren Sie, wie Suchmaschinen Ihren Inhalt indexieren.
Wie erstellt man eine robots.txt-Datei für eine Website?
Der Robots.txt Generator erstellt eine ordnungsgemäß formatierte Datei in 4 Schritten: 1) Geben Sie die Sitemap-URL ein (z.B. https://ihredomain.de/sitemap.xml) — hilft Suchmaschinen, alle Seiten schneller zu entdecken. 2) Konfigurieren Sie den User-Agent — wählen Sie aus 12 Optionen: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, Facebook-Bot, Twitter-Bot, plus AI-Bots GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Fügen Sie Disallow-Pfade (admin, wp-admin, api, login, cart) und Allow-Ausnahmen hinzu. Optional Crawl-delay (Google ignoriert, Bing/Yandex respektieren). 4) Live-Vorschau zeigt die generierte Datei, klicken Sie auf Kopieren → in public_html/robots.txt einfügen. Nützlich für: Optimierung des Crawl-Budgets, Blockierung von AI-Scraping (Schutz urheberrechtlich geschützter Inhalte), Verhinderung der Duplikatindexierung. Der Robots.txt Generator ist 100% kostenlos, mit einem drag-freundlichen visuellen Editor. BeoHosting bietet auch cPanel File Manager für Upload ab 4,31 €/Monat.
- Visueller Editor mit 12 User Agents + AI-Bot-Optionen
- Allow/Disallow/Crawl-delay-Regeln + Sitemap-URL
- Live-Vorschau mit Ein-Klick-Kopieren
- BeoHosting cPanel File Manager für Upload ab 4,31 €/Monat
Robots.txt Generator
Konfigurieren Sie Regeln für Suchmaschinen und generieren Sie robots.txt für Ihre Website.
Regel #1
Google respektiert crawl-delay nicht. Bing und Yandex tun es.
# robots.txt generated by BeoHosting # 2026-10-16 User-agent: * Disallow: /admin/ Disallow: /cgi-bin/
Anleitung:Kopieren Sie den generierten Inhalt und speichern Sie ihn als robots.txt im Stammverzeichnis Ihrer Website (public_html/). Die Datei muss erreichbar sein unter yoursite.com/robots.txt.
Robots.txt - Was Sie wissen müssen
Die richtige Konfiguration von robots.txt ist der Schlüssel zu SEO und zur Steuerung der Indexierung Ihrer Website.
Sitemap immer hinzufügen
Geben Sie den Pfad zu Ihrer sitemap.xml-Datei in robots.txt an. Dies hilft Suchmaschinen, alle Seiten Ihrer Website effizienter zu entdecken und zu indexieren.
CSS/JS nicht blockieren
Google benötigt Zugriff auf CSS- und JavaScript-Dateien, um die Seite ordnungsgemäß zu rendern. Das Blockieren dieser Ressourcen kann das SEO-Ranking negativ beeinflussen.
Allow für Ausnahmen verwenden
Wenn Sie ein Verzeichnis blockieren, können Sie den Zugriff auf bestimmte Seiten darin mit der Allow-Direktive zulassen. Allow hat Vorrang vor Disallow.
AI-Bots blockieren
Wenn Sie nicht möchten, dass AI-Unternehmen Ihren Inhalt zum Trainieren von Modellen verwenden, blockieren Sie GPTBot, Google-Extended, CCBot und anthropic-ai User Agents.
Vor der Veröffentlichung testen
Verwenden Sie das Google Search Console-Tool zum Testen von robots.txt vor der Veröffentlichung. Eine falsche Konfiguration kann die Indexierung der gesamten Website blockieren.
Nicht zum Schutz verwenden
robots.txt ist nur eine Empfehlung — böswillige Bots ignorieren sie. Verwenden Sie sie nicht, um sensible Seiten zu verbergen. Verwenden Sie ein Passwort, noindex Meta-Tag oder HTTP-Authentifizierung.
Robots.txt-Leitfaden - Wie Sie die Site-Indexierung steuern
Robots.txt ist eine Standarddatei, die von Web-Suchmaschinen (Google, Bing, Yandex) verwendet wird, um zu erfahren, welche Teile Ihrer Website sie besuchen und indexieren dürfen. Gemäß dem Robots Exclusion Protocol liest jeder wohlmeinende Bot zuerst Ihre robots.txt, bevor er mit dem Crawlen beginnt.
Die richtige Konfiguration von robots.txt ist wichtig für SEO, da sie Suchmaschinen hilft, ihr Crawl-Budget effizient zu nutzen — die Anzahl der Seiten, die Google bei jedem Crawl Ihrer Website besucht. Durch das Blockieren irrelevanter Seiten (Admin-Panels, Suchergebnisse, Benutzerseiten) leiten Sie Bots zu den wichtigsten Inhalten.
Robots.txt und BeoHosting
Auf allen BeoHosting-Hostingpaketen können Sie eine robots.txt-Datei einfach über den cPanel File Manager erstellen. Für WordPress-Websites kann robots.txt auch über ein Plugin wie Yoast SEO oder Rank Math konfiguriert werden. Unser SEO-Leitfaden für Anfänger behandelt dieses Thema im Detail.
Es ist wichtig zu beachten, dass robots.txt kein Sicherheitsmechanismus ist. Böswillige Bots ignorieren sie. Für echten Schutz privater Seiten verwenden Sie HTTP-Authentifizierung, noindex Meta-Tag oder Passwortzugriff. Robots.txt sollte ausschließlich zur Optimierung der Indexierung verwendet werden, nicht zum Verbergen von Inhalten.
Bereit, Ihre Website zu starten?
Schließen Sie sich 4.000+ zufriedenen Kunden an. Kostenlose Migration und 30-Tage-Geld-zurück-Garantie.
Häufig gestellte Fragen - Robots.txt Generator
Antworten auf die häufigsten Fragen zu unseren Diensten.
Rufen Sie uns an: Der Support ist rund um die Uhr erreichbar, per Telefon und über Tickets.
(+381) 60 3535 720Was ist robots.txt und warum brauche ich es?
robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website (z.B. site.de/robots.txt), die Suchmaschinen (Googlebot, Bingbot) mitteilt, welche Seiten sie besuchen und indexieren dürfen und welche nicht. Es ist Teil des Robots Exclusion Protocol Standards. Ohne robots.txt indexieren Suchmaschinen alle zugänglichen Seiten. Damit können Sie die Indexierung von Admin-Seiten, Duplikaten, privaten Bereichen und unnötigen Seiten verhindern.
Beeinflusst robots.txt SEO?
Ja, direkt und indirekt. Robots.txt hilft Suchmaschinen, das Crawl-Budget effizient zu nutzen (Anzahl der Seiten, die ein Bot pro Sitzung besucht). Durch das Blockieren irrelevanter Seiten (admin, login, Filter) leiten Sie Bots zu wichtigen Inhalten. Auch die Angabe der Sitemap-URL beschleunigt die Entdeckung neuer Seiten. Allerdings werden blockierte Seiten NICHT aus den Suchergebnissen entfernt — dafür verwenden Sie das noindex Meta-Tag.
Wie installiere ich robots.txt auf einer Website?
Robots.txt muss erreichbar sein unter ihredomain/robots.txt (z.B. https://site.de/robots.txt). Auf BeoHosting: gehen Sie zum cPanel File Manager, öffnen Sie den public_html-Ordner, erstellen Sie eine neue "robots.txt"-Datei und fügen Sie den generierten Inhalt ein. Die Datei muss im Stammverzeichnis der Website sein, nicht in einem Unterordner. Überprüfen Sie, ob sie erreichbar ist, indem Sie die URL im Browser öffnen.
Kann ich AI-Bots (GPTBot, Google-Extended) blockieren?
Ja. Fügen Sie einen separaten Block für jeden AI-Bot mit einer Disallow: / Direktive hinzu. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) und anthropic-ai (Anthropic/Claude) respektieren robots.txt. Unser Generator hat eine Option für alle diese User Agents. Dies verhindert, dass Ihr Inhalt zum Trainieren von AI-Modellen verwendet wird.
Was ist Crawl-delay und sollte ich es verwenden?
Crawl-delay teilt dem Bot mit, wie viele Sekunden er zwischen Anfragen warten soll. Es ist nützlich, wenn Sie einen schwachen Server haben, der intensives Crawling nicht bewältigen kann. Google respektiert Crawl-delay NICHT (verwenden Sie die Search Console zur Anpassung), aber Bing, Yandex und andere Bots tun es. Für BeoHosting-Kunden ist crawl-delay normalerweise nicht erforderlich, da unsere Server über ausreichende Ressourcen verfügen.
Unsere Garantien für Ihren Seelenfrieden
Von allen Seiten geschützt
30-Tage-Garantie
Wir erstatten ohne Fragen in den ersten 30 Tagen.
Kostenlose Migration
Wir migrieren Ihre Site ohne Ausfallzeit — Sie tun nichts.
24/7-Support
Unsere Experten sind 24/7 über Tickets und Live-Chat verfügbar.