Zum Inhalt springen
(+381) 60 3535 720
Mein Konto
BeoHosting
BeoHosting
Mein KontoKontakt
(+381) 60 3535 720
 

Kostenloses SEO-Tool

Robots.txt Generator - Robots.txt erstellen

Generieren Sie eine ordnungsgemäß formatierte robots.txt-Datei für Ihre Website. Wählen Sie User Agents, legen Sie Allow/Disallow-Regeln fest, geben Sie eine Sitemap an und kontrollieren Sie, wie Suchmaschinen Ihren Inhalt indexieren.

Robots.txt erstellenSEO-Leitfaden
KURZE ANTWORT

Wie erstellt man eine robots.txt-Datei für eine Website?

Der Robots.txt Generator erstellt eine ordnungsgemäß formatierte Datei in 4 Schritten: 1) Geben Sie die Sitemap-URL ein (z.B. https://ihredomain.de/sitemap.xml) — hilft Suchmaschinen, alle Seiten schneller zu entdecken. 2) Konfigurieren Sie den User-Agent — wählen Sie aus 12 Optionen: Googlebot, Bingbot, DuckDuckBot, Yandexbot, Baiduspider, Facebook-Bot, Twitter-Bot, plus AI-Bots GPTBot (OpenAI), Google-Extended, CCBot (Common Crawl), anthropic-ai. 3) Fügen Sie Disallow-Pfade (admin, wp-admin, api, login, cart) und Allow-Ausnahmen hinzu. Optional Crawl-delay (Google ignoriert, Bing/Yandex respektieren). 4) Live-Vorschau zeigt die generierte Datei, klicken Sie auf Kopieren → in public_html/robots.txt einfügen. Nützlich für: Optimierung des Crawl-Budgets, Blockierung von AI-Scraping (Schutz urheberrechtlich geschützter Inhalte), Verhinderung der Duplikatindexierung. Der Robots.txt Generator ist 100% kostenlos, mit einem drag-freundlichen visuellen Editor. BeoHosting bietet auch cPanel File Manager für Upload ab 4,31 €/Monat.

  • Visueller Editor mit 12 User Agents + AI-Bot-Optionen
  • Allow/Disallow/Crawl-delay-Regeln + Sitemap-URL
  • Live-Vorschau mit Ein-Klick-Kopieren
  • BeoHosting cPanel File Manager für Upload ab 4,31 €/Monat

BeoHosting Team

10+ Jahre Erfahrung — Spezialisten für Webhosting und Infrastruktur

Zuletzt aktualisiert:

Robots.txt Generator

Konfigurieren Sie Regeln für Suchmaschinen und generieren Sie robots.txt für Ihre Website.

Regel #1

/admin//cgi-bin/
Schnell hinzufügen:

Google respektiert crawl-delay nicht. Bing und Yandex tun es.

robots.txt
# robots.txt generated by BeoHosting
# 2026-08-02

User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/

Anleitung:Kopieren Sie den generierten Inhalt und speichern Sie ihn als robots.txt im Stammverzeichnis Ihrer Website (public_html/). Die Datei muss erreichbar sein unter yoursite.com/robots.txt.

Best Practices

Robots.txt - Was Sie wissen müssen

Die richtige Konfiguration von robots.txt ist der Schlüssel zu SEO und zur Steuerung der Indexierung Ihrer Website.

Sitemap immer hinzufügen

Geben Sie den Pfad zu Ihrer sitemap.xml-Datei in robots.txt an. Dies hilft Suchmaschinen, alle Seiten Ihrer Website effizienter zu entdecken und zu indexieren.

CSS/JS nicht blockieren

Google benötigt Zugriff auf CSS- und JavaScript-Dateien, um die Seite ordnungsgemäß zu rendern. Das Blockieren dieser Ressourcen kann das SEO-Ranking negativ beeinflussen.

Allow für Ausnahmen verwenden

Wenn Sie ein Verzeichnis blockieren, können Sie den Zugriff auf bestimmte Seiten darin mit der Allow-Direktive zulassen. Allow hat Vorrang vor Disallow.

AI-Bots blockieren

Wenn Sie nicht möchten, dass AI-Unternehmen Ihren Inhalt zum Trainieren von Modellen verwenden, blockieren Sie GPTBot, Google-Extended, CCBot und anthropic-ai User Agents.

Vor der Veröffentlichung testen

Verwenden Sie das Google Search Console-Tool zum Testen von robots.txt vor der Veröffentlichung. Eine falsche Konfiguration kann die Indexierung der gesamten Website blockieren.

Nicht zum Schutz verwenden

robots.txt ist nur eine Empfehlung — böswillige Bots ignorieren sie. Verwenden Sie sie nicht, um sensible Seiten zu verbergen. Verwenden Sie ein Passwort, noindex Meta-Tag oder HTTP-Authentifizierung.

Robots.txt-Leitfaden - Wie Sie die Site-Indexierung steuern

Robots.txt ist eine Standarddatei, die von Web-Suchmaschinen (Google, Bing, Yandex) verwendet wird, um zu erfahren, welche Teile Ihrer Website sie besuchen und indexieren dürfen. Gemäß dem Robots Exclusion Protocol liest jeder wohlmeinende Bot zuerst Ihre robots.txt, bevor er mit dem Crawlen beginnt.

Die richtige Konfiguration von robots.txt ist wichtig für SEO, da sie Suchmaschinen hilft, ihr Crawl-Budget effizient zu nutzen — die Anzahl der Seiten, die Google bei jedem Crawl Ihrer Website besucht. Durch das Blockieren irrelevanter Seiten (Admin-Panels, Suchergebnisse, Benutzerseiten) leiten Sie Bots zu den wichtigsten Inhalten.

Robots.txt und BeoHosting

Auf allen BeoHosting-Hostingpaketen können Sie eine robots.txt-Datei einfach über den cPanel File Manager erstellen. Für WordPress-Websites kann robots.txt auch über ein Plugin wie Yoast SEO oder Rank Math konfiguriert werden. Unser SEO-Leitfaden für Anfänger behandelt dieses Thema im Detail.

Es ist wichtig zu beachten, dass robots.txt kein Sicherheitsmechanismus ist. Böswillige Bots ignorieren sie. Für echten Schutz privater Seiten verwenden Sie HTTP-Authentifizierung, noindex Meta-Tag oder Passwortzugriff. Robots.txt sollte ausschließlich zur Optimierung der Indexierung verwendet werden, nicht zum Verbergen von Inhalten.

Verwandte Tools und Dienste

Meta Tag AnalyzerSSL CheckerDNS CheckerPasswort-GeneratorBase64-EncoderWHOIS LookupSEO-LeitfadenWordPress HostingShared HostingKontakt

Bereit, Ihre Website zu starten?

SSL-Schutz
Geschwindigkeit
24/7-Support

Schließen Sie sich 4.000+ zufriedenen Kunden an. Kostenlose Migration und 15-Tage-Geld-zurück-Garantie.

Paket wählenKontaktieren Sie uns
15 Tage Geld-zurück-Garantie
Kostenlose Migration15-Tage-Garantie24/7-Support

Häufig gestellte Fragen - Robots.txt Generator

Antworten auf die häufigsten Fragen zu unseren Diensten.

robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website (z.B. site.de/robots.txt), die Suchmaschinen (Googlebot, Bingbot) mitteilt, welche Seiten sie besuchen und indexieren dürfen und welche nicht. Es ist Teil des Robots Exclusion Protocol Standards. Ohne robots.txt indexieren Suchmaschinen alle zugänglichen Seiten. Damit können Sie die Indexierung von Admin-Seiten, Duplikaten, privaten Bereichen und unnötigen Seiten verhindern.

Ja, direkt und indirekt. Robots.txt hilft Suchmaschinen, das Crawl-Budget effizient zu nutzen (Anzahl der Seiten, die ein Bot pro Sitzung besucht). Durch das Blockieren irrelevanter Seiten (admin, login, Filter) leiten Sie Bots zu wichtigen Inhalten. Auch die Angabe der Sitemap-URL beschleunigt die Entdeckung neuer Seiten. Allerdings werden blockierte Seiten NICHT aus den Suchergebnissen entfernt — dafür verwenden Sie das noindex Meta-Tag.

Robots.txt muss erreichbar sein unter ihredomain/robots.txt (z.B. https://site.de/robots.txt). Auf BeoHosting: gehen Sie zum cPanel File Manager, öffnen Sie den public_html-Ordner, erstellen Sie eine neue "robots.txt"-Datei und fügen Sie den generierten Inhalt ein. Die Datei muss im Stammverzeichnis der Website sein, nicht in einem Unterordner. Überprüfen Sie, ob sie erreichbar ist, indem Sie die URL im Browser öffnen.

Ja. Fügen Sie einen separaten Block für jeden AI-Bot mit einer Disallow: / Direktive hinzu. GPTBot (OpenAI/ChatGPT), Google-Extended (Google AI), CCBot (Common Crawl) und anthropic-ai (Anthropic/Claude) respektieren robots.txt. Unser Generator hat eine Option für alle diese User Agents. Dies verhindert, dass Ihr Inhalt zum Trainieren von AI-Modellen verwendet wird.

Crawl-delay teilt dem Bot mit, wie viele Sekunden er zwischen Anfragen warten soll. Es ist nützlich, wenn Sie einen schwachen Server haben, der intensives Crawling nicht bewältigen kann. Google respektiert Crawl-delay NICHT (verwenden Sie die Search Console zur Anpassung), aber Bing, Yandex und andere Bots tun es. Für BeoHosting-Kunden ist crawl-delay normalerweise nicht erforderlich, da unsere Server über ausreichende Ressourcen verfügen.

Unsere Garantien für Ihren Seelenfrieden

Von allen Seiten geschützt

15-Tage-Garantie

Wir erstatten ohne Fragen in den ersten 15 Tagen.

Kostenlose Migration

Wir migrieren Ihre Site ohne Ausfallzeit — Sie tun nichts.

24/7-Support

Unsere Experten sind 24/7 über Tickets und Live-Chat verfügbar.