robots.txt-Generator

Erstelle die robots.txt-Datei deiner Website: Wähle den User-Agent, füge Allow- und Disallow-Regeln hinzu, verweise auf deine Sitemap und lade die fertige Datei zum Hochladen herunter.


      

      

        
        
      

    


    
 Alles läuft in deinem Browser: Es werden nie Daten an einen Server gesendet.

  


  

    
Was eine robots.txt-Datei bewirkt

    
Die robots.txt liegt im Stammverzeichnis deiner Website (z. B. https://www.deineseite.de/robots.txt)
    und teilt den Crawlern der Suchmaschinen mit, welche Pfade sie besuchen dürfen. Die Anweisung Disallow bittet Bots,
    einen Pfad nicht zu crawlen, während Allow innerhalb eines gesperrten
    Ordners eine Ausnahme macht (etwa wenn du /admin/ sperrst, aber /admin/public/ erlaubst). Ein wichtiger Hinweis: robots.txt
    steuert das Crawlen, nicht die Indexierung. Eine gesperrte Seite kann trotzdem bei Google auftauchen, wenn andere Websites
    auf sie verlinken. Um eine Seite wirklich aus den Suchergebnissen herauszuhalten, nutze stattdessen ein noindex-Meta-Tag.

    
Die Regeln, die die meisten Websites wirklich nutzen

    
Fast jede Website sperrt private Bereiche wie /wp-admin/ oder /admin/, Warenkörbe und
    interne Suchseiten mit Query-Parametern, die nur Crawl-Budget verschwenden. Wenn du eine Zeile
    Sitemap: mit der vollständigen URL hinzufügst, finden Google und Bing alle deine Seiten sofort.
    Denk daran, dass bei Pfaden die Groß- und Kleinschreibung zählt und dass jeder Regelblock für
    den darüber angegebenen User-Agent gilt: Mit * sprichst du alle Bots auf einmal an.

  


  

    
Ähnliche Tools

    

      
        
        XML-Sitemap-Generator
        Füge die URLs deiner Website ein und lade eine gültige sitemap.xml herunter, bereit für Google.
      
      
        
        SERP-Vorschau für Google
        Passen dein Titel und deine Meta Description in die Google-Ergebnisse?
      
      
        
        URL-Slug-Generator
        Mach aus jedem Titel einen sauberen, SEO-freundlichen URL-Slug, mit Live-Vorschau.
      
      
        
        Online-Notizblock
        Notizblock mit automatischem Speichern im Browser; lade deine Notizen als .txt-Datei herunter.
      
      
        
        Welchen Browser habe ich?
        Browser, Version, Betriebssystem, Sprache und User-Agent: alles kopieren für den technischen Support.
      
      
        
        Text aus PDF extrahieren
        Hol den gesamten Text aus einem PDF, bereit zum Kopieren oder zum Herunterladen als .txt.