Crawler, Spider, Robots und Bots sperren

  • Der Trick nennt sich .htaccess*. Dazu gibt es einige Beiträge hier, also einfach mal die Suchfunktion und Google benutzen, dann solltest du eigentlich ziemlich schnell fündig werden, egal um wen oder was genau es dir gerade geht. :)


    * Funktioniert nur mit Apache.

  • Inhalt der Datei robots.txt

    Inhalt der Datei .htaccess.

    „Vergebung verändert nichts an unserer Vergangenheit, aber sie bereichert unsere Zukunft.“

  • @sonic hast du zufällig eine aktuelle von 2017? Danke

    Nein, das sind die die ich so drinne hab. Weitere musst Du dir da eben selbst suchen b.z.w hinzufügen.

    „Vergebung verändert nichts an unserer Vergangenheit, aber sie bereichert unsere Zukunft.“

  • den genauen Pfad zur .htaccess Datei geben?

    Die .htaccess gehört ins Root Verzeichnis deines Forums.

    „Vergebung verändert nichts an unserer Vergangenheit, aber sie bereichert unsere Zukunft.“

  • Hallo zusammen,


    weiss jemand zufällig von Euch was "Zend_Http_Client" als Besucher auf den Webseiten zu suchen haben?


    IP-Adresse: 193.202.110.17

    Browser: Zend_Http_Client


    kann man sie mittels .htaccess aussperren?


    Danke und Grüße, Dan

  • User-Agent per .htaccess bannen

    Quote

    # User-Agent Blacklist

    SetEnvIfNoCase User-Agent "^Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1" bad_bot

    Klappt so leider nicht, könnte es bitte jemand korrigieren?


    Danke und Grüße

    Dan

  • Hallo,möchte gerne den SemrushBot blokieren,nur finde ich nirgends die .htaccess und auch nicht die robots.txt.

    Muss ich die Dateien selber erstellen und dann einfach ins Root Verzeichnis packen?

  • selbst erstellen, wobei die Version via robots.txt kannst dir sparen :) wenn, dann nur über die .htaccess, vorausgesetzt du setzt den Apache Webserver ein.

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!