Wie man den Semalt Crawler blockt

Seit einigen Monaten treibt der Semalt Crawler auf fast allen meiner Webprojekte sein Unwesen – und wie es aussieht, ist er gekommen um zu bleiben. Für mich gibt es nur einen Grund, warum ein Crawler bei jedem Besuch einen Referrer hinterlässt: Referrer-Spam.

Die Jungs wollen offenbar, dass betroffene Webmaster sich fragen, was dahinter steckt  – und dann deren Seite besuchen. Dort wird einem dann angeboten, deren SEO-Tool testen. Ein netter Trick um relevanten Traffic auf die Website zu bekommen.

Warum ich skeptisch bin

Wer im Internet nach Semalt sucht, findet wenig schmeichelhaftes. Mittlerweile beschäftigen sich dutzende Blogposts mit dem nervigen Crawler-Spam, das Thema wird in Foren durchgekaut und auf der Facebookseite der Firma tobt seit Wochen ein Shitstorm, der von den Betreibern mit den immer gleichen Floskeln beantwortet wird.

Ich hab mal ein bisschen recherchiert und folgendes zu Tage gefördert:

  • Semalt bietet ein SEO-Tool an
  • Die Firma sitzt in der Ukraine
  • Die Domain nutzt einen Anonymisierungsdienst
  • Wer das Tool dauerhaft nutzen will, braucht eine Kreditkarte
  • Der Bot ignoriert die robots.txt

Fassen wir mal zusammen: SEO, Osteuropa, Identitätsverschleierung, KreditkarteIgnorieren von Regeln – sorry, ohne mich.

Semalt bietet zwar die Möglichkeit, seine Website angeblich vom Besuch durch den Crawler auszuschließen, aber ganz ehrlich, bei diesen Voraussetzungen fehlt mir jedes Vertrauen in die Firma. Da gebe ich sicher keine Daten zu meinen Domains ein. Bislang habe ich auch von niemandem gehört, dass die Besuche durch den Spambot dadurch weniger geworden wären.

Stattdessen habe ich nach einer Möglichkeit gesucht, den Semalt Crawler zu blockieren und bei Logorrhoea.net gefunden. Der Post von Logorrhea geht auch noch etwas tiefer ins Detail und auch die Kommentare sind interessant.

Hintergründe zu Semalt & Soundfrost

Es gibt mittlerweile Spekulationen, dass das eigentliche Ziel der aktuellen Refererspam-Welle der Aufbau von Backlinks ist. Offenbar gibt es eine ganze Menge öffentlich zugänglicher Serverlogs, die von Google auch ausgelesen werden. Manche Webseiten führen auch ihre Top-Refererlinks auf. Durch den breit gestreuten Einsatz dieser Methode werden demnach über diese Logs jede Menge Backlinks erstellt.

Ich kann mir zwar nicht wirklich vorstellen, dass in der Post-Pinguin Welt derartige Backlinks noch einen positiven Effekt haben – aber Pferd/Apotheke – ihr wisst schon…

Gleichzeitig verdichten sich die Hinweise, dass Semalt dabei ist, über die Verbreitung von Trojanern ein weltweites Botnetz aufzubauen. Erste Meldungen hierzu stammten von virustotal.com, die ermitteln konnten, dass Semalt offenbar eine Software namens Soundfrost verwendet um Computer zu infizieren. Im bereits verlinkten Nabble-Blog wird das genauer untersucht. Deren Fazit lautet: Semalt verwendet die Software Soundfrost um Webspam zu verbreiten.

Die IT-Sicherheitsfirma Incapsula schreibt:

Es scheint, dass Semalt ein Botnetz nutzt, das durch Malware verbreitet wird, die sich in einer Software namens „Soundfrost“ verbirgt. Unsere Daten zeigen, dass Semalt auf diesem Weg bereits hunderttausende Rechner infiziert hat, um so ein großes Botnetz zu schaffen. Dieses Botnetz war an Semalts Refererspam-Kampagne und möglicherweise anderen bösartigen Aktivitäten beteiligt.

Da es Soundfrost überall zum Download gibt, unter anderem bei Computerbild, habe ich deren Redaktion am 22.9.2014 mal angeschrieben und unter Nennung der Quellen darauf hingewiesen, dass sie möglicherweise Software verbreiten, bei der es sich um Spyware handelt.

Antwort:

Ich konnte keinerlei Spyware nach der installation entdecken und somit auch nicht die Vorwürfe reproduzieren.

Na gut, dann nicht…

So blockt ihr den Semalt-Crawler

Hinweis

Der Code wurde durch Vorschläge und Tipps mehrfach erweitert. Die aktuelle Version findet ihr weiter unten im Update 3!

Tragt in die .htaccess folgende Zeilen ein:

# block visitors referred from semalt.com
 RewriteEngine on
 RewriteCond %{HTTP_REFERER} semalt\.com [NC]
 RewriteRule .* - [F]

Eine nette Variante ist auch, den Crawler direkt zu Semalt zurückzuschicken:

# block visitors referred from semalt.com
RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule (.*) http://www.semalt.com [R=403,L]

Das sollte es dann auch schon gewesen sein.

Hier noch ein paar weiterführende Links:

Erweiterung des Codes

Im Lauf der Zeit haben sich in den Kommentaren viele hilfreiche Tipps und Anregungen gesammelt. Zwei davon möchte ich hier nochmal gesondert erwähnen – mit dem Hinweis, dass sie ungetestet sind.

Von Cash kam folgende Erweiterung, der mit etwas Glück gleich alle drei aktuell lästigen Referrer-Spammer von Eurer Website fernhält:

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]

Diesen Code könnt ihr statt dem Ursprungscode verwenden – also komplett austauschen. Das schöne daran: Er ist beliebig erweiterbar indem ihr weitere Spambots nach gleichem Muster anfügt. (In der letzten Zeile kein OR mehr anfügen). Am besten schreibt ihr den Code möglichst weit oben in die .htaccess, damit er frühzeitig greift.

Von Maximusweb kam der Tipp, wie man zusätzlich noch Besuche über Proxies blockieren kann. Achtung: Er blockiert nicht Semalt, Kambasoft & Co! Der Code ist ebenfalls ungetestet und sollte mit Bedacht angewendet werden – immerhin gibt es auch einige gute Gründe, Proxies einzusetzen.

RewriteEngine on
RewriteCond %{HTTP:VIA} !^$ [OR]
RewriteCond %{HTTP:FORWARDED} !^$ [OR]
RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]
RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:XPROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]
RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$
RewriteRule ^(.*)$ – [F]

Diesen Code würde ich ebenfalls recht früh in der .htaccess verwenden.

Ganz herzlichen Dank allen, die sich so rege mit Ratschlägen, Fragen und Hinweisen per Diskussion oder E-Mail beteiligt haben.

Der ultimative .htaccess-Eintrag

Semalt, Kambasoft und kein Ende. Heute habe ich noch zwei spannende Entdeckungen gemacht: Zum einen hat Joram van den Boezem im Nabble Blog sich mit den unschönen Methoden von Semalt genauer auseinandergesetzt, zum anderen habe ich das Script von Cash noch mal um etliche andere unangenehme Domains erweitert. Bereit? Festhalten! Hier kommt es.

.htaccess code:

# Block Semalt related referrer spam
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*o\-o\-6\-o\-o\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*bestwebsitesawards\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best\-seo\-offer\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best\-seo\-solution\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-your\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
RewriteRule ^(.*)$ – [F,L]

Analytics bietet Filterfunktion an

Gute Neuigkeiten: Google Analytics bietet seit neuestem die Möglichkeit, bekannte Bots und Spiders automatisiert zu filtern. Das ganze lässt sich einfach per Checkbox an- und abschalten.

Und das geht so:

In Google Analytics findet ihr die Funktion unter Verwalten -> Einstellungen der Datenansicht.

In Google Analytics findet ihr die Funktion unter Verwalten -> Einstellungen der Datenansicht.

Hier müsst ihr folgendes Häckchen setzen:

Alle Treffer von bekannten Bots und Spidern ausschließen.

Alle Treffer von bekannten Bots und Spidern ausschließen.

Das ganze hat aber zwei Schwachstellen:

  1. Es werden nur Treffer von bekannten Bots und Spidern ausgeschlossen.
    (Google reagiert da etwas träge…)
  2. Das gilt nur für künftige Zugriffe. Die alten Statistiken bleiben also versaut.

Damit könnt ihr künftig auch Semalt und Kambasoft aus den Statistiken kicken. Ich stelle das mittlerweile bei jedem Kundensystem so ein.

Lösung für Piwik

Bis vor kurzem konnte man durch Anpassungen in der Datei „piwik/config/global.ini.php“ Referer Spam eigenständig blockieren. Nun hat Piwik Community entschlossen, Referer Spam massiv entgegenzutreten:

Seit Version 2.13.0 lädt Piwik eine eigene Blacklist, die auf GitHub von der Community gewartet wird.

Piwik verspricht vollmundig:

New spammers are continuously detected and added to Piwik’s blacklist on each update. […] If you use Piwik and keep it up to date, you do not need to do anything.

Sollte hier ein Spammer fehlen, könnt ihr die Liste sogar selbst erweitern oder eine neue Issue eröffnen und die Änderungen von den Admins einpflegen lassen. Eine nette Idee. Ob das aber wirklich so gut funktioniert wie geplant, werden die Zeit und eure getracken Daten zeigen…

Lösung für Analytics

Es gibt ja mittlerweile eine Menge Bots, die gar nicht auf der Seite selbst aufschlagen, sondern sich direkt bei Google Analytics eintragen. Die könnt ihr leider per .htaccess nicht ausschließen, weil sie eben euren Server überhaupt nicht mehr besuchen.

Auch dafür gibt es eine schicke Lösung. Ihr könnt die Segment-Funktion nutzen, um unliebige Referrer aus den Statistiken zu filtern. Die Daten sind zwar noch da, aber sie stören eure Analyse nicht mehr. Das ganze ist superschnell erweiterbar. Und das Beste: Das klappt auch toll mit euren bisherigen Statistiken!

Ein-Klick-Lösung

Großartig: Google Analytics ermöglicht es, Segmenteinstellungen einfach per Link weiterzugeben. Damit entfällt für Euch die Handarbeit. Ich habe hier schon mal was eingerichtet. Damit habt ihr eine tolle Basis, die ihr nach eigenen Wünschen erweitern oder reduzieren könnt!

Diesen Tipp habe ich übrigens im Blog von Frank Laus gefunden.

Wenn ihr die Ein-Klick-Lösung nicht nutzen wollt, findet ihr im Folgenden die komplette Anleitung zum nachbauen.

Schritt 1 – Segment erstellen

Ihr geht in Google Analytics zu Verwalten -> Segmente.

Zuerst erstellt ihr ein neues Segment.

Zuerst erstellt ihr ein neues Segment.

Schritt 2 – Segment einrichten

  • Ihr erstellt ein neues Segment und benennt es sinnvoll.
  • Als Bedingung wählt ihr „Mediumstimmt genau übereinreferral
  • Schließlich wählt ihr „Quelleenthält – …“
  • Nun fügt ihr alle Störenfriede hinzu.
    Es genügen auch Teilbegriffe. Ihr müsst also nicht einmal die gesamte URL einfügen.
Als Bedingung wählt ihr Referral und richtet hier alle Spambots als Quellen ein.

Als Bedingung wählt ihr Referral und richtet hier alle Spambots als Quellen ein.

Schritt 3 – Segment anzeigen lassen

Künftig könnt ihr bei allen Ansichten einfach das neue Segment anwählen und hat saubere Analysedaten!

Saubere Analysedaten dank Segmentierung.

Saubere Analysedaten dank Segmentierung.

Viel Erfolg! Und lasst mich wissen, welche Erfahrungen ihr mit diesen Tipps gemacht habt.

118 Antworten
  1. Ellen
    Ellen says:

    I have the same problems with Semalt.
    I did put the code in my .httaccess file. I did test both codes, on different times. On different spots in the .htaccess file. But my website crashes when I append the code. Can you give an indication why?

    Antworten
  2. Danosch
    Danosch says:

    Besten Dank für den Hinweis.

    Mir ging das auch schon seit Tagen auf die Nerven, da der Crawler echt nahezu alle meine Projekte durchleuchten wollte.

    Vielen Dank für die Hilfe.

    Antworten
  3. Andreas
    Andreas says:

    Hallo,
    bei mir bringt dieser Tipp nichts!
    RewriteCond %{HTTP_REFERER} semalt\.com [NC]
    Da der Crawler auch über semalt.semalt.com kommt habe ich nachfolgendes eibngegeben:
    RewriteCond %{HTTP_REFERER} *semalt\.com [NC]
    RewriteCond %{HTTP_REFERER} semalt.semalt\.com [NC]

    Der Crawler ist aber immer noch sein Unwesen am treiben

    Sollte RewriteCond %{HTTP_USER_AGENT} nicht mehr Erfolg bringen?
    RewriteCond %{HTTP_USER_AGENT} *semalt\.com [NC]
    RewriteCond %{HTTP_USER_AGENT} semalt.semalt\.com [NC]

    Probiere das jetzt mal aus.
    Bin mir auch am Überlegen die komplette Ukraine zu sperren, daher kommen bei mir > 95% der Bat Bots!

    Wer weiß noch einen Rat gegen Semalt Bösewicht?

    Gruß
    Andreas

    Antworten
  4. magdeburger
    magdeburger says:

    Habe eben im Netz mehrere Einträge auf Blogs gelesen, das Semalt über adsense eine Autorisierung verlangt, scheint doch nicht nur ein crawler zu promotionzwecken zu sein. Ich werde die Sache erst mal aussitzen und natürlich nichts bestätigen. Auch vom eintragen aus der Austrageliste wird abgeraten

    Antworten
  5. Ursula
    Ursula says:

    Ich beobachte das ganze schon lange. Aber die sind auch nicht blöd ! Was die jetzt machen ist folgendes :
    72.semalt.com…
    4.semalt.com …
    80.semalt.com … etc.
    Was machst du jetzt mit der .htaccess ?

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Ursula,
      hast Du den Code schon getestet? Und ist danach noch was durchgekommen? Eigentlich muss der Eintrag auch alle Subdomains zuverlässig blockieren. Ich hab das eben auch nochmal in einer Testumgebung ausprobiert.
      Falls es bei Dir nicht klappt, meld Dich per Mail, dann können wir nochmal gemeinsam schauen, woran es liegt.
      Beste Grüße!

      Antworten
      • Ursula
        Ursula says:

        Hallo Phillip !

        Nein. Da so viel davon betroffen sind, habe ich ehrlich gesagt gehofft, dass das eine „höhere Instanz “ erledigen wird. Wie es aussieht, hat nur wordpress.com reagiert.
        Hilft uns auf wordpress.org aber wenig.
        Vielleicht kannst du uns auf dem Laufenden halten, wie es bei dir in ein paar Wochen aussieht ?

        Antworten
  6. Michael
    Michael says:

    Hallo Philip,

    erst mal vielen Dank für die Anleitung 🙂 die funktioniert wunderbar. Ich hatte Semalt mittlerweile täglich als Besucher, sogar bis zu drei mal, mit entsprechenden Subdomains. Jetzt ist erst mal die Seite nicht mehr da.

    Mittlerweile seit gut einer Woche, kommt der Crawler nicht mehr vorbei, dank deiner Anleitung.

    Also nochmals vielen Dank.
    Michael

    P.S.: Interessante Seite, habe sie für mich gespeichert.

    Antworten
  7. Cash
    Cash says:

    Ein Eintrag für die htaccess sie wie folgt aus:

    RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*kambasoft.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*semalt.com/ [NC]
    RewriteRule ^(.*)$ – [F,L]

    Damit werden auch die Subdomains z.B. 72.semalt.com usw. blockiert.
    savetubeviedeo und kambasoft erzeugen ebenfalls unerwünschte Zugriffsmuster.

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Danke für den Tipp! Ich hab das noch nicht ausprobiert, die Lösung mit den Wildcards und der ODER-Funktion schaut aber gut aus. Savetubevideo wären auch tatsächlich die nächsten auf der Liste der nervigen Bots. Dank der ODER-Funktion könnte man diese Liste dann auch beliebig erweitern.

      Antworten
    • Cash
      Cash says:

      Hallo Philipp,

      hier mal eine Ergänzung zu meinem Posting vom August 2014.

      In einigen Kommentaren wird bemängelt, dass der Spambot weiterhin trotz Eintrag in der htaccess durch kommt. Das liegt möglicherweise daran dass der Referer dahingehend manipuliert wurde dass kein abschließender / (Slash) mitgesendet wird. Der Slash muss nicht zwingend eingetragen sein und kann aus dem Eintrag ohne weiteres entfernt werden.
      Beispiel alt:
      RewriteCond %{HTTP_REFERER} ^http://.*semalt.com/ [NC]
      mit entferntem Slash
      RewriteCond %{HTTP_REFERER} ^http://.*semalt.com [NC]

      Da immer wieder neue Domains auftauchen bin ich auch dazu übergegangen dem Bot nicht mehr zu zeigen, dass er erkannt und gesperrt (403) wird. Dazu wird er einfach auf seinen eigenen localhost geschickt.

      Hier mal ein Beispiel:
      RewriteCond %{HTTP_REFERER} ^http://buttons-for-website.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://buttons-for-your-website.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*hvd-store.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*hundejo.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*burger-imperia.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*specialdessous.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*ultraslo.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*forum69.info [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*best-seo-solution.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*best-seo-offer.com [NC,OR]
      RewriteCond %{HTTP_REFERER} ^http://.*semalt.com [NC]
      RewriteRule ^(.*)$ http://localhost/ [R,L]

      Hatte ich vorher bis zu 50 Zugriffe pro Tag sind es inzwischen nur noch 1-2 mal am Tag.
      Das funktioniert mit jedem Referer der eingetragen wird..

      Grüße
      Cash

      Antworten
  8. Marion
    Marion says:

    Herzlichen Dank für deinen Tipp.
    Auch meine Websites werden schon seit geraumer Zeit mehrfach pro Tag von Robots dieser Domain besucht. Hab´s jetzt mal in die .htaccess-Datei eingefügt und bin gespannt… 🙂

    Antworten
    • Marion
      Marion says:

      So, zwei Tage sind nun seit der Einbindung des Codes vergangen und seitdem kein Besuch mehr von semalt.com. SUPER! Nochmals gaaaanz herzlichen Dank! 🙂

      Antworten
        • Marion
          Marion says:

          Habe jetzt auf Analytics einen neuen Spam-Crawler entdeckt und zwar „cenoval.ru“. Obwohl ich mit diesem genauso in der .htaccess-Datei verfahren bin wie mit „semalt“, funktioniert der Code hier nicht? Woran kann das liegen? Der Code müsste doch ebenso für andere Spam-Crawler funktionieren? Oder übersehe ich etwas?

          Antworten
          • Philipp Clarin
            Philipp Clarin says:

            Hallo Marion, unter Umständen greift dieser Crawler direkt auf Analytics zu – ohne Deine Website überhaupt zu besuchen. In diesem Fall hilft auch das Blockieren durch die .htaccess nichts, dann müsstest Du den Zugriff direkt in Google-Analytics blockieren. Im Artikel findest Du einen Link dazu.

  9. Maximusweb
    Maximusweb says:

    Danke für den Schnippsel.

    Viele Angriffe werden über Proxies realisiert.
    Um den Zugriff per Proxie usw. zu unterbinden:
    RewriteEngine on
    RewriteCond %{HTTP:VIA} !^$ [OR]
    RewriteCond %{HTTP:FORWARDED} !^$ [OR]
    RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]
    RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]
    RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]
    RewriteCond %{HTTP:XPROXY_CONNECTION} !^$ [OR]
    RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]
    RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$
    RewriteRule ^(.*)$ – [F]

    Wer es brauchen kann…

    Antworten
  10. Katharina von Bloggen für schlaue Frauen
    Katharina von Bloggen für schlaue Frauen says:

    Hallo Philipp, danke für den Tipp. Ich habe den von dir bereitgestellten Code (ganz oben) in meine .htaccess eingebaut, allerdings gingen die „netten Besuche“ nach drei, vier Tagen von vorne los, nur dass die Bots jetzt von Subdomains kommen (7667.semalt.com usw.). Ich weiß jetzt nicht genau was ich tun soll, kannst du mir helfen? LG, Katharina

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Katharina, Maximusweb und Cash haben in den Kommentaren noch sehr interessante Vorschläge gemacht. Vielleicht ist da was passendes dabei? Lass mich wissen, ob’s geklappt hat. Beste Grüße!

      Antworten
        • Philipp Clarin
          Philipp Clarin says:

          Hallo Katharina, der Code von Cash (blockt Crawler) ersetzt meinen Vorschlag. Ich würde ihn ganz oben in die .htaccess schreiben. Falls das zu Problemen führt, teste andere Stellen. Der Code von Maximusweb blockt Besucher, die über Proxies kommen. Das kann u.u. zu ungewollten Ergebnissen führen. Wenn Du nicht sicher bist, was Du tust, würd ich ihn erstmal weglassen. Ansonsten setz ihn gleich unter den Code von Cash. Ich hab den Artikel noch um ein weiteres Update erweitert und hoffe, dass eine Lösung für Dein Problem dabei ist! Beste Grüße, Philipp

          Antworten
  11. Marcus
    Marcus says:

    Mich nervt SEMALT auch in GA. Ich werde es einavh in GA versuchen auszufiltern. Wenn das nicht geht, versuche im mal die .htaccess Lösungen durch. Vielen Dank für die gute Linl-Sammlung …

    Antworten
  12. Tobias
    Tobias says:

    Ich danke dir vielmals,

    habe den Code gerade in die htaccess geschrieben und bin gespannt auf die nächsten Tage! Echt ziemlich lästig diese Bots, schön dass es Menschen gibt die sich darum kümmern – in diesem Fall du….

    lg
    Tobias aka Imperialfool

    Antworten
  13. Uncle-Jo
    Uncle-Jo says:

    Danke, habe die .htaccess angelegt, da nicht vorhanden und siehe da, die Zugriffe sind wieder auf dass normale Maß gesunken. Allerdings habe ich noch payclicking.com hinzugefügt, da der größte Teil der Zugriffe von denen kam. Kann mir einer sagen was es mit denen auf sich hat?

    Viele Grüße
    Uncle-Jo

    Antworten
  14. Ralph Lindner
    Ralph Lindner says:

    Falls man den Facebook oder Google-Login nutzt gönnt sich Semald übrigend das Recht die Kontaktliste (Google) nicht nur lesen, sondern auch verändern zu dürfen. Wirklich sehr seriös! Danke für den hilfreichen Artikel!

    Antworten
  15. Thomas
    Thomas says:

    Danke für die Hinweise, ich hab mal die Domainliste eingetragen. Danke auch für den Tipp mit dem „OR“ am Ende der Zeile, das hat mir bei der Fehlersuche an anderer Stelle geholfen. 🙂

    Antworten
  16. Paul
    Paul says:

    Hallo Philipp! Ich habe den .htaccess auf der Website eingebaut aber leider kommen die semalt.semalt.com und
    buttons-for-website .com weiter durch. Kann das an der robots.txt liegen? Wäre froh wenn Du mir da weiter helfen könntest. Besten Dank im Voraus

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Paul, Du kannst den Code problemlos nach den vorgegebenen Mustern selbst erweitern. Mit der robots.txt sollte das nichts zu tun haben. Hier kann man zwar Bots darauf hinweisen, dass man bestimmte Seitenbereiche nicht gecrawlt haben möchte, mehr als eine fromme Bitte ist das aber nicht. Unseriöse Bots ignorieren die robots.txt einfach.

      Antworten
      • Jupp
        Jupp says:

        Hallo Philipp, danke für deine Arbeit, ich habe die von dir erstellte .htaccess eingebaut und es hat geklappt, manchmal kamen neue „Besucher“ dazu und die habe ich einfach in die .htaccess hinzugefügt und aus wars, aber nun ist ein neuer aufgetaucht, buttons-for-website .com, obwohl ich den auch hinzugefügt habe, kommt er trotzdem als einziger immer wieder.
        Gibt es dafür eine Erklärung?
        Danke!

        Antworten
        • Jupp
          Jupp says:

          RewriteCond %{HTTP_REFERER} ^http://.*festivalstar\.de/ [NC,OR]
          RewriteCond %{HTTP_REFERER} ^http://.*vestastone\.com/ [NC,OR]
          RewriteCond %{HTTP_REFERER} ^http://.*ddshosting\.com/ [NC,OR]
          RewriteCond %{HTTP_REFERER} ^http://.*luxlampshades\.com/ [NC,OR]

          Diese 4 Kandidaten habe ich auch noch hinzugefügt, nachdem sie bei mir auftauchten.

          Antworten
          • Philipp Clarin
            Philipp Clarin says:

            Hallo Jupp, danke für die neuen Kanditaten. Den Code kann jeder nach seinen Bedürfnissen anpassen. Ich habe mir erlaubt, bei allen Erwähnungen von buttons-for-website ein Leerzeichen vor das .com zu setzen. Ich hoffe auf euer Verständnis – aber ich möchte denen nicht mal eine Erwähnung der vollständigen ihrer URL gönnen.
            Warum die Buttons-Seite trotz Eintrag in die htaccess noch auftauchen sollte, kann ich mir nicht erklären. Hast Du nochmal geprüft, ob sich eventuell ein Schreibfehler o.ä. eingeschlichen hat?

          • Philipp Clarin
            Philipp Clarin says:

            Hallo Jupp, kann sein. Ich bin kein Profi in Regex angelegenheiten. Gut möglich, dass man Bindestriche mit einem Backslash maskieren muss. Dann würde das so aussehen: buttons\-for\-website\.org
            Ich teste das gerade auf einer meiner Seiten. Falls die Besuche enden, gebe ich hier Bescheid.

          • Jupp
            Jupp says:

            Hallo Philipp,
            ich bin noch einen Schritt weiter gegangen, und zwar backslashes vor und hinter den Bindestrichen: buttons\-\for\-\website\.com
            Ich teste beide Versionen auf zwei verschiedenen websites, mal schauen was passiert.

  17. Manfred
    Manfred says:

    Ich persönlich verwende folgenden Eintrag in der .htaccess und fahre damit auf meinem Server sehr gut:

    Options +FollowSymLinks
    RewriteBase /
    RewriteCond %{HTTP_REFERER} ^(http://)?(www\.)?buttons-for-website.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^(http://)?(www\.)?semalt.*$ [NC]
    RewriteRule .* – [F]

    Antworten
  18. Anna
    Anna says:

    Hallo
    Ich benutze WordPress und das ganze verfolgt mich nun seit einiger Zeit.
    Ich würde gerne wissen Wo man das ganze in WordPress einbaut um ruhe zu haben. Ich gebe zu hier kein Computer Profi zu sein. Benutze schon ein BAN Ad on. Der Eintrag ist mit einer der besten auf Deutsch den man im Moment zum Thema findet. Danke!

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Anna, danke für das Lob.
      Direkt in WordPress lässt sich das ganze leider nicht einbauen. Statt dessen müsstest Du den Code in die .htaccess eintragen. Das ist eine Datei, die sich normalerweise im Root-Verzeichnis Deiner WordPress-Installation befindet.
      Das funktioniert allerdings nur bei selbstgehosteten WordPress Installationen. Solltest Du nicht weiterkommen, schreib mal den Support Deines Webhosters an. Die sollten Dir sagen können, ob Du die .htaccess nutzen kannst und wie Du Zugriff darauf erhältst.
      Beste Grüße!

      Antworten
      • Anna
        Anna says:

        Hallo Philip
        Danke für die schnelle Reaktion. Sprich für deine Seite.
        Ich habe derweil mal in den Plugins Angeboten von WordPress nachgesehen und es gibt hier zwei Plugins welche dem Semalt Crawler aufhalten sollen. Ich habe einmal einen Installiert und sehe nach was Passiert. Melde mich so bald ich hier sagen kann ob es klappt oder nicht, für all die „Stillen WordPressblogbetreiber/innen“ die hier Still mitlesen. Wenn gewünscht.
        Grüße
        Anna 🙂

        Antworten
  19. Danilo Galke
    Danilo Galke says:

    Hey Leute,

    mich nerven die auch schon lange, aber leider hab ich nicht so viel Ahnung vom programmieren.
    Ich arbeite mit Muse und kann eigentlich nur html Codes einfügen.

    Hat jemand von Euch einen Tipp wie ich den Code bei Muse in meine Page einbinden kann ?

    Danke !

    Antworten
  20. Martin Falley
    Martin Falley says:

    Klasse, daß es diese Seite gibt. Ich bin erst gestern darauf gestoßen, weil mich mal wieder die vielen Eintrage im Piwik-Log von BFW genervt haben und ich eine Möglichkeit suchte, diese loszuwerden.

    Nun habe ich mal versucht, die besten Tips herauszufiltern und die entsprechenen Einträge in meiner .htaccess vorgenommen. So sehen die dann aus:

    RewriteEngine on
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.com.br.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.net.br.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.net.co.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.in.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kz.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ar.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ly.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.cn.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.th.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.tw.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kr.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ru.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.mx.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.vn.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.jp.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.buttons-for-website.com.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kosova.de.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kambasoft.com.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.bbtec.net.*$ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.savetubevideo.com.*$ [NC]
    RewriteRule ^(.*)$ – [F,L]

    Leider hat das rein gar nichts genützt. Heute hatte ich wieder einen Eintrag im Log.

    Habe ich was falsch gemacht? die obige Liste steht in der .htaccess gleich nach den Serveranweisungen wie ‚mod_gzip_on Yes‘.

    LG
    Martin

    Antworten
      • Martin Falley
        Martin Falley says:

        Hi Philipp
        Ich habe das irgendwo abgeschrieben und nur erweitert. Das fehlende .OR ist vielleicht der Fehler, weshalb es bei mir (bisher) nicht funktioniert.

        Das mit den TLDs ist bei mir OK. Ich betreibe eine kleine Ferienhausseite und erwarte keinerlei Anfragen aus diesen TLDs. Was dennoch von da kommt, kann nur Spam sein,

        LG
        Martin

        Antworten
      • Martin Falley
        Martin Falley says:

        So, jetzt habe ich gestern meine .htacces nochmal korrigiert und etwas erweitert. Im Netz habe ich noch diesen Link http://www.prestashop.com/forums/topic/376261-solved-semalt-spam-referrers/#entry1856000 gefunden, der behauptet, daß es perfekt funktioniert. Ich habe es ausprobiert und seitdem nur noch 4 neue Einträge mit vermutlich fehlgeschlagenen Zugriffen festgestellt. Diese Zugriffe erfolgten über eine IPv6 Adresse mit jeweils 4-maliger Aktualisierung der aufgerufenen Seite. Ansonsten wurde kein Referrer eingetragen. Solange es so bleibt und BFW keinen Referrer mehr setzen kann, bin ich zufrieden. Vielleicht geben die Typen ja dann irgendwann auf. Meine .htaccess sieht jetzt auszugsweise so aus:

        mod_gzip_on Yes

        RewriteEngine on
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.com.br.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.net.br.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.net.co.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.in.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kz.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ar.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ly.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.cn.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.th.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.tw.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kr.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ru.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.mx.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.vn.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.jp.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.gt.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.ca.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*DuckDuckGo\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*website-errors-scanner\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*musicas.baixar-musicas-gratis\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.thecoral.com.br.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.family1st.ca.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.audiobangout.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.zverokruh-shop.cz.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.aosheng-tech.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.foxtechfpv.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.fungirlsgames.net.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.realting-moscow.ru.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.motion-interactive.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.bkns.vn.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.clmforexeu.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.gototal.co.nz.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.urlopener.blogspot.com.au.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.medispainstitute.com.au.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.adelly.bg.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.malls.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.buttons-for-website.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kosova.de.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kambasoft.com.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.bbtec.net.*$ [NC,OR]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.savetubevideo.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.twincitiescarservice.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.istanbulit.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.tastyfoodideas.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.susanholtphotography.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.noumeda.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.jasonpartington.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.constantaservice.net.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.mountainstream.ms.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.mainlinehobby.net.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.twincitiescarservice.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.notaria-desalas.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.williamrobsonproperty.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.cherrypointplace.ca.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.teastory.co.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.aosheng-tech.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.medicovi.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.mericanmopedstore.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.pyrodesigns.com.au.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.callejondelpozo.es.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.retreatia.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.touchmods.fr.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.hostcritique.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.princeadvantagesales.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.houseofrose.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.h2monline.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.edelstahlschornstein-123.de.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.lmrauction.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.lol-smurfs.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.leadwayau.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.streha-metalko.si.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.funnypica.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.alessandraleone.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.itsdp3.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.cbcseward.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.itronics.ca.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.medi-fitt.hu.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.thepokertimer.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.abovetherivernc.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.uzungil.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.hostingclub.lk.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.invivo.hu.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.freeseedsonline.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.sonyelektronik.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.iminent.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.savetubevideo.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.kambasoft.com.*$ [NC]
        RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.srecorder.com.*$ [NC]
        RewriteRule ^(.*)$ – [F,L]

        #Block referer spam
        SetEnvIfNoCase Referer semalt.com spammer=yes
        SetEnvIfNoCase Referer st3.cwl.yahoo.com spammer=yes
        SetEnvIfNoCase Referer buttons-for-website.com spammer=yes

        # BLOCK USER AGENTS
        RewriteEngine on
        RewriteCond %{HTTP_USER_AGENT} NerdyBot [NC,OR]
        RewriteCond %{HTTP_USER_AGENT} Validator.nu/LV [NC]
        RewriteRule !^robots\.txt$ – [F]

        # BLOCK BLANK USER AGENTS
        RewriteCond %{HTTP_USER_AGENT} ^-?$
        RewriteRule ^ – [F]

        Order allow,deny
        Allow from all
        Deny from env=spammer
        deny from 217.23.11.15
        deny from 217.23.7.130

        Ich hoffe, daß es so auch bei allen anderen Geschädigten funktioniert. Ich selbst bin leider kein Programmierer und mein Wissen ist dementsprechend sehr eingeschränkt. 😉

        LG
        Martin

        Antworten
        • mt
          mt says:

          Martin, Du hast reguläre Ausdrücke leider nicht verstanden.

          Beispiel:

          RewriteCond %{HTTP_REFERER} ^http(s)?://(www.)?.ca.*$ [NC,OR]

          Das sperrt nicht nur Referrer, die auf .ca enden, sondern alles, was ca+was beliebiges im Namen hat, z.b. Auch http://www.acarrerra.de

          Und auch der Punkt nach dem Fragezeichen ist Schwachsinn, weil er ein beliebiges Zeichen fordert. Und den Punkt nach einem eventuellen www-Präfix filterst Du ja schon in der Klammer…

          Fazit: Das ist ganz großer Murks und ich hoffe nicht, dass sich das irgendjemand ohne darüber Nachzudenken, in die .htaccess kopiert hat.

          Richtig wäre, wenn wir z.B. .ca, .in und .ru blocken wollen…

          RewriteCond %{HTTP_REFERER} ^http(s)?://(.*)?.(ca|in|ru)(/.*)?$ [NC,OR]

          Antworten
          • Martin Falley
            Martin Falley says:

            Hi mt

            Ich hatte geschrieben „Ich selbst bin leider kein Programmierer und mein Wissen ist dementsprechend sehr eingeschränkt. ;)“.

            Ich denke, das schränkt die Verwendbarkeit meiner .htaccess deutlich genug ein.

            Vielen Dank für Deine/n Korrektur/Vorschlag. Ich habe es so (um einige TLDs erweitert) mal in meine Datei eingebaut. Sehen wir, ob sich was ändert. Zumindest hatte ich mit meiner Version keine unerwünscheten Einträge mehr. Ob es Nebenwirkungen gab, habe ich nicht überprüft. Es sollen ja im Prinzip auch nur Besucher aus bestimmten TLDs und die besagten Referer-Spammer ferngehalten werden.

  21. Uli
    Uli says:

    Danke für die Scripte.
    Habe virtuellen Server, gibt es da nicht Probleme mit der Last?
    So hatte sich mal ein Supportler geäussert, bin selber nicht so in der Materie drin.

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Uli, meinst Du mit „Probleme mit der Last“, dass die vielen Prüfungen in der .htaccess die Seitenausführung verlangsamen? Das kann durchaus sein, wobei das hier vorgeschlagene Script relativ performant ist und keine spürbaren Auswirkungen haben sollte. Du kannst das Script aber auch anpassen und alle Plagegeister, die Dich nicht betreffen, weglassen – dann hast Du sicher keine Probleme. Beste Grüße!

      Antworten
  22. Clownfisch
    Clownfisch says:

    Das eine Problem sind die ständig wechselnden Subdomains, denen man aber mit den Wildcards begegnen kann. Ärgerlicher sind aber die vielen Nachahmer. Mit „buttons-for-website“ ärgere ich mich aktuell rum.

    Antworten
  23. Ulf Theis
    Ulf Theis says:

    Vielen Dank für den umfangreichen .htaccess Code zum ausschließen dieser Spamschleudern. Ursprünglich war ich eigentlich nur auf der Suche nach Informationen bezüglich der Seite „buttons-for-website.com“, da ich darüber in Piwik weltweite Referrer verzeichnet habe und mir auf diese Seite einfach keinen Reim bilden konnte. Nach ein wenig Recherche war schnell klar, das es sich um eine raffinierte Spam-Kampagne handelt.

    Nun, im Zuge dieses Artikels und den angebotenen Codes habe ich aber nun weitaus mehr lästige Zeitgenossen aussperren können und dafür nochmals ein dickes Dankeschön an den Autor und natürlich den Helfern aus den Kommentaren.

    Grüße
    Ulf

    Antworten
  24. Uli
    Uli says:

    Hallo Philipp,
    habe leider keinen Erfolg, es mal so oder so auf verschiedenen Virtuellen Servern installiert – es wird nichts aus der Blacklist blockiert.

    Meine .htaccess sehen so aus – habe ich da etwas übersehen?
    Dein Script startet gleich in der ersten Zeile.
    Hatte Script auch schon weiter unten vor „order allow,deny“ eingesetzt, klappte auch nicht.

    Die denys sind eine lange Liste und funktionieren schon lange einwandfrei.

    Danke für einen Tipp…
    Uli

    # Block Semalt related referrer spam
    RewriteEngine on
    RewriteCond %{HTTP_REFERER} ^http://.*overx50/.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline.com/ [NC,OR]
    RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
    RewriteRule ^(.*)$ – [F,L]

    Options -Indexes
    AddType application/x-httpd-php .html .htm .php .php5

    order allow,deny
    deny from 211.157.8.
    ,,,,
    allow from all

    Antworten
  25. h.berkner
    h.berkner says:

    ergänzend zu den hier gut aufbereiteten infos zu semalt & co. möchte ich an dieser stelle auf die absichten hinter der scheinbar harmlosen referrer-spam-kampagne hinweisen, welche mit der domain buttons-for-website.com assoziiert ist. es sieht so aus, als sollte hier ein bot-net mithilfe unvorsichtiger webmaster, welche den dargebotenen code in die eigene website einbauen, aufgebaut werden. weitere infos findet ihr auf meiner website:

    http://www.website-go.com/artikel/block-buttons-for-website.php

    es ist imho wichtig vor allem webseitenbetreiber, welche ja primäres ziel der betreiber von buttons-for-website.com / sharebutton.net sind, über die mechanismen und die absichten hinter dieser methode hinzuweisen und vor einbindung des codes im speziellen und code nach diesem muster im allgemeinen zu warnen.

    gruß aus dem norden

    h.berkner

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Stefan. Die .htaccess ist eine sehr mächtige Konfigurationsdatei, mit der man auf vielen Webservern und in vielen Webhosting-Paketen Einstellungen vornehmen kann. Das Unterbinden von Zugriffen über bestimmte Referer ist nur ein Beispiel für die Einsatzmöglichkeiten.

      Antworten
      • Philipp Clarin
        Philipp Clarin says:

        Hallo Felix, danke für den Hinweis auf Deinen Artikel und besonders die Erwähnung von meinem Artikel darin. Da es recht einfach ist solche Spamtechniken umzusetzen fürchte ich, dass auch mittelfristig ständig neue Bots nachrücken werden. Bei mir schlagen auch alle von Dir erwähnten Crawler auf (buttons-for-website, semalt, darodar,7makemoneyonline). Da hilft nur blockieren per .htaccess, wobei einige dieser Bots sich ja auch direkt bei Analytics eintragen – ohne die eigentlichen Seiten überhaupt zu besuchen. Eine Korrelation zu Kommentarspam konnte ich in meinen Projekten nicht beobachten. Allerdings verwende ich auch sehr gute Anti-Spam Plugins, damit bekomme ich den meisten Spam gar nicht erst zu Gesicht. Es wäre also durchaus möglich. Beste Grüße!

        Antworten
  26. Oliver
    Oliver says:

    Vielen Dank für die Liste.
    Sofern Google in seinem Analytics-Code keine Lösung findet scheint es eine Endlosgeschichte zu werden.

    Warum der Referrer trotz der erweiterten .htaccess in google Analytics erscheint? Ganz einfach, die waren nie auf der Webseite. Mit speziellen Code gehen sie einfach per random alle UA-ID’s durch. Das erklärt warum zu dem Zeitpunkt des eintreffens des vermeindlichen Users kein Traffic generiert wird.

    P.S.: Hier sind gleich die nächsten Spam-Refferer: darodar.com / econom.co / ilovevitaly.co

    Antworten
  27. Schmatzler
    Schmatzler says:

    Komischerweise scheint buttons-for-website immer noch durchzukommen, trotz der .htaccess – alle anderen Nervtöter bleiben definitiv draußen. Vielleicht ist die Syntax dort falsch?

    Trotzdem vielen Dank, ich habe ein Statistikskript (CrazyStat) und die Statistiken wurden durch diese Bots massiv verfälscht.

    Antworten
  28. Leo
    Leo says:

    Servus Phil!

    Perfekte Darstellung und Updates! Sollte meine eigene Seite zum Thema Crawler mal mit Deine Lösungsansatz erweitern!

    Vielen Dank!

    Liebe grüße aus Baden bei Wien
    Leo

    Antworten
  29. Bruce Jackson
    Bruce Jackson says:

    Hi Phil,

    Danke für die information – sehr nutzvoll.

    Im „Der ultimative .htaccess-Eintrag“ aber ist eine fehler in Zeile „7makemoneyonline.“
    Du solltest auch darodar.com in die Liste aufnehmen – die sind in Europa seit Monate die schlimmsten bei alle Server die ich kontrolliere.

    Antworten
  30. Robin
    Robin says:

    Zumindest für den Semalt Crawler gibt es auch ein Formular vom „Hersteller“ (Spamer), mit dem man seine Seite von Zugriffen ausschließen lassen kann: semalt.com/project_crawler.php

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Robin, ich rate dringend davon ab, dieses Formular zu nutzen. In Update 4 habe ich Informationen gesammelt, die darauf hinweisen, dass Semalt u.a. für die Verbreitung von Malware verantwortlich ist, die mittlerweile „hunderttausende Rechner infiziert hat“. Da wäre ich mit der Eingabe von Daten zurückhaltend.

      Antworten
  31. Maik
    Maik says:

    Hi,

    für alle die selbiges Problem auch mit dem nginx beseitigen wollen:

    server {

    if ($http_referer ~* (semalt)) { return 403; }
    if ($http_referer ~* (darodar)) { return 403; }

    location / {

    }
    }

    Hilft bei mir wunderbar die lästigen SPAM Referer loszuwerden.

    Antworten
  32. Constantin
    Constantin says:

    Hallo Philipp,

    vielen Dank für den Artikel. Ich habe diese Bots nun hoffentlich geblockt. Es ist immer wieder erschreckend zu sehen, wir viele Black-Hats es heutzutage noch gibt. Google sollte diese Spammer schon längst bemerkt und aussortiert haben.

    Viele Grüße!

    Antworten
  33. Anton
    Anton says:

    Hallo Leute,

    trotz des ein Trags im .htaccess kommt der Spamer forum.topic59973390.darodar.com bei mir ins Analytics.
    heute am 24.02. ganze 22 mal war er schon bei mir.
    ist der Syntax vielleicht falsch?
    Habe einen rooot Server auf Ubuntu laufen.

    Liebe Grüße
    Anton

    Antworten
  34. Anke
    Anke says:

    Vielen Dank für die sehr hilfreichen Infos – „semalt“ bin ich vorläufig los, mit „buttons-for-website“ kämpfe ich noch. Meine Frage: kann ich mit htaccess auch den Schnüffler „bsb-service GmbH“ blockieren? Er kommt mindestens 2x pro Woche und schaut sich akribisch jede! Seite an – je nach Seiteninhalt bis zu 12 Sekunden. Die angeblichen Standorte wechseln – mal Dresden, dann wieder Stuttgart oder eine andere beliebige Stadt in Deutschland. Total nervig, auch weil ich nicht weiß, was er eigentlich will.

    Antworten
    • kai
      kai says:

      Hallo Anke,
      bist Du denn zu dem BSB Thema schlauer geworden, was genau dahinter stecken könnte? Mich interessiert explizit dies Zugriffe von BSB oder verwandten Firmen sehr – leider findet man im Netz recht wenig dazu.
      Danke und Gruß,
      Kai

      Antworten
      • Meß
        Meß says:

        Hallo Kai,
        nein, habe noch immer keine Ahnung, was BSB mit den Besuchen bezweckt. Sie kommen über ip-pol.com – aber das bringt mich leider auch nicht weiter.
        Viele Grüße
        Anke
        .

        Antworten
  35. Erwin Schemionek
    Erwin Schemionek says:

    Hallo,
    es unheimlich interessant zu sehen was ihr alles über die Hintergründe einer Website wisst. Leider bin ich nicht mal in der Lage zu wissen wie die vorgaben anwende um semalt und button for website zu blockieren. Ich weiß einfach nicht wo und wie ich die angegebene „ .htaccess „ finde. Vielleicht könnt ihr mir weiterhelfen.
    Vielen Dank im voraus, ein viel zu alter Mann für diese Dinge.
    Erwin

    Antworten
    • Rob
      Rob says:

      Die .htacess solltest du eigentlich sehen, wenn du mit einem FTP-Clienten auf den Web-Account deiner Website zugreifst. Wenn du diese Datei nicht sehen kannst, ist entweder keine Vorhanden, oder dein Hoster hat den Server so konfiguriert, dass du sie nicht sehen kann. Du musst ggf dort anfragen. Ansonsten, lege einfach eine leere Textdatei an schreibe dort die Rules (die Regeln) rein. Dann benennst du diese in .htaccess um und läds dieses auf deinen Webspace. Diese sollte dort liegen, wo die index-Datei, also die Startseite deiner Domain liegt. Nicht den Punkt vorne vergessen! Du solltest vorher, falls du Windows verwendest, die Einstellung für deine Datei-Operationen so gestalten, dass du die Extension der Dateien sehen kannst. Standartmäßig sieht man diese nämlich nicht. Hier wird erklärt, wie man alles sichtbar macht:
      http://windows.microsoft.com/de-de/windows/show-hide-file-name-extensions#show-hide-file-name-extensions=windows-7

      Antworten
  36. Benjamin K.
    Benjamin K. says:

    Vielen Dank für den guten Artikel!

    Kann jemandem etwas zu dem Bot „crawl@savetheworldheritage.org“ mit der IP Adresse 146.0.32.165 sagen?
    „Mozilla/5.0 (compatible; savetheworldheritage.org/1.0; +crawl@savetheworldheritage. org)“
    Er besucht meine Webseite störend oft.
    Alle meine anderen Seiten hat er nicht ins Visier genommen.

    Mit freundlichen Grüßen

    Benjamin K.

    Antworten
  37. Rogger
    Rogger says:

    Danke an diese großartige Seite, die Crawler gehen mir auf den S*ck 😉

    Ich habe seit kurzem Besuch von „site20.simple-share-buttons. com“
    Wie kann ich solche Besuche unterdrücken? Ähnlich wie mit „buttons\-for\-website\.com/ [NC,OR]“ denke ich, aber da muss ja noch ne Wildcard für das „site20“ eingebaut werden, oder?

    Dankeund Gruß
    Rogger

    Antworten
  38. Heidrun
    Heidrun says:

    ist dir bei der Auflistung der zu blockenden Referer eventuell ein Fehler unterlaufen?

    RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR] …

    müsste es nicht so geschrieben sein:

    RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website\.com [NC,OR] …

    Info wäre sehr nett und Danke im Voraus für deine tolle Hilfe auf deiner Website

    LG Heidrun

    Antworten
    • Philipp Clarin
      Philipp Clarin says:

      Hallo Heidrun, da haben wir beide halb recht 😉
      Vorne fehlt tatsächlich das: ^http://.*
      Dann ist aber : buttons\-for\-website\.com richtig.
      Hintergrund: Manche Zeichen, wie z.B. Bindestriche oder Punkte haben innerhalb von regulären Ausdrücken eine besondere Bedeutung. Damit sie dennoch als normale Zeichen gewertet werden, muss man sie mit dem Backslash „escapen“. (Gibt es dafür ein deutsches Wort?) Kurz: Ein Bindestrich ist ein Sonderzeichen. Ein Bindestrich mit vorangestelltem Backslash ist ein Bindestrich.
      Mehr Infos findest Du z.B. hier: https://developer.mozilla.org/de/docs/Web/JavaScript/Guide/Regular_Expressions#Verwendung_von_speziellen_Zeichen
      Ich bin mit RegEx leider auch nicht gut, aber es scheint in diesem Fall zu funktionieren.

      Antworten
  39. Erwin Schemionek
    Erwin Schemionek says:

    Hallo, ihr habt mir schon einmal geholfen. Nun habe ich eine neue Frage, vielleicht kann mir diese einer beantworten.
    Ich habe jetzt besuch von diesen beiden Seiten: best-seo-offer.com/try.php und best-seo-solution.com/try.php .
    Der Versuch folgende .htaaccess einzufügen ist leider erfolglos geblieben.

    RewriteCond %{HTTP_REFERER} ^http://.*best\-seo\-offer\.com/try.php [NC,OR]

    RewriteCond %{HTTP_REFERER} ^http://.*best\-seo\-solution\.com/try.php [NC,OR]

    Vielleicht wisst ihre einen Rat.
    Meine zweite Frage: ich kann ja verstehen das es für diese Leute interessant ist auf bekannte Seite zu tummeln, aber was machen Sie auf solch unbedeutenden Seite wie meine?

    Antworten
  40. Meike
    Meike says:

    Vielen Dank für den Code, ich habe ihn in die .htaccess eingebaut und im Wesentlichen funktioniert er. Einige Bots schlüpfen zwar immer noch durch, aber deutlich weniger als vorher. 🙂

    Antworten
  41. Markus
    Markus says:

    Vielen Dank für die wertvollen Hinweise. Ich bin diese Pest jetzt ganz einfach dadurch los geworden, dass ich nur noch Besucher aus Deutschland (die für mich relevant sind) durchlasse und den Rest heraus filtere. Dadurch habe ich 99% erreicht, da der Müll fast ausschließlich aus dem Ausland kommt. Vielleicht hilft das ja jemandem.

    Viele Grüße Markus

    Antworten
  42. wave
    wave says:

    Hallo, ich vermute dass nach der Aktivierung von Analytic (nach der Vorgabe von oben) Piwik nicht mehr funktioniert. Es kommt diese Anzeige:
    „You don’t have permission to access /piwik/index.php on this server“
    Besteht möglicherweise hier ein Zusammenhang?
    Piwik neu installiert. Leider gleiches Ergebnis.
    Gibt es eine Lösung?
    Wave

    Antworten
  43. Karin Mager
    Karin Mager says:

    Hallo Philipp,
    ich möchte dir Danke sagen für diesen Beitrag. Ich bin keine IT-Expertin, sondern verwalte bloß meine eigene Webseite. Bei der Statistikauswertung wunderte ich mich immer über so eifrige Besucher wie z.B. Semalt und fragte mich, was sich dahinter verbirgt. Bisher bekam ich nur die Auskunft, ja das sind Crawler. Dein Artikel hat mich endlich aufgeklärt. Gestern habe ich gemäß deiner „ultimativen“ Anleitung den Code für all diese unliebsamen Besucher in meine .htaccess aufgenommen. Ich bin gespannt auf die Statistik in einem Monat.

    Herzlichen Gruß aus München nach München
    Karin

    Antworten
  44. Alfred
    Alfred says:

    Super, wie ich das unterbinden kann, danach hatte ich schön öfter gesucht, nun ist dein Code in meiner .htaccess drin und ich warte jetzt mal ab.

    Antworten

Trackbacks & Pingbacks

  1. […] Philipp Clarin hat genau zu diesem Thema eine tolle Anleitung geschrieben. Mithilfe des Folgenden Code-Schnippsels, welches in die htaccess kommt, kann  man jeden X-beliebigen Crawler blockieren: […]

  2. Google Analytics: Referrer Spam (social-buttons.com, simple-share-buttons.com, …) sperren sagt:

    […] Ausführlicher Beitrag von Philipp mit Fokus auf htaccess und Datenansicht/ Segementierung […]

  3. […] Wie man den Semalt Crawler blockt – PhiliSEO […]

  4. […] kommt. Und dies, obwohl wir seit Semalt und Co. (hier eine informative Zusammenfassung zum Thema: https://philiseo.de/semalt-crawler-blockieren/) bereits eine ellenlange Liste via .htaccess ausgesperrt […]

  5. […] justusbluemer.de/blog/negative-analytics-wird-fake-traffic-generiert anerdsdiary.com/referrer-spam philiseo.de/semalt-crawler-blockieren/ […]

  6. Eine wirklich ungewöhnliche Affiliate Strategie sagt:

    […] übrigens immer noch Probleme mit dem Semalt Crawler hat, sollte sich mal folgenden Artikel durchlesen, der recht gut erläutert wie man den Crawler […]

  7. […] Philipp beschreibt ausführlich, wie die Anweisungen in der htaccess aussehen sollen, um die Spammer endlich auszusperren. […]

  8. Wie Crawler einfach nerven.. - WP-Checker sagt:

    […] Nervensägen schon seit einiger Zeit am werkeln sind). Die besten Methoden haben wir bei “Philiseo.de” gefunden – folgender Eintrag in die .htaccess hat bei uns den Erfolg […]

  9. […] dieses Artikels habe ich die Hoffnung weniger “unechte” Besucher auf meinen Domains empfangen zu […]

  10. […] lästigen Zeitgenossen von den Seiten fernzuhalten, aber mit Hilfe der .htaccess geht es. Auf Philiseo Online Marketing habe ich einen der besten Artikel im Netz zum Theme Referrer Spam und wie man ihn blockt gefunden. […]

  11. […] weitere Infos zu diesem Thema empfehle ich philiseo.de Related […]

  12. semalt Crawler und Referer Spam | Mosenturm Blog sagt:

    […] https://philiseo.de/semalt-crawler-blockieren/ […]

  13. […] es zwei Möglichkeiten, über die .htaccess mit solchen Gästen umzugehen. Möglichkeit 1: Man lässt sie gar nicht erst […]

  14. Was ist Semalt? Spam in Google Statistiken | NIMIUS Blog sagt:

    […] Nett ist es auch, Alles direkt zu Semalt zurückzuschicken (Quelle): […]

  15. semalt.com und Adsense. semalt gefährdet dein Adsense Konto sagt:

    […] etwas würde die ein oder andere Information durchaus nicht schaden. Den semalt.com hab ich jetzt per htaccess ausgesperrt und hoffe sehr, das es etwas bringt. Bei Neuigkeiten wird der Artikel […]

Hinterlassen Sie einen Kommentar

Wollen Sie an der Diskussion teilnehmen?
Feel free to contribute!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.