Hi Didi,
danke für den Tipp mit der HTACCESS, die nutzen wir schon um zig "dumme" Bots und Crawler aus dem asiatischen Raum auszusperren.
Unser Problem mit dem AhrefsBot ist, er wechselt nach jede Abfrage seine IP, daher müßten wir riesige Bereiche sperren und wissen noch nicht einmal über wie viele Ranges er verfügt. Incl. der Tatsache das wir dadurch auch User aussperren würden --> Bsp. wenn Deutsche IP's gespoofed werden.
Mann könnte via Fail2Ban auch die Logs permanent durchforsten lassen um die FW im gleichen Intervall zu aktualisieren, allerdings wären wir somit wieder "nur" einen Schritt hinten dran.
nachhaltige Lösungen können hier eigentlich nur vom Provider getroffen werden, denn unser Server hat nicht die Kapazität >1GB Logfiles permanent zu durchforsten.
Viele Grüße,
Cris