Beiträge von crislee

  • A3Q Server und Apache Stabilität verbessern

    Moin Didi,

    ich werte gerade die Access Logs aus [size=10] [/size];([size=10] [/size]
    Im Prinzip ist ein Block der UserAgent's möglich. Das Problem daran besteht:

    1. Den UserAgent kann man beliebig ändern und faken --> Tut jeder Handy Browser via "Desktop Seite anfordern".
    2. Mit einem BLOCK auf bspw. Mozilla/5.0 würden wir alle Mozilla kompatiblen Browser aussperren --> dummerweise alle.

    Was ich stand jetzt schon weis, uns machen auch einige inländische Bots Probleme [size=10] [/size]:thumbdown:[size=10] [/size]
    Ich seh mal was ich hinbekommen kann.

    Viele Grüße,
    Cris


    Update:

    Etwa 6000 generierte Abfragen binnen 10 Minuten, also etwa 10 synchron in der Sekunde... Das schafft unser Server leider wirklich nicht, zumindest nicht über diese Dauer [size=10] [/size]X([size=10] [/size]

    Update 2

    Hat jetzt zwar etwas gedauert, aber war wohl auch mal wieder nötig [size=10] [/size]:thumbup:[size=10] [/size]
    [size=10]
    [/size]
    Das Böse und die Masse der Request stammt aus folgendem User Agent:
    138.201.248.37(¹) - - [03/Feb/2019:01:00:09 +0100] "GET /index.php?page=PostsFeed&format=rss2&threadID=3190 HTTP/1.1" 404 7172 "-" "Mozilla/5.0 (compatible; um-IC/1.0; mailto: techinfo@ubermetrics-technologies.com; Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1"


    ¹Aus 2 Millionen Anfragen die ich analysiert habe kommen wir hier schon auf über 6000 verschiedene GLOBALE IP ADRESSEN.
    Leider versteckt sich dahinter kein Bot (Die ROBOT.TXT wird eh ignoriert) sondern ein BruteForce Angriff.

    Der Angriff alleine macht mir ehrlicher Weise keine Sorgen, die Methoden sind stümperhaft, wofür ich zur Zeit noch keine Lösung habe ist ein Block des Ganzen, so das weder eine RAM-TABLE noch der Server selbst dich machen.
    Wer hier gute Ideen hat, gerne her damit. Einträge in der FW fallen raus, das es einfach wesentlich zu viele IP's sind, und ich keinen generischen Weg kennen diese zu pflegen.
    Add-On's fallen raus, soweit geht mein Vertrauen nicht, um "fremden" Herstellern ein Türchen zum Server zu öffnen.

    Viele Grüße,
    Cris

    [size=10]
    [/size]

  • A3Q Server und Apache Stabilität verbessern

    Hi Didi,


    danke für den Tipp mit der HTACCESS, die nutzen wir schon um zig "dumme" Bots und Crawler aus dem asiatischen Raum auszusperren.

    Unser Problem mit dem AhrefsBot ist, er wechselt nach jede Abfrage seine IP, daher müßten wir riesige Bereiche sperren und wissen noch nicht einmal über wie viele Ranges er verfügt. Incl. der Tatsache das wir dadurch auch User aussperren würden --> Bsp. wenn Deutsche IP's gespoofed werden.

    Mann könnte via Fail2Ban auch die Logs permanent durchforsten lassen um die FW im gleichen Intervall zu aktualisieren, allerdings wären wir somit wieder "nur" einen Schritt hinten dran.

    nachhaltige Lösungen können hier eigentlich nur vom Provider getroffen werden, denn unser Server hat nicht die Kapazität >1GB Logfiles permanent zu durchforsten.


    Viele Grüße,

    Cris

  • A3Q Server und Apache Stabilität verbessern

    Hi zusammen,

    erst mal sorry für die Verspätung und Danke für eure Vorschläge...

    Was den Fehler betrifft: Hier wird von der Forensoftware eine Exception nicht richtig gefangen, den genauen Grund dafür kann ich leider nicht debuggen, dazu müsste ich Coding verändern was mir zu viele Sideeffekte verursacht.

    Aufgelaufene Ram-Tabellen werden automatisch geleert und volle Standardtabellen per Batch job. Diese Fehler hatten wir in der Vergangenheit selten aber es gab sie.


    Die Konfiguration des Apache selbst passt mit allem in der Zeit vorgenommen Anpassungen. Dennoch Danke Didi!

    Was einen Umstieg von Xamp zu Ngingx betrifft:

    Sicherlich könnte man das ins Auge fassen, ABER das wäre ein mittlere Schritt für ein recht kleines Problem.
    Will heißen, Aufwand und nutzen stehen hier einfach nicht im Einklang und daher nicht wirklich eine Option.

    Ich verstehe das es nervig sein/werden kann... aber in der Regel ist dieses Problem schnell behoben... Zeit eine Parallel-Struktur zu errichten (den nur diese würde für einen Test Sinn machen) habe ich leider nicht.

    Sollten wir das ganze auf Grund von altersschwäche mal wieder um ziehen, würde ich mir das mit einplanen und ggf. komplett umsetzten, denn XAMP ist leider auch nicht mehr das was es mal war.

    Viele Grüße,
    Cris

  • Das Forum lahmt !!

    Sodele bin eben noch mal in der DB rumgesaut, nun sollte es wirklich keinen Stress mehr geben.
    Sollte das Forum nochmal ausfallen müßte die DB nun den Fehler korrigieren :D

    Ja ja die guten Updates mal wieder, is ja schon fast wie bei M$ :cursing:

    Gute Nacht zusammen, sagt der fast fertige und totmüde Tauchlehrer :thumbup:

  • Das Forum lahmt !!

    Der Totalabsturtz war die Folge von zu vielen Anfragen.... das sollte nun nicht mehr vorkommen.

    Die langen Ladenzeiten werden durch den Apache verursacht, der spontan eine Auslastung von 99% CPU vordert.
    Dabei handelt es sich um einen Bug, den ich noch nicht zu beheben weiß.

    Stichwort httpd.exe :cursing:


    Gruss
    Cris