INFO NRH:
Wir nutzen unseren eigenen Internet Outbreak – es kann aber nicht ausgeschlossen werden, dass auch in NRH Einschränkungen gesehen werden. Das kann dann der Dall sein, wenn Backend Systeme / Anwendungen über München verbunden sind!
Innerhalb des ADAC-Netzes und über VPN ist z.B. auch die Client-Authentication nicht aufrufbar https://172.19.10.1:900
Update 11:16
Die Firewall Performance ist seit ca. 10:24 sprunghaft angestiegen… sie Anhang
Update 11:19
Die Anzahl an Verbindungen liegt (11:18) bei 1,4 Mio. !
Update 11:24
Hohe CPU-Last aufgrund hoher Connection-Anzahl an der Firewall. Firewall-Schwenk wird eingeleitet.
Update 12:24
Positive Rückmeldung seitens UHD. Identity-Agent via Firewall-Schwenk wieder verfügbar.
Update 12:44
Manuell eingeleiteter Firewall-Schwenk zum Abwurf ungewöhnlich hoher Connections und damit verbundener CPU-Last.
Update 12:48
Firewall-Schwenk eingeleitet.
Update 13:15
erneute Störung (siehe auch IR-1551108)
Update 13:23
Resolution notes: Log-Dateien die uns zur Verfügung gestellt wurden, wurden analysiert. Folgende Fehler im Log [ 4828 6312]@PC300314[4 Sep 13:51:19] [PdpDiscovery (NAC::IS::TD::Events)] NAC::CLIENT::PDPCOMM::PDPDiscovery::srvRecordQuery: Pdp discovery returned with error 232b (Der DNS-Name ist nicht vorhanden.) [ 5024 6200]@PC300314[4 Sep 13:53:12] [NetUtils (NAC::IS::TD::Surprise)] UTILS::NetUtils::getHostByName: getaddrinfo failed with error: 11001 [ 4496 6272]@PC300314[4 Sep 14:05:01] [WinHttpCCC (NAC::IS::TD::Surprise)] UTILS::WinHttpCCC::asyncCallbackMethod: STATUS_REQUEST_ERROR: error 12007 (async API 5) on request (id 1 – 2450ef8) Wir sehen viele Fehler, die auf ein Problem mit dem DNS-Server hinweisen. In vielen Fällen kann der DNS nicht aufgelöst werden bzw. ist nicht erreichbar. Der AdentityAgent ist in Ordnung und die Disconnect sind auf User-Request Fazit: Es konnte kein Problem mit Identity Agent bzw. Firewall festgestellt werden. Fehler deuten auf ein Problem mit dem DNS-Server hin. Fehler 1101 bedeutet, dass der Remote-Host oder -Agent aus Grund eines DNS-Problem, nicht verfügbar ist d. h. die IP-Adresse des Zwischenservers kann nicht aus seinem DNS-Namen aufgelöst werden. Fehler 12007 bedeutet, dass der Servername oder die Serveradresse nicht aufgelöst werden konnte. Ticket wird hiermit geschlossen
Update 13:55
Herr Ilse und Frau Steiner übernehmen jetzt die MoD Kommunikation während der Bürozeiten
Herr Schütz informiert den aktuellen MoD
InfoMail 14:11
Sehr geehrte Damen und Herren,
es gibt aktuell eine Großstörung im Internetzugang des ADAC.
Beschreibung der vorliegenden Störung
Sowohl aus der Zentrale als auch von Außenstellen und aus dem HomeOffice kommt es zu Problemen beim Zugriff auf Internetseiten.
Dies umfasst den direkten Zugriff ins Internet. Darüber hinaus stehen auch Anwendungen, die im Internet gehostet werden – wie z. B. Intranet, DocuSign – nicht zur Verfügung.
Bereits erfolgte Schritte zur Entstörung
Ab 10:45 erster Ausfall
11:45 Uhr Behebung der Störung durch Schwenk an der Firewall, weitere Analysen zur genauen Ursache wurden gestartet
Ab 13:07 Uhr zweiter Ausfall mit gleichem Fehlerbild
Rückschwenk der Firewall wurde veranlasst, erste Verbindungen funktionieren wieder
Nächste Schritte zur Entstörung
Technische Ursache für die beiden Störungen sind aktuell noch unklar.
An der Analyse wurde auch unser Security Operation Center eingebunden, um ersten diesbezüglichen Hinweisen nachzugehen.
Wir beobachten die Systeme weiter engmaschig, um sofort reagieren zu können.
Wir werden sie weiterhin regelmäßig über den Status informieren.
Herzliche Grüße
Birgit Steiner
Update 14:49
Bandansage aktiviert
Update 16:48
Sehr geehrte Damen und Herren,
anbei erhalten Sie den nächsten Update zur Störung. Alle Änderungen und neuen Informationen sind zur besseren Lesbarkeit in grau hervorgehoben.
Die Großstörung im Internetzugang des ADAC besteht mit geringeren Auswirkungen fort.
Beschreibung der vorliegenden Störung
Sowohl aus der Zentrale als auch von Außenstellen und aus dem HomeOffice kommt es zu Problemen beim Zugriff auf Internetseiten.
Dies umfasst den direkten Zugriff ins Internet. Darüber hinaus stehen auch Anwendungen, die im Internet gehostet werden – wie z. B. Intranet, DocuSign.
Diese Anwendungen stehen nur noch sporadisch nicht zur Verfügung.
Bereits erfolgte Schritte zur Entstörung
Ab 10:45 erster Ausfall
11:45 Uhr Behebung der Störung durch Schwenk an der Firewall, weitere Analysen zur genauen Ursache wurden gestartet
Ab 13:07 Uhr zweiter Ausfall mit gleichem Fehlerbild
Rückschwenk der Firewall wurde veranlasst, erste Verbindungen funktionieren wieder
14:15 Uhr Einberufung des AIS-Krisenteam, verstärkte Analyse an Firewall und IT-Systemen, Einbeziehung Internetprovider M-net, Information an SOC Orange Cyber Defense
15:15 bis 16:00Uhr Umsetzung mehrerer Maßnahmen zur Entlastung der Firewall (u.a. Filterung von Verbindungen)
Ab 16:00 Uhr Last an der Firewall sinkt, Zugriffprobleme verringern sich
Nächste Schritte zur Entstörung
Fortsetzung intensive Beobachtung durch das gesamte Krisenteam.
Analyse zusätzlicher Maßnahmen zur Vermeidung eines erneuten Auftretens bzw. zur kompletten Beseitigung.
Wir werden sie weiterhin regelmäßig über den Status informieren.
Herzliche Grüße
Birgit Steiner
Update 19:35
DDoS-Schutz auf Provider-Seite seit 15 Uhr verstärkt und gegen 16:30 Uhr nochmals optimiert. Zusätzlich an der Firewall folgende IP-Adressen Richtung ADAC.DE gesperrt 172.104.230.74, 172.105.250.7, 194.233.165.26, 172.104.243.93, 172.104.243.157
Update 22.09 04:37
Bandansage einstweilen deaktiviert
Update 08:21
Jetzt haben wir schon wieder vereinzelt Probleme mit der Client Authentication….
ACE VPN und danach https://172.19.10.1:900/… der SMS Token kommt noch an, aber das war’s
siehe IR-1552190 ADE10723 | Probleme bei der Client Authentication nach Eingabe des SMS-Token | Error unable to proceed. It is possible that the Timeout expired
Update 15:23
Am 22.09.2023 wurden zwischen 14 und 15 Uhr über einen Urgent RFC CR-1552913 beide FWGWs erfolgreich das Memory, durch boot + Schwenk, wieder bereinigt.
Update 16:58
Sehr geehrte Damen und Herren,
Zunächst die gute Nachricht: die Beeinträchtigungen beim Zugriff auf das Internet und auf dort gehostete Systeme sind behoben.
Ursache für die Störungen war ein breit angelegter DDOS-Angriff auf unseren Web-Auftritt adac.de. Dieser hat zu einer Überlast an der Firewall geführt (1,6 Mio Connections anstelle von 200.000) und infolge dessen die Authentifizierung für unsere Internetzugriffe aus dem ADAC massiv behindert.
Das umgehend einberufene AIS-Krisenteam hat schrittweise gewonnene Analyse-Erkenntnisse in technische Maßnahmen umgesetzt:
Forensik unserer Firewall-Logs haben u.a. auffällige Anfragen aus den USA und aus Russland gezeigt.
Daraufhin Blockieren aller Non-EU Anfragen durch unseren Internet-Provider (Geofencing).
Parallel Blockieren aller automatisierten Anfragen an der Login-Seite der adac.de (identifiziertes Bot-Skript).
Aktivierung eines höheren Log-Levels an der Firewall zur weiteren Eingrenzung der kritischen Anfragen.
Daraufhin Sperren von 6 auffälligen EU IP-Adressen („top-talker“) an der Firewall.
Sichern der Web-Server Logs für weitere forensische Analyse der Zugriffe.
Die detaillierte Auswertung der adac.de-Logfiles und die Analysen unseres Security Operation Centers haben ergeben, dass kein Datenabfluss und kein Break-In stattgefunden haben.
Zum aktuellen Zeitpunkt ist das Verhalten unserer Firewall und Systeme auf Normal-Niveau. Mit den ergriffenen, technischen Maßnahmen konnten wir die Angriffswelle erfolgreich brechen. Weitere Analysen unseres Internet-Providers haben gezeigt, dass die Attacken durch die Bots mittlerweile sogar eingestellt wurden. Wir dürfen uns jedoch nicht in Sicherheit wiegen, da oftmals nach einer ersten DDOS-Attacke mit weiteren und noch stärkeren Angriffsversuchen zu rechnen ist.
Auch über das Wochenende werden wir die Situation aktiv beobachten und wir haben entsprechende Rufbereitschaften installiert, um schnell reagieren zu können.
Wir werden alle geschilderten Blockierungen zunächst aufrechterhalten und in einer nächsten Sitzung des AIS-Krisenteams am Montagvormittag über eine schrittweise Lockerung des Geofencing entscheiden.
Wir werden sie auch darüber entsprechend informieren.
Herzliche Grüße
Birgit Steiner
Update 17:47
Aktivierung von breitgefächertem DDoS-Schutz auf das Ziel adac.de
Update 26.09. 11:07
Sehr geehrte Damen und Herren,
Die Situation ist weiterhin positiv:
Unsere technischen Maßnahmen haben seit Freitag durchgängig gut gegriffen und auch einen erneuten 24-stündigen Angriff auf die Login-Seite der adac.de erfolgreich abgewehrt.
Aktuell haben wir weder auf das Login noch auf sonstige adac.de-Seiten laufende DDOS-Attacken.
Wir haben im AIS-Krisenteam deshalb entschieden, den Non-EU Filter (Geofencing) zu entfernen.
Seit 14:30 Uhr kann somit wieder weltweit auf unsere adac.de-Seiten zugegriffen werden.
Dies umfasst auch den für das Marketing so wichtigen Google-Bot aus den USA (SEO Ranking).
Es gibt aktuell keinen Business Impact mehr. Unsere Systeme laufen seit 14:30 Uhr einwandfrei, es sind keinerlei Auffälligkeiten zu beobachten.
Trotzdem besteht weiterhin das erhöhte Risiko von erneuten Angriffswellen.
Wir setzen deshalb das enge Monitoring fort. Unsere Spezialisten werden weiter vorgehalten, u.a. mit außerordentlichen 24/7-Rufbereitschaften, und können bei erneuten Attacken mit den weiterentwickelten Maßnahmen sofort reagieren. Auch das AIS-Krisenteam stimmt sich weiterhin regelmäßig ab.
Sobald sich die Situation verändert, werden wir sie wieder umgehend darüber informieren.
Herzliche Grüße
Birgit Steiner
Update 26.9. 18:40
Sehr geehrte Damen und Herren,
Wir freuen uns, Ihnen mitteilen zu können, dass die durch eine DDOS-Attacke verursachte Großstörung im ADAC Internetzugang beendet ist.
Mittlerweile wissen wir, dass das russische Hackerkollektiv „NoName057“ hinter dem Angriff steckt.
Die von uns gestern um 14:30 Uhr entfernte Zugriffsbarriere (Non-EU Filter) hat 24 Stunden lang zu keinen Auffälligkeiten geführt. Unser intensives Monitoring
zeigt gewöhnliches Zugriffsverhalten. Wir haben deshalb entschieden, in den normalen Betriebsmodus zurückzukehren. D.h., der Krisenstab wurde aufgelöst und die speziell eingerichtete Sonderrufbereitschaft wurde beendet.
Für mögliche, künftige DDOS-Attacken haben wir folgende kurzfristige Maßnahmen entwickelt, die unser Sicherheitsniveau weiter erhöhen:
Wenn wir in der Zukunft bei heftigen DDOS-Angriffen entsprechende Filter setzen müssen, dann steht uns ab sofort eine Whitelisting-Funktionalität zur Verfügung. Durch diese wird sichergestellt, dass z. B. der Google-Bot (SEO Ranking) trotz Geofencing unsere Seiten erreichen kann.
Um künftig komplexere DDOS-Angriffe erfolgreich abwehren zu können, werden wir ab Donnerstag mit einer KI-gestützten Lösung bei unserem Internet-Provider M-net in Betrieb gehen und die Trainingsphase starten.
An dieser Stelle möchte ich allen AIS-Kolleginnen und -Kollegen für den engagierten und professionellen Einsatz danken
und hoffe, dass wir möglichst lange vor der nächsten Angriffswelle auf unseren ADAC verschont bleiben.
Herzliche Grüße
Birgit Steiner
