Dün internetin büyük bir kısmı tamamen erişime kapalıydı ve birçok web sitesi ve hizmetin performansında yavaşlamalar yaşandı. Sorunun Cloudflare ağında olduğu hemen anlaşıldı, ancak şirketin gerçek nedeni tespit etmesi biraz zaman aldı.
Cloudflare, başlangıçta büyük bir siber saldırı yaşandığını düşündüğünü , ancak daha sonra sorunların bir yazılım güncellemesindeki "acı verici" bir hatadan kaynaklandığını fark ettiğini söylüyor...
Kesinti çok büyüktü.
Sorunun Kaynağı
Popüler Cloudflare altyapı ağ sağlayıcısındaki bir sorun nedeniyle çok sayıda uygulama ve web sitesi şu anda tamamen çevrimdışı veya önemli kesintiler yaşıyor.
Cloudflare CDN, birçok popüler uygulamanın arkasındaki web sitelerine güç sağlıyor, bu nedenle Cloudflare'de herhangi bir kesintinin geniş kapsamlı etkileri var. Buna, kullanıcıların şu anda yeni gönderiler yayınlayamadığı veya zaman çizelgelerini yenileyemediği sosyal medya sitesi X (eski adıyla Twitter) da dahil. Sorun, dünya çapındaki web kullanıcılarını etkiliyor gibi görünüyor.
Cloudflare neden saldırı altında olduğunu düşündü?
Cloudflare, gördüğü örüntünün, bağlantıların yaklaşık beş dakika boyunca çevrimdışı kalıp, ardından tekrar çevrimdışı kalıp tekrar açılmak olduğunu belirtti. Bu örüntü, şirketin normalde kendi kendine düzelmeyen bir teknik hata nedeniyle hiper ölçekli bir DDoS saldırısı yaşadığına inanmasına yol açtı.
Dağıtılmış hizmet reddi saldırısı, kötü niyetli bir kişinin tüm mevcut kapasitesini kullanmak amacıyla bir sunucuya çok büyük miktarda istek yönlendirmesi ve böylece gerçek kullanıcıların hizmete erişememesi durumudur.
Siber saldırıya dair daha fazla kanıt gibi görünen şeyin aslında tamamen tesadüf olduğu ortaya çıktı.
Bizi şaşırtıp bunun bir saldırı olabileceğine inandırmak, gözlemlediğimiz bir diğer belirgin belirtiydi: Cloudflare'in durum sayfası çöktü. Durum sayfası, Cloudflare'e hiçbir bağımlılığı olmadan tamamen Cloudflare altyapısı dışında barındırılıyor. Bunun bir tesadüf olduğu ortaya çıksa da, sorunu teşhis eden ekibin bir kısmı, bir saldırganın hem sistemlerimizi hem de durum sayfamızı hedef almış olabileceğine inandı.
Gerçek neden bir Cloudflare hatasıydı
Ancak daha sonra sorunun bot yönetim sistemi tarafından kullanılan bir dosyanın güncellemesini bozmasından kaynaklandığını keşfetti.
BT'de, garip semptomlar gösteren bir sorun yaşıyorsanız bunun bir izin sorunu olduğu yönünde yazılı olmayan bir kural vardır ve burada da durum böyleydi.
Bu durum, veritabanı sistemlerimizden birinin izinlerinde yapılan bir değişiklik nedeniyle tetiklendi ve bu değişiklik, veritabanının Bot Yönetim sistemimiz tarafından kullanılan bir "özellik dosyasına" birden fazla girdi göndermesine neden oldu. Bu özellik dosyasının boyutu da iki katına çıktı. Beklenenden büyük olan özellik dosyası daha sonra ağımızı oluşturan tüm makinelere yayıldı.
Bu makinelerde çalışan ve ağımız üzerinden trafiği yönlendiren yazılım, Bot Yönetim sistemimizi sürekli değişen tehditlere karşı güncel tutmak için bu özellik dosyasını okur. Yazılımın özellik dosyasının boyutu, iki katının altında bir sınıra sahipti. Bu da yazılımın başarısız olmasına neden oldu.
Beş dakikalık ara döngülerin de basit bir açıklaması vardı.
Dosya, izin yönetimini iyileştirmek için kademeli olarak güncellenen bir ClickHouse veritabanı kümesinde çalışan bir sorgu tarafından her beş dakikada bir oluşturuluyordu. Kötü veriler yalnızca sorgu, kümenin güncellenen bir bölümünde çalıştırıldığında oluşturuluyordu. Sonuç olarak, her beş dakikada bir, iyi veya kötü bir yapılandırma dosyası kümesi oluşturulup ağ genelinde hızla yayılma olasılığı vardı.
Şirket, hatasını "derinden acı verici" olarak nitelendirerek özür diledi.
Müşterilerimize ve genel olarak internete olan etkimizden dolayı üzgünüz. Cloudflare'in internet ekosistemindeki önemi göz önüne alındığında, sistemlerimizde herhangi bir kesinti yaşanması kabul edilemez. Ağımızın trafiği yönlendiremediği bir dönem olması, ekibimizin her üyesi için derin bir acıdır. Bugün sizi hayal kırıklığına uğrattığımızın farkındayız.
