Het Content Delivery Network van Cloudflare ervaren een aanzienlijke storing op dinsdag 19 november 2025 als gevolg van een verkeerd geconfigureerde zoekopdracht in het Bot Management-systeem, met gevolgen voor verschillende internetdiensten wereldwijd. Mede-oprichter en CEO van Cloudflare, Matthew Prince, legde de oorzaak uit in een blogpostwaarbij een probleem wordt geïdentificeerd binnen het Bot Management-systeem, dat geautomatiseerde crawlers beheert. Dit specifieke probleem resulteerde in de “ergste storing sinds 2019” van Cloudflare. Ongeveer 20 procent van het webverkeer via het netwerk van Cloudflare, zoals gerapporteerd van het bedrijf vorig jaar. Door de storing zijn talloze services, waaronder X, ChatGPT en Downdetector, enkele uren lang uitgeschakeld. Dit incident lijkt op eerdere verstoringen waarbij Microsoft Azure betrokken was Amazon-webservices. De botcontroles van Cloudflare pakken uitdagingen aan, zoals crawlers die gegevens verzamelen voor generatieve AI-training. Het bedrijf heeft onlangs het ‘AI Labyrinth’ geïntroduceerd, een mitigatiemethode die gebruikmaakt van door AI gegenereerde inhoud om niet-conforme AI-crawlers en bots te belemmeren. De storing was echter het gevolg van wijzigingen in het machtigingssysteem van een database, en niet van generatieve AI-technologie, DNS of kwaadaardige activiteiten zoals een ‘hyper-scale DDoS-aanval’, waar Cloudflare aanvankelijk over nadacht. Prins legde uit dat de Botbeheer Het machine learning-model van het systeem, dat botscores genereert voor netwerkverzoeken, gebruikt een regelmatig bijgewerkt configuratiebestand om geautomatiseerde verzoeken te identificeren. Een “verandering in ons onderliggende ClickHouse-querygedrag dat dit bestand genereert, zorgde ervoor dat het een groot aantal dubbele ‘functie’-rijen bevatte.” Deze wijziging in de zoekopdracht leidde ertoe dat de ClickHouse-database dubbele informatie produceerde. Het configuratiebestand overschreed snel de vooraf ingestelde geheugenlimieten, waardoor het kernproxysysteem dat de verkeersverwerking voor onze klanten afhandelt, mislukte voor al het verkeer dat afhankelijk was van de botsmodule. Als gevolg daarvan sloten bedrijven die de regels van Cloudflare gebruikten om bots te blokkeren ten onrechte het legitieme verkeer af, terwijl klanten die de gegenereerde botscore niet in hun regels gebruikten, online bleven. Cloudflare heeft geschetst vier specifieke plannen om soortgelijke incidenten te voorkomen:
- Verhardende inname: Versterking van de opname van door Cloudflare gegenereerde configuratiebestanden volgens dezelfde standaard als door de gebruiker gegenereerde invoer.
- Meer mondiale kill-switches mogelijk maken: Implementatie van aanvullende algemene uitschakelopties voor functies.
- Kerndumps elimineren: Voorkomen dat kerndumps of andere foutrapporten de systeembronnen overbelasten.
- Foutmodi beoordelen: Onderzoek naar foutmodi voor foutcondities in alle kernproxymodules.
