Cloudflare is van plan om automatisch webcrawlers voor gemengd gebruik te blokkeren die websites indexeren voor zoekmachines en tegelijkertijd dienen als AI-agenten en -trainers. Het bedrijf bood klanten voorheen de mogelijkheid om te voorkomen dat deze crawlers hun sites doorzoeken op AI-chatbots, maar neemt nu een defensievere standaardpositie in.
CEO Matthew Prince verklaarde: “Nu het merendeel van het internetverkeer niet-menselijk is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan.” Hij benadrukte dat de nieuwe tools en partnerschappen website-eigenaren meer zichtbaarheid en commerciële kansen bieden, terwijl ze AI-bedrijven met een transparante intentie ten goede komen.
Vanaf 15 september 2026 hebben nieuwe klanten en nieuwe websites van bestaande abonnees instellingen die standaard zoeken toestaan, maar training en agentgebruik op pagina’s met advertenties blokkeren. Crawlers voor gemengd gebruik waarbij site-eigenaren geen controle hebben over het gebruik van AI-inhoud, worden standaard ook geblokkeerd op advertentiepagina’s. Gebruikers van gratis accounts zullen automatisch overschakelen naar deze nieuwe standaardinstellingen, tenzij ze zich vóór de deadline afmelden.
Cloudflare werkt zijn Pay Per Crawl-functie bij, nu Pay Per Use genoemd, waarbij site-eigenaren een vergoeding ontvangen wanneer naar hun inhoud wordt verwezen door AI-chatbots. De aankondiging omvat partnerschappen met Ceramic.AI en You.com, met de verwachting dat er nog meer AI-bedrijven zullen worden aangetrokken om deze veranderingen over te nemen.
Het nieuwe beleid wordt gezien als een strategische zet om Google uit te dagen, dat toegang heeft tot aanzienlijk meer informatie dan toonaangevende AI-bedrijven. De belangrijkste webcrawler van Google, Googlebot, indexeert sites effectief en verzamelt gegevens voor zijn AI-modellen, waardoor de opties van uitgevers met betrekking tot inhoudsgebruik ingewikkelder worden. Het beleid van Cloudflare is erop gericht Google en andere bedrijven met crawlers voor gemengd gebruik ertoe aan te zetten hun strategieën te heroverwegen.
