Cloudflare introduceert nieuwe classificaties, verbeterde analysetools en toonaangevende partnerschappen om transparante website-eigenaren en AI-ontwikkelingsbedrijven in staat te stellen hun middelen te bundelen om de bloei van het agentische internet te waarborgen. De nieuwe tools en integraties van Cloudflare helpen website-eigenaren en AI-ontwikkelingsbedrijven bij het optimaliseren van identificatie, efficiëntie en monetisatie. Met deze aankondiging draagt Cloudflare bij aan de vorming van een collaboratieve agentische economie die de maatschappij, website-eigenaren en AI-bedrijven ten goede komt.
De fundamentele aard van internetverkeer is veranderd. Geautomatiseerde agents en bots genereren nu meer dan de helft van alle webverzoeken. Naarmate AI zich vestigt als de nieuwe interface voor toegang tot informatie en het uitvoeren van online transacties, verandert het de regels voor contentontdekking. De meeste website-eigenaren willen hun content integreren met AI-systemen. Bedrijven waarvan het bedrijfsmodel afhankelijk is van advertenties of abonnementen, worden echter bedreigd door systemen die AI-modellen trainen op hun content zonder compensatie. Cloudflare vindt dat bedrijven die hun content willen integreren met AI-systemen, dit zo eenvoudig en efficiënt mogelijk moeten kunnen doen. Anderzijds zijn er ook tools nodig om de toegang van AI te beperken als een bedrijf deze integratie niet wenst. Als reactie op deze uitdaging test Cloudflare nieuwe standaardclassificaties die klanten meer diepgaande informatie kunnen bieden, AI-ondersteunde zoekopdrachten kunnen versnellen en ervoor kunnen zorgen dat makers eerlijk worden gecompenseerd wanneer hun content bijdraagt aan een zoekresultaat. Deze aanpak bevordert een rechtvaardiger systeem. Het optimaliseert de crawl-efficiëntie, beschermt intellectueel eigendom en stelt zowel makers als AI-modellen in staat te floreren binnen de agent-gebaseerde economie.
“Vorig jaar hebben we website-eigenaren de tools geboden die ze nodig hadden voor transparantie en controle over de bots die toegang hadden tot hun content. We zijn enthousiast over de voordelen die deze tools het ecosysteem hebben gebracht”, aldus Matthew Prince, medeoprichter en CEO van Cloudflare. “Nu het merendeel van het internetverkeer geautomatiseerd is, moeten we verder gaan en sneller handelen, zodat er een duurzaam ecosysteem kan ontstaan. De nieuwe tools en partnerschappen van Cloudflare bieden website-eigenaren meer inzicht en zakelijke kansen. Ze zijn ook gunstig voor AI-ontwikkelingsbedrijven met bots die een duidelijke en transparante intentie hebben. We hopen dat de standaardwijzigingen die we voorstellen, crawlers voor gemengd gebruik zullen stimuleren om de zoekfunctie te scheiden van het gebruik en de training van agents.”
Deadline voor beëindigen open toegang tot exploratiebots voor gemengd gebruik
Uit de duizenden gesprekken die Cloudflare heeft gevoerd met AI-ontwikkelingsbedrijven en website-eigenaren is één ding duidelijk geworden: de meeste website-eigenaren willen vindbaar zijn binnen het AI-ecosysteem. Deze vindbaarheid mag echter niet betekenen dat intellectueel eigendom wordt weggegeven aan makers die hun werk te gelde maken via advertenties en/of abonnementen. Transparante AI-ontwikkelingsbedrijven hebben hiervoor de weg vrijgemaakt door hun bots duidelijk te scheiden en te labelen op basis van hun doel. Maar crawlingbots met een gemengd gebruik benadelen zowel website-eigenaren als transparante AI-bedrijven, omdat ze zoeken, agentgebruik en training combineren. Dit dwingt contenteigenaren te kiezen tussen vindbaarheid in het tijdperk van agency en het zonder compensatie afstaan van hun meest waardevolle content. De grootste zoekmachine op de markt heeft nu toegang tot bijna twee keer zoveel informatie als de toonaangevende AI-bedrijven, omdat laatstgenoemden het moeilijk maken voor klanten die willen dat hun content vindbaar blijft zonder te worden gebruikt voor AI-trainingsdoeleinden.
De komende twee maanden zal Cloudflare samenwerken met het ecosysteem, feedback verzamelen en tests uitvoeren om de nieuwe standaardinstellingen en classificaties te finaliseren, met een streefdatum van 15 september 2026. Voor nieuwe klanten en nieuwe websites van bestaande klanten is 15 september 2026 de datum waarop de standaardinstellingen zo worden geconfigureerd dat zoekactiviteit is toegestaan, maar training en agentgebruik op pagina’s met advertenties worden geblokkeerd. Crawlers voor gemengd gebruik, die website-eigenaren niet de mogelijkheid bieden om te kiezen tussen zoeken, agentgebruik en training, worden op al dergelijke pagina’s geblokkeerd. Klanten kunnen deze instellingen uiteraard op elk moment wijzigen via hun dashboard. De wijzigingen worden ook doorgevoerd voor alle bestaande gratis klanten die hun instellingen vóór 15 september 2026 niet in hun dashboard hebben aangepast. Deze wijzigingen zijn bedoeld om de balans te herstellen tussen traditionele zoekmachines en AI-ontwikkelingsbedrijven die de betekenis van vindbaarheid in het agenttijdperk herdefiniëren.
Verbeterde analysetools voor meer inzicht en het genereren van inkomsten met content
De markt voor gemonetariseerde content is nu een feit, met uitgevers en AI-platformen die het afgelopen jaar meer dan 50 belangrijke licentieovereenkomsten voor content hebben getekend. Om deze overeenkomsten te versnellen, lanceert Cloudflare het nieuwe Attribution Business Insights-dashboard. Dit dashboard elimineert de data-asymmetrie die contenteigenaren lange tijd dwong om blindelings te onderhandelen. Voor het eerst kunnen belanghebbenden (niet alleen beveiligings- en IT-teams) duidelijk zien hoe AI-bots hun content consumeren en de hoeveelheid menselijk verkeer volgen die specifieke AI-bedrijven daadwerkelijk genereren.
Inzicht in hoe AI content consumeert is echter slechts de eerste stap. Naarmate het identificatieproces verschuift van zoekmachines naar antwoordmachines, moeten klanten een nieuwe discipline beheersen: Answer Engine Optimization (AEO). AEO gaat niet alleen over het begrijpen van wie de content crawlt, maar ook hoe deze wordt geciteerd in door AI gegenereerde antwoorden, hoe vaak en met welke zichtbaarheid, in alle modellen. Net zoals webanalysetools essentiële infrastructuur zijn geworden in het zoektijdperk, wil Cloudflare de ultieme laag van monitoring- en optimalisatietools bieden die de basis vormen voor het AI-tijdperk.
Slimmer zoeken en eerlijke vergoeding
Onderhandelde contracten zijn misschien geschikt voor de grootste uitgevers, maar ze zijn niet schaalbaar voor de rest van het web. Cloudflare werkt op twee fronten om zowel contentmakers als AI-ontwikkelingsbedrijven te helpen: het verbeteren van de efficiëntie van AI-ondersteunde zoekopdrachten en het automatisch compenseren van contentmakers wanneer hun content wordt gebruikt. Momenteel crawlen AI-modellen en zoekmachines herhaaldelijk miljoenen ongewijzigde webpagina’s op zoek naar nieuwe data om gebruikersvragen te beantwoorden. Uit data van Cloudflare blijkt dat meer dan 50% van het crawlverkeer van AI-gestuurde bots wordt besteed aan het opnieuw analyseren van pagina’s die niet zijn gewijzigd. Dit leidt tot verspilling van bandbreedte voor uitgevers en rekenkracht voor AI-ontwikkelingsbedrijven, zonder dat de zoekresultaten daadwerkelijk verbeteren. Omdat Cloudflare kan zien wat er daadwerkelijk is veranderd, kunnen ze signaleren wanneer een pagina de moeite waard is om opnieuw te analyseren en wanneer de bewerking zinloos is. Dit vermindert onnodige crawls en levert betere resultaten op. Cloudflare test deze signalen met grote AI-ontwikkelingsbedrijven om te verifiëren hoe goed ze de actualiteit van informatie verbeteren en onnodig crawlen verminderen. We zijn van plan deze signalen later dit jaar breed beschikbaar te stellen.
Een jaar geleden, op de eerste Content Independence Day, lanceerde Cloudflare de eerste versie van zijn pay-to-crawl- functie. Deze functie was ontworpen om uitgevers de mogelijkheid te bieden AI-ontwikkelingsbedrijven te laten betalen voor het verkennen van hun content. Nu ontwikkelt Cloudflare dit pay-to-crawl-model verder naar een pay-per-use-model, zodat uitgevers betaald krijgen wanneer hun content daadwerkelijk waarde creëert, en niet alleen wanneer deze wordt gecrawld. Het bedrijf werkt samen met een aantal partners, waaronder Ceramic.ai en You.com, om hier een functionerende marktplaats van te maken. Met het Ceramic.ai-platform wordt een uitgever die ermee instemt deel te nemen aan het programma betaald telkens wanneer hun content verschijnt in de door AI ondersteunde zoekresultaten van Ceramic. Ze profiteren ook van de resulterende zoekopdrachten, citaties en backlinks. Andere AI-ontwikkelingsbedrijven kunnen het model gebruiken dat het beste bij hun workflow past. You.com biedt een agent bijvoorbeeld de mogelijkheid om te betalen voor toegang (op aanvraag) tot specifieke premium content die ze nodig hebben, terwijl Cloudflare de gemeenschappelijke onderliggende laag voor alle partijen levert.
Jaar van inhoudelijke onafhankelijkheid: gelanceerde producten
De Content Independence Day van vorig jaar stond in de eerste plaats in het teken van verdediging en bood tools om data te beheren. De afgelopen twaalf maanden heeft Cloudflare een solide infrastructuur opgebouwd om van een model van eenvoudige bescherming over te stappen naar een model van gerichte activering. De huidige aankondigingen vormen de bekroning van deze fundamenten, gebouwd op de drie pijlers van een duurzaam ecosysteem: controle, transparantie en monetisatie. Vorig jaar lanceerde Cloudflare AI Crawl Control, waarmee een op toestemmingen gebaseerd model voor AI-crawling werd geïntroduceerd. Om deze beveiligingsmaatregelen te democratiseren, werkt Cloudflare samen met verschillende platforms (zoals beehiiv) en biedt het gedetailleerde dashboards aan onafhankelijke contentmakers en grote mediabedrijven, zodat zij eenvoudig AI-modellen kunnen volgen, blokkeren of zich ervoor kunnen aanmelden.
Om interacties met agents op een fundamenteel niveau te beveiligen, lanceerde Cloudflare ook Web Bot Auth, een open framework waarmee AI-bots en autonome inkoopagents identiteits- en legitimiteitsbewijs kunnen leveren aan uitgevers en verkopers. Cloudflare werkt tevens samen met toonaangevende betalingsproviders om de basis te leggen voor de betalingsinfrastructuur die de opkomende agent-commerce-economie ondersteunt. Door het Web Bot Auth-framework direct te gebruiken, helpt Cloudflare deze aanbieders ervoor te zorgen dat AI-gestuurde inkoopagenten veilig transacties kunnen uitvoeren met miljoenen verkopers wereldwijd, zonder dat hun inloggegevens openbaar worden gemaakt. Uiteindelijk dragen deze initiatieven bij aan de infrastructuur voor een duurzame, op agenten gebaseerde economie en zorgen ze ervoor dat het internet van de toekomst gebouwd is op transparantie, vindbaarheid en eerlijke vergoedingen.
Grote uitgevers en AI-ontwikkelingsbedrijven ondersteunen het agentische internet.
- beehiiv : “We betreden een nieuw tijdperk dat de vindbaarheid van content volledig herdefinieert, en onafhankelijke makers verdienen het om voorop te lopen in deze verandering. De toekomst draait om makers in staat stellen de controle over hun content en hun publiek te nemen. We willen auteurs de touwtjes in handen geven, zodat ze gemakkelijk het nieuwe, actieve internet kunnen omarmen, hun zichtbaarheid in de zoekmachines van de volgende generatie kunnen optimaliseren en actief hun publiek kunnen laten groeien op hun eigen voorwaarden.” – Tyler Denk, CEO
- Ceramic.ai : “Om de toekomst van AI-gestuurd zoeken te bevorderen, hebben we een partner nodig met een enorm bereik en een gedeelde toewijding aan transparantie en eerlijke vergoedingen. Cloudflare stelt ons in staat onze activiteiten eenvoudig en programmatisch op te schalen. Door ons pay-per-query-model in hun netwerk te integreren, zorgen we ervoor dat miljoenen contentmakers transparant kunnen kiezen om betaald te worden telkens wanneer hun content in onze zoekresultaten verschijnt.” – Anna Patterson, oprichter en CEO
- Condé Nast : “Cloudflare heeft het afgelopen jaar gerenommeerde uitgevers zoals Condé Nast blijven steunen en het idee gepromoot dat we als essentiële deelnemers aan het AI-ecosysteem gecompenseerd zouden moeten worden voor onze content. Ze bieden ons een toonaangevende technische infrastructuur en blijven een strategische partner in het anticiperen op de toekomst.” – Geoff Campbell, SVP Strategy & Business Development
- Patreon : “Naarmate AI-agenten krachtiger en populairder worden, verdienen makers meer inspraak in hoe hun werk wordt gebruikt door AI-ontwikkelingsbedrijven. Op het grootste deel van het internet moeten makers AI-training op hun content accepteren om een publiek te bereiken en te laten groeien. Patreon heeft een andere visie: makers moeten hun publiek kunnen laten groeien en zelf kunnen bepalen hoe hun werk wordt gebruikt. Daarom versterken we onze bestaande samenwerking met Cloudflare om bekende AI-trainingsbots op netwerkniveau op Patreon te blokkeren, terwijl we crawlerbots blijven toestaan die makers helpen gevonden te worden en hun bedrijf te laten groeien via zoekmachines.” – Drew Ronny, SVP Product
