Cloudflare maakt einde aan kiezen tussen zoeken en AI-training

Cloud­flare heeft een nieuwe ‘Accountable’-aanduiding voor AI-crawling aange­kon­digd. In combi­natie met de instel­ling ‘AI-training weigeren’ kan elke website AI-training weigeren en toch volledig in de zoek­re­sul­taten blijven verschijnen. Elf weken geleden zei Cloud­flare dat website-eigenaren recht hadden op controle over hoe AI hun content gebruikt, en legden ze uit wat crawler-operators moeten aanle­veren om toegang te blijven krijgen. Apple, Google en Microsoft worden nu als ‘Accoun­table’ beschouwd en hebben aange­toond dat ze aan deze criteria voldoen of hebben concrete termijnen aange­geven om hieraan te voldoen. Andere gecom­bi­neerde crawlers worden geblok­keerd als website-eigenaren training blokkeren.

Veranderende spelregels

Bijna dertig jaar lang was de over­een­komst tussen crawlers en website-eigenaren simpel: zij crawlen dje website en sturen verkeer terug. AI heeft de spel­re­gels veranderd. Gecom­bi­neerde crawlers, waarbij één crawler content verzamelt voor zowel een zoekindex als AI-training, verte­gen­woor­digen nu 36,6% van het geve­ri­fi­eerde craw­ler­ver­keer op het Cloud­flare-netwerk en vormen daarmee de grootste categorie. De meeste website-eigenaren willen nog steeds gevonden worden: minder dan 1% blokkeert zoek­ma­chi­ne­craw­lers, terwijl 17% de training van AI beperkt. Tot nu toe betekende het weigeren van de training dat crawlers die niet over de juiste bestu­rings­func­ties beschikken, de zoek­re­sul­taten verliezen.

“Zo maken we het internet beter: door de openheid te behouden die zoeken waardevol maakt, terwijl we de mensen en orga­ni­sa­ties achter het web zinvolle controle geven over hoe hun werk wordt gebruikt,” aldus Matthew Prince, mede­op­richter en CEO van Cloud­flare. “We kijken ernaar uit om de samen­wer­king met bedrijven als Apple, Google en Microsoft voort te zetten, terwijl we samen­werken aan de opbouw van een gezond ecosysteem.”

Gecom­bi­neerde crawlers gaven de meeste moei­lijk­heden bij het AI-trai­nings­pro­bleem. AI-samen­vat­tingen zijn de volgende stap: elke operator die door Cloud­flare als ‘Accoun­table’ wordt aange­wezen, moet website-eigenaren de moge­lijk­heid bieden om zich af te melden voor AI-samen­vat­tingen. Tegen­woordig is dat een ja-of-nee-keuze, die elke operator afzon­der­lijk bepaalt. Cloud­flare wil begin volgend jaar website-eigenaren de moge­lijk­heid bieden om op één plek te bepalen hoeveel van hun content wordt weergegeven.

Nieuwe besturingsfuncties, nieuwe aanbevelingen

Cloud­flare vervangt de keuze voor ‘AI-bots blokkeren’ door drie bestu­rings­func­ties: één voor zoeken, één voor AI-training en één voor AI-agenten. Nieuwe websites op Cloud­flare krijgen nu sugges­ties voor aanbe­volen instel­lingen te zien die zijn afgestemd op hun bedrijfsmodel:

• Websites met adver­ten­ties: zoek­ma­chi­ne­craw­ling is inge­scha­keld, AI-training is niet toege­staan en AI-agenten worden geblok­keerd op pagina’s met advertenties.
• Alle andere websites: zoeken, AI-training en AI-agenten zijn allemaal toege­staan, in lijn met hoe de meeste websites zonder adver­ten­ties nu al werken.

Cloud­flare vervangt ook zijn ‘Managed Robots.txt’-bestand. Deze functie met ‘Bot Prefe­rence Sync’ stelt website-eigenaren in staat hun craw­l­voor­keuren eenmalig in te stellen, waarna deze auto­ma­tisch worden toegepast op alle onder­steunde crawlers. Klanten kunnen hun instel­lingen en voor­keuren op elk moment eenvoudig wijzigen.

‘Accountable’ AI-crawling

Cloud­flare heeft duide­lijke criteria vast­ge­steld voor verant­woorde en trans­pa­rante AI-crawling, inclusief gecom­bi­neerde crawlers. Er zijn vier vereisten waaraan operators moeten voldoen of zich ertoe moeten verplichten om binnen een bepaalde termijn te voldoen:

• Ze moeten website-eigenaren een duide­lijke manier bieden om zich af te melden voor AI-training via robots.txt of een verge­lijk­bare standaard
• Ze moeten website-eigenaren de moge­lijk­heid bieden om zich af te melden voor AI-gege­ne­reerde zoekresultaten
• Ze moeten website-eigenaren inzicht geven op URL-niveau in hoe hun content wordt gebruikt voor zoek­op­drachten en trainingen
• Ze moeten publie­ke­lijk beves­tigen dat het afzien van de training geen invloed heeft op de ranking van een website in tradi­ti­o­nele zoekresultaten

Apple, Google en Microsoft hebben aange­toond dat ze aan deze criteria voldoen. Google biedt bijvoor­beeld Google-Extended aan, een bestu­rings­functie waarmee websites zich kunnen afmelden voor training zonder zich af te melden voor zoeken. Eerder dit jaar kondigde Google ook nieuwe tools aan om website-eigenaren te helpen bij het omgaan met AI in zoek­re­sul­taten. Andere AI-bedrijven gebruiken aparte crawlers voor zoek­op­drachten en trai­ningen. Hierdoor kan Cloud­flare hun trai­nings­craw­lers blokkeren zonder de zoek­re­sul­taten te beïn­vloeden, waardoor Cloud­flare de betref­fende crawlers ook als ‘Accoun­table’ clas­si­fi­ceert. De lijst van gekwa­li­fi­ceerde operators is te zien op Cloud­flare Radar.

Cloud­flare is tevens een actieve deelnemer die werkt aan open stan­daarden bij de Internet Engi­nee­ring Task Force (IETF), zoals ‘ai-prefs’, een speci­fi­catie in ontwik­ke­ling waarmee elke website zijn voor­keuren voor toegang tot AI op een gestan­daar­di­seerde, over­draag­bare wijze kan aangeven. De huidige bestu­rings­func­ties zijn ontworpen om samen te werken met deze nieuwe standaarden.