Cloudflare biedt creators een nieuwe tool om het gebruik van hun content te beheren

Cloud­flare heeft een nieuwe manier geïn­tro­du­ceerd om website-eigenaren en uitgevers meer controle over hun content te geven. Daarmee kan elke website-eigenaar zijn robots.txt-bestand eenvoudig updaten. Het is een eenvoudig tekst­be­stand dat webcraw­lers vertelt welke delen van een website ze wel of niet mogen openen, met een nieuwe Content Signals-beleids­be­pa­ling. Met deze nieuwe beleids­be­pa­ling kunnen websi­te­be­heer­ders aangeven over hoe hun content door anderen mag worden gebruikt. Zo kunnen ze zich afmelden voor AI-samen­vat­tingen en AI-inferentie.

Zoekmachines worden antwoordmachines

Het internet verandert van ‘zoek­ma­chines’ die allerlei links aanbieden waar een gebruiker infor­matie kan vinden, naar ‘antwoord­ma­chines’ op basis van kunst­ma­tige intel­li­gentie (AI), die direct antwoord geven zonder dat de gebruiker ooit op de link van de oorspron­ke­lijke website hoeft te klikken. Dit vormt een ernstige bedrei­ging voor het oorspron­ke­lijke bedrijfs­model van het internet. Websites, uitgevers en content­cre­a­tors konden namelijk geld verdienen of beroemd worden door meer verkeer en kliks naar hun website te leiden. Tegen­woordig verza­melen AI-crawlers enorme hoeveel­heden gegevens van websites, maar websi­te­be­heer­ders hebben geen manier om precies aan te geven of, hoe en met welk doel hun content gebruikt mag worden. Met robots.txt-bestanden kunnen websi­te­be­heer­ders aangeven welke crawlers zijn toege­staan en tot welke delen van een website zij toegang krijgen. Het bestand vertelt de crawler echter niet wat met de content gedaan mag worden nadat toegang is verkregen. Er moet een standaard, machinaal leesbare manier zijn om aan te geven hoe de content gebruikt mag worden, zelfs nadat toegang is verkregen.

“Het internet staat te popelen om een oplossing, aangezien de originele content van creators door andere bedrijven wordt gebruikt om winst te maken”, aldus Matthew Prince, mede­op­richter en CEO van Cloud­flare. “Wij willen ervoor zorgen dat het internet open en inte­res­sant blijft, en daarom geven we de website-eigenaren een betere manier om aan te geven hoe AI-bedrijven hun content mogen gebruiken. Robots.txt is een onder­benut hulp­middel dat we kunnen versterken en waarmee we AI-bedrijven duidelijk kunnen maken dat ze de voor­keuren van content­cre­a­tors niet langer kunnen negeren.”

Nieuwe Content Signals-beleidsbepaling

Cloud­flare is van mening dat een beheerder van een website, API, MCP-server of een andere aan het internet verbonden dienst, zoals een lokale nieuws­or­ga­ni­satie, een AI-startup of een e‑commercewinkel, moet kunnen beslissen hoe de bedrijfs­ge­ge­vens door anderen voor commer­ciële doel­einden mogen worden gebruikt. Momenteel gebruiken meer dan 3,8 miljoen domeinen de door Cloud­flare beheerde robots.txt-service om aan te geven dat zij niet willen dat hun content voor training wordt gebruikt. Met de nieuwe Content Signals-beleids­be­pa­ling van Cloud­flare kunnen gebrui­kers hun robots.txt-voorkeuren versterken met een duide­lijke reeks instruc­ties voor iedereen die de website via geau­to­ma­ti­seerde middelen, zoals een AI-crawler, bezoekt. Het beleid infor­meert crawlers nu als volgt:

• Uitleg over hoe de content­sig­nalen op een eenvou­dige manier geïn­ter­pre­teerd moeten worden: ‘Ja’ betekent toege­staan, ‘Nee’ betekent niet toege­staan en geen signaal betekent geen uitge­sproken voorkeur.
• Een duide­lijke definitie van de verschil­lende manieren waarop een crawler de content gebruikt, zoals zoeken, AI-invoer en AI-training.
• Een herin­ne­ring aan AI-bedrijven dat de voor­keuren van websi­te­be­heer­ders in robots.txt-bestanden juridisch belang kunnen hebben.

Hoewel de robots.txt-bestanden het onge­wenste schrapen door AI-crawlers mogelijk niet kunnen tegen­houden, wil Cloud­flare met deze verbe­terde beleids­tekst de voor­keuren van website-eigenaren beter aan bot-operators commu­ni­ceren en ervoor zorgen dat bedrijven de voor­keuren van content­cre­a­tors beter respecteren.

Vanaf vandaag zal Cloud­flare de robots.txt-bestanden auto­ma­tisch met deze nieuwe beleids­tekst updaten voor alle klanten die Cloud­flare hebben verzocht hun robots.txt-bestand te beheren. Aan iedereen die wil vast­leggen hoe crawlers hun content mogen gebruiken via aange­paste robots.txt-bestanden, levert Cloud­flare de benodigde hulp­mid­delen.

Orga­ni­sa­ties hebben behoefte gekregen aan oplos­singen zoals de Content Signals-beleids­be­pa­ling, om duide­lijker aan te geven hoe hun content mag worden gebruikt:

• News/​Media Alliance: “We zijn erg blij dat Cloud­flare een krachtige nieuwe tool aanbiedt die alle gebrui­kers ter beschik­king staat, waarmee uitgevers kunnen bepalen hoe en waar hun content mag worden gebruikt. Dit is een belang­rijke stap om uitgevers van alle omvang de controle over hun eigen content terug te geven en ervoor te zorgen dat ze de creatie van kwali­teits­con­tent waar gebrui­kers op vertrouwen, kunnen blijven finan­cieren. We hopen dat tech­no­lo­gie­be­drijven hierdoor de voor­keuren van content­cre­a­tors zullen respec­teren. Cloud­flare laat zien dat ethisch handelen niet alleen mogelijk is, maar bedrijven ook voordeel oplevert.” – Danielle Coffey, president en CEO van de News/​Media Alliance
• Quora: “Cloud­flare toont duidelijk leider­schap en wij onder­steunen hun inspan­ningen om controles en proto­collen te ontwik­kelen waarmee uitgevers kunnen aangeven hoe toegang wordt verkregen tot hun content.” – Ricky Arai-Lopez, Head of Product bij Quora.
• Reddit: “Willen we ervoor zorgen dat het internet een plek blijft voor authen­tieke mense­lijke inter­actie, dan moeten de platforms die gemeen­schappen sterker maken, duurzaam zijn. Wij onder­steunen initi­a­tieven die pleiten voor duide­lijke signalen die bescher­ming bieden tegen misbruik en onei­gen­lijk gebruik van content.” – Chris Slowe, CTO van Reddit
• RSL Collec­tive: “We werken graag met Cloud­flare samen aan de presen­tatie van Cloudflare’s Content Signals Policy. Dit is een belang­rijke stap voor­waarts waarmee uitgevers hun rechten kunnen laten gelden en duidelijk kunnen defi­ni­ëren hoe AI-bedrijven hun content mogen gebruiken. De open RSL-standaard, ontwik­keld in samen­wer­king met de grootste inter­net­uit­ge­vers, is bedoeld als aanvul­ling op het Content Signals-protocol. Hiermee kunnen conten­t­ei­ge­naren niet alleen hun rechten beschermen, maar ook machi­ne­lees­bare licentie- en compen­sa­tie­voor­waarden voor die use cases defi­ni­ëren. RSL Collec­tive en Cloud­flare werken samen aan een gedeelde visie: een duurzaam open web waar uitgevers en content­cre­a­tors floreren en eerlijk door AI-bedrijven worden beloond.” – Eckart Walther, mede­op­richter van het RSL Collective
• Stack Overflow: “De aard van het internet en de impli­ciete over­een­kom­sten met content-uitgevers zijn de afgelopen jaren behoor­lijk veranderd. Stack Overflow heeft een grote corpus van ca.70 miljard data­to­kens en werkt graag met toon­aan­ge­vende AI-labs en cloud­pro­vi­ders samen aan de ontwik­ke­ling van data­li­cen­ties. Cloud­flare speelt een belang­rijke en centrale rol bij de levering van een schaal­baar systeem waarmee content­cre­a­tors meer controle krijgen en zichzelf kunnen beschermen in dit nieuwe AI-tijdperk.” – Prashanth Chandra­sekar, CEO van Stack Overflow