Cloudflare heeft een nieuwe manier geïntroduceerd om website-eigenaren en uitgevers meer controle over hun content te geven. Daarmee kan elke website-eigenaar zijn robots.txt-bestand eenvoudig updaten. Het is een eenvoudig tekstbestand dat webcrawlers vertelt welke...