Cloud­flare heeft een nieuwe manier geïn­tro­du­ceerd om website-eigenaren en uitgevers meer controle over hun content te geven. Daarmee kan elke website-eigenaar zijn robots.txt-bestand eenvoudig updaten. Het is een eenvoudig tekst­be­stand dat webcraw­lers...

lees meer...