Betekenis: Robots.txt

Wat is Robots.txt ?

Robots.txt is een bestand dat webmasters gebruiken om zoekmachines te helpen bij het beperken van de toegang tot bepaalde pagina's op hun website. Op LinkedIn staat robots.txt bijvoorbeeld  in voor het beperken van toegang tot pagina's die niet voor zoekmachines bedoeld zijn, zoals bepaalde profiel suggesties of pagina's met gepersonaliseerde content.