robots.txt

来自百合仙子's Wiki
跳转到导航 跳转到搜索

示例

对所有爬虫禁止一些目录 

User-agent: *
Disallow: /lily/chat
Disallow: /lily/chat_vim

外部链接

检索自“http://r.lilydjwg.me/w/index.php?title=Robots.txt&oldid=406”