抓取工具的权限--robots.txt的作用很多朋友经常在问，Robots.txt文件有什么作用，应该怎么写？有什么规则，其实这些google官方博客上和站长指南上都有的，今天高飞把这些给再详细地说明下，希望对大家有所帮助：什么是robots.txt？robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。当一个搜