做SEO的应该知道 robots协议(也称为爬虫协议、爬虫规则、机器人协议等)，也就是通常添加到网站根目录的robots.txt 文件，它的作用在于告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重，这个文件对网站的seo可谓重中之重。 在...

都知道 robots.txt 文件是用来限制搜索引擎不乱抓取，只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取，那么 robots 文件需要这样写： User-agent: * Disallow: /admin/ 但是这样我们很容易发现了一个问题，如果有人要破解攻击的话，很...