禁止谷歌蜘蛛抓取指定网页文件？
如何不让蜘蛛抓取网站的某个文件 不能某个文件,只能某个目录;如:User-agent: * Disallow: /01/ 所以你要禁止某个文件,可以将此文件单独放到一个目录下面即可. 如何不让蜘蛛抓取网站的某个文件 应该只能做目录级的防爬 禁止蜘蛛抓取文本网页? 这个是禁止蜘蛛访问你根目录下的
如何不让蜘蛛抓取网站的某个文件 不能某个文件,只能某个目录;如:User-agent: * Disallow: /01/ 所以你要禁止某个文件,可以将此文件单独放到一个目录下面即可. 如何不让蜘蛛抓取网站的某个文件 应该只能做目录级的防爬 禁止蜘蛛抓取文本网页? 这个是禁止蜘蛛访问你根目录下的