微博
加入微博一起分享新鲜事
登录
|
注册
140
我们都知道可以通过robots.txt来引导蜘蛛抓取内容，多个域名的时候可以301重定向转移权重，但有时候我们可能要特定某个域名不允许抓取，这个时候就需要rewrite来控制。 如果要直接屏蔽蜘蛛抓取，可以参考我的另… https://www.wenzhan.cc
请登录并选择要私信的好友
300
我们都知道可以通过robots.txt来引导蜘蛛抓取内容，多个域名的时候可以301重定向转移权重，但有时候我们可能要特定某个域名不允许抓取，这个时候就需要rewrite来控制。 如果要直接屏蔽蜘蛛抓取，可以参考我的另… https://www.wenzhan.cc
赞一下这个内容
公开
分享
获取分享按钮
正在发布微博，请稍候