robots.txt 只允许抓取.html后缀怎么写
作者：绿盟 来源：绿盟 发布时间：2014-9-9 22:49:50
文章正文
robots.txt 是最管禁止不管允许的
允许，也就是allow是没意义的，默认就是允许的
所以，你想只允许html后缀的办法就是禁止其他的后缀
比如
Disallow: *.asp$
文章来自绿盟(xDowns.com)转载请注明来路。
上一篇文章：节省神魔之塔金币强化卡你懂吗？ []
作者：绿盟 来源：绿盟 发布时间：2014-9-9 22:49:50
robots.txt 是最管禁止不管允许的
允许，也就是allow是没意义的，默认就是允许的
所以，你想只允许html后缀的办法就是禁止其他的后缀
比如
Disallow: *.asp$
文章来自绿盟(xDowns.com)转载请注明来路。
上一篇文章：节省神魔之塔金币强化卡你懂吗？ []