百度工具DNS无法解析IP

百度工具DNS无法解析IP

Ezra
2021-02-13 / 0 评论 / 1,723 阅读 / 正在检测是否收录...
  1. 查看robots.txt有没有禁止抓取语句
    首先我们要检查robots.txt中是否有禁止抓取语句QQ截图20210213184655.png可以用百度自带的工具检测
  2. 更换DNS解析
    因为一般抓取失败都是提示DNS无法解析IP的问题,新站可能过两天就会好了,我的就是这样
  3. 网站是否打不开,服务器不稳定,防火墙蜘蛛屏蔽
    第三点就是我们网站自身的问题,有时候会出现卡顿,导致蜘蛛抓取不成功,大家可以自己手动进行网站测速,然后在稳定性比较好,确认可以打开网站的情况下去测试蜘蛛的抓取,一般这种情况下,虚拟主机问题比较多。
  4. 百度异常,查看日志是否有蜘蛛进来抓取
    如果以上方法都试过,但是你的抓取依然失败的话,不排除百度本身的问题,你可以通过日志看每天是否有蜘蛛来,如果有,而且很规律很正常,就可以不必理会百度后台的蜘蛛抓取了。
0

评论

博主关闭了当前页面的评论