首先来看百度的站长抓取诊断工具:站点IP变更,摘录至百度的站长资讯。
在与站长朋友私下交流中,站长表示:最怕改版,最怕换IP,每次都是万不得已身不由己。改版还好些,有改版工具可以使用。换了IP都不知道怎么通知百度。 其实,登录百度站长平台,使用抓取诊断工具,换IP真的不是愁事。 抓取诊断工具会检查站点与百度的连接是否畅通,若站长发现IP信息还是老旧的,可以通过“报错”通知百度搜索引擎更新IP,如下图所示:
重要提示:由于spider精力有限,如遇报错后网站IP依旧没有变化,站长可进行多次尝试,直至达到预期。 那么,除了用来通知百度搜索引擎站点更换了IP,抓取诊断工具还可以做什么呢? 【诊断抓取内容是否符合预期】例如很多商品详情页面,价格信息是通过JavaScript输出的,对百度蜘蛛不友好,价格信息较难在搜索中应用。问题修正后,可用诊断工具再次抓取检验。
【诊断网页是否被加入黑链接和隐藏文本】网站被黑后加上的隐藏链接从网页表面无法观察看到,这些链接可能只在百度抓取时才会出现,可以通过抓取诊断工具进行检查。 【邀请Baiduspider】如果网站有新页面或页面内容有更新,百度蜘蛛却较长时间没有来过,此时可以通过抓取诊断工具邀请Baiduspider快速来抓取。 那么站长们又是如何识别Baiduspider呢!来看还是摘录至百度站长资讯的介绍:上周百度站长平台接到某站长求助,表示误封禁了Baiduspider的IP,询问是否有办法获得Baiduspider的所有IP,打算放入白名单加以保护,防止再次误封。在此要告诉各位站长,Baiduspider的IP池是不断变动的,我们无法提供IP全集。 除此之外,之前还有站长发来质疑说Baiduspider光顾过于频繁,已超越服务器承受能力。而百度站长平台追查发现,Baiduspider对该站点的抓取并无异常,那只spider极有可能是个李鬼。 那么,站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢? 可以通过DNS反查方式来解决这个问题。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下: 1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。 3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx (责任编辑:laiquliu) |