如何模拟各大网站的蜘蛛请求来测试网站是否可以被蜘蛛正常抓取 -凯发app官网

玩技e族 运维笔记1 315字数 950阅读3分10秒阅读模式

使用场景

网站人员经常需要做seo分析,在分析多个电商网站的过程中,有时需要测试对方凯发app官网的友情链接,是否屏蔽搜索引擎蜘蛛访问?我们可以通过软件工具,模拟搜索引擎蜘蛛的浏览。建议使用谷歌浏览器模拟百度、谷歌等搜索引擎蜘蛛的访问。文章源自玩技e族-https://www.playezu.com/180301.html

本文使用google chrome浏览器做为请求模拟教程。(user-agent switcher for chrome)

第1步:下载chrome扩展文章源自玩技e族-https://www.playezu.com/180301.html

扩展程序 → 获取更多扩展程序 → 搜索“user-agent switcher for chrome” →  点击“  添加到 chrome”▼文章源自玩技e族-https://www.playezu.com/180301.html

第2步:刷新谷歌浏览器,你会注意到该插件已加载 ▼文章源自玩技e族-https://www.playezu.com/180301.html

第3步:进入 user-agent switcher for chrome“选项”文章源自玩技e族-https://www.playezu.com/180301.html

在user-agent switcher for chrome扩展图标右键, 选择“选项”后,会自动进入以下选项设置页 ▼文章源自玩技e族-https://www.playezu.com/180301.html

如何模拟各大网站的蜘蛛请求来测试网站是否可以被蜘蛛正常抓取文章源自玩技e族-https://www.playezu.com/180301.html

第4步:添加搜索引擎蜘蛛访问识别码文章源自玩技e族-https://www.playezu.com/180301.html

添加chrome模拟搜索引擎蜘蛛访问识别,例如百度、谷歌 ▼文章源自玩技e族-https://www.playezu.com/180301.html

百度 ▼
mozilla/5.0 (compatible; baiduspider/2.0;  http://www.baidu.com/search/spider.html)
谷歌 ▼
mozilla/5.0 (compatible; googlebot/2.1;  http://www.google.com/bot.html)
搜狗 ▼
sogou web spider/4.0( http://www.sogou.com/docs/help/webmasters.htm#07)
bing ▼
mozilla/5.0 (compatible; bingbot/2.0;  http://www.bing.com/bingbot.htm)

第5步:选择搜索引擎蜘蛛访问该网站 ▼文章源自玩技e族-https://www.playezu.com/180301.html

如何模拟各大网站的蜘蛛请求来测试网站是否可以被蜘蛛正常抓取文章源自玩技e族-https://www.playezu.com/180301.html

  • 测试访问后,若如常显示,说明百度搜索引擎蜘蛛,能如常抓取网页。

总结:下方给大家准备了插件的下载地址,使用教程给顺带给放在里面了。

注意事项:使用和测试后请将配置还原,否则可能会出现其他网站无法打开或者异常,关闭插件就可以了文章源自玩技e族-https://www.playezu.com/180301.html

使用说明:本教程仅限测试交流切勿非法使用,使用过后请在24小时内删除。文章源自玩技e族-https://www.playezu.com/180301.html

此处为隐藏的内容
发表评论并刷新,方可查看
文章源自玩技e族-https://www.playezu.com/180301.html
注意:本文法律责任由该作者承担,侵权请联系▷诈骗举报◁▷新闻不符◁▷我要投稿◁
免责声明:本文内容来自用户上传并发布或网络新闻客户端自媒体,玩技博客仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请联系删除。
评论  1  访客  1
  1. 来自天朝的朋友 谷歌浏览器 windows 10 北京市 联通

    能用吗?

发表评论

匿名网友
确定