网站日志怎么分析？有啥作用？
发布时间：2022-07-08 10:48:14 所属栏目：搜索优化 来源：互联网
导读：网站做好了，我们还需要引导蜘蛛来网站抓取，了解蜘蛛的抓取规律，我们才能更好的去优化网站。而想要分析出搜索引擎蜘蛛爬取的规律，我们就需要懂得分析网站日志，那么网站日志怎么分析？有什么作用？一起随seo知识网来详细了解一下吧。 一、蜘蛛日志分析返
|
网站做好了，我们还需要引导蜘蛛来网站抓取，了解蜘蛛的抓取规律，我们才能更好的去优化网站。而想要分析出搜索引擎蜘蛛爬取的规律，我们就需要懂得分析网站日志，那么网站日志怎么分析？有什么作用？一起随seo知识网来详细了解一下吧。 一、蜘蛛日志分析返回状态码 1、200：代表服务器返回页面成功; 2、404：代表页面无法访问; 3、301：代表页面301转向(重定向); 4、304：代表客户端已经执行了GET，但文件未变化; 5、500：代表服务器遇到错误，无法完成请求; 6、403：代表表示服务器拒绝请求。 二、在日志中能看到哪些数据? 在文件中我们可以看到蜘蛛的IP地址、访问的时间、蜘蛛抓取的网页地址、http状态码、请求方式、字节数等，日志代码示例如下： 220.181.108.79– – [18/May/2020:10:30:32 +0800] “GET /soft/17.html HTTP/1.1” 200 6779 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http:// www.baidu.com/search/spider.html) 三、常见搜索引擎的蜘蛛所使用的Agent列表 Google蜘蛛 ：Mozilla/5.0 (compatible; Googlebot/2.1; +) Baidu蜘蛛 ：Baiduspider+(+) Yahoo!蜘蛛 ：Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; ) Yahoo!中国蜘蛛 ：Mozilla/5.0 (compatible; Yahoo! Slurp China; ) 微软Bing蜘蛛 ：msnbot/2.0b (+) Google Adsense蜘蛛 ：Mediapartners-Google 有道蜘蛛 ：Mozilla/5.0 (compatible; YoudaoBot/1.0; ) Soso搜搜博客蜘蛛 ：Sosoblogspider+(+) Sogou搜狗蜘蛛 ：Sogou web spider/4.0(+#07) Twiceler爬虫程序 ：Mozilla/5.0 (Twiceler-0.9 ) Google图片搜索蜘蛛 ：Googlebot-Image/1.0 俄罗斯Yandex搜索引擎蜘蛛 ：Yandex/1.01.001 (compatible; Win16; I) Alexa蜘蛛 ：ia_archiver (+) Feedsky蜘蛛 ：Mozilla 5.0 (compatible; Feedsky crawler /1.0) 韩国Yeti蜘蛛：Yeti/1.0 (NHN Corp.; ) 四、蜘蛛日志分析有什么作用? 1、通过分析我们可以判断蜘蛛有没对站点进行抓取，有没成功，也可以判断网站是不是符合搜索引擎的抓取规范，如有抓取失败可以找出原因。 2、可以判断哪些页面蜘蛛的访问频率太高，影响了服务器的正常运行，我们可以做出调整，限制蜘蛛的访问频率来保证服务器速度的稳定。 3、通过蜘蛛日志分析文件，我们可以判断有多少权重蜘蛛，看到蜘蛛的访问路径，更好的优化站内结构，同时可以判断出恶意攻击的行为。 以上就是【网站日志怎么分析？有什么作用？】的介绍，希望对大家有所帮助。 （编辑：拼字网 - 核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐