|
楼主 |
发表于 2013 年 8 月 22 日 11:26:55
|
显示全部楼层
今天我们仍用自己的网站服务器日志,教大家清晰掌握服务器与蜘蛛是怎么互动的,这些都是日志中不太明显的信息,需要你细心的去观察的。新站起用被使用过的老域名,反而没有直接用没有被使用过的新域名收录来得快,最近上线的这个新站,因为域名选取的原因,必须使用被使用过的老域名,上线已经9天, 仍没有快照与收录,但我们是不是就应该要选择放弃了呢?, T( P0 j1 X- w+ T: y/ l) k/ k
8 w) ^7 [' d) @ Y: R* Q
好吧,我们仍拿出几条蜘蛛爬行记录来分析:
- o- L4 r0 h2 J! s5 X6 d6 P. m- k6 k
123.125.71.116 - - [10/Sep/2012:05:41:23 +0800] "GET / HTTP/1.1" 200 5858 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)+ @9 z# ~0 ^) r% D/ i
; |: h! k! k* a- P: H7 R 通过上一次的讲解,我们知道IP为123.125.71.116的蜘蛛,在2012年9月10日凌晨05点41分23秒的时候,爬行了我们首页信息,HTTP返回状态值200,爬行字节数5858。
/ ]. E: H# P& T* D
) L4 w* S' T' x6 Y' z7 q& v& n 今天我们要重点讲解的就是这个HTTP返回状态值,什么是返回状态值?都有哪些返回状态值?它们都分别代表什么意思?6 b% c1 C6 H$ r" N
% G' {8 x# f. M) I& Q
什么是HTTP返回状态值呢?当用户或搜索引擎向网站服务器发出浏览请求的时候,服务器返回的HTTP数据流中头信息中的状态码,它是一种服务器与访问者交互的语言。& b" z4 l D7 a) Q2 P) V. q, e+ x
1 X5 M' f( W3 a9 O6 r6 B W 都有哪些返回状态值呢?返回状态值有很多,根据其含义,以1开头的返回值表示临时响应并需要请求者继续执行操作。以2开头的返回值表示成功处理了请 求。以3开头的返回值要求完成请求需要进一步操作,通常这些状态码用来重定向。以4开头的返回值表示请求可能出错,妨碍了服务器的处理。以5开头的返回值 表示服务器在处理请求时发生内部错误,这些错误可能是服务器本身的错误,而不是请求出错。
: u+ {6 L8 j" S' v: M
2 ?9 }* u6 T: s0 X' ~* U7 x 好吧,纯粹的理论让人看得是不是有点头晕了,我们下面用实例来分析一下常见的返回状态值都有哪些!
4 `; z" V# A) G9 A% M4 b; x M. X
% |4 @6 ] N3 z4 c! l1 q1 U 背景:我们分析的这个网站是老域名,之前被人用过,存在搜索引擎收录数据,现在域名被我用来重新建站。9 t) e) m4 u& E! e$ j. z
4 S- K4 ~. ^3 z9 x O
我们来几条记录来看一看:
8 l) d! ^6 i3 N: @7 H4 D$ A9 j, o, O P$ y
123.125.71.98 - - [10/Sep/2012:01:02:33 +0800] "GET /news/disp.php?id=302 HTTP/1.1" 404 1107 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) F' g# B7 B3 C) C7 Y' _& x. A$ ^, e
2 c- Z: J2 h4 E |7 q' R$ a+ X$ p# E 这条记录HTTP返回状态值是404,原因是因为百度蜘蛛爬行了一条本网站根本不存在的路径,HTTP返回404代表:服务器找不到请求的网页。6 ~, A0 J, B0 V( G, S4 a. `
$ K- @! V H+ |: d3 a( s( A
123.125.71.116 - - [10/Sep/2012:05:41:23 +0800] "GET / HTTP/1.1" 200 5858 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)# `9 z7 {" L9 U E
+ o" w! s) q4 x- k; T( g: Y+ N2 h
这条记录HTTP返回状态值是200,原因是因为百度蜘蛛爬行了真实存在的网站首页,HTTP返回200代表:服务器已经成功处理了请求。
4 A8 x4 w9 J+ D8 x1 y. ]8 A; D7 a) _" r7 q5 `, H& R% y1 X2 W
220.181.51.113 - - [10/Sep/2012:08:44:22 +0800] "GET /product/disp.php?id=85 HTTP/1.1" 301 250 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)6 | v# f" o, r
& \% X+ R& S$ P# G9 B4 |1 |" g4 Y' n# [ 这条记录HTTP返回状态值是301,原因是因为百度蜘蛛爬行了在网站中不存在的文件路径,HTTP返回301代表:请求的网页已永久移动到新位置。1 B9 _8 |; G0 _2 T
5 {. B$ T$ Q6 I" v! W& z
HTTP返回状态值还有很多,如果你遇到其它的可以随时百度一下就能找到它代表的意思。本文的目的是希望通过我们网站的文章,帮助到其他和我们遇到同样问题的人。目前本文新上线的网站大量存在HTTP返回状态404,主要原因是老域名存在使用情况,百度收录数据库中存在大量原有收录数据,现在百度蜘蛛仍按原收录文章路径进行爬行,导致HTTP返回状态值出现404码,根据笔者的经验,此时新站处于百度审核期,只有通过百度一个月到三个月的审核期,收录数据才能得到释放,此时的404应该越多越好,蜘蛛爬行不通,自然会将该条原收录数据删掉,只是这样一来会延长新站的审核通过周期。7 W u, ?6 h2 ^ t P
3 {9 e+ [+ p3 l. ?" t
新站起用被使用过的老域名,就会遇到像我一样的情况,但是怎么观察隐藏在日志的访问秘密,是做为站长的你必须要学会的。只有这样,才能让你看到希望,只有这样,才能让你有坚持的动力,只有这样,才能让你不再疑惑!网站优化 |
|