【公告】关于一直以来论坛拥塞的问题

zmhcladmin · 发表于 2010-7-22 23:46

搬家后新坛子运作基本正常，唯一的问题是前段时间高峰时间段里会出现大范围的拥塞导致页面变慢和卡死的问题，经过后台的查找分析发现，论坛高峰期时出现腾讯旗下的SOSO大量爬虫，该爬虫为恶性爬虫，不标识来源和遵守robots规则，疯狂的采集和复制面页导致服务器CPU超高，出现拥塞问题。
以下是统计的爬虫访问量：

最近更新:	2010年 7 月 22日 06:50	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
报表日期:	1 月 2 月 3 月 4 月 5 月 6 月 7 月 8 月 9 月 10月 11月 12月 - 年 -

摘要

报表日期	月 7 月 2010
首次参观日期	2010年 7 月 16日 07:16
最近参观日期	2010年 7 月 22日 06:22
	参观者	参观人次	网页数	文件数	字节
浏览器流量 *	782	2314 (2.95 参观人次/参观者)	143025 (61.8 网页数/参观)	890162 (384.68 文件数/参观)	2.28 G字节 (1034.36 K字节/参观)
非浏览器流量 *			298961	312271	265.54 M字节

* 非浏览的流量包括搜索引擎机器人，蠕虫病毒产生的流量和非正常的HTTP相应

按月历史统计

登录/注册后可看大图

1 月
2010

2 月
2010

3 月
2010

4 月
2010

5 月
2010

6 月
2010

7 月
2010

8 月
2010

9 月
2010

10月
2010

11月
2010

12月
2010

月	参观者	参观人次	网页数	文件数	字节
1 月 2010	0	0	0	0	0
2 月 2010	0	0	0	0	0
3 月 2010	0	0	0	0	0
4 月 2010	0	0	0	0	0
5 月 2010	0	0	0	0	0
6 月 2010	0	0	0	0	0
7 月 2010	782	2314	143025	890162	2.28 G字节
8 月 2010	0	0	0	0	0
9 月 2010	0	0	0	0	0
10月 2010	0	0	0	0	0
11月 2010	0	0	0	0	0
12月 2010	0	0	0	0	0
总数	782	2314	143025	890162	2.28 G字节

按日期统计

登录/注册后可看大图

01
7 月

02
7 月

03
7 月

04
7 月

05
7 月

06
7 月

07
7 月

08
7 月

09
7 月

10
7 月

11
7 月

12
7 月

13
7 月

14
7 月

15
7 月

16
7 月

17
7 月

18
7 月

19
7 月

20
7 月

21
7 月

22
7 月

23
7 月

24
7 月

25
7 月

26
7 月

27
7 月

28
7 月

29
7 月

30
7 月

31
7 月

平均数

日期	参观人次	网页数	文件数	字节
2010年 7 月 01	0	0	0	0
2010年 7 月 02	0	0	0	0
2010年 7 月 03	0	0	0	0
2010年 7 月 04	0	0	0	0
2010年 7 月 05	0	0	0	0
2010年 7 月 06	0	0	0	0
2010年 7 月 07	0	0	0	0
2010年 7 月 08	0	0	0	0
2010年 7 月 09	0	0	0	0
2010年 7 月 10	0	0	0	0
2010年 7 月 11	0	0	0	0
2010年 7 月 12	0	0	0	0
2010年 7 月 13	0	0	0	0
2010年 7 月 14	0	0	0	0
2010年 7 月 15	0	0	0	0
2010年 7 月 16	244	9139	57536	195.64 M字节
2010年 7 月 17	441	24230	138728	391.05 M字节
2010年 7 月 18	441	30409	181778	472.66 M字节
2010年 7 月 19	406	24520	163749	418.27 M字节
2010年 7 月 20	357	23874	149695	372.13 M字节
2010年 7 月 21	313	24128	145288	362.65 M字节
2010年 7 月 22	112	6725	53388	125.03 M字节
2010年 7 月 23	0	0	0	0
2010年 7 月 24	0	0	0	0
2010年 7 月 25	0	0	0	0
2010年 7 月 26	0	0	0	0
2010年 7 月 27	0	0	0	0
2010年 7 月 28	0	0	0	0
2010年 7 月 29	0	0	0	0
2010年 7 月 30	0	0	0	0
2010年 7 月 31	0	0	0	0
平均数	105.18	6501.14	40461.91	106.25 M字节
总数	2314	143025	890162	2.28 G字节

按星期

登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
一	二	三	四	五	六	日

日期	网页数	文件数	字节
一	8173.33	54583	139.42 M字节
二	7958	49898.33	124.04 M字节
三	8042.67	48429.33	120.88 M字节
四	1681.25	13347	31.26 M字节
五	3046.33	19178.67	65.21 M字节
六	8076.67	46242.67	130.35 M字节
日	10136.33	60592.67	157.55 M字节

每小时浏览次数

登录/注册后可看大图

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

登录/注册后可看大图

每小时浏览次数	网页数	文件数	字节
00	8867	59355	149.51 M字节
01	8511	60281	127.91 M字节
02	7096	52101	111.00 M字节
03	6773	43297	101.62 M字节
04	7567	45917	134.65 M字节
05	9313	56513	176.34 M字节
06	13713	91937	205.68 M字节
07	15435	96148	223.05 M字节
08	8304	48868	145.31 M字节
09	6831	40651	125.22 M字节
10	4223	29808	75.37 M字节
11	1644	11561	34.67 M字节

每小时浏览次数	网页数	文件数	字节
12	1077	5797	31.07 M字节
13	355	2102	11.06 M字节
14	378	1600	11.22 M字节
15	284	974	7.92 M字节
16	589	1739	15.25 M字节
17	858	5208	24.12 M字节
18	2451	15393	41.33 M字节
19	4381	25822	71.19 M字节
20	4415	30075	77.37 M字节
21	8536	48083	121.46 M字节
22	10935	61709	148.55 M字节
23	10489	55223	166.56 M字节

国家或地区 (前 25) - 全部列出

	国家或地区		网页数	文件数	字节
登录/注册后可看大图	China	cn	141739	888622	2.23 G字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	United States	us	1057	1310	52.64 M字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	Hong Kong	hk	206	206	887.89 K字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	Russian Federation	ru	18	18	475.22 K字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	South Korea	kr	3	3	280.35 K字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	Japan	jp	1	1	39.57 K字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	Germany	de	1	1	13.55 K字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
登录/注册后可看大图	无法得知	ap		1	91.33 K字节	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
	其他		0	0	0

主机 (前 25) - 全部列出 - 最近参观日期 - 无法反解译的IP地址

主机 : 0 个解译成功, 880 无法得知(不能反解网域名称) 782 参观者	网页数	文件数	字节	最近参观日期
117.45.142.228	2729	16594	14.38 M字节	2010年 7 月 18日 09:28
114.95.12.18	2543	70846	19.42 M字节	2010年 7 月 22日 02:57
124.73.168.50	2466	9154	34.50 M字节	2010年 7 月 20日 10:55
115.57.139.116	2411	16635	17.05 M字节	2010年 7 月 18日 09:12
115.57.139.37	2218	13071	14.86 M字节	2010年 7 月 21日 08:56
218.13.150.107	2047	11255	13.28 M字节	2010年 7 月 18日 10:45
221.196.180.210	1975	7582	13.66 M字节	2010年 7 月 20日 01:53
115.57.138.84	1953	11472	12.70 M字节	2010年 7 月 22日 06:22
123.53.219.56	1844	12259	83.90 M字节	2010年 7 月 20日 10:26
117.45.205.157	1831	12133	11.20 M字节	2010年 7 月 19日 09:42
119.141.92.138	1798	8553	14.45 M字节	2010年 7 月 18日 09:24
117.45.142.170	1757	12068	12.08 M字节	2010年 7 月 17日 10:20
60.214.10.200	1743	5116	11.02 M字节	2010年 7 月 21日 09:23
60.168.10.123	1657	7177	27.73 M字节	2010年 7 月 18日 12:47
115.57.138.226	1649	10598	9.97 M字节	2010年 7 月 20日 04:01
60.168.15.210	1622	6114	23.45 M字节	2010年 7 月 19日 11:37
222.91.227.24	1539	3421	23.94 M字节	2010年 7 月 22日 06:22
110.166.26.40	1511	6854	38.01 M字节	2010年 7 月 17日 11:28
113.138.150.207	1364	4059	23.41 M字节	2010年 7 月 20日 11:13
221.123.184.27	1352	9057	41.01 M字节	2010年 7 月 22日 01:49
119.39.128.32	1351	1746	6.61 M字节	2010年 7 月 18日 02:33
222.89.136.62	1290	1290	5.51 M字节	2010年 7 月 22日 01:39
211.102.148.202	1284	8903	37.94 M字节	2010年 7 月 22日 01:35
121.0.29.199	1247	15694	13.26 M字节	2010年 7 月 22日 03:57
58.20.202.79	1238	2465	6.02 M字节	2010年 7 月 17日 02:51
其他	98606	606046	1.77 G字节

鉴别出的用户 (前 10) - 全部列出 - 最近参观日期

鉴别出的用户 : 0	网页数	文件数	字节	最近参观日期
其他登录 (包括匿名登录)	143025	890162	2.28 G字节

搜索引擎网站的机器人 (前 25) - 全部列出 - 最近参观日期

7 个机器人*	文件数	字节	最近参观日期
Unknown robot (identified by empty user agent string)(恶意蜘蛛）	11051+4	24.19 M字节	2010年 7 月 22日 06:20
Unknown robot (identified by 'spider'(恶意蜘蛛）	8836+217	72.17 M字节	2010年 7 月 22日 04:33
Googlebot	1791+15	6.52 M字节	2010年 7 月 21日 07:49
Unknown robot (identified by hit on 'robots.txt')	0+89	41.18 K字节	2010年 7 月 21日 06:04
Yahoo Slurp	13+10	132.95 K字节	2010年 7 月 21日 20:42
Unknown robot (identified by 'robot')	0+2	898 个字节	2010年 7 月 19日 03:45
Unknown robot (identified by 'bot*')	0+2	714 个字节	2010年 7 月 19日 19:26

* 以上列出的搜索引擎机器人产生的“非浏览器”流量并未包含在其他图表中 “+”后的数字为成功的“robots.txt”访问次数

每次参观所花时间

参观人次: 2314 - 平均数: 1347 s	参观人次	百分比
0s-30s	782	33.7 %
30s-2mn	188	8.1 %
2mn-5mn	132	5.7 %
5mn-15mn	210	9 %
15mn-30mn	176	7.6 %
30mn-1h	216	9.3 %
1h+	575	24.8 %
无法得知	35	1.5 %

文件类别

文件类别	文件数	百分比	字节	百分比
登录/注册后可看大图	gif	Image	548080	61.5 %	695.48 M字节	29.7 %
登录/注册后可看大图	php	Dynamic PHP Script file	140366	15.7 %	845.63 M字节	36.1 %
登录/注册后可看大图	jpg	Image	132838	14.9 %	429.83 M字节	18.3 %
登录/注册后可看大图	css	Cascading Style Sheet file	38007	4.2 %	89.80 M字节	3.8 %
登录/注册后可看大图	js	JavaScript file	28063	3.1 %	211.63 M字节	9 %
登录/注册后可看大图	swf	Macromedia Flash Animation	2068	0.2 %	44.41 M字节	1.9 %
登录/注册后可看大图	html	HTML or XML static page	447	0 %	6.87 M字节	0.2 %
登录/注册后可看大图	png	Image	149	0 %	697.28 K字节	0 %
登录/注册后可看大图	xml	HTML or XML static page	87	0 %	480.12 K字节	0 %
登录/注册后可看大图	mp3	Audio file	49	0 %	12.60 M字节	0.5 %
登录/注册后可看大图	htm	HTML or XML static page	8	0 %	7.89 K字节	0 %

URL 网址 (前 25) - 全部列出 - 入站处 - 出站处

60 个不同的网页	存取次数	平均大小	入站处	出站处
/zmhcl/viewthread.php	40846	10.30 K字节	676	450	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/relatethread.php	31700	181 个字节	79	607	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/forumdisplay.php	30923	10.18 K字节	679	593	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/post.php	10562	3.95 K字节	31	28	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/pm.php	6313	654 个字节	26	88	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/tag.php	4818	420 个字节	35	79	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/api/uchome.php	3850	643 个字节	1	13	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/forumstat.php	2336	552 个字节	4	1	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/redirect.php	1962	14.88 K字节	44	20	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/index.php	1864	9.25 K字节	448	130	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/images/common/upload.swf	1670	24.32 K字节	1	2	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/ajax.php	1250	591 个字节	1	6	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/registerzm.php	1206	7.42 K字节	2	17	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/logging.php	1042	3.21 K字节	32	28	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/images/dewplayer.swf	342	2.76 K字节		4	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/notice.php	288	5.11 K字节	1	4	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/	253	22.65 K字节	117	65	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/memcp.php	222	5.29 K字节	24	5	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/topicadmin.php	180	2.87 K字节	1		登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/plugin.php	149	3.10 K字节	2	1	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/attachment.php	132	8.83 K字节	11	9	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/misc.php	121	36.54 K字节			登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/admincp.php	107	2.46 K字节		1	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/zmhcl/space.php	107	4.55 K字节	10	17	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
/	106	7.43 K字节	43	41	登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图登录/注册后可看大图
其他	676	32.56 K字节	46	70

操作系统 (前 10) - 全部列出/版本 - 无法得知

	操作系统	文件数	百分比
登录/注册后可看大图	Windows	887681	99.7 %
登录/注册后可看大图	无法得知	2450	0.2 %
登录/注册后可看大图	Linux	28	0 %
登录/注册后可看大图	Symbian OS	3	0 %

浏览器 (前 10) - 全部列出/版本 - 无法得知

	浏览器	离线浏览器（网页抓取）	文件数	百分比
登录/注册后可看大图	MS Internet Explorer	否	879419	98.7 %
登录/注册后可看大图	Firefox	否	6361	0.7 %
登录/注册后可看大图	Google Chrome	否	1920	0.2 %
登录/注册后可看大图	Wget	是	737	0 %
登录/注册后可看大图	Mozilla	否	647	0 %
登录/注册后可看大图	Nokia Browser (PDA/Phone browser)	否	566	0 %
登录/注册后可看大图	无法得知	?	368	0 %
登录/注册后可看大图	Netscape	否	122	0 %
登录/注册后可看大图	NetShow Player (media player)	否	17	0 %
登录/注册后可看大图	Opera	否	5	0 %

连结网站的方法

来源网址

网页数

百分比

文件数

百分比

网址由参观者自行输入或从书签取出

10688

98 %

12917

97.5 %

来自搜索引擎 - 全部列出

- Baidu	30	102
- SoSo	2	2
- Unknown search engines	1	1

33

0.3 %

105

0.7 %

来自此网站外的其他网页 (非搜索引擎) - 全部列出

- http://zimohongchen.5d6d.com/bbs.php	40	40
- http://www.tianyilou.com	38	38
- http://www.tianyilou.com/index.php	37	37
- http://www.qfwxlt.com/viewthread.php	15	15
- http://zimohongchen.5d6d.com/thread-33245-1-1.html	10	10
- http://www.qfwxlt.com/redirect.php	6	6
- http://www.mochiads.com/static/lib/services/services.swf	5	5
- http://www.wuyue8.com/bbs/	4	4
- http://zimohongchen.5d6d.com	4	4
- http://www.chusl.com/bbs/dispbbs.asp	3	3
- http://www.wuyue8.com/bbs/index.asp	3	3
- http://cnc.qzs.qq.com/qzone/client/photo/swf/vphoto.swf	3	3
- http://qfwxlt.com/viewthread.php	1	1
- http://wwwt.chusl.com/bbs/dispbbs.asp	1	1
- http://wwwd.chusl.com/bbs/dispbbs.asp	1	1
- http://www.refblock.com	1	1
- http://br.qzone.qq.com/cgi-bin/blognew/blog_output_data	1	1
- http://www.qihoo.com/wenda.php	1	1
- http://www.yjjj.com/bbs/dispbbs.asp	0	1
- http://www.zmhcl.com\\	0	3
- http://fengping.5d6d.com/thread-289-1-1.html	0	8
- http://fengping.5d6d.com/thread-285-1-1.html	0	1