编程论坛
注册
登录
编程论坛
→
数据结构与算法
求大神指点数据方法!
xqf126
发布于 2012-09-09 20:44, 393 次点击
现有日志文件记录的是用户上网记录,每条记录中都有访问时间和目标IP,现要做个IP访问量的统计,把每个IP的访问都给统计出来,日志中的记录字段已经被提取出来了,由于这种记录每分钟是上万条的,现在的问题是如何能快速地把IP的访问量给统计出来,普通的排序,查找,统计感觉效率不怎么样,IP的统计只需要统计到前三段即可,如在某段时间内有两条记录分别是1.2.3.1,另一条是1.2.3.2,这两个记录就都被统计为1.2.3的访问量,苦思无果,求大师指点指点
[
本帖最后由 xqf126 于 2012-9-9 20:50 编辑
]
4 回复
#2
pangding
2012-09-09 23:10
排序的效率是 nlog(n) 我觉得不算高了,几万条还是可以应付的。
用平衡树做关键字索引也是 nlog(n) 的,感觉没什么意思。
或者用哗然哈希表,较费空间。但复杂度是 n。感觉几万条的规模,也许没有用的必要吧。
不是很懂算法,也许有其它思路。
#3
xqf126
2012-09-10 10:20
回复 2楼 pangding
现在的情况是打算按小时进行统计,一分钟记录大约有4万条,一个小时就是240万条,而且每天都要不停地进行统计,效率放第一,空间也要考虑,难为人啊
#4
uubird
2012-09-10 14:17
导入到数据库,用sql去帮你查询分析
#5
netlin
2012-09-15 12:38
时间和空间都要考虑,有些难度!
1