关于海量数据导入的问题RMB求 - 编程论坛

#2

dhdhzzw2008-07-10 16:31

WOW，上亿条数据，，，每天增长 10---20W 除了顶尖的几个网站，还有谁的网站数据增长能和这个相比。

#3

jamesxiaoyao2008-07-10 16:33

小站，数据多

#4

dhdhzzw2008-07-10 16:35

晕，敢问一句。什么方面的站啊？

#5

jamesxiaoyao2008-07-10 16:39

气象海洋方面的

#6

dhdhzzw2008-07-10 16:40

那怪不得了，数据量肯定大，人气肯定差。Oracle中应该有数据导入功能的阿。找到，导入Excel就可以了

[[it] 本帖最后由 dhdhzzw 于 2008-7-10 17:00 编辑 [/it]]

#7

jamesxiaoyao2008-07-10 17:12

人家要程序导入，工具导入就简单了。程序不好弄啊，出点问题就麻烦大了

#8

yms1232008-07-10 19:20

个人意见利用线程技术实现来实现，每导入一定数量的数据暂停2-3分钟继续导入。
或者使用系统服务，将程序变为系统服务，自动检测某个文件夹下的excel文件，然后将其导入Oracle数据库，同时也要使用线程技术进行暂停。

#9

jamesxiaoyao2008-07-11 09:50

请版主指明一点，我还不是很明白怎么写

#10

hxfly2008-07-13 01:54

简单的说，就是很深奥

#11

hmhz2008-07-13 14:24

SQL最大存储量4G
Oracle最大存储量11G

数据库有最大存储量并不是就要你能存储这么多，而是需要你经常维护，清理一些不需要的数据，数据保存时间进行限制，比如保存1年，那么，你就需要删除1年以上的数据，根据个人情况来定保存的年限，如果全都保留下来，再大的数据库也无法全部存储，再说，数据量大了，程序设计方面就比较复杂了，特别是查询，上亿条的数据，你要查询到什么时候才能查出来，特别是复杂的查询，有按时间查询的，有按模糊查询的，不同的查询方式对数据库设计也有所不同，数据量大的就更不容易设计了