编程论坛 → VB6论坛

求教，CSV文件中数据（行）有相同的项目如何合并？

ictest 发布于 2019-06-08 15:09， 2949 次点击

求教，想对一个CSV文件进行处理后生成一个新的CSV文件，
这个CSV文件，内容大约28万行，内容格式如下：

只有本站会员才能查看附件，请登录

红框与蓝框中的内容一样，想合并成如下式样：

只有本站会员才能查看附件，请登录

下面的数据按这种方式合并，
注意：文件里的数据并不一定会成对出现，也就是说方框里的内容是独一无二的，这样的行就直接写入新文件里。

只有本站会员才能查看附件，请登录

不知我是否说明白了，请各位路过的坛友和大神，多多帮助我。谢谢！

7 回复

ictest2019-06-08 21:13

求助各位路过的高手和大神，谢谢了。

ZHRXJR2019-06-09 09:51

27万多条记录，检测前四个字段记录相同的数据，仅仅检测就已经非常吃力了，如果电脑运行速度比较快，可能也得十几分钟。
再重新存储文件，VB的控件不可能显示这样多的记录（记得好像只能显示3万多条记录），不过可以分开检测，这样特别麻烦。
有时间我可以试试，不一定成功。

wube2019-06-11 18:59

转存成EXCEL处理，最后再将结果复制到新的CSV ？

ZHRXJR2019-06-12 12:58

非常困难，数据太多，分页需要分100多页，而且加载速度也比较慢，检测速度大概需要近2分钟（一页大概2500条数据）全部检测完成估计要近4个小时。
如果能够将数据导入到 SQL 2008 数据库，可能一次性解决有希望。我在 SQL 2008 中处理过50多万条记录，用时大概十几分钟就完成了。

风吹过b2019-06-12 14:25

转 EXCEL处理不现实，需要考虑低版本 EXCEL 只能处理 6.5+W 行的数据，
这么大的数据量，只能上 SQL 了。
我感觉如果是一次性工作，那就上 MSSQL+存储过程吧！

美丽的海南岛2019-06-12 15:21

我也不懂

xuminxz2019-06-15 09:54

这个用VFP很容易的。

CREATE cursor sdb (pc c(10),ph c(4),device c(18),site c(4),A64 i,A4F i)
APPEND FROM all1.csv delimited
SELECT pc 批次,ph 片号,DEVICE,SITE ,SUM(a64) Average_5V_0x640,SUM(a4f) Average_5V_0x4FB FROM sdb INTO CURSOR ndb GROUP BY pc,ph,device,site
COPY TO hh.csv csv

大概要用10秒。