Foxtable(狐表)用户栏目专家坐堂 → 大数据如何保存???


  共有5938人关注过本帖树形打印复制链接

主题:大数据如何保存???

帅哥哟,离线,有人找我吗?
e-png
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1695 积分:10725 威望:0 精华:0 注册:2009/10/25 16:45:00
  发帖心情 Post By:2013/12/15 18:00:00 [显示全部帖子]

1、每天一次性导入并保存到数据源20万条数据的单位应该极少数;任何一个软件处理起来也不是一个轻松的活,不要枉下结论。

2、况且你也没有说从哪儿导入的;

3、如果是两个sql数据源,而且你非要一次性的来处理,可以这样,速度绝对提高!!!

    可以用SQLCommand的:

    要导入的数据源用 dt1 = cmd.ExecuteReader(True)  不加载任何数据

   要导出的数据源用 dt2 = cmd.ExecuteReader() 加载需要的数据。

   再用Filler充填,之后保存第一个dt1 即可.

 

4、可以测试一下SQLCommand中的 insert into ,即遍历第二个dt2,逐条insert into 到 dt1 。不知道和上面的比较那个更快。。。。

5、建议你不要一次性处理这么多数据,可以做到实时处理的不更好。


 回到顶部
帅哥哟,离线,有人找我吗?
e-png
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1695 积分:10725 威望:0 精华:0 注册:2009/10/25 16:45:00
  发帖心情 Post By:2013/12/15 20:01:00 [显示全部帖子]

没玩过txt, 你可以将TXT文件直接转换导入到access,再从access导入到SQL

 回到顶部