Foxtable(狐表) → 用户栏目 → 专家坐堂 → 大数据如何保存？？？


  共有7577人关注过本帖树形打印复制链接

主题：大数据如何保存？？？
帅哥哟，离线，有人找我吗？
bhh
 小大  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：婴狐 帖子：26 积分：265 威望：0 精华：0 注册：2013/2/15 15:53:00 		大数据如何保存？？？  发帖心情 Post By：2013/12/14 21:40:00 [只看该作者]

我每天需要导入的数据量大约20万条左右，在导入狐表的速度还可以接受大概6分钟左右，但是“保存”的时候非常慢，20分钟了 还没有保存完。我用的是外部数据库sql server 数据库，哪位高手有好办法，提高保存速度，谢谢！！

 回到顶部
帅哥哟，离线，有人找我吗？
y2287958
 小大  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：狐神 帖子：4840 积分：35094 威望：0 精华：0 注册：2008/8/31 22:44:00 		  发帖心情 Post By：2013/12/14 21:52:00 [只看该作者]

直接用sql语句会快很多
 回到顶部
帅哥哟，离线，有人找我吗？
有点甜
 小大  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：版主 帖子：85326 积分：427815 威望：0 精华：5 注册：2012/10/18 22:13:00 		  发帖心情 Post By：2013/12/14 22:26:00 [只看该作者]

 不建议导入foxtable，建议直接用foxtable关联你的sql数据库。然后在foxtable里，加载部分数据就行了。
 回到顶部
帅哥哟，离线，有人找我吗？
horseroom
 小大  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：婴狐 帖子：8 积分：106 威望：0 精华：0 注册：2013/12/6 9:02:00 		  发帖心情 Post By：2013/12/14 22:36:00 [只看该作者]

我觉得两个办法，但是逻辑是一样的，就是把数据直接写到SQL server数据库，比如用fill，或者SQL的append（我记得SQL有这个命令），不要用系统提供的那个导入、保存方案，我感觉那个效率不高。而且你最好一段一段写，万一错了，而且也能知道错在哪个地方，可以显示进度，容易维护。

 回到顶部
帅哥哟，离线，有人找我吗？
bhh
 小大  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：婴狐 帖子：26 积分：265 威望：0 精华：0 注册：2013/2/15 15:53:00 		  发帖心情 Post By：2013/12/14 22:50:00 [只看该作者]

sql 直接导入的语句怎么先？ 谢谢

 回到顶部
帅哥哟，离线，有人找我吗？
有点甜
 小大  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：版主 帖子：85326 积分：427815 威望：0 精华：5 注册：2012/10/18 22:13:00 		  发帖心情 Post By：2013/12/14 22:58:00 [只看该作者]

 sql直接导入，就是动态加载，fill，楼主先把帮助的 网络数据源 一章看完。

 回到顶部
帅哥哟，离线，有人找我吗？
jspta
 小大  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：七尾狐 帖子：1732 积分：11272 威望：0 精华：0 注册：2011/12/15 22:06:00 		  发帖心情 Post By：2013/12/14 22:59:00 [只看该作者]

狐爸应该提供一种无条件更新，现在是判断更新，在低数据量时效率非常好，但是面对大数据量，就有很慢了，甚至卡死。

楼主的数据有点多，应该考虑下导入数据库前去重复，如果只有少量重复，那么建议分批导入。
 回到顶部
帅哥哟，离线，有人找我吗？
horseroom
 小大  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：婴狐 帖子：8 积分：106 威望：0 精华：0 注册：2013/12/6 9:02:00 		  发帖心情 Post By：2013/12/14 23:06:00 [只看该作者]

语法：INSERT INTO <表名> [（<字段名1> [,<字段名2>, ...])] 子查询 
很多年没搞这个东西了，我就查到这个命令，我记得有APPEND命令，但是没查到。我用foxtable测试下再回复你。
 回到顶部
帅哥哟，离线，有人找我吗？
horseroom
 小大  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：婴狐 帖子：8 积分：106 威望：0 精华：0 注册：2013/12/6 9:02:00 		  发帖心情 Post By：2013/12/15 0:01:00 [只看该作者]

不行，好像真的没有这种命令，经验害死人。甚至insert into 命令都不行。

你只能使用fill的办法，快慢就不清楚了，没试过，我没那么大数据。
 回到顶部
帅哥哟，离线，有人找我吗？
bhh
 小大  10楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：婴狐 帖子：26 积分：265 威望：0 精华：0 注册：2013/2/15 15:53:00 		  发帖心情 Post By：2013/12/15 15:56:00 [只看该作者]

大数据的处理  狐表需要好好考虑一下！！！ 问题还不知道怎么解决，哎！！！！！ 求高手。。

 回到顶部
总数 28 1 2 3 下一页
RSS2.0 | Xhtml无图版 | Xslt无图版 Copyright © 2000 - 2018 foxtable.com Tel: 4000-810-820 粤ICP备11091905号
   Powered By Dvbbs Version 8.3.0
页面执行时间 0.06738 秒, 4 次数据查询