以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.com/bbs/index.asp)
--  专家坐堂  (http://foxtable.com/bbs/list.asp?boardid=2)
----  数据有二十万行以上,如何设计统计计算的思路?  (http://foxtable.com/bbs/dispbbs.asp?boardid=2&id=64738)

--  作者:kgdce
--  发布时间:2015/2/28 14:43:00
--  数据有二十万行以上,如何设计统计计算的思路?

  现在想利用FOXTABLE设计一程序,具体内容:有五千多学生参加测试,通过阅卷系统产生数据,现要设计一程序,要将每科试卷每个小题分数导入到数据库,若一科有5000人,每张试卷有100个小题,就有5000*100=500000共五十万个数据,对这些数据既有整体的也有分类的统计分析。具体计算指标有每个小题的平均分,标准差,区分度等。统计的结果根据需要是动态计算生成的,每个客户端需要不同的统计数据,举例说明,可能有全体的平均分,标准差,区分度报表,也可能有部分数据构成的新样本的平均分,标准差,区分度报表,而且这些新样本的数量与每次考试参加的单位多少有关系,是动态变化的。也就是说客户端可能达到1000人之多,有可能同时对服务器提出统计计算的要求。可以说,这个程序更多是客户端根据自已的需求,提出计算统计的请求同时下载需要的数据,最后在本地机呈现出自已想要的统计结果。

  设计程序思路:1、在远程服务器上导入数据到mssql数据库

         2、各客户端访问时,利用后台统计功能直接在本地机形成报表,因为统计的数据和全部数据有一定的关系。

  困惑:1、各客户端每次加载自已需要的数据要花费时间,如何设计才能提高速度,是否建立本地的ACCESS数据库配合mssql数据库使用?

     2、后台统计是否有“标准差”、“区分度”的统计?所谓“区分度”是指[(一组数据前27%的数据的平均分)-(这组数据后27%的平均分)]/固定一常数;

     3、全部用后台统计,多个客户端并发请求计算(因为每个客户都想第一时间看到统计结果),服务器是否能承受,这种设计是否合理?若是将数据都加载到本地机,在本地机进行统计计算是否可行?。在帮助中也提到,要将这么多数据加载到本地机,速度慢,不合理,有没有其它办法?

     说明:我用VBA编程,在excel上实现过400人的计算,比较可行。具体情况见图:

  
图片点击可在新窗口打开查看此主题相关图片如下:截图00.jpg
图片点击可在新窗口打开查看

--  作者:Bin
--  发布时间:2015/2/28 14:45:00
--  
1.只加载当前需要的,分页加载等.
2.有
3.后台统计没有问题.可以的.

--  作者:kgdce
--  发布时间:2015/2/28 14:48:00
--  

1、区分度、标准差具体代码是什么?

 


--  作者:kgdce
--  发布时间:2015/2/28 14:50:00
--  
我的设计思路是否正确?
--  作者:Bin
--  发布时间:2015/2/28 14:52:00
--  
http://www.foxtable.com/help/topics/0688.htm