Foxtable(狐表)用户栏目专家坐堂 → 数量列是单精度,单价和合计是双精度,合计出现计算错误


  共有2628人关注过本帖树形打印复制链接

主题:数量列是单精度,单价和合计是双精度,合计出现计算错误

帅哥哟,离线,有人找我吗?
szsmall
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:168 积分:1956 威望:0 精华:0 注册:2015/5/8 1:17:00
数量列是单精度,单价和合计是双精度,合计出现计算错误  发帖心情 Post By:2017/1/6 23:03:00 [只看该作者]

做了一个简单仓储表,按帮助为了节省空间,数量用单精度,单价和合计都用双精度,结果合计出现错误。如果数量也用双精度,就不会出现。

错误:56.1*230=12902.9996490479  。 正确应该是:12903


图片点击可在新窗口打开查看此主题相关图片如下:单精度.jpg
图片点击可在新窗口打开查看

图片点击可在新窗口打开查看此主题相关图片如下:单精度 表结构.jpg
图片点击可在新窗口打开查看

 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:单精度.table




 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:112364 积分:572076 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2017/1/7 8:57:00 [只看该作者]

数量也改为双精度使用

http://www.foxtable.com/webhelp/scr/1829.htm

 回到顶部
帅哥哟,离线,有人找我吗?
szsmall
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:幼狐 帖子:168 积分:1956 威望:0 精华:0 注册:2015/5/8 1:17:00
  发帖心情 Post By:2017/1/7 12:33:00 [只看该作者]

如果是做财务的应用,是不是用全部用高精度,会比较保险。因为财务合计,有可能上千万,甚至上亿。

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:112364 积分:572076 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2017/1/7 13:19:00 [只看该作者]

是的

 回到顶部