Foxtable(狐表)用户栏目专家坐堂 → 表达式计算的精度测试


  共有2822人关注过本帖树形打印复制链接

主题:表达式计算的精度测试

帅哥哟,离线,有人找我吗?
瞩望星空
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:二尾狐 帖子:531 积分:4727 威望:0 精华:0 注册:2013/4/20 20:08:00
表达式计算的精度测试  发帖心情 Post By:2014/7/24 13:01:00 [只看该作者]

一个简单的表达式计算:
单价*数量=金额
测试数量:
单价=3.2
数量=5700001
如果全部为单精度数,金额为:18240000
如果金额设为双精度数,金额为:18240004
如果数量、金额设为双精度数,金额为:18240003.4728
只有把三个数据全部设为双精度数,金额为:18240003.2,这样才对。

这样又得去改项目文件了,原来“单价”使用单精度类型,看来不准确啊。


请看四个表的测试
 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:计算精度测试.table






[此贴子已经被作者于2014-7-24 15:06:39编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
有点甜
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:版主 帖子:85326 积分:427815 威望:0 精华:5 注册:2012/10/18 22:13:00
  发帖心情 Post By:2014/7/24 14:15:00 [只看该作者]

嗯嗯,木有办法,取决于计算机精度问题。小数都是要丢失精度的。除非你用高精度小数。

 回到顶部