Foxtable(狐表) → 用户栏目 → 专家坐堂 → 表达式计算的精度测试


  共有2824人关注过本帖树形打印复制链接

主题：表达式计算的精度测试
帅哥哟，离线，有人找我吗？
瞩望星空
 小大  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：二尾狐 帖子：531 积分：4727 威望：0 精华：0 注册：2013/4/20 20:08:00 		表达式计算的精度测试  发帖心情 Post By：2014/7/24 13:01:00 [显示全部帖子]

一个简单的表达式计算：
单价*数量=金额
测试数量：
单价=3.2
数量=5700001
如果全部为单精度数，金额为：18240000
如果金额设为双精度数，金额为：18240004
如果数量、金额设为双精度数，金额为：18240003.4728
只有把三个数据全部设为双精度数，金额为：18240003.2，这样才对。

这样又得去改项目文件了，原来“单价”使用单精度类型，看来不准确啊。


请看四个表的测试
 下载信息  [文件大小：   下载次数： ]
图片点击可在新窗口打开查看点击浏览该文件:计算精度测试.table






[此贴子已经被作者于2014-7-24 15:06:39编辑过]
 回到顶部
RSS2.0 | Xhtml无图版 | Xslt无图版 Copyright © 2000 - 2018 foxtable.com Tel: 4000-810-820 粤ICP备11091905号
   Powered By Dvbbs Version 8.3.0
页面执行时间 0.03516 秒, 6 次数据查询