以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.com/bbs/index.asp)
--  专家坐堂  (http://foxtable.com/bbs/list.asp?boardid=2)
----  数量列是单精度,单价和合计是双精度,合计出现计算错误  (http://foxtable.com/bbs/dispbbs.asp?boardid=2&id=94989)

--  作者:szsmall
--  发布时间:2017/1/6 23:03:00
--  数量列是单精度,单价和合计是双精度,合计出现计算错误
做了一个简单仓储表,按帮助为了节省空间,数量用单精度,单价和合计都用双精度,结果合计出现错误。如果数量也用双精度,就不会出现。

错误:56.1*230=12902.9996490479  。 正确应该是:12903


图片点击可在新窗口打开查看此主题相关图片如下:单精度.jpg
图片点击可在新窗口打开查看

图片点击可在新窗口打开查看此主题相关图片如下:单精度 表结构.jpg
图片点击可在新窗口打开查看

 下载信息  [文件大小:   下载次数: ]
图片点击可在新窗口打开查看点击浏览该文件:单精度.table




--  作者:有点蓝
--  发布时间:2017/1/7 8:57:00
--  
数量也改为双精度使用

http://www.foxtable.com/webhelp/scr/1829.htm

--  作者:szsmall
--  发布时间:2017/1/7 12:33:00
--  
如果是做财务的应用,是不是用全部用高精度,会比较保险。因为财务合计,有可能上千万,甚至上亿。
--  作者:有点蓝
--  发布时间:2017/1/7 13:19:00
--  
是的