以文本方式查看主题 - Foxtable(狐表) (http://foxtable.com/bbs/index.asp) -- 专家坐堂 (http://foxtable.com/bbs/list.asp?boardid=2) ---- 数量列是单精度,单价和合计是双精度,合计出现计算错误 (http://foxtable.com/bbs/dispbbs.asp?boardid=2&id=94989) |
||||
-- 作者:szsmall -- 发布时间:2017/1/6 23:03:00 -- 数量列是单精度,单价和合计是双精度,合计出现计算错误 做了一个简单仓储表,按帮助为了节省空间,数量用单精度,单价和合计都用双精度,结果合计出现错误。如果数量也用双精度,就不会出现。 错误:56.1*230=12902.9996490479 。 正确应该是:12903
![]() ![]()
|
||||
-- 作者:有点蓝 -- 发布时间:2017/1/7 8:57:00 -- 数量也改为双精度使用 http://www.foxtable.com/webhelp/scr/1829.htm
|
||||
-- 作者:szsmall -- 发布时间:2017/1/7 12:33:00 -- 如果是做财务的应用,是不是用全部用高精度,会比较保险。因为财务合计,有可能上千万,甚至上亿。 |
||||
-- 作者:有点蓝 -- 发布时间:2017/1/7 13:19:00 -- 是的 |