| 以文本方式查看主题 - Foxtable(狐表) (http://foxtable.com/bbs/index.asp) -- 专家坐堂 (http://foxtable.com/bbs/list.asp?boardid=2) ---- 数值相减出错，怎么解决 (http://foxtable.com/bbs/dispbbs.asp?boardid=2&id=147650) |
| -- 作者：superapplesupera -- 发布时间：2020/3/21 10:52:00 -- 数值相减出错，怎么解决 表格里的列A（单精度），程序里定义的变量B（单精度）赋值为0.935 当A=0.935,B=0.935 A-B出来的结果是-4.76837158647214E-09 当A=0.934,B=0.935 A-B出来的结果是-0.000999991893768315 、 谁知道这个是怎么回事？ 怎么解决呀 |
| -- 作者：有点蓝 -- 发布时间：2020/3/21 11:06:00 -- 都改为高精度即可：ttp://www.foxtable.com/webhelp/topics/1829.htm |