Foxtable(狐表)用户栏目专家坐堂 → 数值相减出错,怎么解决


  共有2701人关注过本帖树形打印复制链接

主题:数值相减出错,怎么解决

帅哥哟,离线,有人找我吗?
superapplesupera
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:1 积分:70 威望:0 精华:0 注册:2020/3/21 10:48:00
数值相减出错,怎么解决  发帖心情 Post By:2020/3/21 10:52:00 [只看该作者]

表格里的列A(单精度),程序里定义的变量B(单精度)赋值为0.935
当A=0.935,B=0.935  A-B出来的结果是-4.76837158647214E-09
当A=0.934,B=0.935  A-B出来的结果是-0.000999991893768315
谁知道这个是怎么回事? 怎么解决呀


 回到顶部
帅哥,在线噢!
有点蓝
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:107725 积分:547958 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2020/3/21 11:06:00 [只看该作者]


 回到顶部