Foxtable(狐表) → 用户栏目 → 专家坐堂 → 数值计算的小数问题


  共有5260人关注过本帖树形打印复制链接

主题：数值计算的小数问题
帅哥哟，离线，有人找我吗？
hudicaca
 小大  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		数值计算的小数问题  发帖心情 Post By：2013/7/9 10:53:00 [显示全部帖子]

问题是这样的....两个值相乘.明明是28 * 0.8 =22.4  但是放到textbox 中就变成22.400000000000002了..28 和0.8都是双精度的.怎么避免这个出现,好像换做高精度的就行了,但是我看帮助说不是特殊情况尽量不要用到高精度么???! 我的计算基本都是用到整数 乘以0.8 的....

菜鸟求解,谢谢啊!!.

 下载信息  [文件大小：   下载次数： ]
图片点击可在新窗口打开查看点击浏览该文件:计算.table

[此贴子已经被作者于2013-7-9 10:57:04编辑过]
 回到顶部
帅哥哟，离线，有人找我吗？
hudicaca
 小大  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		  发帖心情 Post By：2013/7/9 10:59:00 [显示全部帖子]

但是我看帮助说不是特殊情况尽量不要用到高精度么???! 我的表中计算基本都是用到整数 乘以0.8 的....量也很大....我怕会影响运行速度啊

 回到顶部
帅哥哟，离线，有人找我吗？
hudicaca
 小大  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		  发帖心情 Post By：2013/7/9 11:15:00 [显示全部帖子]

format 的话 如果遇到 .9999999999992这种 不就要出现误差了呀

 回到顶部
帅哥哟，离线，有人找我吗？
hudicaca
 小大  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		  发帖心情 Post By：2013/7/9 11:19:00 [显示全部帖子]

好吧..还是四舍五入吧....

 回到顶部
RSS2.0 | Xhtml无图版 | Xslt无图版 Copyright © 2000 - 2018 foxtable.com Tel: 4000-810-820 粤ICP备11091905号
   Powered By Dvbbs Version 8.3.0
页面执行时间 0.04297 秒, 6 次数据查询