Foxtable(狐表) → 用户栏目 → 专家坐堂 → 数值计算的小数问题


  共有5258人关注过本帖树形打印复制链接

主题：数值计算的小数问题
帅哥哟，离线，有人找我吗？
hudicaca
 小大  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		数值计算的小数问题  发帖心情 Post By：2013/7/9 10:53:00 [只看该作者]

问题是这样的....两个值相乘.明明是28 * 0.8 =22.4  但是放到textbox 中就变成22.400000000000002了..28 和0.8都是双精度的.怎么避免这个出现,好像换做高精度的就行了,但是我看帮助说不是特殊情况尽量不要用到高精度么???! 我的计算基本都是用到整数 乘以0.8 的....

菜鸟求解,谢谢啊!!.

 下载信息  [文件大小：   下载次数： ]
图片点击可在新窗口打开查看点击浏览该文件:计算.table

[此贴子已经被作者于2013-7-9 10:57:04编辑过]
 回到顶部
帅哥哟，离线，有人找我吗？
Bin
 小大  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：贵宾 帖子：35433 积分：178524 威望：0 精华：3 注册：2013/3/30 16:36:00 		  发帖心情 Post By：2013/7/9 10:57:00 [只看该作者]

请使用高精度小数

 下载信息  [文件大小：   下载次数： ]
图片点击可在新窗口打开查看点击浏览该文件:计算.table
 回到顶部
帅哥哟，离线，有人找我吗？
hudicaca
 小大  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		  发帖心情 Post By：2013/7/9 10:59:00 [只看该作者]

但是我看帮助说不是特殊情况尽量不要用到高精度么???! 我的表中计算基本都是用到整数 乘以0.8 的....量也很大....我怕会影响运行速度啊

 回到顶部
帅哥哟，离线，有人找我吗？
Bin
 小大  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：贵宾 帖子：35433 积分：178524 威望：0 精华：3 注册：2013/3/30 16:36:00 		  发帖心情 Post By：2013/7/9 11:00:00 [只看该作者]

没你想象中的那么大的影响,你可以使用大量数据做下测试.

 回到顶部
帅哥哟，离线，有人找我吗？
lsy
 小大  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：版主 帖子：5246 积分：33163 威望：0 精华：8 注册：2013/1/17 21:28:00 		  发帖心情 Post By：2013/7/9 11:06:00 [只看该作者]

Dim r As Row
r = Tables("表A").Current
Forms("窗口1").Controls("TextBox1").value = Format(r("第一列") * r("第二列"),"#0.00")

 回到顶部
帅哥哟，离线，有人找我吗？
程兴刚
 小大  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级：超级版主 帖子：7258 积分：40773 威望：0 精华：16 注册：2008/8/31 23:23:00 		  发帖心情 Post By：2013/7/9 11:06:00 [只看该作者]

FORMAT()

 回到顶部
帅哥哟，离线，有人找我吗？
hudicaca
 小大  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		  发帖心情 Post By：2013/7/9 11:15:00 [只看该作者]

format 的话 如果遇到 .9999999999992这种 不就要出现误差了呀

 回到顶部
帅哥哟，离线，有人找我吗？
Bin
 小大  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：贵宾 帖子：35433 积分：178524 威望：0 精华：3 注册：2013/3/30 16:36:00 		  发帖心情 Post By：2013/7/9 11:17:00 [只看该作者]


 回到顶部
帅哥哟，离线，有人找我吗？
hudicaca
 小大  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：幼狐 帖子：80 积分：957 威望：0 精华：0 注册：2013/3/15 21:06:00 		  发帖心情 Post By：2013/7/9 11:19:00 [只看该作者]

好吧..还是四舍五入吧....

 回到顶部
帅哥哟，离线，有人找我吗？
狐狸爸爸
 小大  10楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：管理员 帖子：47497 积分：251403 威望：0 精华：91 注册：2008/6/17 17:14:00 		  发帖心情 Post By：2013/7/9 11:26:00 [只看该作者]

表达式的四舍五入：

 

http://www.foxtable.com/help/topics/0108.htm

 
 回到顶部
RSS2.0 | Xhtml无图版 | Xslt无图版 Copyright © 2000 - 2018 foxtable.com Tel: 4000-810-820 粤ICP备11091905号
   Powered By Dvbbs Version 8.3.0
页面执行时间 0.05078 秒, 6 次数据查询