找回密码
 注册
搜索
热搜: 回贴
  • 前程无忧官网首页 有什么好的平台可以
  • 最新的销售平台 互联网营销的平台有哪
  • 制作网页的基本流程 网页制作和网页设
  • 【帝国CMS】输出带序号的列表(数字排
  • 网站建设公司 三一,中联,极东泵车的
  • 织梦 建站 织梦网站模版后台怎么更改
  • 云服务官网 哪些网站有免费的简历模板
  • 如何建网站要什么条件 建网站要用什么
  • 吉林市移动公司电话 吉林省退休人员网
  • 设计类毕业论文 网站设计与实现毕业论
查看: 569|回复: 7

数据精度的问题

[复制链接]
发表于 2009-10-29 00:51:13 | 显示全部楼层 |阅读模式 IP:江苏扬州
我在做数学计算时公式是这样的csng(textbox1.text)-csng(textbox2.text),我输入12.33和12,为什么得出的结果却是0.32999999,却不是0.33,为什么用csng(textbox1.text-textbox2.text)得出的结果就是0.33了,为什么了;同样这两个式子用double类型:cdbl(textbox1.text)-cdbl(textbox2.text)和cdbl(textbox1.text-textbox2.text)算出的结果却是一样的,都是0.33,这又为什么了?
还有single在保持小数点后3位,最大可以多大,double在保持小数点后6位最大是多少
发表于 2009-10-29 00:51:14 | 显示全部楼层 IP:江苏扬州
看不懂.
你应该把"这是为什么"改一下.否则一般的人都不会来的
回复

使用道具 举报

发表于 2009-10-29 00:51:14 | 显示全部楼层 IP:江苏扬州
不应该出现益处的情况了,12和12.33那么小,怎么会出现益处了,
回复

使用道具 举报

发表于 2009-10-29 00:51:15 | 显示全部楼层 IP:江苏扬州
首先说这不是数据溢出的问题。
回复

使用道具 举报

发表于 2009-10-29 00:51:16 | 显示全部楼层 IP:江苏扬州
有人知道这个问题吗,不要吝啬与知识了,共享一下了
小弟先谢了
回复

使用道具 举报

发表于 2009-10-29 00:51:17 | 显示全部楼层 IP:江苏扬州
因为系统会取和你这个数值最接近的的个大约数。
如果你的数值越大,效果就会越明显。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

QQ|小黑屋|最新主题|手机版|微赢网络技术论坛 ( 苏ICP备08020429号 )

GMT+8, 2024-9-29 11:35 , Processed in 0.251382 second(s), 12 queries , Gzip On, MemCache On.

Powered by Discuz! X3.5

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表