博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
C#中float, double的精度问题
阅读量:6080 次
发布时间:2019-06-20

本文共 1432 字,大约阅读时间需要 4 分钟。

在工作中我发现了一个C#浮点数的精度问题,以下的程序运行结果并未得到我预期的结果:

view source
print?
01 namespace FloatTest
02
03     class Program
04     
05         static void Main(string[] args)
06         
07             double a = 0.0001;
08             float b = 0.1F;
09   
10             int c = (int)((a * 1000) / b);
11   
12             Console.WriteLine("c = {0}", c);
13   
14             Console.ReadLine();
15         
16     
17 }

我期望的结果是得到1,结果程序返回的结果为c = 0

 

这让我想到了可能是因为浮点数采用IEEE754的表示方法,在运算中b会转换成double,可能是在转换中算法的问题导致精度丢失,为了证实该问题,我做了下面的实验:

view source
print?
01 namespace FloatTest
02
03     class Program
04     
05         static void Main(string[] args)
06         
07             double a = 0.0001;
08             float b = 0.1F;
09   
10             int c = (int)((a * 1000) / b);
11   
12             Console.WriteLine("a = {0}", a);
13             Console.WriteLine("b = {0}", Convert.ToDouble(b));
14             Console.WriteLine("c = {0}", c);
15   
16             Console.ReadLine();
17         
18     
19 }

这次果然得到了意料中的结果:float在转成double的时候出现了精度的丢失问题

a = 0.0001

b = 0.100000001490116
c = 0

 

如果是在类型转换的时候导致的精度丢失,那我把b改为double应该可以解决这个问题:

view source
print?
01 namespace FloatTest
02
03     class Program
04     
05         static void Main(string[] args)
06         
07             double a = 0.0001;
08             double b = 0.1;
09   
10             int c = (int)((a * 1000) / b);
11   
12             Console.WriteLine("a = {0}", a);
13             Console.WriteLine("b = {0}", Convert.ToDouble(b));
14             Console.WriteLine("c = {0}", c);
15   
16             Console.ReadLine();
17         
18     
19 }

这次却是得到我们期望的结果:

a = 0.0001

b = 0.1
c = 1

 

因此,在程序中,我们应该尽量的避免浮点数类型转换导致的精度丢失。

我在GCC上做了同样的实验,结果不管哪种方式得到的结果都是正确的,我只能说可能是double Convert.ToDouble(float)的实现的原因导致的。

转载于:https://www.cnblogs.com/wwwzzg168/p/3570015.html

你可能感兴趣的文章
Linux系统磁盘管理
查看>>
hdu 2191 (多重背包+二进制优化)
查看>>
home.php
查看>>
neo4j---删除关系和节点
查看>>
redis分布式锁redisson
查看>>
什么样的企业可以称之为初创企业?
查看>>
Python爬虫之BeautifulSoup
查看>>
《HTML 5与CSS 3权威指南(第3版·下册)》——第20章 使用选择器在页面中插入内容...
查看>>
如何判断自己适不适合做程序员?这几个特点了解一下
查看>>
newinstance()和new有什么区别
查看>>
android下载封装类
查看>>
[node] 用 node-webkit 开发桌面应用
查看>>
Nginx访问控制和虚拟主机
查看>>
report widget not working for external users
查看>>
windows phone 摄像头得到图片是旋转90°
查看>>
Linux--sed使用
查看>>
没有显示器的情况下安装和使用树莓派
查看>>
Q85 最大矩形
查看>>
【android】使用handler更新UI
查看>>
mochiweb 源码阅读(十五)
查看>>