星期五 发表于 2023-12-7 10:16:47

小数精度问题

用1.144-1.144不等于0等于-9.41087485717418E-17

李。Ray 发表于 2023-12-7 11:20:40

没问题，你看。


设置好数据的小数位。


李根 发表于 2023-12-7 11:32:14

计算机用的是浮点数，最好加一下四舍五入的公式

李。Ray 发表于 2023-12-7 11:40:38

李。Ray 发表于 2023-12-7 11:20
没问题，你看。



我用数据接口试了下也没问题如果你的值有固定位数的话，在数据表管理里边，设置好小数位数，数值1,2和差都设置好。就不会出错了。
我刚刚把数据表管理中的小数位数清空后，就出错了。
页: [1]
查看完整版本: 小数精度问题