请问老师，变量的精度设置问题 (文华财经wh7睿期)

投资者咨询：请问老师，变量的精度设置问题 (文华财经wh7睿期)

来源:文华财经日期:2019-4-13 18:55

请问老师，如何根据斜率数值数量级的大小确定精确到小数点后多少位

如果斜率值小于1.那么斜率精确到小数点后4位；

如果斜率值小于0.1.那么斜率精确到小数点后5位；

如果斜率值小于0.01.那么斜率精确到小数点后6位；

如果斜率值小于0.001.那么斜率精确到小数点后7位；

....

像7.1；7.01；7.001......都精确到小数点后2位

0.00123；0.00145；0.001258；....都精确到小数点后5位

技术人员回复

日期:2019-4-13 20:58

PRECIS可以控制显示的小数位数，但由于精度问题，最多6位的，方法如下

IF(A<1&&A>=0.1,A,NULL),PRECIS4;

IF(A<0.1&&A>=0.01,A,NULL),PRECIS5;

IF(A<0.01,A,NULL),PRECIS6;

A是您计算的斜率

投资者咨询：请问老师，变量的精度设置问题 (文华财经wh7睿期)

来源:文华财经日期:2019-4-13 18:55

谢谢舟亢老师！

文华软件划线函数，在运行时，是否也存在精确度问题，是不是在超过一定精确度之后就不划线了？

实际中发现，

可以划斜率为0.02的直线,但不能划斜率为0.0221的直线

也就是说，后面的斜率只要不超过0.02，无论是0.0201，还是0.02449，划的都是斜率为0.02的直线。

技术人员回复

日期:2019-4-14 11:09

您提供下您的模型

我们帮您具体看下

{{userData.name}}已认证