float a = 2.0f/3.0f;
printf("%f\n",a);
하면 0.66667 요렇게 나오거든요. 여기에서
float b = 3.0f*a;
printf("%f\n",b);
하면 3.0*0.66667 = 2.00001 이어야 하는데, 2.00000 이라고 제대로 나와요. 내부적으로 어떤 과정이 숨어 있을까요?
제가 수치해석 수업에서 floating point system 을 배우면서 컴퓨터에서는 무한 소수를 표현할 수 없기 때문에 반올림 또는 버림을 하게 되고 이 때 발생한 오차가 쌓일 수 있다는 것을 배웠던 기억이 있습니다. 그래서 역행렬을 구하는 가우스 소거법을 할 때는 피보팅 같은 걸 해서 오차를 최소화하는 것을 보기도 했고요. 오늘 갑자기 그 생각이 나서 위의 코드를 짜서 테스트 해본건데, 예제가 너무 간단해서 그런 건지, 아니면 C 자체적으로 유리 무한 소수를 커버하는 알고리즘(?)이나 기능이 있는 건지 궁금하네요.
(참고. 혹시 표현만 반올림을 해서 저렇게 되는 건가 해서 printf("%.100f\n",a); 를 해봤더니 0.666666686534881......00000000 으로 떴어요. 여기에 3.0을 곱해서 정확하게 2가 될 것 같지 않은데 곱한 결과는 2.000000....0000 으로 정확하게 나오더군요.)
질문 | 1162명이 읽었어요. 18.191.234.62
