9.45와 9.44가 모두 9로 보일 때
보존실에서 두 금속 조각의 길이를 재니 A는 9.45센티미터, B는 9.44센티미터였다. 정수까지만 표시하는 화면에서는 둘 다 9센티미터다. 소수 첫째 자리에서는 A 9.5, B 9.4로 보인다. 물체가 변한 것이 아니라 표시 자릿수가 달라져 눈에 보이는 관계가 바뀌었다.
반올림은 긴 수를 목적에 맞게 줄이는 표현 규칙이다. 표시값이 같다는 사실은 선택한 정밀도에서 구별되지 않는다는 뜻이다. 원래 값까지 같다는 결론은 따라오지 않는다. 작은 차이가 중요한 품질 검사라면 원자료와 측정 불확실성도 함께 보존해야 한다.
차이와 순위를 따로 기록하기
A−B의 원래 차이는 0.01센티미터다. 정수 표시에서는 차이가 0으로 보이지만 소수 둘째 자리에서는 0.01이 그대로 보인다. 아래 활동에서 A와 B를 9.40~9.50 사이로 움직이고 표시 자릿수를 바꾸면 원래 차이와 표시 차이가 함께 갱신된다.
두 값에 같은 반올림 규칙을 적용하면 큰 값이 작은 값보다 작게 뒤집히지는 않지만 동점으로 합쳐질 수 있다. 그래서 순위표에는 동점 처리 규칙이 필요하다. 화면에 보이는 숫자만으로 원래 차이의 부호까지 추정하지 않는 편이 안전하다.
필요한 정밀도는 질문이 정한다
책상 길이를 재는 일과 약품 용량을 재는 일은 필요한 정밀도가 다르다. 자릿수를 많이 쓰는 것 자체가 정확성을 보장하지도 않는다. 측정 도구가 구별하지 못하는 자리까지 적으면 거짓 정밀도를 만든다.
자료를 읽을 때는 단위, 표시 자릿수, 원자료 보존 여부를 함께 확인하자. ‘같다’가 실제 동일성인지, 표시 단계에서 생긴 동점인지 묻는 것만으로도 숫자 해석이 훨씬 분명해진다.