[CSAPP] 정수 오버플로우와 부동소수점의 비밀: 컴퓨터는 어떻게 숫자를 다루는가?

1. 문제 제기 (Introduction & Problem Statement)

• 관찰 현상 또는 질문:
  프로그래밍을 하다 보면 상식적으로 이해하기 어려운 산술 결과를 마주할 때가 있다. 예를 들어, 8비트 부호 없는 정수(unsigned char)에서 255 + 1은 왜 0이 될까? 혹은, 0.1 + 0.2가 0.3이 아니라 0.30000000000000004와 같은 근사값으로 나오는 이유는 무엇일까? 이러한 현상은 컴퓨터가 숫자를 표현하고 연산하는 내부 방식에 기인한다.

• 탐구 목표:
  본 아티클에서는 컴퓨터가 정수와 실수를 표현하는 두 가지 핵심 방식, 즉 2의 보수(Two's Complement)와 IEEE 754 부동소수점 표준을 깊이 있게 분석한다. 정수 연산에서 발생하는 오버플로우의 원리와 부동소수점 연산의 정밀도 한계 및 특별한 값(NaN, Infinity)이 어떻게 처리되는지 비트 수준에서 파헤쳐, 프로그래머가 반드시 알아야 할 컴퓨터 산술의 기본 원리를 명확히 이해하는 것을 목표로 한다.

---

2. 기술 분석 및 핵심 원리 (Technical Deep Dive)

2-1. 정수 연산의 두 얼굴: Unsigned 와 Signed

컴퓨터의 정수 연산은 같은 덧셈 회로를 사용하지만, 비트열을 어떻게 해석하느냐에 따라 Unsigned(부호 없는 정수)와 Signed(부호 있는 정수)로 나뉜다.

• Unsigned 정수와 모듈러 연산:
  w비트 부호 없는 정수는 (0)부터 (2^w - 1)까지의 값을 표현한다. 두 w비트 정수 x, y의 합이 (2^w)를 초과하면 오버플로우가 발생하며, 결과는 합을 (2^w)로 나눈 나머지와 같다 (모듈러 연산). 이것이 8비트 unsigned char에서 255 + 1 = 256이 비트 길이를 초과하여 하위 8비트만 남아 0이 되는 이유다.

• Signed 정수와 2의 보수:
  w비트 부호 있는 정수는 일반적으로 2의 보수 표현법을 사용한다. 2의 보수 덧셈은 하드웨어적으로 부호 없는 덧셈과 완전히 동일하지만, 값의 해석과 오버플로우 판단 방식이 다르다. 양수와 음수를 더할 때는 오버플로우가 발생하지 않지만, 두 양수의 합이 음수가 되거나 두 음수의 합이 양수가 되면 오버플로우로 간주한다. 음수로의 변환(부정)은 모든 비트를 반전시키고 1을 더하는 (~x + 1) 연산으로 이루어진다.

2-2. 곱셈과 나눗셈의 효율성: 비트 확장과 시프트 연산

정수 곱셈과 나눗셈은 덧셈/뺄셈보다 복잡하지만, 하드웨어는 이를 효율적으로 처리하기 위한 최적화 기법을 사용한다.

• 곱셈 결과가 2w 비트로 확장되는 이유:
  w비트 정수 두 개를 곱하면 결과값의 최댓값은 최대 2w비트 길이를 가질 수 있다. 예를 들어, 8비트 최댓값 255((2^8 - 1))와 255를 곱하면 65025((2^{16} - 2^9 + 1))가 되어 16비트 공간이 필요하다. 대부분의 CPU는 내부적으로 2w비트 결과값을 계산할 수 있는 곱셈기를 갖추고 있지만, 프로그래밍 언어의 변수는 고정된 w비트 크기를 가지므로 상위 w비트는 보통 버려진다.
• 곱셈과 나눗셈 최적화:
  • 부호 있는 정수의 곱셈은 부스(Booth) 알고리즘과 같은 특별한 알고리즘을 사용하여 덧셈과 시프트 연산만으로 효율적으로 처리한다.
  • 컴파일러는 상수에 대한 곱셈이나 2의 거듭제곱에 대한 나눗셈을 빠른 비트 시프트(shift) 연산으로 최적화한다. 예를 들어 x * 10은 x * (8 + 2)로 분해하여 (x << 3) + (x << 1)과 같이 시프트와 덧셈 연산으로 변환해 실행 속도를 높인다. x / 4는 x >> 2로 변환된다.

2-3. 실수의 근사 표현: IEEE 754 부동소수점

실수는 무한한 정밀도를 가질 수 있지만, 컴퓨터는 유한한 비트로 이를 근사적으로 표현해야 한다. IEEE 754는 이러한 실수를 표현하는 표준 방식이다.

• 부동소수점의 구조:
  실수는 과학적 표기법과 유사하게 V = (-1)^s × M × 2^E 형태로 표현된다. 32비트 단정밀도(float)는 이 세 요소를 저장하기 위해 비트를 다음과 같이 세 부분으로 나눈다.

  • 부호 (Sign, s): 1비트. 0은 양수, 1은 음수.
  • 지수 (Exponent, E): 8비트. 수의 크기(자릿수)를 결정. 실제 지수값에 편향(Bias)을 더한 형태로 저장된다.
  • 가수 (Fraction, M): 23비트. 수의 유효숫자(정밀도)를 담당.

• 지수(exp) 값에 따른 세 가지 해석 모드:
  하나의 32비트 패턴은 지수부(exp)의 값에 따라 아래 세 가지 모드 중 하나로 해석된다.

exp 필드 값	해석 모드	목적 및 특징
00000000도, 11111111도 아님	정규화된(Normalized) 값	대부분의 실수를 표현. 가수는 1.frac 형태로 간주하고 맨 앞 1은 생략하여 1비트의 추가 정밀도를 확보한다.
00000000	비정규화된(Denormalized) 값	0에 매우 가까운 수를 표현하여 점진적 언더플로우를 가능케 한다. 가수는 0.frac 형태로 해석된다.
11111111	특별한(Special) 값	frac이 모두 0이면 무한대(Infinity), 0이 아니면 NaN(Not a Number)을 표현. 0으로 나누기 등의 예외적인 연산 결과를 나타낸다.

• 반올림: 실수를 유한한 비트로 표현하기 위해 반올림이 필수적이다. 기본 모드는 가장 가까운 짝수로 반올림(Round-to-nearest-even)으로, 통계적 편향을 최소화한다.

---

3. 결론 및 고찰 (Conclusion & Takeaways)

• 핵심 요약:
  • 컴퓨터의 정수 연산 오버플로우는 에러가 아니라, 부호 유무에 따라 모듈러 연산 또는 2의 보수 규칙에 의해 정의된 동작이다.
  • 부동소수점(IEEE 754)은 실수의 근사 표현 방식으로, 제한된 비트를 부호, 지수, 가수로 나누어 넓은 범위의 수와 정밀도 사이에서 균형을 맞춘다. 이로 인해 필연적으로 표현 오차가 발생한다.
• 기술적 통찰 및 나의 생각:
  이번 학습을 통해 코드에서 사용하는 숫자가 추상적인 수학적 개념이 아닌, 물리적 한계를 지닌 구체적인 데이터 표현임을 체감했다. 특히 float의 32비트가 지수부의 값에 따라 정규화, 비정규화, 특별 값 등 전혀 다른 방식으로 해석되는 '모드 스위치' 역할을 한다는 점이 인상 깊었다. 이는 단순한 값 저장을 넘어, 제한된 자원으로 최대한 넓은 범위와 정밀도를 표현하려는 정교한 설계의 결과물이다. 정수 오버플로우와 부동소수점의 한계를 이해하는 것은 금융 계산이나 과학 시뮬레이션처럼 정확성이 중요한 분야에서 버그를 예방하는 첫걸음이 될 것이다.
• 향후 과제 / 추가 질문:
  • float와 double의 정밀도 차이가 실제 애플리케이션의 계산 결과에 어떤 누적 오차를 발생시키는지 실증적으로 테스트해보고 싶다.
  • 부동소수점 연산은 결합법칙((a+b)+c = a+(b+c))이 성립하지 않는데, 연산 순서에 따라 최종 결과가 달라지는 구체적인 사례는 무엇이 있을까?

---

4. 참고 자료 (References)

• Randal E. Bryant, David R. O'Hallaron, "Computer Systems: A Programmer's Perspective"
• IEEE 754 Standard for Floating-Point Arithmetic