큰 수의 법칙은 경험적인가 선험적인가?

12 Jun 2026

큰 수의 법칙은 확률론의 가장 유명한 정리 중 하나로, 보통 다음과 같이 소개된다.

통상적으로 소개되는 큰 수의 법칙. 기댓값이 $\mu$인 확률변수를 반복적으로 관측할 때, 관측값들의 평균은 시행 횟수가 커질수록 $\mu$에 가까워진다.

이는 “경험적 확률은 수학적 확률로 수렴한다”, 또는 “통계는 집단이 커질수록 정확해진다” 등의 표어로도 소개된다.

그러나 이들 소개에는 이상한 점이 있다. 이들 소개에 따르면 큰 수의 법칙은 경험의 영역과 수학의 영역을 연결하는 다리이다. 그러나 큰 수의 법칙은 순수 수학의 정리이다. 그렇다면 순수 수학의 정리가 어떻게 우리에게 경험적 사실을 알려줄 수 있을까? 이는 마치 순수 이성만으로 세계에 관한 지식을 얻을 수 있다고 주장한 근대 합리론자들을 연상시키며, 굉장히 미심쩍다.

이 점은 귀납에 관한 수수께끼라는 철학의 유명한 논제를 통해 더욱 명확히 드러낼 수 있다. 흄은 귀납법의 정당성이 자기순환적이라는 사실을 지적한 바 있다. 귀납법의 핵심은 과거에 관측된 규칙성이 미래에도 성립할 것이라는 전제이다. 이것을 시간의 균등성 전제라고 부르자. 그러나 이 전제를 우리가 받아들이는 이유는 그것이 과거부터 줄곧 유효했기 때문이라는 사실에 다름 아니다. 즉 우리는 귀납법의 전제를 귀납적으로 정당화할 수밖에 없다. 이로부터 흄은 귀납법이 선험적·필연적 법칙이 아닌, 인간의 심리적 본성으로부터 비롯되는 사고 습관이라고 결론 내렸다.

흄의 논증은 미래에 대한 진술의 참은 항상 우연적이라는 관찰에 기반한다. 갑자기 우주의 모든 물리 법칙이 바뀌는 것과 같은 극단적 비균등성이 논리적으로 가능하기 때문이다. 따라서 흄에 따르면 “사건들의 기댓값이 특정 값으로 수렴할 것이다”라는 진술 또한 기껏해야 우연적인 참이다. 그러나 이것은 큰 수의 법칙에 다름 아니며, 큰 수의 법칙은 수학 정리이므로 그것의 참은 선험적·필연적이다.

그렇다면 흄이 틀린 것일까? 당연히 그렇지는 않다. 문제는 큰 수의 법칙에 대한 통상적인 소개가 적절치 않다는 것이다. 큰 수의 법칙의 정확한 진술을 살피면 어디에도 “시행”이나 “관측”이나 “경험”에 대한 진술이 없음을 알 수 있다.

정리. 확률공간 $(\Omega, \mathcal{F}, \mathbb{P})$ 위에 확률변수들의 열 $X_1, X_2, \cdots: \Omega \to E \; (E = \mathbb{R})$가 독립동일분포_{independent and identically distributed; iid}이며, $E[X_n] = \mu < \infty$라고 하자. 다음이 성립한다.

• 약한 큰 수의 법칙. 임의의 $\epsilon > 0$에 대해,

\[\mathbb{P}\left( \left\{ \omega \in \Omega: \left| \frac{1}{n} \sum^n_{k=1}X_k(\omega) - \mu \right| > \epsilon \right\} \right) \to 0.\]

• 강한 큰 수의 법칙.

\[\mathbb{P}\left( \left\{ \omega \in \Omega: \lim_{n \to \infty} \frac{1}{n} \sum^n_{k=1}X_k(\omega) = \mu \right\} \right) = 1.\]

그렇다면 “큰 수의 법칙”을 “경험적 확률은 수학적 확률로 수렴한다”라고 해석하는 것은 어디서 유래하는 것일까? 문제의 핵심은 독립동일분포라는 표현에 있다. 어떤 두 확률변수 $X, Y: \Omega \to E$가 독립동일분포라는 것은 $X$와 $Y$의 분포가 동일하고, 임의의 $x, y \in E$에 대해 다음이 성립하는 것이다(편의상 $E$가 이산이라고 전제).

\[\begin{align} &\mathbb{P}(\{\omega \in \Omega : X(\omega) = x \land Y(\omega) = y \}) \\ &= \mathbb{P}(\{ \omega \in \Omega: X(\omega) = x\}) \cdot \mathbb{P}(\{ \omega \in \Omega: Y(\omega) = y\}) \end{align}\]

가령 두 개의 동전을 던질 때, 첫 번째 동전에서 앞면이 나올 확률과 두 번째 동전에서 앞면이 나올 확률이 $p$로 같으며, 첫 번째 동전의 결과가 두 번째 동전의 결과에 영향을 주지 않을 때, 두 동전은 독립동일분포로 이해할 수 있다.

또다른 예시로, 똑같은 동전을 연달아 던질 때 각각의 시행은 독립동일분포로 가정하는 것이 자연스럽다. 매 시행에서 동전이 앞면이 나올 확률은 $p$로 같으며, 과거의 시행은 미래에 영향을 주지 않기 때문이다. 그리고 이 가정이 성립한다면, 큰 수의 법칙에 의해 $N$번의 시행 중 앞면이 나온 횟수는 $N$이 커질수록 $pN$에 수렴할 것이다.

문제는, 실제 세계에서는 주어진 통계적 시행들이 독립동일분포인지를 결코 확실히 알 수 없다는 것이다. 바로 이것이 흄이 지적한 바이다. 앞선 예시와 같이 똑같은 동전을 연달아 던지는 것조차 독립동일분포가 되리라 확신할 수 없다. 왜냐하면 동전을 던지던 도중 갑자기 우주의 물리 법칙이 뒤바뀌어 앞면이 나올 확률이 100%가 될 수도 있기 때문이다.

결국 똑같은 동전을 연달아 던지는 것이 독립동일분포라고 주장하기 위해서는 다름아닌 시간의 균등성 전제가 필요하다. 일반적으로, 큰 수의 법칙을 “경험적 확률은 수학적 확률로 수렴한다” 등과 같이 해석하는 것은 암암리에 시간의 균등성 전제를 가정한다. 그러나 시간의 균등성 전제는 순수 수학이 아닌 물리학 내지 형이상학에 속한다. 이것을 도식적으로 다음과 같이 나타낼 수 있다.

큰 수의 법칙(수학/선험적) + 시간의 균등성 전제(물리학 내지 형이상학/경험적) ⇒ 통상적으로 소개되는 큰 수의 법칙(경험적)

따라서 큰 수의 법칙을 둘러 싼 오해는 순수 수학의 정리와 형이상학적 전제가 불분명하게 뒤섞인 데 있다. 필자 또한 이런 이유로 학창 시절에 큰 수의 법칙을 이해하는 데 어려움이 있었던지라 모처럼 글로 정리해 보았다.