왜 연속함수의 위상적 정의는 “반대”인가?

02 Jun 2025

정의. 두 위상공간 $X, Y$에 대해 사상 $f: X \to Y$가 연속이라는 것은, $V \subseteq Y$가 열린 집합이라면 $f^{-1}[V] \subseteq X$ 또한 열린 집합이라는 것이다.

위상수학을 처음 수강하는 학생들은 위 정의에서 혼란을 겪는다. 직관적으로는 “$U \subseteq X$가 열린 집합이라면 $f[U] \subseteq V$ 또한 열린 집합인 사상”이라는 정의가 자연스러운데, 실제 정의는 이와 반대이기 때문이다. 이러한 직관의 “근거”는 대충 다음과 같을 것이다.

1. 엡실론-델타 논법

엡실론-델타 논법에 따르면 $f: X \to Y$가 연속이라는 것은 다음과 같다.

\[\forall \epsilon > 0 \; \exists \delta > 0 : |x - y| < \delta \rightarrow |f(x) - f(y)| < \epsilon\]

위 논리식을 보면 조건부에 $x, y \in X$가 있고 결론부에 $f(x), f(y) \in Y$가 있다. 따라서 연속함수의 위상적 정의 또한 조건부에 $U \subseteq X$가 있고 결론부에 $f[U] \subseteq Y$가 있는 것이 자연스러워 보인다.

2. 열린 집합에 대한 직관

처음 위상수학을 배울 때, 열린 집합을 “서로 가까운 점들의 모임”으로 생각하곤 한다. 즉, $U$가 열린 집합이라는 것은 $x, y \in U$라면 $x, y$가 “가깝다”는 것이다. 그렇다면 연속함수는 “가까운 점들을 가까운 점들로 사상시키는 함수”이므로, 열린 집합을 열린 집합으로 사상시키는 함수로 정의하는 것이 자연스러워 보인다.

그러나 위 두 “근거”는 매우 잘못되었다.

3. “엡실론-델타 논법” 근거가 잘못된 이유

$\rightarrow$만을 기준으로 왼쪽이 조건부, 오른쪽이 결론부로 판단하는 것은 오해를 낳기 딱 좋다. 왜냐하면 여기서는 양화사 또한 고려해야 하기 때문이다. 엡실론-델타 논법의 양화사 부분을 언어적으로 읽으면 “임의의 양수 $\epsilon$에 대해, 어떤 양수 $\delta$가 존재한다” 이다. 다른 말로 하자면, U$\epsilon$이 양수라면, 어떤 양수 $\delta$가 존재한다” 이다.

그리고 $\epsilon$과 유관한 공간은 $X$가 아닌 $Y$이다. 즉, $\epsilon$에 대한 서술, 그리고 그에 부수되는 $Y$에 대한 서술이 해당 논리식에서 가장 일차적인 조건부인 것이다. 따라서 위상적 정의에서 $V \subseteq Y$가 조건부에 있는 것은 이상한 일이 아니다.

4. “열린 집합에 대한 직관” 근거가 잘못된 이유

편의를 위해 $x$와 $y$가 “가깝다”는 것을 $x \sim y$로 표기하자. “열린 집합에 대한 직관” 근거는 다음의 잘못된 직관에 기반한다.

열린 집합에 대한 잘못된 직관. $x \in U$에 대해, $y \in U$라면 $x \sim y$이다.

이는 다음과 같이 수정해야 한다.

열린 집합에 대한 올바른 직관. $x \in U$에 대해, $x \sim y$라면 $y \in U$이다.

조금만 생각해 보면 이는 당연하다. 일례로 실수 전체의 집합 $\mathbb{R}$은 열린 집합이다. 그렇다면 임의의 두 실수는 언제나 “가까운” 것인가? 그건 말도 안 된다. 반대 경우를 보면, $\lbrace 0 \rbrace $은 열린 집합이 아니지만 $x, y \in \lbrace 0 \rbrace $일 때 $x = y$이므로 $x$와 $y$는 최대한으로 “가깝다”. 따라서 “잘못된 직관”에 따르면 $\lbrace 0 \rbrace $은 열린 집합이다.

반면 “올바른 직관”으로 보면 $\mathbb{R}$은 열린 집합이고 $\lbrace 0 \rbrace $은 열린 집합이 아닌 것이 분명하게 드러난다. $x \in \mathbb{R}$일 때, $x$와 “가까운” 실수 $y$는 자명하게 $\mathbb{R}$에 포함된다. 한편 $\lbrace 0 \rbrace $은 $0$의 “바로 곁”에 있는 실수들을 포함하고 있지 않으므로 열린 집합이 아니다.

또한 “올바른 직관”으로 보면 연속함수의 위상적 정의가 “뒤집혀야” 하는 이유 또한 분명하다. 먼저 연속함수는 다음과 같이 직관적으로 이해할 수 있다.

연속함수에 대한 올바른 직관. $x \sim y$라면 $f(x) \sim f(y)$이다.

이제 위의 “직관”과 연속함수의 위상적 정의가 동치임을 보이자.

직관적 정의 => 위상적 정의

$f$가 “직관적으로 연속”일 때, 열린 집합 $V$에 대해 $U = f^{-1}[V]$가 열린 집합임을 보이자. $x \in U$, $x \sim y$라고 하자. $f$가 연속이므로 $f(x) \sim f(y)$이다. 그리고 $V$가 열린 집합이며 $f(x) \in V$이므로 $f(y) \in V$이다. 따라서 $y \in U$이다. □

위상적 정의 => 직관적 정의

$f$가 “위상적으로 연속”일 때, $x \sim y$라면 $f(x) \sim f(y)$임을 보이자. $V$가 $f(x)$와 “가까운” 점들만을 포함하는 집합이라고 하자. $V$는 열린 집합이다. 왜냐하면 $z \in V$이고 $z \sim w$일 때, $V$의 정의에 의해 $f(x) \sim z$이므로 ~추이성에 의해~ $f(x) \sim w$, 즉 $w \in V$이기 때문이다. 그리고 $U = f^{-1}[V]$가 $x$를 포함하는 열린 집합이므로 $y \in U$이다. 따라서 $f(y) \in V$, 즉 $f(x) \sim f(y)$이다. ■

물론 위의 논의는 엄밀하게 정의되지 않은 관계 $\sim$을 사용하기 때문에 조금 석연찮기는 하다. 그러나 필자는 $\sim$을 사용하여 열린 집합과 연속성을 이해하는 것이 위상수학을 처음 공부하는 데 있어 유용한 길잡이가 되어준다고 생각한다. 덧붙이자면, 비표준 해석학을 사용하면 $x \sim y$를 $|x - y| = \epsilon$으로 엄밀하게 정의할 수 있다. 이에 관해서는 나중에 기회가 되면 이야기해 보겠다.