[선형대수학#9] Basis & Dimension

지난 포스팅에서 span과 linear independence를 다뤘다. span은 벡터들로 나들 수 있는 모든 것의 집합이었고, linear independence는 그 벡터들 사이에 중복이 없다는 보증이었다. 이 두 개념을 동시에 만족하는 벡터 집합이 바로 기저(basis)이다. 그리고 basis의 원소 개수가 차원(dimension)이 된다.

 

Basis

벡터 공간 $V$에 있는 벡터 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n$이 다음 두 조건을 동시에 만족하면 $\{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\}$을 $V$의 basis라고 한다.

 

1. $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n$이 $V$를 span한다.
2. $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n$은 linear independence이다.

조건 (1)은 "이 벡터들만으로 공간 전체를 포현할 수 있다"는 충분성이고, 조건 (2)는 " 이 벡터들 중 하나라도 빠지면 더 이상 공간 전체를 span하지 못한다 "는 최소성이다. 즉 basis는 공간을 표현하는 데 필요한 최소한의 벡터 집합이다.

 

가장 친숙한 예시는 $\mathbb{R}^3$의 standard basis(natural basis)이다.

 

$$\left\{ \mathbf{e}_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \mathbf{e}_2 = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}, \mathbf{e}_3 = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \right\}$$

 

이 세 벡터의 linear combination으로 $\mathbb{R}^3$의 모든 벡터를 표현할 수 있고, 어떤 베겉도 나머지 둘의 linear combination이 아니다. 일반적으로 $\mathbb{R}^n$의 natural basis는 $\{\mathbf{e}_1, \mathbf{e}_2, \dots, \mathbf{e}_n\}$이며, 각 $\mathbf{e}_i$는 $i$번째 성분만 1이고 나머지는 0인 벡터이다.

 

하지만 basis는 유일하지 않다. standard basis만 basis가 되는 게 아니다.

 

예시: standard baisis가 아닌 basis

 

$S = \{\mathbf{w}_1, \mathbf{w}_2, \mathbf{w}_3\}$가 $\mathbb{R}^3$의 basis임을 보이자.

 

$$\mathbf{w}_1 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \mathbf{w}_2 = \begin{pmatrix} 0 \\ 2 \\ 0 \end{pmatrix}, \mathbf{w}_3 = \begin{pmatrix} -1 \\ 0 \\ 1 \end{pmatrix}$$

 

1) Linear independence 확인

 

$a \mathbf{w}_1 + b \mathbf{w}_2 + c \mathbf{w}_3 = \mathbf{0}$을 풀면:

 

$$\begin{pmatrix} a-c \\ 2b \\ c \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}$$

 

세 번째 성분에서 $c = 0$, 두 번째에서 $b = 0$, 첫 번째에서 $a = 0$. 유일한 해가 $a = b = c =0$이므로 linear independence이다.

 

2) span 확인

 

임의의 벡터 $\mathbf{w} = (x, y, z)^T \in \mathbb{R}^3$에 대해 $a \mathbf{w}_1 + b \mathbf{w}_2 + c \mathbf{w}_3 = \mathbf{w}$를 풀면: 

 

$$\begin{pmatrix} a-c \\ 2b \\ c \end{pmatrix} = \begin{pmatrix} x \\ y \\ z \end{pmatrix}$$

 

$c = z, \quad b = \frac{y}{2}, \quad a = x + z$로 항상 해가 존재한다. 따라서 $\text{span}(S) = \mathbb{R}^3$이다.

 

두 조건을 모두 만족하므로 $S$는 $\mathbb{R}^3$의 basis이다.

 

Basis에 관한 주요 성질

basis와 관련해 세 가지 중요한 성질이 이다.

 

1) 벡터 공간 $V$에 있는 영벡터가 아닌 집합 $S = \{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\}$에 대해서 $T = \text{span}(S)$라고 하면, $S$의 부분집합 중 $T$의 basis가 존재한다.

 

직관적으로, 벡터를 잔뜩 모아놨는데 그 안에 중복(linear depedence)이 있으면 한씩 빼면서 linear independence가 될 때까지 줄여나갈 수 있다는 뜻이다. 이렇게 걸러낸 부분집합이 span은 그대로 유지하면서 최소한의 벡터만 남긴 basis가 된다.

 

2) $ S = \{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\} $이 $V$의 basis이고 $T = \{\mathbf{w}_1, \mathbf{w}_2, \cdots, \mathbf{w}_k\}$는 $V$의 linear independence인 벡터의 부분 집합이면 $k \leq n$이다.

 

3) $S$와 $T$가 모두 $V$의 basis이면 $|S| = |T|$이다.

 

basis는 유일하지 않지만, basis의 크기는 항상 같다. 성질 2를 양방향으로 적굥하면 바로 나온다. $S$가 basis이고 $T$도 basis(따라서 linear independence)이면 $|T| \leq |S|$. 반대로 $T$가 basis이고 $S$도 linear independence이므로 $|S| \leq |T|$. 따라서 $|S| = |T|$.

 

이 성질 덕분에 차원이라는 개념을 정의할 수 있게 된다.

 

Dimension

영벡터가 아닌 벡터 공간 $V$의 dimension은 $V$의 basis를 이루는 베거의 개수이며, $\text{dim}(V)$로 표기한다.

 

basis가 여러 개 존재할 수 있지만 위의 성질 3에 의해 어떤 basis를 고르든 원소 수가 같으므로, dimension은 벡터 공간의 고유한 성질이 된다.

 

• $\{\mathbf{e}_1, \mathbf{e}_2, \mathbf{e}_3\}$는 $\mathbb{R}^3$의 basis이므로 $\dim(\mathbb{R}^3) = 3$
• $\{t^3, t^2, t, 1\}$는 $P_3$의 basis이므로 $\dim(P_3) = 4$

 

$P_3$는 3차 이하 다항식의 벡터 공간인데, basis가 4개의 원소를 가진다는 점에 주목하자. 3차라서 차원이 3이 아니라 4인 것은, 상수항 1까지 포함해야 3차 이하의 모든 다항식을 표현할 수 있기 때문이다.

 

dimension을 알면 basis 판별이 쉬워진다.

$V$가 $n$차원 벡터 공간이라는 것을 이미 알고 있을 때, basis를 확인하는 조건이 줄어든다.

 

1. $V$의 부분 집합 $S = \{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\}$이 linear independence이면 $S$는 $V$의 basis이다.
2. $S = \{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\}$이 $V$를 span하면 $S$는 $V$의 basis이다.

원래 basis를 보이려면 span과 linear independence 두 조건을 모두 확인해야 하지만, 벡터 개수가 차원과 같다면 둘 중 하나만 확인하면 나머지가 자동으로 따라온다. 예를 들어 $\mathbb{R}^3$에서 3개의 벡터가 linear independece이면, 그것이 곧 basis이다. span을 별도로 보일 필요가 없다.

 

---

ML에서 basis와 dimension은 데이터가 실제로 살고 있는 공간의 구조를 이해하는 데 핵심적이다. 예를 들어 분류 문제에서 각 클래스의 one-hot encoding은 target space의 standard basis가 된다. $개=(1, 0, 0), 고양이 = (0, 1, 0), 호랑이 = (0, 0, 1)$이라면, 모델의 출력 $\hat{\mathbf{y}} = (0.7, 0.2, 0.1)$은 이 basis의 linear combination,  즉 $0.7 \cdot \text{개} + 0.2 \cdot \text{고양이} + 0.1 \cdot \text{호랑이}$로 해석할 수 있다. softmax를 거치면 계수가 모두 양수이고 합이 1이 되므로 각 클래스에 대한 확률로 읽을 수 있게 된다.

 

또한 PCA와 같은 차원 축소 깁버은 고차원 데이텅에서 분산을 최대화하는 새로운 basis(주성분)를 찾고, 상위 $k$개만 남겨서 차원을 $n$dptj $k$로 줄이는 것이다. 여기서 $k$가 바로 축소된 공간의 dimension이다.