[선형대수학#8] Span & Linear Independence

2026.03.12 - [Mathematics] - [선형대수학#7] 벡터 공간

[선형대수학#7] 벡터 공간

지난 포스팅에서는 벡터 공간의 정의와 성질을 다뤘다. 이번에는 그 위에 놓이는 핵심 개념인 span과 일차독립을 정리한다. 벡터 공간에서 어떤 벡터들이 진짜 필요한가?를 판별하는 데 사용되며, 이후에 나올 기저(basis)와 차원(dimension)의 전제 조건이다.

 

Linear Combination

span과 linear independence를 다루기 전에 필요한 사전 지식인 linear combination부터 정리하자.

 

벡터 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n \in V$와 실수 $a_1, a_2, \cdots , a_n \in \mathbb{R}$에 대해

 

$$\mathbf{v} = a_1 \mathbf{v}_1 + a_2 \mathbf{v}_2 + \cdots + a_n \mathbf{v}_n$$

 

을 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n$의 linear combination이라 한다. 벡터를 스칼라 곱한 뒤 더하는 것, 이게 전보다. 지난 포스팅에서 벡터 공간의 두 연산이 덧셈과 스칼라 곱이었는데, linear combination은 이 두 연산을 한 문장(?)으로 합친 것이다.

 

간단한 예를 보자. $\mathbf {u} = (1, 1, 0)^T, \mathbf {v} = (-1, 2, 4)^T$일 때 $3\mathbf {u} - \mathbf {v}$는 일차 결합이다.

 

$$3\mathbf{u} - 2\mathbf{v} = 3 \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} + (-2) \begin{pmatrix} -1 \\ 2 \\ 4 \end{pmatrix} = \begin{pmatrix} 3+2 \\ 3-4 \\ 0-8 \end{pmatrix} = \begin{pmatrix} 5 \\ -1 \\ -8 \end{pmatrix}$$

 

여기서 같은 벡터들이라도 계수(coefficient) $a_1, a_2$를 어떻게 잡느냐에 따라 결과가 달라진다. 핵심 질문은 두 가지다. 

 

1. 주어진 벡터 $\mathbf{v}$를 특정 벡터들의 linear combination으로 표현할 수 있는가?
2. 그 표현이 유일한가?

이 질문들에 대한 답을 하기 위해 필요한 도구가 각각 span과 linear independence이다. 

 

Span

벡터 공간 $V$에 있는 벡터들의 집합 $S = \{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_p\}$가 있을 때, 이 벡터들의 모든 linear combination을 모아놓은 집합을 span이라 한다.

 

$$\text{span}(S) = \{ a_1 \mathbf{v}_1 + a_2 \mathbf{v}_2 + \cdots + a_p \mathbf{v}_p \mid a_1, \dots, a_p \in \mathbb{R} \}$$

 

직관적으로는 주어진 벡터들을 자유롭게 늘이고 줄이고 더해서 만들 수 있는 모든 벡터들의 집합니다.

예를 들어 $\mathbb{R}^2$에서 $\mathbf{v}_1 = (1, 0)^T$ 하나만 있으면 span은 $x$축 위의 직선이고, 여기에 $\mathbf{v}_2 = (0, 1)^T$를 추가하면 span이 $\mathbb{R}^2$ 전체로 확장된다.

 

$ \text{span}(S) $는 $V$의 부분 공간이다. 지난 글에서 부분 공간의 조건이 "덧셈과 스칼라 곱에 닫혀있다"이었는데, linear combination의 합이나 스칼라 곱은 다시 linear combination이므로 자연스럽게 만족된다.

 

예시

 

$S = \{\mathbf{v}_1, \mathbf{v}_2\} = \left\{ \begin{pmatrix} 1 \\ 2 \\ -1 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \\ 3 \end{pmatrix} \right\}$ 로 놓자. $\mathbf{v} = \begin{pmatrix} 2 \\ 7 \\ 7 \end{pmatrix}$가 $span S$에 속하는지 확인해보자.

 

$\mathbf{v}$가 $span S$에 속하려면 $\mathbf{v} = a\mathbf{v}_1 + b\mathbf{v}_2$를 만족하는 실수 $a, b$가 존재해야 한다.

 

$$a \begin{pmatrix} 1 \\ 2 \\ -1 \end{pmatrix} + b \begin{pmatrix} 0 \\ 1 \\ 3 \end{pmatrix} = \begin{pmatrix} 2 \\ 7 \\ 7 \end{pmatrix}$$

 

Gaussian elimination을 통해 해를 구해보자. 

 

$$\left( \begin{array}{cc|c} 1 & 0 & 2 \\ 2 & 1 & 7 \\ -1 & 3 & 7 \end{array} \right) \longrightarrow \left( \begin{array}{cc|c} 1 & 0 & 2 \\ 0 & 1 & 3 \\ 0 & 3 & 9 \end{array} \right) \longrightarrow \left( \begin{array}{cc|c} 1 & 0 & 2 \\ 0 & 1 & 3 \\ 0 & 0 & 0 \end{array} \right)$$

 

마지막 행이 $0 =0$이므로 모순 없이 해가 존재한다. 즉 $\mathbf{v} \in \text{span}(S)$라는 뜻이다.

 

예시

$\mathbb{R}^3$에서의 span

 

$$S = \left\{ \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix}, \begin{pmatrix} 3 \\ 1 \\ -1 \end{pmatrix}, \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \right\} \subset \mathbb{R}^3$$

 

이 벡터들의 linear combination을 전개하면:

 

$$a \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix} + b \begin{pmatrix} 3 \\ 1 \\ -1 \end{pmatrix} + c \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} = \begin{pmatrix} a+3b+c \\ -a+b+c \\ -b \end{pmatrix}$$

 

따라서 $ \text{span}(S) = \left\{ \begin{pmatrix} a+3b+c \\ -a+b+c \\ -b \end{pmatrix} \;\middle|\; a, b, c \in \mathbb{R} \right\}$이다. $a, b, c$가 자유롭게 움직이므로 이 집합이 $\mathbb{R}^3$ 전체를 커버하는지, 아니면 일부 부분 공간만 이루는지가 다음 질문이 된다. 그 답을 주는 것이 linear independence이다.

 

Linear Independence

벡터 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n \in V$가 다음 조건을 만족하면 linear independece라 한다.

 

$$a_1 \mathbf{v}_1 + a_2 \mathbf{v}_2 + \cdots + a_n \mathbf{v}_n = \mathbf{0} \Longrightarrow a_1 = a_2 = \cdots = a_n = 0$$ 

 

영벡터(위 식의 우항)를 만드는 유일한 방법이 모든 계수를 0으로 놓는 것 뿐이라는 의미다. 반대로, 0이 아닌 계수 조합으로도 영벡터를 만들 수 있으면 linear dependent이다.

 

linear dependent는 벡터들 사이에 중복이 있다는 뜻이다. 어떤 벡터 하나가 나머지의 linear combination으로 표현 가능하므로, 그 벡터는 span에 아무런 기여를 하지 못한다.

 

예시

 

위의 $\mathbb{R}^3$ 예제에서 동일한 벡터 세 개가 일차 독립인지 확인해 보자.

 

$$a \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix} + b \begin{pmatrix} 3 \\ 1 \\ -1 \end{pmatrix} + c \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 0 \end{pmatrix}$$

 

세 번째 성분에서 $-b = 0$이므로 $b = 0$. 이를 첫 번째와 두 번째 성분에 대입하면 $a + c = 0, -a + c = 0$이 되어 $a = c = 0$. 따라서 $a = b = c= 0$이 유일한 해이므로 이 벡터들은 linear independence이다.

 

판별 과정은 결국 $A\mathbf{x} = 0$을 푸는 것과 같다. 벡터들을 열로 세운 행렬 $A$를 REF로 만들어서 자유 변수가 없으면 linear independence, 있으면 linear dependence이다.

 

부분 집합과 독립/종속의 관계

$S_1, S_2$가 벡터 공간의 부분 집합이고 $S_1 \subset S_2$일 때, 다음이 성립한다.

 

$S_1$이 linear dependence이면 $S_2$도 linear dependence이다. 이미 중복이 있는 집합에 벡터를 더 추가해봤자 중복은 사라지지 않는다. 반대로 $S_2$가 linear independence이면 $S_1$도 linear independence이다. 이것은 위 명제의 대우이다.

 

linear dependence의 동치 조건

영벡터가 아닌 $\mathbf{v}_1, \mathbf{v}_2, \cdots , \mathbf{v}_n \in V$에 대해, 다음 두 조건은 필요충분이다.

 

1. $ \mathbf{v}_1, \mathbf{v}_2, \cdots , \mathbf{v}_n$이 linear dependence이다.
2. 벡터 중 하나를 나머지의 linear combination으로 표현할 수 있다: $\mathbf{v}_k = a_1 \mathbf{v}_1 + \cdots + a_{k-1} \mathbf{v}_{k-1}$

두 번째 조건이 linear dependence의 직관적 의미를 가장 잘 드러낸다고 생각한다. dependece라는 이름 그대로,어떤 벡터가 다른 벡터들에 의존하고 있다는 뜻이다.

 

---

ML에서 linear dependence는 feature의 redundancy와 연결된다. 학습 데이터의 feature 벡터들이 lienar dependence이면 동일한 정보를 중복으로 담고 있는 것이고, 이는 모델의 파라미터를 유일하게 결정할 수 없도록 만든다. 정규방정식 $\mathbf{X}^T \mathbf{X} \boldsymbol{\beta} = \mathbf{X}^T \mathbf{y}$에서 $\mathbf{X}$의 열들이 linear dependence이면 $ \mathbf{X}^T \mathbf{X}$가 singular matrix가 되어 역행렬이 존재하지 않는다. Ridge나 Lasso같은 정규화가 이 문제를 우회하는 방법 중 하나다.