just-data

이번 포스팅에서는 행렬이 벡터에 작용할 때 방향이 변하지 않는 특별한 벡터, 즉 고유벡터와 그에 대응하는 고유값을 정리한다. 선형 연산(Linear Operator)이전 행렬 변환 포스팅에서 선형 변환을 다뤘다. 덧셈보존($L(\mathbf{a} + \mathbf{b}) = L(\mathbf{a}) + L(\mathbf{b})$)과 스칼라 곱 보존($L(r\mathbf{a}) = rL(\mathbf{a})$)을 만족하는 함수$L \colon V \to W$가 선형 변환이었고, 모든 행렬 변환은 선형 변환이었다. 고유값과 고유벡터는 특별히 $V = W$인 경우, 즉 같은 공간에서 같은 공간으로의 선형 변환 $L \colon V \to W$를 다룬다. 이를 선형 연산(inear operator)이라 한다. ..

이번 포스팅에서는 $A\mathbf{x} = \mathbf{b}$가 정확한 해를 갖지 않을 때, 오차를 최고화하는 근사해를 구하는 최소제곱해를 정리한다. Problem Definition$A\mathbf{x} = \mathbf{b}$를 풀고 싶다. $A$가 정방행렬이고 nonsingular이면 $\mathbf{x} = A^{-1}\mathbf{b}$로 정확한 해를 구할 수 있다. 그런데 현실의 데이터에서는 이 조건이 거의 성립하지 않는다. 데이터 포인트 수($m$)가 변수 수($n$)보다 많으면 $A$는 $m \times n$ 행렬($m > n$)이 되어 정방행렬이 아니고, 모든 데이터를 정확히 만족하는 $\mathbf{x}$는 일반적으로 존재하지 않는다. 이때 우리가 할 수 있는 최선은, $A\hat..

지난 포스팅에서 내적을 다뤘다. dot product의 정의와 기하학적 의미를 확인했고, 이를 일반화한 inner product와 내적 공간의 개념을 정리했다. 또한 orthgonal 집합이 자동으로 linear independent임을 보았다. 이번에는 임의의 basis를 orthogonal하면서 크기가 1인 basis, 즉 orthonormal basis로 변환하는 그람-슈미트 프로세스를 정리한다. Orthonormal Set이전 포스팅에서 orthogonal set은 서로 다른 원소 간의 내적이 모두 0인 집합이라고 했다. 여기에 조건 하나를 더 추가한다. $S$가 orthogonal set이고, $S$의 모든 벡터의 크기가 1(즉, 단위 벡터)이면 $S$를 orthonormal set이라 한다. ..

이번 포스팅에서는 벡터의 길이와 각도를 다루는 내적을 정리한다. 내적은 벡터 간의 유사성을 측정하는 가장 기본적인 도구이며, 추천 시스템의 cosine similarity부터 신경망의 가중합까지 ML 전반에 걸쳐 사용된다. 벡터의 길이와 거리길이(Length, Norm)$\mathbb{R}^2$에서 $\mathbf{a} = \begin{pmatrix} a_1 \\ a_2 \end{pmatrix}$의 길이(norm)는 피타고라스 정리로부터 자연스럽게 정의된다. $$\lVert \mathbf{a} \rVert = \sqrt{a_1^2 + a_2^2}$$ 이를 $\mathbb{R}^n$으로 일반화하면 $ \lVert \mathbf{a} \rVert = \sqrt{a_1^2 + a_2^2 + \cdots + ..

지난 포스팅에서 basis와 dimension을 다뤘다. basis는 벡터 공간을 표현하는 최소한의 백터 집합이었고, dimension은 그 basis의 크기였다. 이번에는 행렬에 이 개념을 적용한 rank를 정리한다. rank는 행렬이 실질적으로 담고 있는 정보의 양을 측정하는 도구이며, null space와 함께 행렬의 구조를 완전히 파악하는 데 쓰인다. Column Space & Row Space$m \times n$행렬 $A$가 주어졌을 때, 행렬을 바라보는 두 가지 관점이 있다. 열공간(column space of $A$): $A$의 열벡터들이 span하는 부분공간이다. 즉 $A$의 $n$개 열을 벡터로 보고, 이들의 모든 linear combination으로 만들어지는 $\mathbb{R}^m..

지난 포스팅에서 span과 linear independence를 다뤘다. span은 벡터들로 나들 수 있는 모든 것의 집합이었고, linear independence는 그 벡터들 사이에 중복이 없다는 보증이었다. 이 두 개념을 동시에 만족하는 벡터 집합이 바로 기저(basis)이다. 그리고 basis의 원소 개수가 차원(dimension)이 된다. Basis벡터 공간 $V$에 있는 벡터 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n$이 다음 두 조건을 동시에 만족하면 $\{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\}$을 $V$의 basis라고 한다. $\mathbf{v}_1, \mathbf{v}_2, \cdots, ..

2026.03.12 - [Mathematics] - [선형대수학#7] 벡터 공간 [선형대수학#7] 벡터 공간벡터 공간은 선형대수에서 가장 근본적인 구조다. 이전 포스팅에서 다뤘던 행렬 연산, 역행렬 등이 모두 이 벡터 공간 위에서 동작한다. 핵심 아이디어는 덧셈과 스칼라 곱에 대해 닫혀있는 집just-data.tistory.com지난 포스팅에서는 벡터 공간의 정의와 성질을 다뤘다. 이번에는 그 위에 놓이는 핵심 개념인 span과 일차독립을 정리한다. 벡터 공간에서 어떤 벡터들이 진짜 필요한가?를 판별하는 데 사용되며, 이후에 나올 기저(basis)와 차원(dimension)의 전제 조건이다. Linear Combinationspan과 linear independence를 다루기 전에 필요한 사전 지식인 ..

벡터 공간은 선형대수에서 가장 근본적인 구조다. 이전 포스팅에서 다뤘던 행렬 연산, 역행렬 등이 모두 이 벡터 공간 위에서 동작한다. 핵심 아이디어는 덧셈과 스칼라 곱에 대해 닫혀있는 집합이 벡터 공간이라는 것이다. 벡터직관적으로는 크기와 방향이 있는 양이고, 형식적으로는 $n \times 1$ 행렬이다. $$\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix}, \quad v_i \in \mathbb{R}$$ 여기서 중요한 건 벡터의 정체성은 위치가 아니라 크기와 방향이라는 점이다. 좌표 평면 위에서 $P(p_1, p_2)$에서 $Q(q_1, q_2)$로 향하는 벡터 $ \vec{PQ}$가 있다고 하자. 이 벡터의 시점을 원점으로..

Gaussian EliminationAugmented matrix $ [A \mid \mathbf{b}] $에 elementry row operation을 반복 적용해서 RREF로 변환한 뒤 해를 읽어내는 방법이다. 핵심 아이디어는 elementry row operation이 방정식의 해를 바꾸지 않는다는 것이다. 즉 원래 연립방정식과 RREF로 변환된 연립방정식은 같은 해를 가진다. 이제 위 설명 내 개념들을 하나씩 알아보록 하자. Augmented Matrix연립 방정식 $Ax = b$를 풀 때, 계수(Coefficient) 행렬 $A$와 상수 벡터 $b$를 하나로 합친 것을 augmented matrix라 한다. $$\begin{pmatrix} a_{11} & \cdots & a_{1n} \\ \v..

변환(Transformation)함수$T: \mathbb{R}^n \to \mathbb{R}^m$은 $ \mathbb{R}^n$의 각 벡터 $x$를 $ \mathbb{R}^m$의 벡터 $T(x)$로 대응시키는 규칙이다. 이때 $ \mathbb{R}^n$을 도메인(Domain), $ \mathbb{R}^m$을 코도메인(Codomain)이라 한다. $T(x)$를 $x$의 이미지(image)라 하고, 모든 이미지의 집합을 치역(range)이라 한다. 행렬 변환(Matrix Transformation)$m \times n$ 행렬 $A$가 있을 때, $n \times 1$ 벡터 $x \mapsto Ax$로 정의된 변환을 행렬 변환이라 한다. $$T(x) = Ax$$ 행렬 곱셈의 크기 조건을 따라가보면: $$(m..