just-data

이번 포스팅에서는 행렬이 벡터에 작용할 때 방향이 변하지 않는 특별한 벡터, 즉 고유벡터와 그에 대응하는 고유값을 정리한다. 선형 연산(Linear Operator)이전 행렬 변환 포스팅에서 선형 변환을 다뤘다. 덧셈보존($L(\mathbf{a} + \mathbf{b}) = L(\mathbf{a}) + L(\mathbf{b})$)과 스칼라 곱 보존($L(r\mathbf{a}) = rL(\mathbf{a})$)을 만족하는 함수$L \colon V \to W$가 선형 변환이었고, 모든 행렬 변환은 선형 변환이었다. 고유값과 고유벡터는 특별히 $V = W$인 경우, 즉 같은 공간에서 같은 공간으로의 선형 변환 $L \colon V \to W$를 다룬다. 이를 선형 연산(inear operator)이라 한다. ..

이번 포스팅에서는 $A\mathbf{x} = \mathbf{b}$가 정확한 해를 갖지 않을 때, 오차를 최고화하는 근사해를 구하는 최소제곱해를 정리한다. Problem Definition$A\mathbf{x} = \mathbf{b}$를 풀고 싶다. $A$가 정방행렬이고 nonsingular이면 $\mathbf{x} = A^{-1}\mathbf{b}$로 정확한 해를 구할 수 있다. 그런데 현실의 데이터에서는 이 조건이 거의 성립하지 않는다. 데이터 포인트 수($m$)가 변수 수($n$)보다 많으면 $A$는 $m \times n$ 행렬($m > n$)이 되어 정방행렬이 아니고, 모든 데이터를 정확히 만족하는 $\mathbf{x}$는 일반적으로 존재하지 않는다. 이때 우리가 할 수 있는 최선은, $A\hat..

지난 포스팅에서 내적을 다뤘다. dot product의 정의와 기하학적 의미를 확인했고, 이를 일반화한 inner product와 내적 공간의 개념을 정리했다. 또한 orthgonal 집합이 자동으로 linear independent임을 보았다. 이번에는 임의의 basis를 orthogonal하면서 크기가 1인 basis, 즉 orthonormal basis로 변환하는 그람-슈미트 프로세스를 정리한다. Orthonormal Set이전 포스팅에서 orthogonal set은 서로 다른 원소 간의 내적이 모두 0인 집합이라고 했다. 여기에 조건 하나를 더 추가한다. $S$가 orthogonal set이고, $S$의 모든 벡터의 크기가 1(즉, 단위 벡터)이면 $S$를 orthonormal set이라 한다. ..

이번 포스팅에서는 벡터의 길이와 각도를 다루는 내적을 정리한다. 내적은 벡터 간의 유사성을 측정하는 가장 기본적인 도구이며, 추천 시스템의 cosine similarity부터 신경망의 가중합까지 ML 전반에 걸쳐 사용된다. 벡터의 길이와 거리길이(Length, Norm)$\mathbb{R}^2$에서 $\mathbf{a} = \begin{pmatrix} a_1 \\ a_2 \end{pmatrix}$의 길이(norm)는 피타고라스 정리로부터 자연스럽게 정의된다. $$\lVert \mathbf{a} \rVert = \sqrt{a_1^2 + a_2^2}$$ 이를 $\mathbb{R}^n$으로 일반화하면 $ \lVert \mathbf{a} \rVert = \sqrt{a_1^2 + a_2^2 + \cdots + ..

선형 회귀선형 회귀의 목적은 한 줄로 요약하면 하나 이상의 독립변수($X$)를 사용하여 종속변수($Y$)를 예측하고, 변수 간의 선형적 관계를 정량적으로 설명하는 것이다. 여기서 핵심은 "예측"과 "설명" 두 가지다. 단순히 $Y$의 값을 맞추는 것뿐만 아니라, $X$가 $Y$에 얼마나, 어떤 방향으로 영향을 미치는지를 수치로 표현할 수 있다. 단순 선형 회귀(Simple Linear Regression)독립변수가 하나인 경우를 단순 선형 회귀라 한다. 모델은 다음과 같다. $$y = \beta_0 + \beta_1 x + \epsilon$$ $x$: 독립변수(independent variable): 입력 feature에 해당한다.$y$: 종속변수(dependent variable): 예측하려는 targ..

지난 포스팅에서 basis와 dimension을 다뤘다. basis는 벡터 공간을 표현하는 최소한의 백터 집합이었고, dimension은 그 basis의 크기였다. 이번에는 행렬에 이 개념을 적용한 rank를 정리한다. rank는 행렬이 실질적으로 담고 있는 정보의 양을 측정하는 도구이며, null space와 함께 행렬의 구조를 완전히 파악하는 데 쓰인다. Column Space & Row Space$m \times n$행렬 $A$가 주어졌을 때, 행렬을 바라보는 두 가지 관점이 있다. 열공간(column space of $A$): $A$의 열벡터들이 span하는 부분공간이다. 즉 $A$의 $n$개 열을 벡터로 보고, 이들의 모든 linear combination으로 만들어지는 $\mathbb{R}^m..

Optimization Problem이란?최적화 문제(optimization problem)는 한 줄로 요약하면 여러 후보 중에서 가장 좋은 값을 찾는 문제다. ML에서는 cost function을 최소화하는 파라미터를 찾는 것이 곧 최적화 문제가 된다. linear regression의 MSE를 줄이든, cross-entropy loss를 줄이든, 결국 하고 있는 일은 optimization이다. Standard From수학적으로 optimization problem은 다음과 같은 표준형(standard form)으로 쓴다. $$\begin{aligned} \min_{x \in D} \quad & f(x) \\ \text{subject to} \quad & g_i(x) \leq 0, \quad i =..

지난 포스팅에서 span과 linear independence를 다뤘다. span은 벡터들로 나들 수 있는 모든 것의 집합이었고, linear independence는 그 벡터들 사이에 중복이 없다는 보증이었다. 이 두 개념을 동시에 만족하는 벡터 집합이 바로 기저(basis)이다. 그리고 basis의 원소 개수가 차원(dimension)이 된다. Basis벡터 공간 $V$에 있는 벡터 $\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n$이 다음 두 조건을 동시에 만족하면 $\{\mathbf{v}_1, \mathbf{v}_2, \cdots, \mathbf{v}_n\}$을 $V$의 basis라고 한다. $\mathbf{v}_1, \mathbf{v}_2, \cdots, ..

2026.03.12 - [Mathematics] - [선형대수학#7] 벡터 공간 [선형대수학#7] 벡터 공간벡터 공간은 선형대수에서 가장 근본적인 구조다. 이전 포스팅에서 다뤘던 행렬 연산, 역행렬 등이 모두 이 벡터 공간 위에서 동작한다. 핵심 아이디어는 덧셈과 스칼라 곱에 대해 닫혀있는 집just-data.tistory.com지난 포스팅에서는 벡터 공간의 정의와 성질을 다뤘다. 이번에는 그 위에 놓이는 핵심 개념인 span과 일차독립을 정리한다. 벡터 공간에서 어떤 벡터들이 진짜 필요한가?를 판별하는 데 사용되며, 이후에 나올 기저(basis)와 차원(dimension)의 전제 조건이다. Linear Combinationspan과 linear independence를 다루기 전에 필요한 사전 지식인 ..

벡터 공간은 선형대수에서 가장 근본적인 구조다. 이전 포스팅에서 다뤘던 행렬 연산, 역행렬 등이 모두 이 벡터 공간 위에서 동작한다. 핵심 아이디어는 덧셈과 스칼라 곱에 대해 닫혀있는 집합이 벡터 공간이라는 것이다. 벡터직관적으로는 크기와 방향이 있는 양이고, 형식적으로는 $n \times 1$ 행렬이다. $$\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix}, \quad v_i \in \mathbb{R}$$ 여기서 중요한 건 벡터의 정체성은 위치가 아니라 크기와 방향이라는 점이다. 좌표 평면 위에서 $P(p_1, p_2)$에서 $Q(q_1, q_2)$로 향하는 벡터 $ \vec{PQ}$가 있다고 하자. 이 벡터의 시점을 원점으로..