이번 포스팅에서는 $A\mathbf{x} = \mathbf{b}$가 정확한 해를 갖지 않을 때, 오차를 최고화하는 근사해를 구하는 최소제곱해를 정리한다. Problem Definition$A\mathbf{x} = \mathbf{b}$를 풀고 싶다. $A$가 정방행렬이고 nonsingular이면 $\mathbf{x} = A^{-1}\mathbf{b}$로 정확한 해를 구할 수 있다. 그런데 현실의 데이터에서는 이 조건이 거의 성립하지 않는다. 데이터 포인트 수($m$)가 변수 수($n$)보다 많으면 $A$는 $m \times n$ 행렬($m > n$)이 되어 정방행렬이 아니고, 모든 데이터를 정확히 만족하는 $\mathbf{x}$는 일반적으로 존재하지 않는다. 이때 우리가 할 수 있는 최선은, $A\hat..