[선형대수학#5] 역행렬

이번 글에서는 Inverse matrix의 정의, 존재 조건, 성질, 역행렬 만드는 법을 정리했습니다.

목차

1. 역행렬의 정의
2. 역행렬의 존재 조건
3. 역행렬의 성질
4. 역행렬 만드는 법
   • 1) Elementary Matrices
   • 2) Gauss–Jordan Elimination
   • 3) Adjoint & Determinant
5. 역행렬과 연립방정식
6. 머신러닝/딥러닝에서의 활용

---

역행렬의 정의

정방행렬 \(A \in \mathbb{R}^{n \times n}\)에 대해, \(AB=BA=I_n\)을 만족하는 \(B\)가 존재하면 \(B\)를 \(A\)의 inverse matrix라 하고 \(A^{-1}\)로 표기합니다. 이때 \(A\)는 invertible(nonsingular)이라 합니다.

역행렬의 존재 조건

\(\det(A)\neq 0 \Leftrightarrow A\) is invertible.

\[ A=\begin{bmatrix} a & b \\ c & d \end{bmatrix},\quad \det(A)=ad-bc,\quad A^{-1}=\frac{1}{ad-bc}\begin{bmatrix} d & -b \\ -c & a \end{bmatrix}. \]

역행렬의 성질

• \((AB)^{-1}=B^{-1}A^{-1}\), \((ABC)^{-1}=C^{-1}B^{-1}A^{-1}\)
• \((A^{-1})^{-1}=A\)
• \((A^T)^{-1}=(A^{-1})^T\)
• \(I^{-1}=I\)

역행렬 만드는 법

1) Elementary Matrices

모든 row operation은 대응되는 elementary matrix로 표현 가능하며, 이들은 모두 invertible입니다.

• Row swap: 두 행 교환
• Row scaling: 특정 행에 상수 곱
• Row replacement: 한 행에 다른 행의 배수를 더함

일련의 row operation으로 \(E_kE_{k-1}\cdots E_1A=I\)를 만들 수 있다면, 곧 \(A^{-1}=E_kE_{k-1}\cdots E_1\). 이 아이디어가 바로 다음의 Gauss–Jordan 방법과 연결됩니다.

2) Gauss–Jordan Elimination

Elementary matrices의 곱을 실제 연산으로 구현하는 방식입니다. 확장 행렬 \([A\mid I]\)에 row operation을 적용해 \([I\mid A^{-1}]\)을 얻습니다.

예시

\[ A=\begin{bmatrix}2&1\\[2pt]5&3\end{bmatrix},\qquad [A\mid I]= \left[\begin{array}{cc|cc} 2 & 1 & 1 & 0\\ 5 & 3 & 0 & 1 \end{array}\right] \]

\[ \xrightarrow{\ R_1 \leftarrow \tfrac{1}{2}R_1\ }\ \left[\begin{array}{cc|cc} 1 & 0.5 & 0.5 & 0\\ 5 & 3 & 0 & 1 \end{array}\right] \]

\[ \xrightarrow{\ R_2 \leftarrow R_2-5R_1\ }\ \left[\begin{array}{cc|cc} 1 & 0.5 & 0.5 & 0\\ 0 & 0.5 & -2.5 & 1 \end{array}\right] \]

\[ \xrightarrow{\ R_2 \leftarrow \tfrac{1}{0.5}R_2\ }\ \left[\begin{array}{cc|cc} 1 & 0.5 & 0.5 & 0\\ 0 & 1 & -5 & 2 \end{array}\right] \]

\[ \xrightarrow{\ R_1 \leftarrow R_1-0.5R_2\ }\ \left[\begin{array}{cc|cc} 1 & 0 & 3 & -1\\ 0 & 1 & -5 & 2 \end{array}\right] \]

\[ \Rightarrow\ [I\mid A^{-1}] = \left[\begin{array}{cc|cc} 1 & 0 & 3 & -1\\ 0 & 1 & -5 & 2 \end{array}\right] \quad\Rightarrow\quad A^{-1}=\begin{bmatrix}3&-1\\[2pt]-5&2\end{bmatrix}. \]

3) Adjoint & Determinant

일반적으로는

\[ A^{-1}=\frac{1}{\det(A)}\,\mathrm{adj}(A) \]

를 사용할 수 있습니다. 여기서 \(\mathrm{adj}(A)\)는 cofactor matrix의 transpose입니다.

Cofactor matrix

• minor: 행렬 \(A\)의 원소 \(a_{ij}\)에 대해, \(i\)-번째 행과 \(j\)-번째 열을 제거하고 남은 부분행렬의 determinant를 \(M_{ij}\)라 합니다.
• cofactor: \(C_{ij}=(-1)^{i+j}M_{ij}\) 로 정의합니다.
• 따라서 cofactor matrix \(C=[C_{ij}]\)는 각 원소를 cofactor로 대체한 행렬입니다.
• 마지막으로 \(\mathrm{adj}(A)=C^T\) 입니다.

예시

\[ A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad \det(A)=(1)(4)-(2)(3)=-2 \] \[ C_{11}=(+1)\cdot\det[4]=4,\quad C_{12}=(-1)\cdot\det[3]=-3,\quad C_{21}=(-1)\cdot\det[2]=-2,\quad C_{22}=(+1)\cdot\det[1]=1 \] \[ C=\begin{bmatrix}4&-3\\-2&1\end{bmatrix},\quad \mathrm{adj}(A)=C^T=\begin{bmatrix}4&-2\\-3&1\end{bmatrix} \] \[ A^{-1}=\frac{1}{-2}\begin{bmatrix}4&-2\\-3&1\end{bmatrix} =\begin{bmatrix}-2&1\\1.5&-0.5\end{bmatrix}. \]

역행렬과 연립방정식

선형 시스템 \(Ax=b\)에서 \(A\)가 invertible이면 \(x=A^{-1}b\)로 해를 구할 수 있습니다.

머신러닝/딥러닝에서의 활용

• Linear regression: \( \hat{\beta}=(X^TX)^{-1}X^Ty \)

---