[선형대수학#1] 행렬(Matrix)

선형대수학은 머신러닝 공부에서 가장 기본이 되는 내용이다.

 

그 중 행렬에 대해서 얘기해보고자 한다.

 

1. 방정식과 행렬

일차 방정식

먼저 기본 개념부터 짚어보자. 방정식(equation)이란 미지수를 가진 등식에서 특정 값을 대입했을 때 성립하는 식을 말한다.

이때 등식을 만족하는 미지수를 근(root) 또는 해(solution)라고 하며, 해가 존재하지 않는 경우도 있다.

 

그중 일차방정식(linear equation)은 미지수가 1차(최고 차수가 1)인 방정식으로, 일반적인 형태는 다음과 같다.

 

$$a_1x_1+a_2x_2+ \cdots +a_nx_n=b$$

 

예를 들어 $3x+5=0$, $3x+y=0$, $3x_1+x_2-x_3=0$등이 모두 일차 방정식이다.

 

여기서 중요한 점은, 일차 방정식의 해는 하나일 수도 있고, 여러 개일 수도 있다는 것이다. 예를 들어 $3x_1+x_2-x_3=0$에서는 $x_1=0$, $x_2=1$, $x_3=1$외에도 무수히 많은 해가 존재한다.

 

연립 일차 방정식

미지수가 여러 개인 경우를 연립 일차 방정식(system of linear equations)이라 한다. $n$개의 미지수를 가진 $m$개의 일차식은 다음과 같이 표현된다.

 

$$a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n=b_1$$

$$a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n=b_2$$

$$\vdots$$

$$a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n=b_m$$

 

특히 우변이 모두 0ㅇ인 경우를 homogeneous system이라 하며, 이때 $x_1=x_2=\cdots=x_n=0$인 해를 항상 가진다. 이 해를 trivial solution이라 부른다.

 

행렬

연립 일차 방정식을 보다 간결하게 표현하기 위한 도구가 바로 행렬(Matrix)이다. 행렬은 숫자들을 사각형 형태로 나열한 배열로, 가로의 묶음을 행(row), 세로의 묶음을 열(column)이라 한다. $m$행 $n$열의 배열을 $m \times n$행렬이라 하며, 행렬 안의 각 숫자를 성분(element) $a_{ij}$라고 한다.

출처: https://www.sharetechnote.com/html/Handbook_EngMath_Matrix_Row_Col_Index.html

 

$n\times1$행렬처럼 하나의 열로만 구성된 행렬을 특별히 벡터(Vector)라 부른다. 또한 모든 성분이 0인 벡터를 영벡터(zero vector)라 한다.

 

이제 연립 일차 방정식을 행렬로 어떻게 표현하는지 살펴보자. 위의 연립 방정식 전체를 아래처럼 단 하나의 행렬 방정식으로 압축할 수 있다.

 

$$Ax=b$$

 

여기서 $A$는 계수 행렬, $x$는 미지수 벡터, $b$는 우변 벡터이다. 

 

머신러닝에서 데이터는 기본적으로 행렬 형태로 표현된다. 예를 들어 이미지 데이터나 사용자 아이템 상호작용 테이블 모두 $m \times n$행렬이다. 예측 모델은 이 행렬 $A$를 입력으로 받아 $ Ax=b$의 구조 안에서 파라미터 $x$를 학습한다.