Optimization Problem이란?최적화 문제(optimization problem)는 한 줄로 요약하면 여러 후보 중에서 가장 좋은 값을 찾는 문제다. ML에서는 cost function을 최소화하는 파라미터를 찾는 것이 곧 최적화 문제가 된다. linear regression의 MSE를 줄이든, cross-entropy loss를 줄이든, 결국 하고 있는 일은 optimization이다. Standard From수학적으로 optimization problem은 다음과 같은 표준형(standard form)으로 쓴다. $$\begin{aligned} \min_{x \in D} \quad & f(x) \\ \text{subject to} \quad & g_i(x) \leq 0, \quad i =..
