just-data

만약 기본적인 RNN에 대한 배경지식이 없으시면 간단하게 앞의 포스팅을 보고 오시면 이번 글을 읽으실 때 도움이 되실 겁니다. [NLP#4] 순환 신경망(RNN) 지난 포스팅에서는 word2vec에 대해서 알아보았습니다. [NLP#3] 추론 기반(word2vec) 지난 시간에는 통계 기반을 통해 단어의 분산 표현을 얻어내는 방법에 대해서 알아보았습니다. [NLP#2] 통계 기반 저 just-data.tistory.com RNN은 순환 경로를 통해 과거의 정보를 기억할 수 있도록 설계되어 있었습니다 구조도 단순하여 구현도 쉽게 할 수 있습니다. 하지만 기울기 소실, 폭발 등으로 인해 장기 기억을 잘 학습할 수 없어 성능이 좋지 못하다는 큰 단점이 존재합니다. 그래서 장기 기억을 잘 학습할 수 있도록 Gat..

지난 포스팅에서는 word2vec에 대해서 알아보았습니다. [NLP#3] 추론 기반(word2vec) 지난 시간에는 통계 기반을 통해 단어의 분산 표현을 얻어내는 방법에 대해서 알아보았습니다. [NLP#2] 통계 기반 저번 포스팅에서는 thesaurus를 통해 컴퓨터에게 자연어의 의미 전달하는 방법에 just-data.tistory.com 이번 시간에는 드디어 RNN에 대해 이야기해보도록 하겠습니다. 잠시 지난 시간의 word2vec을 복습해 보도록 하겠습니다. word2vec에서는 앞뒤의 맥락을 통해 가운데 target 단어를 예측하는 방식으로 단어 분산 표현을 만들었습니다. 만약 앞뒤가 아니라 왼쪽 맥락만 고려한다면 어떻게 될까요? 사람이 말을 하는 관점으로 보면 두 번째 방식이 오히려 직관적인 것처..

지난 시간에는 통계 기반을 통해 단어의 분산 표현을 얻어내는 방법에 대해서 알아보았습니다. [NLP#2] 통계 기반 저번 포스팅에서는 thesaurus를 통해 컴퓨터에게 자연어의 의미 전달하는 방법에 대해 알아보았습니다. 2023.05.12 - [Deep Learning] - [NLP#1] 자연어 처리란? - thesaurus 이번 글에서는 저번 시간에 이어서 just-data.tistory.com 이번 시간에는 추론 기반 방법의 방법 중 word2vec에 대해서 알아보도록 하겠습니다. 먼저 통계 기반의 문제점에 대해서 얘기해 보겠습니다. 간단하게 과정을 되새겨 보면, 동시발생행렬을 통해 PPMI 행렬을 얻게 되었고 SVD를 적용시켜 dense vector로 변환시켰습니다. 하지만 실제 자연어 처리에서 ..