just-data

지난 포스팅으로부터 트랜스포머 아키텍처가 인코더와 디코더로 이뤄져 있다는 사실을 확인했습니다. 이때, 트랜스포머 아키텍처를 활용한 모델은 크게 세 가지로 나눌 수 있습니다. 인코더만 활용: 자연어 이해(Natural Language Understanding, NLU)디코더만 활용: 자연어 생성(Natural Language Generation, NLG)인코더와 디코더 모두 활용각 모델들은 서로 다른 장단점이 존재합니다. 각 모델마다 잘 할 수 있는 일이 다르기에 모두 숙지하는 것이 필요합니다. 이번 포스팅에서는 대표적인 구글의 인코더 모델인 BERT에 대해서 알아보도록 하겠습니다. 1. What?구글에서 개발한 BERT(Bidirectional Encoder Representations from Tran..

최근 ChatGPT, Gemini, LLama 등이 등장하면서 LLM(Large Language Model, 대규모 언어 모델)에 대한 관심이 폭발하고 있습니다.현재 대부분의 LLM이 트랜스포머(Transformer) 구조를 기반으로 하고 있는 만큼, 트랜스포머에 대해서 이해하지 않고는 LLM과 관련된 기술을 정확히 이해하기 어렵습니다.따라서, 이번 글에서는 트랜스포머의 구조에 대해서 알아보고 Pytorch로 구현해보도록 하겠습니다. 1. What?트랜스포머 아키텍쳐는 2017년 구글에서 처음 발표하였습니다.※ 매우 유명한 논문이니 읽어보는 것을 권장드립니다.https://arxiv.org/abs/1706.03762 Attention Is All You NeedThe dominant sequence tr..

만약 기본적인 RNN에 대한 배경지식이 없으시면 간단하게 앞의 포스팅을 보고 오시면 이번 글을 읽으실 때 도움이 되실 겁니다. [NLP#4] 순환 신경망(RNN) 지난 포스팅에서는 word2vec에 대해서 알아보았습니다. [NLP#3] 추론 기반(word2vec) 지난 시간에는 통계 기반을 통해 단어의 분산 표현을 얻어내는 방법에 대해서 알아보았습니다. [NLP#2] 통계 기반 저 just-data.tistory.com RNN은 순환 경로를 통해 과거의 정보를 기억할 수 있도록 설계되어 있었습니다 구조도 단순하여 구현도 쉽게 할 수 있습니다. 하지만 기울기 소실, 폭발 등으로 인해 장기 기억을 잘 학습할 수 없어 성능이 좋지 못하다는 큰 단점이 존재합니다. 그래서 장기 기억을 잘 학습할 수 있도록 Gat..

지난 포스팅에서는 word2vec에 대해서 알아보았습니다. [NLP#3] 추론 기반(word2vec) 지난 시간에는 통계 기반을 통해 단어의 분산 표현을 얻어내는 방법에 대해서 알아보았습니다. [NLP#2] 통계 기반 저번 포스팅에서는 thesaurus를 통해 컴퓨터에게 자연어의 의미 전달하는 방법에 just-data.tistory.com 이번 시간에는 드디어 RNN에 대해 이야기해보도록 하겠습니다. 잠시 지난 시간의 word2vec을 복습해 보도록 하겠습니다. word2vec에서는 앞뒤의 맥락을 통해 가운데 target 단어를 예측하는 방식으로 단어 분산 표현을 만들었습니다. 만약 앞뒤가 아니라 왼쪽 맥락만 고려한다면 어떻게 될까요? 사람이 말을 하는 관점으로 보면 두 번째 방식이 오히려 직관적인 것처..

지난 시간에는 통계 기반을 통해 단어의 분산 표현을 얻어내는 방법에 대해서 알아보았습니다. [NLP#2] 통계 기반 저번 포스팅에서는 thesaurus를 통해 컴퓨터에게 자연어의 의미 전달하는 방법에 대해 알아보았습니다. 2023.05.12 - [Deep Learning] - [NLP#1] 자연어 처리란? - thesaurus 이번 글에서는 저번 시간에 이어서 just-data.tistory.com 이번 시간에는 추론 기반 방법의 방법 중 word2vec에 대해서 알아보도록 하겠습니다. 먼저 통계 기반의 문제점에 대해서 얘기해 보겠습니다. 간단하게 과정을 되새겨 보면, 동시발생행렬을 통해 PPMI 행렬을 얻게 되었고 SVD를 적용시켜 dense vector로 변환시켰습니다. 하지만 실제 자연어 처리에서 ..

저번 포스팅에서는 thesaurus를 통해 컴퓨터에게 자연어의 의미 전달하는 방법에 대해 알아보았습니다. 2023.05.12 - [Deep Learning] - [NLP#1] 자연어 처리란? - thesaurus 이번 글에서는 저번 시간에 이어서 통계 기반 기법에 대해 알아보도록 하겠습니다. 컴퓨터에게 자연어를 이해시키기 위한 수단으로써 첫 번째로 수작업으로 단어 간 관계를 정의하는 시도가 있었습니다. 대표적인 예로 스탠퍼드에서 만들고 있는 WordNet을 소개해드렸습니다. 하지만 이런 thesaurus는 사람이 직접 관계를 구축하기 때문에 단어의 동적인 요소와 미묘한 차이를 표현할 수 없다는 점과 비용이 많이 든다는 단점이 존재했습니다. 따라서 이를 해결하기 위해 단어의 뜻을 자동으로 추출하는 '통계 ..

NLP 포스팅에서는 자연어 처리의 정의와 방법에 대해 알아보도록 하겠습니다. 다음 글까지는 신경망에 대한 지식은 필요 없지만 이후 글의 주제인 추론 기반 방법으로 넘어가게 되면 딥러닝의 개념이 적용되게 됩니다. 따라서 해당 지식을 학습하시고 오면 이해하시는데 큰 도움이 될 것입니다. ※ 딥러닝도 추후 다루도록 하겠습니다. NLP란? NLP란 Natural Language Processing의 약자로 직역하면 '자연어 처리'를 의미합니다. 자연어(natural language)는 한국어와 영어 등 우리가 평소에 쓰는 말을 뜻합니다. 따라서 NLP의 목표는 컴퓨터가 사람의 말을 이해할 수 있도록 가공하는 것입니다. 왜 자연어라고 말하는 걸까요? 우리가 사용하는 말은 시간, 장소, 주변 사람 등 많은 조건들에..