지난 포스팅으로부터 트랜스포머 아키텍처가 인코더와 디코더로 이뤄져 있다는 사실을 확인했습니다. 이때, 트랜스포머 아키텍처를 활용한 모델은 크게 세 가지로 나눌 수 있습니다. 인코더만 활용: 자연어 이해(Natural Language Understanding, NLU)디코더만 활용: 자연어 생성(Natural Language Generation, NLG)인코더와 디코더 모두 활용각 모델들은 서로 다른 장단점이 존재합니다. 각 모델마다 잘 할 수 있는 일이 다르기에 모두 숙지하는 것이 필요합니다. 이번 포스팅에서는 대표적인 구글의 인코더 모델인 BERT에 대해서 알아보도록 하겠습니다. 1. What?구글에서 개발한 BERT(Bidirectional Encoder Representations from Tran..
