원문: https://ratsgo.github.io/nlpbook/docs/language_model/transformers/ Transformer란 2017년 구글이 제안한 Sequence-to-sequence 모델 최근 NLP에서는 BERT나 GPT 같은 transformer 기반 language model이 각광 받고 있다. Sequence-to-sequence Transformer란 기계 번역 등 sequence-to-sequence 과제를 수행하기 위한 모델. Sequence란 단어 같은 무언가의 나열을 의미 Sequence-to-sequence는 특정 속성을 지닌 sequence를 다른 속성의 sequence로 변환하는 작업 예시) 기계번역: 어떤 언어의 단어 sequence를 다른 언어의 단..
