transformer2 [KLUE] 자연어처리와 언어모델 자연어 처리를 이해하기 위해서는 사람과 사람의 대화를 분석해 볼 필요가 있다 A 와 B 가 대화를 하고 A가 어제 본 나무를 설명하는 상황이라 가정을 해보자 먼저, A라는 사람은 어제 본 나무를 "Tree"라는 언어로 바꿔서 말을 하기 시작할 것이다 이 과정을 " Encoding " 이라 할 수 있다 -> 즉, 컴퓨터에 입장에서는 " 어제 본 나무 = 자연어 " , " Tree라는 단어 = 수학적으로 표현된 좌표평면 위에 벡터 " 라고 치환을 해볼 수 있다 Encoding 이란 자연어를 수학적으로 표현 할 수 있도록 좌표평면 위에 벡터로 표현하는 방법을 말한다 이러한 Encoding 과정을 거치는 이유는 우리가 좌표평면 위에 벡터로 표현을 할 수 있으면 분류나 Featur.. 2023. 3. 15. [DL Basic] Transformer (Attemtion is All You Need).2017 Tranformer는 엄밀하게 말하면 앞에서 연결되는 RNN, LSTM, GRU와는 좀 다른 방법으로 접근한다 -> 해결하고자 하는 것은 동일함 왜 Sequential modeling이 다루기 어려울까? 우리의 일상생활을 생각해보자 표준 문장을 적어보면 "승종아, 오늘 점심에 밥 먹었어?" 이런 문장이 "승종, 밥 먹었어?" , "승종, 점심에 밥 먹었어?" , "승종, 점심 먹었어?" 등등 길이가 달라지고 어순이 달라지고 등등 하나의 동일한 의미에 다양한 문장을 만들 수 있다 즉 Original sequence에 대해서 Trimmed Sequence(마지막 몇개의 단어의 생략) Omitted Sequence (중간에 몇개의 단어의 생략) Permuted Sequence (어순이 달라지는 경우) 등 많은.. 2023. 3. 14. 이전 1 다음
