NLP

[KLUE] 자연어처리와 언어모델

자연어 처리를 이해하기 위해서는 사람과 사람의 대화를 분석해 볼 필요가 있다 A 와 B 가 대화를 하고 A가 어제 본 나무를 설명하는 상황이라 가정을 해보자 먼저, A라는 사람은 어제 본 나무를 "Tree"라는 언어로 바꿔서 말을 하기 시작할 것이다 이 과정을 " Encoding " 이라 할 수 있다 -> 즉, 컴퓨터에 입장에서는 " 어제 본 나무 = 자연어 " , " Tree라는 단어 = 수학적으로 표현된 좌표평면 위에 벡터 " 라고 치환을 해볼 수 있다 Encoding 이란 자연어를 수학적으로 표현 할 수 있도록 좌표평면 위에 벡터로 표현하는 방법을 말한다 이러한 Encoding 과정을 거치는 이유는 우리가 좌표평면 위에 벡터로 표현을 할 수 있으면 분류나 Featur..

[DL Basic] RNN, LSTM, GRU

나한테는 정말 애증관계인 RNN(뭔가 중요한 거 같으면서도 맨날 까먹고 정리해야지 정리해야지 했던 부분) 오늘 끝장을 봐보자 RNN -> RNN은 주어지는 입력자체가 Sequential이다(ex, 음성(말), 비디오, 동작) 입력의 차원을 알 수 없다(길이가 언제가 끝인지 모른다) Fully connected layer, Conv layer 사용 불가 몇개의 입력이 들어오든 상관없이 동작하는 방법이 필요하다 Naive sequence model 이전 데이터들을 전부 고려하여서 다음을 찾아보자 (초기에는 모든 과거를 고려하기 때문에 정보량이 계속 늘어남) Autoregressive model 최신 과거로 부터 타우만큼의 최신데이터를 보겠다 (갱신의 개념) 대표적인 예시가 Markov(마르코브 모델이다) M..