AI Track/NLP

[KLUE] 자연어처리와 언어모델

자연어 처리를 이해하기 위해서는 사람과 사람의 대화를 분석해 볼 필요가 있다 A 와 B 가 대화를 하고 A가 어제 본 나무를 설명하는 상황이라 가정을 해보자 먼저, A라는 사람은 어제 본 나무를 "Tree"라는 언어로 바꿔서 말을 하기 시작할 것이다 이 과정을 " Encoding " 이라 할 수 있다 -> 즉, 컴퓨터에 입장에서는 " 어제 본 나무 = 자연어 " , " Tree라는 단어 = 수학적으로 표현된 좌표평면 위에 벡터 " 라고 치환을 해볼 수 있다 Encoding 이란 자연어를 수학적으로 표현 할 수 있도록 좌표평면 위에 벡터로 표현하는 방법을 말한다 이러한 Encoding 과정을 거치는 이유는 우리가 좌표평면 위에 벡터로 표현을 할 수 있으면 분류나 Featur..