[GPT] Vectors

Embedding

사람이 읽는 텍스트를 컴퓨터가 이해할 수 있는 숫자들로 변환하는 작업

벡터

vectorization[벡터화] 작업을 의미
문서마다 각각의 벡터를 만듬

openAI의 embedding 모델은 최소 1000 차원의 벡터를 제공


예


남성성 | 여성성 | 왕족성


왕   | 0.9 | 0.1 | 1.0
여왕 | 0.1 | 0.9 | 1.0
남자 | 0.9 | 0.1 | 0.0
여자 | 0.1 | 0.9 | 0.0

단어를 차원으로 표현할때의 장점

다른 단어를 얻기 위해 가진 차원을 더하거나 빼서 새로운 단어를 만들 수 있다.

예를들어 
왕 - 남자 = 0.0 | 0.0 | 1.0  = 왕족
왕족 + 여자 = 0.1 | 0.9 | 1.0 = 여왕

이처럼 벡터에 대한 검색작업을 할수 있으며 이는 유사성을 찾을수 있다는 뜻