반응형
Embedding
사람이 읽는 텍스트를 컴퓨터가 이해할 수 있는 숫자들로 변환하는 작업
벡터
vectorization[벡터화] 작업을 의미
문서마다 각각의 벡터를 만듬
openAI의 embedding 모델은 최소 1000 차원의 벡터를 제공
예
남성성 | 여성성 | 왕족성
왕 | 0.9 | 0.1 | 1.0
여왕 | 0.1 | 0.9 | 1.0
남자 | 0.9 | 0.1 | 0.0
여자 | 0.1 | 0.9 | 0.0
단어를 차원으로 표현할때의 장점
다른 단어를 얻기 위해 가진 차원을 더하거나 빼서 새로운 단어를 만들 수 있다.
예를들어
왕 - 남자 = 0.0 | 0.0 | 1.0 = 왕족
왕족 + 여자 = 0.1 | 0.9 | 1.0 = 여왕
이처럼 벡터에 대한 검색작업을 할수 있으며 이는 유사성을 찾을수 있다는 뜻
'python' 카테고리의 다른 글
| [GPT] Vector Store (0) | 2024.04.03 |
|---|---|
| [GPT] LangChain 한국어 튜터리얼 (0) | 2024.04.03 |
| [GPT] Tiktoken (0) | 2024.04.02 |
| [GPT] Data Loaders and Splitters (0) | 2024.04.02 |
| [GPT] LCEL Based Memory (0) | 2024.03.30 |