반응형
모든 splitter는 텍스트의 length를 기준으로 계산하여 한 덩어리의 check 크기를 알아냄
이것을 토큰기준으로 변경
from_tiktoken_encoder
OpenAI LLM의 토큰을 계산하는 데 사용
또한 문서를 분할할 때 토큰을 계산하는 데 사용
tictoken은 openAI 에 의해 만들어짐
'python' 카테고리의 다른 글
| [GPT] LangChain 한국어 튜터리얼 (0) | 2024.04.03 |
|---|---|
| [GPT] Vectors (0) | 2024.04.03 |
| [GPT] Data Loaders and Splitters (0) | 2024.04.02 |
| [GPT] LCEL Based Memory (0) | 2024.03.30 |
| [GPT] Chat Based Memory (0) | 2024.03.30 |