[GPT] Tiktoken 모든 splitter는 텍스트의 length를 기준으로 계산하여 한 덩어리의 check 크기를 알아냄 이것을 토큰기준으로 변경 from_tiktoken_encoder OpenAI LLM의 토큰을 계산하는 데 사용 또한 문서를 분할할 때 토큰을 계산하는 데 사용 tictoken은 openAI 에 의해 만들어짐 python 2024.04.02
