[GPT] Tiktoken

모든 splitter는 텍스트의 length를 기준으로 계산하여  한 덩어리의 check 크기를 알아냄
이것을 토큰기준으로 변경

 

from_tiktoken_encoder

OpenAI LLM의 토큰을 계산하는 데 사용
또한 문서를 분할할 때 토큰을 계산하는 데 사용
tictoken은 openAI 에 의해 만들어짐