OUR + YOUR SPACE

Embedding 사람이 읽는 텍스트를 컴퓨터가 이해할 수 있는 숫자들로 변환하는 작업 벡터 vectorization[벡터화] 작업을 의미 문서마다 각각의 벡터를 만듬 openAI의 embedding 모델은 최소 1000 차원의 벡터를 제공 예 남성성 | 여성성 | 왕족성 왕 | 0.9 | 0.1 | 1.0 여왕 | 0.1 | 0.9 | 1.0 남자 | 0.9 | 0.1 | 0.0 여자 | 0.1 | 0.9 | 0.0 단어를 차원으로 표현할때의 장점 다른 단어를 얻기 위해 가진 차원을 더하거나 빼서 새로운 단어를 만들 수 있다. 예를들어 왕 - 남자 = 0.0 | 0.0 | 1.0 = 왕족 왕족 + 여자 = 0.1 | 0.9 | 1.0 = 여왕 이처럼 벡터에 대한 검색작업을 할수 있으며 이는 유사성을 찾..

모든 splitter는 텍스트의 length를 기준으로 계산하여 한 덩어리의 check 크기를 알아냄 이것을 토큰기준으로 변경 from_tiktoken_encoder OpenAI LLM의 토큰을 계산하는 데 사용 또한 문서를 분할할 때 토큰을 계산하는 데 사용 tictoken은 openAI 에 의해 만들어짐

RAG "Retrieval-Augmented Generation"의 약자로, "검색-증강 생성"이라는 의미 개인으로부터 제공된 data를 사용하거나 탐색함으로써 language Model의 능력을 확장 Retrieval[검색] langchain 모델 소스[여러가지 데이터] => Load =>Transform[변환 및 분할]=>Embed[텍스트의 숫자화] => store[저장]=>Retrieval[검색] 문서를 읽어들이는 방법 1. TextLoader PDF를 읽기위한 PyPDFLoader 등등이 있음 이처럼 각각의 파일마다 다른 class를 호출하다는 대신 UnstructuredFileLoader를 이용하는것이 효율적임 UnstructuredFileLoader 패키지를 사용하여 다양한 유형의 파일을 로드..

메모리를 수동으로 관리하는 방법 으로 커스트마이징하기 쉬움 RunnablePassthrough RunnablePassthrough를 사용하면 입력을 그대로 전달하거나 추가 키를 추가하여 전달할 수 있음 Runnable Passthrough()는 자체적으로 호출되며, 입력을 받아 전달하기만 하면됨 RunnablePassthrough는 assign(RunnablePassthrough.assign(키=값)형태로 호출 [결과] content='Hello Hong! How can I assist you today?' [결과] content='Your name is Hong. How can I assist you today, Hong?'

[결과] > Entering new LLMChain chain... Prompt after formatting: System: You are a helpful AI talking to a human Human: My name is John. > Finished chain. 'Hello John! How can I assist you today?' [결과] > Entering new LLMChain chain... Prompt after formatting: System: You are a helpful AI talking to a human Human: My name is John. AI: Hello John! How can I assist you today? Human: I live in Seoul A..

[결과] Prompt after formatting: You are a helpful AI talking to a human. System: The human introduces themselves as Hong. AI: Hello Hong! How can I assist you today? Human: I live in Seoul AI: That's great to hear! How can I assist you with anything related to Seoul or anything else today? Human: What is my name? AI: Your name is Hong. Human:What is my name? You: ConversationSummaryBufferMemory 내 ..

ConversationKGMemory 최근저장된 메모리에서a knowledge graph를 이용하는 메모리 즉 가장 중요한 내용을 뽑아내어 요약본으로 메모리에 저장 [결과] {'history': [SystemMessage(content='On Nicolas: Nicolas lives in South Korea.')]}

ConversationSummaryBufferMemory 메세지를 저장하다가 Token 기준으로 최대치를 넘어가면 이전 대화를 요약해서 저장 [결과] {'history': [HumanMessage(content="Hi I'm Hong, I live in South Korea"), AIMessage(content='Wow that is so cool!')]} 만약 token 값이 max_token_limit 를 초과할 경우 SystemMessage 가 새롭게 생성되면서 이전 대화내용을 요약하여 메세지에 저장 [결과값] {'history': [SystemMessage(content='The human introduces themselves as Hong from South Korea.'), AIMessage..

ConversationSummaryMemory llm 을을 이용하여 대화내용을 요약하여 메세지에 저장 대화가 길어질수록 효율적 [결과] {'history': [SystemMessage(content='The human introduces themselves as Hong from South Korea. The AI responds by expressing admiration for their location and wishes they could visit.')]}

ConversationBufferWindowMemory 대화의 특정 부분만을 저장하는 메모리 예를들어 제일 최근 몇개까지의 메세지만 저장할때 사용 단점은 예전 대화를 기억하지 못함 [결과] {'history': [HumanMessage(content='2'), AIMessage(content='2'), HumanMessage(content='3'), AIMessage(content='3'), HumanMessage(content='4'), AIMessage(content='4'), HumanMessage(content='5'), AIMessage(content='5')]}