OUR + YOUR SPACE

ConversationKGMemory 최근저장된 메모리에서a knowledge graph를 이용하는 메모리 즉 가장 중요한 내용을 뽑아내어 요약본으로 메모리에 저장 [결과] {'history': [SystemMessage(content='On Nicolas: Nicolas lives in South Korea.')]}

ConversationSummaryBufferMemory 메세지를 저장하다가 Token 기준으로 최대치를 넘어가면 이전 대화를 요약해서 저장 [결과] {'history': [HumanMessage(content="Hi I'm Hong, I live in South Korea"), AIMessage(content='Wow that is so cool!')]} 만약 token 값이 max_token_limit 를 초과할 경우 SystemMessage 가 새롭게 생성되면서 이전 대화내용을 요약하여 메세지에 저장 [결과값] {'history': [SystemMessage(content='The human introduces themselves as Hong from South Korea.'), AIMessage..

ConversationSummaryMemory llm 을을 이용하여 대화내용을 요약하여 메세지에 저장 대화가 길어질수록 효율적 [결과] {'history': [SystemMessage(content='The human introduces themselves as Hong from South Korea. The AI responds by expressing admiration for their location and wishes they could visit.')]}

ConversationBufferWindowMemory 대화의 특정 부분만을 저장하는 메모리 예를들어 제일 최근 몇개까지의 메세지만 저장할때 사용 단점은 예전 대화를 기억하지 못함 [결과] {'history': [HumanMessage(content='2'), AIMessage(content='2'), HumanMessage(content='3'), AIMessage(content='3'), HumanMessage(content='4'), AIMessage(content='4'), HumanMessage(content='5'), AIMessage(content='5')]}

ConversationBufferMemory ConversationBufferMemory는 메시지를 저장한 다음 변수에서 메시지를 추출합니다. 단순히 이전 대화 내용 전체를 저장 대화 내용이 길어질수록 메모리도 계속 커져서 비효율적 [결과] {'history': 'Human: Hi!\nAI: How are you?'} ConversationBufferMemory(return_messages=True)를 이용하여 결과를 문자열이 아닌 리스트 형태로 받을수 있음 [chat model 사용시 유용] [결과] {'history': [HumanMessage(content='Hi!'), AIMessage(content='How are you?')]}

토큰 및 비용 정보를 편리하게 노출하는 context manager OpenAI 콜백 핸들러를 호출 Returns: OpenAICallbackHandler: The OpenAI callback handler. [결과값] Tokens Used: 513 Prompt Tokens: 27 Completion Tokens: 486 Successful Requests: 2 Total Cost (USD): $0.0010125 with..as 구문으로 호출함

캐싱을 사용하면 언어모델의 응답을 저장할 수 있음 이후 동일 질문을 받을경우 언어모델에 질의를 하지 않고 캐싱된 답변을 가져옴 set_llm_cache 새 LLM 캐시 설정, 이전 값 덮어쓰기(있는 경우) 캐시 종류 InMemoryCache: 메모리를 이용하여 캐시를 저장. 서버 재실행시 캐싱된 내용이 사라짐 SQLite Cache: SQLite cache를 이용하여 캐시를 저장 그외에도 여러가지의 캐시가 있음 https://python.langchain.com/docs/integrations/llms/llm_caching#in-memory-cache LLM Caching integrations | 🦜️🔗 Langchain This notebook covers how to cache results of ..

여러개의 prompt를 하나로 합쳐주는 기능 prompt를 재사용하는데 유용함 pipeline prompt 는 크게 두부분으로 구성 Final prompt: 최종 프롬프트 반환 Pipeline prompts: 문자열 이름과 프롬프트 템플릿으로 구성된 튜플 리스트 각 prompt template은 이미 format이 완료된 상태이며 동일 변수명으로 prompt template 에 전달된다. [결과값] "You are impersonating Elon Musk.\n\nHere's an example of an interaction:\n\nQ: What's your favorite car?\nA: Tesla\n\nNow, do this for real!\n\nQ: What's your favorite soci..

prompt.json 파일 내용 LangChainHub 또는 localfs에서 프롬프트를 가져오는 방법임 만약 window 환경에서 한글이용시 UnicodeDecodeError: 'cp949' codec can't decode byte 0xec in position 38: illegal multibyte sequence 라는 오류가 발생할경우에는 loading.py [/site-packages/langchain/prompts/loading.py]내 _load_prompt_from_file() 함수를 수정한다.

LengthBasedExampleSelector 텍스트 길이를 기준으로 FewShotPromptTemplate 사용시 제시되는 example 들 중에 원하는 example을 선택할수 있음 [결과] 'Human: What do you know about France?\nAI: \n Here is what I know:\n Capital: Paris\n Language: French\n Food: Wine and Cheese\n Currency: Euro\n \n\nHuman: What do you know about Italy?\nAI: \n I know this:\n Capital: Rome\n Language: Italian\n Food: Pizza and Pasta\n Currency: Euro\n ..