LCEL 3

[GPT] Stuff LCEL Chain

RetrievalQA 대신 LangChain Expression Language을 이용하여 RAG(Retrieval-Augmented Generation) 검색처리 해당 단계는 데이토 로드. 텍스트 분할, 인텍싱, 검색, 생성 1. 데이터 로드 RAG에 사용할 데이터를 불러오는 단계 외부 데이터 소스에서 정보를 수집하고, 필요한 형식으로 변환하여 시스템에 로드 langchain.document_loaders 모듈에서 UnstructuredFileLoader 클래스를 이용하여 데이터를 호출하고 있음 2. 텍스트 분할(Text Split) 불러온 데이터를 작은 크기의 단위(chunk)로 분할하는 과정 자연어 처리(NLP) 기술을 활용하여 큰 문서를 처리가 쉽도록 문단, 문장 또는 구 단위로 나누는 작업 검색..

python 2024.04.04

[GPT] LCEL Based Memory

메모리를 수동으로 관리하는 방법 으로 커스트마이징하기 쉬움 RunnablePassthrough RunnablePassthrough를 사용하면 입력을 그대로 전달하거나 추가 키를 추가하여 전달할 수 있음 Runnable Passthrough()는 자체적으로 호출되며, 입력을 받아 전달하기만 하면됨 RunnablePassthrough는 assign(RunnablePassthrough.assign(키=값)형태로 호출 [결과] content='Hello Hong! How can I assist you today?' [결과] content='Your name is Hong. How can I assist you today, Hong?'

python 2024.03.30

[GPT] OutputParser and LCEL

[결과값] ['mercury', 'venus', 'earth', 'mars', 'jupiter', 'saturn', 'uranus', 'neptune'] BaseOutputParser LLM 호출의 출력을 구문 분석하는 기본 클래스 parse 메서드는 추상 메서드임 parse를 하기위한 기본 메서드 CommaOutputParser(BaseOutputParser) CommaOutputParser 클레스에 BaseOutputParser 클래스를 상속시킴 위의 코드를 아래처럼 LCEL(LangChain expression language)형태로 변경할 수 있음LCEL은 다양한 template 와 LLM 호출, response를 사용하게 해줌 [결과값] ['pikachu', 'charmander', 'bulba..

python 2024.03.26