2024/04/04 3

[GPT] Stuff LCEL Chain

RetrievalQA 대신 LangChain Expression Language을 이용하여 RAG(Retrieval-Augmented Generation) 검색처리 해당 단계는 데이토 로드. 텍스트 분할, 인텍싱, 검색, 생성 1. 데이터 로드 RAG에 사용할 데이터를 불러오는 단계 외부 데이터 소스에서 정보를 수집하고, 필요한 형식으로 변환하여 시스템에 로드 langchain.document_loaders 모듈에서 UnstructuredFileLoader 클래스를 이용하여 데이터를 호출하고 있음 2. 텍스트 분할(Text Split) 불러온 데이터를 작은 크기의 단위(chunk)로 분할하는 과정 자연어 처리(NLP) 기술을 활용하여 큰 문서를 처리가 쉽도록 문단, 문장 또는 구 단위로 나누는 작업 검색..

python 2024.04.04

[GPT] RetrievalQA

RetrievalQA 문서검색 LLMChain을 이용하여 검색이 가능하지만 이는 Legacy 이므로 LCEL 형태로 검색하는것을 추천 검색방식 Stuff[문서 전체 요약]: 단순히 모든 문서를 단일 프롬프트로 "넣는" 방식입니다. 이는 가장 간단한 접근 방식입니다. Map-reduce[문서 분할-병합 요약]: 각 문서를 "map" 단계에서 개별적으로 요약한 다음, "reduce" 단계에서 요약본들을 최종 요약본으로 합치는 방식입니다. Refine[문서 분할-병합 요약]: 입력 문서를 순회하며 반복적으로 답변을 업데이트하여 응답을 구성합니다. 각 문서에 대해, 모든 비문서 입력, 현재 문서, 그리고 최신 중간 답변을 LLM chain에 전달하여 새로운 답변을 얻습니다. Map-ReRank:각 맵 리랭크 문..

python 2024.04.04