OUR + YOUR SPACE

1. 먼저 질의 에 대한 퀴즈를 생성한다. 2. 이를 기반으로 원하는 형태로 formatting 을 한다. # 파일 다운로드 또는 WikipediaRetriever를 이용한 퀴즈 생성 import streamlit as st from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import CharacterTextSplitter from langchain.retrievers import WikipediaRetriever from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from l..

[결과] Question: When was Elon Musk born? Answers: June 28, 1975|July 4, 1969|May 15, 1980|June 28, 1971(o) Question: In which country was Elon Musk born? Answers: Canada|South Africa(o)|United States|Australia Question: What is the estimated net worth of Elon Musk as of April 2024? Answers: $100 billion|$150 billion|$200 billion|$193 billion(o) Question: What was the name of the online city guide..

WikipediaRetriever WikipediaRetriever는 Wikipedia의 데이터를 검색하고 검색 결과를 제공하는 오픈 소스 도구 이 도구를 사용하면 Wikipedia의 다양한 정보를 손쉽게 검색 가능 파라미터 - lang: default="en". 특정 언어 부분에서 위키피디아를 검색하려면 사용 - load_max_docs: default=100. 다운로드된 문서의 수를 제한하는 데 사용. 현재는 300개의 문서로 제한 - load_all_available_meta: default=False. 기본적으로 중요한 필드만 다운로드. 발행일(문서가 발행/최종 업데이트된 날짜), 제목, 요약. True로 설정하면 다른 필드도 다운로드됨 - top_k_results: 모델이 출력하는 결과 중에서 ..

Ollama 는 LLM 모델을 Local 환경에서 손쉽게 수행하기 위한 프레임워크 https://ollama.com/ Ollama Get up and running with large language models. ollama.com 1. 다운로드 페이지에서 해당 os 에 맞는 ollama를 다운받아 설치 2. model 페이지에 가서 원하는 모델을 선택 [현재:mistral] 3.터미널에서 ollama run mistral 실행 설치 완료 기존 문서검색 코드를 이용하여 ollama 를 이용하는 예제 from langchain.prompts import ChatPromptTemplate from langchain.document_loaders import UnstructuredFileLoader from..

GPT4All https://gpt4all.io/index.html gpt를 local에서 실행시킬수 있는 모델을 제공 사용한 model gpt4all-falcon-newbpe-q4_0.gguf 해당 파일을 다운로드 받아 .bin 파일로 변경후 사용 OSError: exception: access violation reading 0x0000000000000000 발생할경우 pip install gpt4all --upgrade 실행하면 됨 [결과] ' vegetable, but not all vegetables are potatoes.\nFalse. All potatoes are vegetables, but not all vegetables are potatoes.'

HuggingFacePipeline HuggingFacePipeline 클래스를 통해 Hugging Face 모델을 로컬에서 실행가능 실행하면 해당 모델을 컴퓨터에 다운로드 받고 오프라인에서 실행함 from langchain.llms.huggingface_pipeline import HuggingFacePipeline GPT2 허깅페이스 주소: https://huggingface.co/gpt2 openai-community/gpt2 · Hugging Face GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language u..

[결과] ' Potato is a starchy vegetable that is grown underground in rows in a shallow, well-drained soil. It is a tuber, which means it is an underground, fleshy part of the plant that stores nutrients. Potatoes are a popular food source and are used in many different dishes, including salads, soups, stews, and baked dishes. They are also used as a source of starch for making paper and other produ..

실시간으로 텍스트를 노출시키는 방법 임 문서검색의 최종본 from langchain.prompts import ChatPromptTemplate from langchain.document_loaders import UnstructuredFileLoader from langchain.embeddings import CacheBackedEmbeddings, OpenAIEmbeddings from langchain.schema.runnable import RunnableLambda, RunnablePassthrough from langchain.storage import LocalFileStore from langchain.text_splitter import CharacterTextSplitter from ..

import streamlit as st from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import CharacterTextSplitter from langchain.embeddings import CacheBackedEmbeddings, OpenAIEmbeddings from langchain.storage import LocalFileStore from langchain.vectorstores.faiss import FAISS from langchain.prompts import ChatPromptTemplate from langchain.chat_models import ChatOpe..

Streamlit에서 캐싱이 필요한 이유 Streamlit에서 앱에서 상호작용이 발생할 때마다 전체 스크립트가 처음부터 다시 실행 이 모델은 프로그래밍 모델을 간단하게 만들지만 비효율성을 초래 예를 들어, 스크립트에 대용량 데이터셋을 로드하는 함수나 시간이 오래 걸리는 계산을 수행하는 함수가 포함되어 있다면, 스크립트가 재실행될 때마다 해당 함수는 재실행됨 이때 캐싱이 필요 Streamlit의 캐싱을 사용하면 특정 함수가 입력 값이 변경될 때만 다시 실행되도록 할 수 있음 Streamlit 캐싱 사용의 장점 성능 향상: 캐시에 비싼 함수 호출 결과를 저장함으로써 Streamlit 앱의 속도를 향상 시킬수 있으며, 특히 대용량 데이터셋이나 복잡한 기계 학습 모델과 함께 작업할 때 데이터 로드 또는 계산에 ..