티스토리

OUR + YOUR SPACE

검색하기

블로그 홈

OUR + YOUR SPACE

tcss.tistory.com/m

으누아빠 님의 블로그입니다.

구독자: 37

방명록 방문하기

주요 글 목록

[GPT][INVESTORGPT] Search Tool DuckDuckGoSearch를 이용하여 해당 search에서 데이터를 가져와 답변하도록 한다. from typing import Typefrom langchain.chat_models import ChatOpenAIfrom langchain.tools import BaseToolfrom pydantic import BaseModel,Fieldfrom langchain.agents import initialize_agent, AgentTypefrom langchain.utilities import DuckDuckGoSearchAPIWrapperllm = ChatOpenAI( temperature=0.1,)class StockMarketSymbolSearchToolArgsSchema(BaseMode.. 공감수 0 댓글수 0 2024. 5. 20.
[GPT][INVESTORGPT] OpenAI Functions Agent OPENAI_FUNCTIONS이경우 데이터의 형태를 지정하지 않으면 오류를 발생함 InvalidRequestError: Invalid 'functions[0].name': string does not match pattern. Expected a string that matches the pattern '^[a-zA-Z0-9_-]+$'. from typing import Typefrom langchain.chat_models import ChatOpenAIfrom langchain.tools import BaseToolfrom pydantic import BaseModel,Fieldfrom langchain.agents import initialize_agent, AgentTypellm = ChatOp.. 공감수 0 댓글수 0 2024. 5. 20.
[GPT][INVESTORGPT] Zero-shot ReAct Agent from langchain.chat_models import ChatOpenAIfrom langchain.tools import Toolfrom langchain.agents import initialize_agent, AgentTypellm = ChatOpenAI( temperature=0.1,)def plus(inputs): a,b = inputs.split(",") return float(a) + float(b)agent = initialize_agent( llm=llm, verbose=True, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, handle_parsing_erros=True, tools=[ Too.. 공감수 0 댓글수 0 2024. 5. 20.
[GPT][INVESTORGPT] Agent > Entering new AgentExecutor chain... Thought: I can use the Sum Calculator tool to find the total cost of all the given amounts. Action: ``` { "action": "Sum Calculator", "action_input": {"a": 355.39, "b": 924.87} } ``` Observation: 1280.26 Thought:``` { "action": "Sum Calculator", "action_input": {"a": 1280.26, "b": 721.2} } ``` Observation: 2001.46 Thought:``` { "action": "Sum Calculator.. 공감수 0 댓글수 0 2024. 5. 20.
[GPT][MEETINGGPT] 최종 예제 from langchain.storage import LocalFileStoreimport streamlit as stimport subprocessimport mathfrom pydub import AudioSegmentimport globimport openaiimport osfrom langchain.chat_models import ChatOpenAIfrom langchain.prompts import ChatPromptTemplatefrom langchain.document_loaders import TextLoaderfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.schema import StrOu.. 공감수 0 댓글수 0 2024. 5. 14.
[GPT][MEETINGGPT] Refine Chain refine[문서 분할-병합 요약] 입력 문서를 순회하며 반복적으로 답변을 업데이트하여 응답을 구성합니다. 각 문서에 대해, 모든 비문서 입력, 현재 문서, 그리고 최신 중간 답변을 LLM chain에 전달하여 새로운 답변을 얻습니다. with summary_tab: start = st.button("Generate summary") if start: loader = TextLoader(transcript_path, encoding="utf-8") docs = loader.load_and_split(text_splitter=splitter) first_summary_prompt = ChatPromptTempla.. 공감수 0 댓글수 0 2024. 5. 14.
[GPT][MEETINGGPT] Whisper Transcript whisper란? openai에서 공개한 인공지능 모델로 음성을 텍스트로 변환할 수 있는 기술 def transcribe_chunks(chunk_folder, destination): if has_transcript: return files = glob.glob(f"{chunk_folder}/*.mp3") files.sort() for file in files: with open(file, "rb") as audio_file, open(destination, "a", encoding="utf-8") as text_file: transcript = openai.Audio.transcribe( "whisper-1".. 공감수 0 댓글수 0 2024. 5. 14.
[GPT][MEETINGGPT] Cutting The Audio pydub pydub은 Python으로 오디오 처리 작업을 수행할 수 있게 하는 유용한 라이브러리 중 하나이 라이브러리를 사용하면 오디오 파일의 생성, 변환, 조작, 재생 속도 변경, 오디오 형식 간 변환 등 다양한 작업을 수행할 수 있음pydub에서 AudioSegment는 오디오 데이터를 나타내는 핵심 객체입이 객체는 여러 오디오 형식(예: MP3, WAV)의 오디오 데이터를 처리하고 다양한 작업을 수행하는 데 사용 설치 pip install pydub from pydub import AudioSegment def cut_audio_in_chunks(audio_path, chunk_size, chunks_folder): if has_transcript: return track.. 공감수 0 댓글수 0 2024. 5. 14.
[GPT][MEETINGGPT] Audio Extraction 1. ffmpeg 를 설치 해야함 https://ffmpeg.org/ 에서 다운로드를 받음 에서 windows builds from gyan.dev 클릭 원하는 파일 다운로드 여기서는 ffmpeg-release-essentials.zip 다운로드 후 c:\Program Files\ffmpeg에 복사 시스템 환경 변수에 C:\Program Files\ffmpeg\bin 추가 정상적으로 기동하는 지 확인해야함 def extract_audio_from_video(video_path): if has_transcript: return if video.name.endswith("mp3"): return audio_path = video_path.replace("m.. 공감수 0 댓글수 0 2024. 5. 14.
[GPT][SITEGPT] Map Re Rank Chain from langchain.document_loaders import SitemapLoaderfrom langchain.schema.runnable import RunnableLambda, RunnablePassthroughfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.vectorstores.faiss import FAISSfrom langchain.embeddings import OpenAIEmbeddingsfrom langchain.chat_models import ChatOpenAIfrom langchain.prompts import ChatPromptTemplatefrom bs4 import Beau.. 공감수 0 댓글수 0 2024. 5. 13.
[GPT][SITEGPT] Parsing Function from langchain.document_loaders import SitemapLoader, textfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom bs4 import BeautifulSoupimport streamlit as stimport asyncioimport sysdef parse_page(soup: BeautifulSoup): header = soup.find("header") footer = soup.find("footer") if header: header.decompose() if footer: footer.decompose() return ( .. 공감수 0 댓글수 0 2024. 5. 13.
[GPT][SITEGPT] SitemapLoader from langchain.document_loaders import SitemapLoaderimport streamlit as stimport asyncioimport sys#@st.cache_data(show_spinner="Loading website...")def load_website(url): loader = SitemapLoader(url) loader.requests_per_second = 5 docs = loader.load() st.write(docs) return docsst.set_page_config( page_title="SiteGPT", page_icon="🖥️",)st.markdown( """ # SiteGPT Ask q.. 공감수 0 댓글수 0 2024. 5. 13.
[GPT][SITEGPT] AsyncChromiumLoader from langchain.document_loaders import AsyncChromiumLoaderfrom langchain.document_transformers import Html2TextTransformerimport streamlit as stst.set_page_config( page_title="SiteGPT", page_icon="🖥️",)html2text_transformer = Html2TextTransformer()st.markdown( """ # SiteGPT Ask questions about the content of a website. Start by writing the URL of the we.. 공감수 0 댓글수 0 2024. 5. 2.
[GPT][QUIZGPT]Output Parser 를 이용한 데이터 형태 제어 이전 페이지에서 Formatter Prompt 를 이용하여 원하는 형태로 만든것을 output parser 를 이용하는 형태로 변환 import json from operator import rshift from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import CharacterTextSplitter from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain.callbacks import StreamingStdOutCallbackHandler import .. 공감수 0 댓글수 1 2024. 4. 18.
[GPT][QUIZGPT]Formatter Prompt 1. 먼저 질의 에 대한 퀴즈를 생성한다. 2. 이를 기반으로 원하는 형태로 formatting 을 한다. # 파일 다운로드 또는 WikipediaRetriever를 이용한 퀴즈 생성 import streamlit as st from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import CharacterTextSplitter from langchain.retrievers import WikipediaRetriever from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from l.. 공감수 0 댓글수 0 2024. 4. 18.
[GPT][QUIZGPT]Questions Prompt [결과] Question: When was Elon Musk born? Answers: June 28, 1975|July 4, 1969|May 15, 1980|June 28, 1971(o) Question: In which country was Elon Musk born? Answers: Canada|South Africa(o)|United States|Australia Question: What is the estimated net worth of Elon Musk as of April 2024? Answers: $100 billion|$150 billion|$200 billion|$193 billion(o) Question: What was the name of the online city guide.. 공감수 0 댓글수 0 2024. 4. 18.
[GPT][QUIZGPT]WikipediaRetriever WikipediaRetriever WikipediaRetriever는 Wikipedia의 데이터를 검색하고 검색 결과를 제공하는 오픈 소스 도구 이 도구를 사용하면 Wikipedia의 다양한 정보를 손쉽게 검색 가능 파라미터 - lang: default="en". 특정 언어 부분에서 위키피디아를 검색하려면 사용 - load_max_docs: default=100. 다운로드된 문서의 수를 제한하는 데 사용. 현재는 300개의 문서로 제한 - load_all_available_meta: default=False. 기본적으로 중요한 필드만 다운로드. 발행일(문서가 발행/최종 업데이트된 날짜), 제목, 요약. True로 설정하면 다른 필드도 다운로드됨 - top_k_results: 모델이 출력하는 결과 중에서 .. 공감수 0 댓글수 0 2024. 4. 18.
[GPT][PRIVATEGPT] Ollama Ollama 는 LLM 모델을 Local 환경에서 손쉽게 수행하기 위한 프레임워크 https://ollama.com/ Ollama Get up and running with large language models. ollama.com 1. 다운로드 페이지에서 해당 os 에 맞는 ollama를 다운받아 설치 2. model 페이지에 가서 원하는 모델을 선택 [현재:mistral] 3.터미널에서 ollama run mistral 실행 설치 완료 기존 문서검색 코드를 이용하여 ollama 를 이용하는 예제 from langchain.prompts import ChatPromptTemplate from langchain.document_loaders import UnstructuredFileLoader from.. 공감수 0 댓글수 0 2024. 4. 16.
[GPT][PRIVATEGPT] GPT4All GPT4All https://gpt4all.io/index.html gpt를 local에서 실행시킬수 있는 모델을 제공 사용한 model gpt4all-falcon-newbpe-q4_0.gguf 해당 파일을 다운로드 받아 .bin 파일로 변경후 사용 OSError: exception: access violation reading 0x0000000000000000 발생할경우 pip install gpt4all --upgrade 실행하면 됨 [결과] ' vegetable, but not all vegetables are potatoes.\nFalse. All potatoes are vegetables, but not all vegetables are potatoes.' 공감수 0 댓글수 0 2024. 4. 16.
[GPT][PRIVATEGPT] HuggingFacePipeline HuggingFacePipeline HuggingFacePipeline 클래스를 통해 Hugging Face 모델을 로컬에서 실행가능 실행하면 해당 모델을 컴퓨터에 다운로드 받고 오프라인에서 실행함 from langchain.llms.huggingface_pipeline import HuggingFacePipeline GPT2 허깅페이스 주소: https://huggingface.co/gpt2 openai-community/gpt2 · Hugging Face GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language u.. 공감수 0 댓글수 0 2024. 4. 16.
[GPT][PRIVATEGPT]HuggingFaceHub [결과] ' Potato is a starchy vegetable that is grown underground in rows in a shallow, well-drained soil. It is a tuber, which means it is an underground, fleshy part of the plant that stores nutrients. Potatoes are a popular food source and are used in many different dishes, including salads, soups, stews, and baked dishes. They are also used as a source of starch for making paper and other produ.. 공감수 0 댓글수 0 2024. 4. 16.
[GPT][문서검색] Streaming 실시간으로 텍스트를 노출시키는 방법 임 문서검색의 최종본 from langchain.prompts import ChatPromptTemplate from langchain.document_loaders import UnstructuredFileLoader from langchain.embeddings import CacheBackedEmbeddings, OpenAIEmbeddings from langchain.schema.runnable import RunnableLambda, RunnablePassthrough from langchain.storage import LocalFileStore from langchain.text_splitter import CharacterTextSplitter from .. 공감수 0 댓글수 0 2024. 4. 15.
[GPT][문서 검색] Chain import streamlit as st from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import CharacterTextSplitter from langchain.embeddings import CacheBackedEmbeddings, OpenAIEmbeddings from langchain.storage import LocalFileStore from langchain.vectorstores.faiss import FAISS from langchain.prompts import ChatPromptTemplate from langchain.chat_models import ChatOpe.. 공감수 0 댓글수 0 2024. 4. 15.
[GPT][문서검색] Chat History Streamlit에서 캐싱이 필요한 이유 Streamlit에서 앱에서 상호작용이 발생할 때마다 전체 스크립트가 처음부터 다시 실행 이 모델은 프로그래밍 모델을 간단하게 만들지만 비효율성을 초래 예를 들어, 스크립트에 대용량 데이터셋을 로드하는 함수나 시간이 오래 걸리는 계산을 수행하는 함수가 포함되어 있다면, 스크립트가 재실행될 때마다 해당 함수는 재실행됨 이때 캐싱이 필요 Streamlit의 캐싱을 사용하면 특정 함수가 입력 값이 변경될 때만 다시 실행되도록 할 수 있음 Streamlit 캐싱 사용의 장점 성능 향상: 캐시에 비싼 함수 호출 결과를 저장함으로써 Streamlit 앱의 속도를 향상 시킬수 있으며, 특히 대용량 데이터셋이나 복잡한 기계 학습 모델과 함께 작업할 때 데이터 로드 또는 계산에 .. 공감수 0 댓글수 0 2024. 4. 15.
[GPT][문서검색] Uploading Documents 기존 Stuff LCEL Chain 을 이용한 문서 검색을 위하여 문서를 읽어드린후 검색하는 예제 기록 공감수 0 댓글수 0 2024. 4. 15.
[GPT] streamlit - Chat Messages st.chat_message(name, *, avatar=None) 채팅 메시지 컨테이너를 삽입 반환된 컨테이너에 요소를 추가하려면 with문을 이용하여 추가하거나 또는 return받은 값에서 직접 메서드를 호출 name 파라미터 메시지 작성자의 이름이 들어감 [human, user, ai, assistant, 문자열] 등등이 들어감 st.chat_input 입력 위젯을 출력함 을 입력하면 입력 윗젯을 출력할 수 있음 st.session_state 세션 상태는 각 사용자 세션에 대해 재실행 간에 변수를 공유하는 방법 상태를 저장하고 유지하는 기능 외에도 Streamlit은 콜백을 사용하여 상태를 조작하는 기능도 제공 세션 상태는 다중 페이지 앱 내의 여러 앱에서도 지속됩니다 . 세션 상태의 값 초기화 읽.. 공감수 0 댓글수 0 2024. 4. 8.
[GPT] streamlit - Multi Page pages 디렉토리를 생성하고 파일을 추가하면 자동으로 사이드메뉴가 생성됨 이런식으로 디렉토리와 파일을 생성하면 브라우저에서 형태로 출력이 됨 또한 st.set_page_config 를 이용하여 브라우저 상단 타이틀과 파비콘을 추가 할 수 있음 사이드 와 Tab 바 생성 형태로 생성할 수 있음 공감수 0 댓글수 0 2024. 4. 8.
[GPT] streamlit - st.write() 와 Magic st.write st.write는 스트림릿 앱에 텍스트와 인수를 작성하는 데 사용됩니다. 텍스트를 표시할 수 있을 뿐만 아니라, st.write() 명령을 통해 다음도 표시할 수 있습니다. 문자열 출력; st.markdown()처럼 작동 파이썬 dict 표시 pandas DataFrame을 테이블로 표시 matplotlib, plotly, altair, graphviz, bokeh의 플롯/그래프/그림 그 외 더 많음 (st.write API 문서 참조) Magic 매직 명령은 명시적인 명령을 전혀 입력하지 않고도 거의 모든 것(마크다운, 데이터, 차트)을 출력 표시하려는 항목을 자체 코드 줄에 넣으면 앱에 표시됩니다. 예는 다음과 같습니다. 매직의 작동 방식 Streamlit은 자체 라인에서 변수나 리터.. 공감수 0 댓글수 0 2024. 4. 8.
[GPT] streamlit streamlit streamlit은 python 만으로 웹 개발을 할 수 있는 기술 스택 1. 코드가 짧고 간결 2. 배포가 쉬움 3. 데이터 분석, AI 서비스를 빠르게 개발 단점 1. 세밀한 UI/UX 적용이 어려움 2. 사용자가 늘었을 때, 대응이 어려움. 2. 복잡한 형태의 서비스 구현이 어려움 실행 streamlit run 파일명 공감수 0 댓글수 0 2024. 4. 8.
[GPT] Map Reduce LCEL Chain [결과] AIMessage(content='Victory Mansions is a dilapidated apartment building in London where Winston Smith resides in George Orwell\'s novel "1984." The building is run-down, with shabby walls, broken elevators, and small, cramped apartments lacking basic amenities. It is part of a dystopian society controlled by a totalitarian regime, characterized by constant surveillance and poor living condi.. 공감수 0 댓글수 0 2024. 4. 4.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.