OUR + YOUR SPACE

from langchain.storage import LocalFileStoreimport streamlit as stimport subprocessimport mathfrom pydub import AudioSegmentimport globimport openaiimport osfrom langchain.chat_models import ChatOpenAIfrom langchain.prompts import ChatPromptTemplatefrom langchain.document_loaders import TextLoaderfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.schema import StrOu..

refine[문서 분할-병합 요약]  입력 문서를 순회하며 반복적으로 답변을 업데이트하여 응답을 구성합니다.  각 문서에 대해, 모든 비문서 입력, 현재 문서, 그리고 최신 중간 답변을 LLM chain에 전달하여 새로운 답변을 얻습니다.     with summary_tab:        start = st.button("Generate summary")        if start:            loader = TextLoader(transcript_path, encoding="utf-8")            docs = loader.load_and_split(text_splitter=splitter)            first_summary_prompt = ChatPromptTempla..

whisper란? openai에서 공개한 인공지능 모델로 음성을 텍스트로 변환할 수 있는 기술  def transcribe_chunks(chunk_folder, destination):    if has_transcript:        return    files = glob.glob(f"{chunk_folder}/*.mp3")    files.sort()    for file in files:        with open(file, "rb") as audio_file, open(destination, "a", encoding="utf-8") as text_file:            transcript = openai.Audio.transcribe(                "whisper-1"..

pydub pydub은 Python으로 오디오 처리 작업을 수행할 수 있게 하는 유용한 라이브러리 중 하나이 라이브러리를 사용하면 오디오 파일의 생성, 변환, 조작, 재생 속도 변경, 오디오 형식 간 변환 등 다양한 작업을 수행할 수 있음pydub에서 AudioSegment는 오디오 데이터를 나타내는 핵심 객체입이 객체는 여러 오디오 형식(예: MP3, WAV)의 오디오 데이터를 처리하고 다양한 작업을 수행하는 데 사용 설치 pip install pydub from pydub import AudioSegment  def cut_audio_in_chunks(audio_path, chunk_size, chunks_folder):    if has_transcript:        return    track..

1. ffmpeg 를 설치 해야함 https://ffmpeg.org/ 에서 다운로드를 받음  에서 windows builds from gyan.dev 클릭   원하는 파일 다운로드 여기서는 ffmpeg-release-essentials.zip 다운로드 후 c:\Program Files\ffmpeg에 복사 시스템 환경 변수에 C:\Program Files\ffmpeg\bin 추가  정상적으로 기동하는 지 확인해야함   def extract_audio_from_video(video_path):    if has_transcript:        return    if video.name.endswith("mp3"):        return    audio_path = video_path.replace("m..

from langchain.document_loaders import SitemapLoaderfrom langchain.schema.runnable import RunnableLambda, RunnablePassthroughfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain.vectorstores.faiss import FAISSfrom langchain.embeddings import OpenAIEmbeddingsfrom langchain.chat_models import ChatOpenAIfrom langchain.prompts import ChatPromptTemplatefrom bs4 import Beau..

from langchain.document_loaders import SitemapLoader, textfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom bs4 import BeautifulSoupimport streamlit as stimport asyncioimport sysdef parse_page(soup: BeautifulSoup):    header = soup.find("header")    footer = soup.find("footer")    if header:        header.decompose()    if footer:        footer.decompose()    return (       ..

from langchain.document_loaders import SitemapLoaderimport streamlit as stimport asyncioimport sys#@st.cache_data(show_spinner="Loading website...")def load_website(url):    loader = SitemapLoader(url)    loader.requests_per_second = 5    docs = loader.load()    st.write(docs)    return docsst.set_page_config(    page_title="SiteGPT",    page_icon="🖥️",)st.markdown(    """    # SiteGPT    Ask q..

from langchain.document_loaders import AsyncChromiumLoaderfrom langchain.document_transformers import Html2TextTransformerimport streamlit as stst.set_page_config(    page_title="SiteGPT",    page_icon="🖥️",)html2text_transformer = Html2TextTransformer()st.markdown(    """    # SiteGPT                Ask questions about the content of a website.                Start by writing the URL of the we..

이전 페이지에서 Formatter Prompt 를 이용하여 원하는 형태로 만든것을 output parser 를 이용하는 형태로 변환 import json from operator import rshift from langchain.document_loaders import UnstructuredFileLoader from langchain.text_splitter import CharacterTextSplitter from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain.callbacks import StreamingStdOutCallbackHandler import ..