IT지랩

이전 글 : http://janggiraffe.tistory.com/43420250402_LangChain과 Chroma를 활용한 RAG 구성- 우리가 할 것1. 문서의 내용을 읽는다.2. 문서를 쪼갠다 - 그 이유는 토큰 수 초과로 답변생성 못할 수 있음 - 문서가 길면 (인풋이 길면) 답변 생성이 오래걸림3. 임베딩 -> 벡터 데이터베이스에 저장4. 질문이 있을 떄 백터 데이터베이스에 유사도 검색5. 유사도 검색으로 가져온 문서를 LLM 질문과 같이 전달RAG를 구성할 문서 가져오기한글 문서라면 docx(Ward)를 추천하던데 그 이유는 pdf는 줄이 나뉘어지면서 단어가 끊기면 한단어라도 다른단어로 인식한다고 함.https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%86%8C%..

인프런에서 RAG를 활용한 LLM 어플리케이션 구축 강의를 듣고 학습한 내용을 블로그에 남기려고 합니다.- 강의제목 : RAG를 활용한 LLM Application 개발 (feat. LangChain) (강병진님)OPENAI API 사용하기 환경구축TODOpython 가상환경 구축OPENAI API 사용해보기1. python 가상환경 구축pyenv는?여러개의 python 버전을 관리하고 가상환경을 구축할 수 있게 도와주는 도구로 MAC용이다.pyenv-win (윈도우용)윈도우는 위 도구를 사용한다. 설치방법은 간단하다.https://github.com/pyenv-win/pyenv-win/blob/master/docs/installation.md#powershell다음 링크에서 소개된 방법으로 파워쉘에 다..

ChatGPT API 키 발급https://platform.openai.com/api-keys위 URL에서 Create new secret key버튼을 눌러서 API Keys를 발급해줬다.(*키는 다른사람들한테 공개하면 안됨)QuickStart (튜토리얼)https://platform.openai.com/docs/quickstartChatGPT API 사용법을 익히기 위해 공식문서에 있는 튜토리얼을 따라해보자.파이썬,curl,Node.js 이렇게 3가지 환경의 예제를 제공하는데 파이썬으로 결정튜토리얼 - 파이썬1. OpenAI 파이썬 라이브러리 설치 (파이썬 설치 생략)pip install --upgrade openai2. API키 셋업환경변수에 설정하는것(추천), 프로젝트에 설정하는것 두가지 방식이 있..