IT지랩

RAG를 활용한 LLM Application 개발_02_LangChain과 Chroma를 활용한 RAG 구성

이전 글 : http://janggiraffe.tistory.com/43420250402_LangChain과 Chroma를 활용한 RAG 구성- 우리가 할 것1. 문서의 내용을 읽는다.2. 문서를 쪼갠다 - 그 이유는 토큰 수 초과로 답변생성 못할 수 있음 - 문서가 길면 (인풋이 길면) 답변 생성이 오래걸림3. 임베딩 -> 벡터 데이터베이스에 저장4. 질문이 있을 떄 백터 데이터베이스에 유사도 검색5. 유사도 검색으로 가져온 문서를 LLM 질문과 같이 전달RAG를 구성할 문서 가져오기한글 문서라면 docx(Ward)를 추천하던데 그 이유는 pdf는 줄이 나뉘어지면서 단어가 끊기면 한단어라도 다른단어로 인식한다고 함.https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%86%8C%..

인프런에서 RAG를 활용한 LLM 어플리케이션 구축 강의를 듣고 학습한 내용을 블로그에 남기려고 합니다.- 강의제목 : RAG를 활용한 LLM Application 개발 (feat. LangChain) (강병진님)OPENAI API 사용하기 환경구축TODOpython 가상환경 구축OPENAI API 사용해보기1. python 가상환경 구축pyenv는?여러개의 python 버전을 관리하고 가상환경을 구축할 수 있게 도와주는 도구로 MAC용이다.pyenv-win (윈도우용)윈도우는 위 도구를 사용한다. 설치방법은 간단하다.https://github.com/pyenv-win/pyenv-win/blob/master/docs/installation.md#powershell다음 링크에서 소개된 방법으로 파워쉘에 다..

spring security는?스프링 기반의 애플리케이션 보안을 담당하는 스프링의 하위 프레임워크.인증(Authentication)과 권한을 Filter(AuthenticationFilter)로 처리한다.왜 써야 함?인증,권한, 보안과 공격 방어관련 다양한 기능을 제공 함(공격에 해당하는 방어코드를 하나하나 짜면 코스트가 너무 소모됨)아키텍처 및 흐름1 : 외부로 부터 들어오는 Http RQ2 : Filter가 Token생성(id,pw 등등을 담고 있다)3~4 : ProviderManager가 N개의 AuthenticationProvider를 순회하며 현재 해당하는 인증을 찾아 수행한다.5~7 : 토큰에 해당하는 DB로 부터 User 정보를 가져온다.8~10 : 찾은 인증정보를 SecurityConte..

ChatGPT API 키 발급https://platform.openai.com/api-keys위 URL에서 Create new secret key버튼을 눌러서 API Keys를 발급해줬다.(*키는 다른사람들한테 공개하면 안됨)QuickStart (튜토리얼)https://platform.openai.com/docs/quickstartChatGPT API 사용법을 익히기 위해 공식문서에 있는 튜토리얼을 따라해보자.파이썬,curl,Node.js 이렇게 3가지 환경의 예제를 제공하는데 파이썬으로 결정튜토리얼 - 파이썬1. OpenAI 파이썬 라이브러리 설치 (파이썬 설치 생략)pip install --upgrade openai2. API키 셋업환경변수에 설정하는것(추천), 프로젝트에 설정하는것 두가지 방식이 있..

회사생활을 오래 하다 보니 어느덧 몇개 프로젝트의 배포 담당자가 되었다. 우리 회사에서 사용하는 프로젝트의 배포 구조는 대충 featuer-develop-staging-master의 4단계의 구조를 가지고 있다. 이 중에 featuer브랜치에서 develop로 온MR(=PR)을 리뷰 및 승인하고 젠킨스에서 배포하는게 내 역할이다. 다만 여기저기서 연락이 오다 보면 정작 MR을 승인하고 배포를 까먹는 경우가 빈번했고 귀찮기도 해서 머지리퀘스트를 승인하면 자동배포가 되도록 설정해보려고 한다. 할일 (예상) 우선 내 컴퓨터에서 테스트하기위해 할일을 리스트업 해봤다.(컴퓨터를 바꿔서 아무것도 설치가 안되어있다.) 자바설치(21) 젠킨스설치 (윈도우용) 깃랩 플러그인 설치 트리거 셋팅 깃랩 웹훅 셋팅 테스트 fe..

정의 1. 메시징 시스템 분산 컴퓨팅 환경에서 애플리케이션간의 효율적인 통신을 지원하는 시스템으로 이벤트 기반 아키텍처에서 사용됨 특징 : 비동기 통신 / 확장성 / 신뢰성 2. 메시지 브로커 메시징 시스템의 핵심 구성요소로 어플리케이션간의 메시지를 교환하도록 도와주는 중간 소프트웨어나 서버 특징 : 메시지 라우팅 / 메시지 큐잉 / 토픽 / 메시지 변환, 프로토컬 어댑터 3. JMS Java Messaging System의 약자로, Java에서 Messaging System을 사용하기 위한 API들의 모음 JMS의 메시지는 메시지헤더/프로퍼티/몸체(텍스트,오프젝트 포멧지원) 세가지로 구성된다. 메시지 헤더 : 메시지를 구분하기 위해 사용됨. 구독자 체크등이 있다. 프로퍼티 : 어플리케이션 몸체 : 메시..

코드리뷰 피라미드 관련글만 보시려면 아래로 쭉 스크롤해주세용 ⭐서론(겸 잡담) 아래 페이지에서 코드 리뷰 피라미드에 대한 글을 보았다. 관련글 : https://www.morling.dev/blog/the-code-review-pyramid/ 요즘 회사에서 개발 문화를 향상시키기 위해서 이런 저런 노력들을 하고 있는데, 그 중에 코드리뷰가 있다. 내가 코드리뷰에 어떤 노력들을 쏟고 있는지와 함께 코드리뷰 피라미드 글을 해석해보았다. ⭐코드리뷰의 궁극적인 목표(+ 내 생각) 목표 유지보수 효율 업(코드의 가독성 및 비즈니스 이해도 증가 등) 사전 오류 검출 역량 강화(팀원의 코드 수준이 전체적으로 강화된다.) 장점 코드리뷰를 받는다는 생각에 코드를 한번 더 보고 조금 더 심사숙고해서 짜게 된다. 내가 보지..

AWS INDUSTRY WEEK 2023 후기 🟦강연 도중 사진을 찍어서 사진들이 파랗습니다.(무음으로 찍음) 미리 죄송합니다 😥 🟦 이번주에 코엑스에서 열린 AWS Industry week에 다녀왔습니다. 다녀온 후 든 생각은 아직도 갈길이 멀고 공부할게 많구나 느꼈고 새로 안 것들을 우리 회사에 서비스에 녹여갈 생각에 약간 신나기도 했습니다.(과연 할 수 있을까?) 많이 언급됐던 키워드들(😏내 귀가 먼저 반응한 내가 듣고싶었던 키워드들일수도 ?!) 생성형AI , 애자일,민첩성 , 데브옵스 , 조직,개발 문화 , 목적별DB , 클라우드 , DDD ,람다, 서버리스 적어두고 한눈에 보니 뭔가 서로 연관되는듯 하다. 내가 들은 강연들 이번 세미나에서는 아래와 같은 주제들의 강연이 있었는데, 다음의 강연들을..

구글 자바 포메터 설치(이클립스) 구글 자바 스타일가이드를 번역하면서 해당 포멧에 맞게 자동으로 소스를 변환해주는 플러그인에 대해 알게되서 이번에 적용해보려고 한다. 스타일가이드 : https://google.github.io/styleguide/javaguide.html 스타일가이드 번역 : https://janggiraffe.tistory.com/405 더 나은 개발 문화를 위해 #1 코딩 스타일 가이드(Google Java Style Guide 번역) 더 나은 개발 문화를 위해 #1 코딩 스타일 가이드(Google Java Style Guide 번역) 추석을 맞아 여유가 생겼다. 지금껏의 회사생활을 돌아보면 일하면서 여러 사람들과 같은 서비스를 유지보수할 때, 특 janggiraffe.tistory..

더 나은 개발 문화를 위해 #1 코딩 스타일 가이드(Google Java Style Guide 번역) 추석을 맞아 여유가 생겼다. 지금껏의 회사생활을 돌아보면 일하면서 여러 사람들과 같은 서비스를 유지보수할 때, 특별한 규칙 없이 각자 유지보수 해왔던 것 같다. 그래서 팀원들과의 유대감이나 서비스에 대한 애정이 좀 덜 했던 것 같음. 이 상황에서 소위 말하는 네카라쿠배의 좋은 개발문화들은 너무나도 부러웠다. 좋은 개발문화를 정착시키고 싶다는 생각이 있었는데, 이젠 이 회사에서 짬도 찼고 부사수도 둘이나 있고 해서 이분들과 함께 한번 해보려구 함.(아직 부사수들의 생각은 안물어봐서 조금 걱정되긴 하다.😢) 내가 생가하는 우리 회사에 필요한 부분은 크게 3가지 + 숙제.. 코드 스타일 가이드 : 아직 시작 ..