실전! RAG 기반 생성형 AI 개발 - 위키북스 생성형 AI 프로그래밍 13

실전! RAG 기반 생성형 AI 개발 - 위키북스 생성형 AI 프로그래밍 13

$32.04
Description
RAG를 이용해 AI의 환각을 최소화하고, 임베딩 벡터 데이터베이스와 인간 피드백을 통합해서 정확하고 커스텀화된 생성형 AI 파이프라인을 구축한다!
《실전! RAG 기반 생성형 AI 개발》은 성능과 비용의 균형을 맞추는 효과적인 LLM, 컴퓨터비전, 생성형 AI 시스템을 구축하기 위한 로드맵을 제시한다.

이 책은 RAG와 다중 모달 AI 파이프라인을 설계, 관리, 제어하는 방법을 상세히 설명한다. RAG는 출력을 추적 가능한 원본 문서와 연결함으로써 출력의 정확성과 문맥 관련성을 향상시키며, 대량의 정보를 관리하는 동적 접근 방식을 가능하게 하는 기술이다. 이 책은 또한 벡터 저장소, 청킹, 색인화, 순위 지정에 대한 실용적 지식을 제공하며, RAG 프레임워크를 처음부터 끝까지 구축하는 방법을 보여준다. 적응형 RAG와 사람의 피드백을 활용한 검색 정확도 개선, RAG와 미세조정의 균형, 실시간 의사결정을 강화하는 동적 RAG 구현, 지식 그래프를 통한 복잡한 데이터 시각화 등 프로젝트 성능을 최적화하고 데이터를 더 잘 이해할 수 있는 기법들을 배우게 될 것이다.

라마인덱스, 파인콘, 딥레이크 같은 프레임워크와 오픈AI, 허깅페이스 같은 생성형 AI 플랫폼을 이용한 풍부한 실습 예제를 담고 있다. 이 책을 통해 지능형 솔루션을 구현하는 기술을 습득한다면 프로덕션에서 고객 서비스까지 그 어떤 프로젝트에서도 경쟁력을 갖추게 될 것이다.

★ 이 책에서 다루는 내용 ★

◎ 대규모 데이터셋을 효율적으로 처리하도록 RAG 파이프라인을 확장한다.
◎ 환각 현상을 최소화하고 정확한 응답을 보장하는 기법을 적용한다.
◎ 추적 가능하고 투명한 출력으로 AI 정확도를 높이는 색인화 기법을 구현한다.
◎ RAG 주도 생성형 AI 시스템을 다양한 도메인에 걸쳐 커스텀화하고 확장한다.
◎ 딥레이크와 파인콘을 활용해서 데이터를 더 빠르고 효율적으로 검색한다.
◎ 실제 데이터에 기반해서 견고한 생성형 AI 시스템을 구축하고 제어한다.
◎ 더 풍부하고 유익한 AI 응답을 위해 텍스트와 이미지 데이터를 결합한다.

저자

데니스로스먼

저자:데니스로스먼(DenisRothman)
데니스로스먼은소르본대학교(SorbonneUniversite)와파리디드로대학교(UniversiteParis-Diderot;파리제7대학교)를졸업했다.학생시절에초창기word2vector임베딩과단어조각토큰화(wordpiecetokenization)솔루션중하나를개발해서특허를등록했다.AI배포에중점을둔회사를설립해서초창기AI인지NLP챗봇중하나를개발했는데,그챗봇은모엣&샹동(LVMH계열사)의언어교육도구로쓰였다.이후로스먼은설명가능한AI(explainableAI)전문가로빠르게성장해서,항공우주와의류,공급망분야의주요기업프로젝트에서해석가능하고수용성기반의설명데이터와인터페이스를솔루션에통합했다.다른사람에게어떤것을가르쳐봐야만그것을진정으로알수있다는신념을지니고있다.

역자:307번역랩
전문번역가의효율적인번역작업을위해초벌번역및자료정리서비스를제공하는번역엔지니어집단이다.급변하는IT분야의가치있는외국서적을발빠르게국내독자에게전달하는데보람을느낀다.

역자:류광
커누스교수의《컴퓨터프로그래밍의예술》시리즈를비롯해90여권의다양한IT전문서를번역한전문번역가이다.이책과연관된번역서로는《딥러닝을위한수학》《파이썬으로배우는자연어처리인액션》《마스터링트랜스포머》등이있으며,Manning출판사의《LLMsinProduction》을번역중이다.홈페이지류광의번역이야기(https://occamsrazr.net)와IT및게임개발정보공유사이트GpgStudy(hgpgstudy.com)를운영한다.

목차


01장:RAG(검색증강생성)가필요한이유
1.1RAG란무엇인가?
1.2단순,고급,모듈형RAG구성
1.3RAG대미세조정
1.4RAG생태계
__1.4.1검색기(D)
__1.4.2생성기(G)
__1.4.3평가기(E)
__1.4.4훈련기(T)
1.5단순,고급,모듈형RAG의파이썬구현
__1.5.1파트1:기초와기본구현
__1.5.2파트2:고급기법과평가

02장:딥레이크와오픈AI를활용한RAG임베딩벡터저장소
2.1원시데이터에서벡터저장소의임베딩으로
2.2RAG시스템을하나의파이프라인으로구성
2.3RAG기반생성형AI파이프라인
2.4RAG파이프라인구축
__2.4.1환경설정
__2.4.2구성요소1:데이터수집과준비
__2.4.3구성요소2:데이터임베딩과저장
__2.4.4벡터저장소정보
__2.4.5구성요소3:입력증강과응답생성
2.5코사인유사도를이용한출력평가

03장:라마인덱스,딥레이크,오픈AI를활용한색인기반RAG구축
3.1색인기반RAG를사용하는이유
__3.1.1아키텍처
3.2드론기술정보를위한의미론적검색엔진과생성형에이전트구축
__3.2.1환경설치
__3.2.2파이프라인1:문서수집과준비
__3.2.3파이프라인2:벡터저장소준비
__3.2.4파이프라인3:색인기반RAG
3.3벡터저장소색인및쿼리엔진
__3.3.1쿼리응답과출처확인
__3.3.2최적화된청킹
__3.3.3성능지표
3.4트리색인쿼리엔진
__3.4.1성능지표
3.5목록색인쿼리엔진
__3.5.1성능지표
3.6키워드색인쿼리엔진
__3.6.1성능지표

04장:드론기술을위한다중모달모듈형RAG
4.1다중모달모듈형RAG란무엇인가?
4.2드론기술용다중모달모듈형RAG프로그램구축
__4.2.1LLM데이터셋적재
__4.2.2다중모달데이터셋적재및시각화
__4.2.3다중모달데이터셋구조
__4.2.4다중모달쿼리엔진구축
__4.2.5다중모달모듈형쿼리결과요약
__4.2.6성능지표

05장:전문가의피드백을이용한RAG성능향상
5.1적응형RAG
5.2파이썬을이용한하이브리드적응형RAG시스템구축
__5.2.1검색기(섹션1)
__5.2.2생성기(섹션2)
__5.2.3평가기(섹션3)

06장:파인콘을이용한RAG은행고객데이터확장
6.1파인콘을이용한확장
__6.1.1아키텍처
6.2파이프라인1:데이터셋수집및준비
__6.2.1데이터셋수집과처리(섹션1)
__6.2.2탐색적데이터분석(섹션2)
__6.2.3ML모델훈련(섹션3)
6.3파이프라인2:파인콘색인(벡터저장소)확장
__6.3.1벡터저장소관리의난제들
__6.3.2환경설치
__6.3.3데이터셋처리
__6.3.4데이터셋청킹및임베딩
__6.3.5파인콘색인생성
__6.3.6업서트
__6.3.7파인콘색인쿼리
6.4파이프라인3:RAG생성형AI
__6.4.1GPT-4o를이용한RAG
__6.4.2관련텍스트추출
__6.4.3입력증강과프롬프트엔지니어링
__6.4.4증강생성

07장:위키백과API와라마인덱스를활용한확장가능한지식그래프기반RAG구축
7.1지식그래프기반의미검색을위한RAG아키텍처
__7.1.1노드들로트리그래프만들기
7.2파이프라인1:문서수집및준비
__7.2.1위키백과데이터및메타데이터검색
__7.2.2업서트를위한데이터준비
7.3파이프라인2:딥레이크벡터저장소생성및채우기
7.4파이프라인3:지식그래프색인기반RAG
__7.4.1지식그래프색인생성
__7.4.2그래프표시
__7.4.3지식그래프색인과상호작용
__7.4.4유사도점수패키지설치및함수정의
__7.4.5재순위화
__7.4.6예시지표들

08장:크로마와허깅페이스라마를이용한동적RAG
8.1동적RAG의아키텍처
8.2환경설치
__8.2.1허깅페이스설치
__8.2.2크로마설치
8.3세션시간활성화
8.4데이터셋다운로드및준비
8.5크로마컬렉션에데이터임베딩및업서트
__8.5.1모델선택
__8.5.2문서임베딩및저장
__8.5.3임베딩표시
8.6컬렉션에대한쿼리실행
8.7프롬프트와검색
8.8라마를이용한RAG
__8.8.1컬렉션삭제
8.9전체세션시간

09장:AI모델의역량강화-RAG데이터와인간피드백의미세조정
9.1정적RAG데이터미세조정의아키텍처
__9.1.1RAG생태계
9.2환경설치
9.3미세조정을위한데이터셋준비(섹션1)
__9.31데이터셋다운로드와시각화(섹션1.1)
__9.32미세조정을위한데이터셋준비(섹션1.2)
9.4모델미세조정(섹션2)
__9.4.1미세조정모니터링
9.5미세조정된오픈AI모델실행(섹션3)
9.6지표

10장:파인콘과오픈AI를활용한동영상스톡제작용RAG시스템
10.1동영상제작을위한RAG아키텍처
10.2동영상제작생태계의환경
__10.2.1모듈과라이브러리임포트
__10.2.2깃허브
__10.2.3오픈AI
__10.2.4파인콘
10.3파이프라인1:생성기와해설작성기
__10.3.1AI생성동영상데이터셋
__10.3.2생성기와해설작성기
10.4파이프라인2:벡터저장소관리자
__10.4.1파인콘색인쿼리
10.5파이프라인3:동영상전문가

부록A:연습문제해답

출판사 서평

★이책에서다루는내용★

대규모데이터셋을효율적으로처리하도록RAG파이프라인을확장한다.
환각현상을최소화하고정확한응답을보장하는기법을적용한다.
추적가능하고투명한출력으로AI정확도를높이는색인화기법을구현한다.
RAG주도생성형AI시스템을다양한도메인에걸쳐커스텀화하고확장한다.
딥레이크와파인콘을활용해서데이터를더빠르고효율적으로검색한다.
실제데이터에기반해서견고한생성형AI시스템을구축하고제어한다.
더풍부하고유익한AI응답을위해텍스트와이미지데이터를결합한다.