LLM 프로덕션 엔지니어링 (프롬프트, RAG, 파인튜닝으로 설계하는 신뢰성 높은 생성형 AI 시스템 구축 전략)

LLM 프로덕션 엔지니어링 (프롬프트, RAG, 파인튜닝으로 설계하는 신뢰성 높은 생성형 AI 시스템 구축 전략)

$36.00
Description
모델의 구조를 이해하고, 정확하고 신뢰할 수 있는 생성형 AI 시스템 설계법
LLM 상용화가 가속화되면서 정확성, 신뢰성, 확장성을 갖춘 프로덕션 수준의 구현 역량이 핵심 기술로 자리 잡고 있다. 이제 개발자는 LLM 전체 기술 스택에 대한 구조적 이해를 갖춰야 한다. 이 책은 생성형 AI의 핵심 개념부터 시스템 구축과 배포까지의 흐름을 체계적으로 안내하며, 트랜스포머 기반 모델의 작동 원리, 다양한 프롬프트 전략, RAG 설계, 파인튜닝 기법, 랭체인과 라마인덱스 등의 프레임워크 활용까지 폭넓게 다룬다. LLM 기술을 개념부터 응용까지 유기적으로 연결해 배우고자 하는 개발자에게 길잡이가 되어줄 것이다.
저자

루이-프랑수아부샤르

2019년시스템엔지니어링학위과정중AI에입문했다.이모지이미지분류대회우승과발표를계기로연구와발표에흥미를느꼈으며,2020년AI석사과정진학후스타트업에서AI팀리더로활동했다.컴퓨터비전프로젝트를주도하는한편,유튜브를통해AI개념을쉽게전달하고자했다.2022년밀라에서의료AI박사과정을시작했으며,2024년실용적문제해결에집중하기위해과정을중단했다.현재는TowardsAI공동창립자이자교육자로서AI의실질적활용에주력하고있다.

목차

지은이·옮긴이소개xi
옮긴이머리말xiii
추천의글xv
베타리더후기xvii
추천사xix
시작하며xxii
감사의글xxvii
이책에대하여xxviii

CHAPTER1LLM소개1
1.1언어모델의짧은역사1
1.2LLM이란무엇인가?2
1.3LLM의기본구성요소3
1.4실습❶LLM을활용한번역(GPT-3.5API)19
1.5실습❷퓨샷학습을통한LLM출력제어20
1.6요약22

CHAPTER2LLM아키텍처와환경23
2.1트랜스포머이해하기23
2.2트랜스포머모델의설계와선택33
2.3트랜스포머아키텍처최적화기법41
2.4GPT아키텍처43
2.5대형멀티모달모델소개46
2.6상용모델vs.공개모델vs.오픈소스언어모델52
2.7LLM의응용및사용사례59
2.8요약67

CHAPTER3LLM의실제응용69
3.1환각과편향이해하기69
3.2LLM출력에서환각을줄이는방법71
3.3LLM성능평가79
3.4요약84

CHAPTER4프롬프트엔지니어링소개86
4.1프롬프팅과프롬프트엔지니어링86
4.2프롬프트테크닉91
4.3프롬프트인젝션과보안97
4.4요약100

CHAPTER5RAG102
5.1왜RAG인가?102
5.2밑바닥부터시작하는기본RAG파이프라인구축106
5.3요약119

CHAPTER6LangChain및LlamaIndex소개120
6.1LLM프레임워크120
6.2LangChain소개121
6.3실습❶LangChain을사용한LLM기반애플리케이션구축126
6.4실습❷뉴스기사요약기구축130
6.5LlamaIndex소개137
6.6LangChainvs.LlamaIndexvs.OpenAIAssistant145
6.7요약147

CHAPTER7LangChain을사용한프롬프트작성148
7.1LangChain프롬프트템플릿이란148
7.2퓨샷프롬프트와예시선택기156
7.3LangChain에서체인이란163
7.4실습❶출력파서를사용한출력관리171
7.5실습❷뉴스기사요약기개선183
7.6실습❸텍스트데이터를활용한지식그래프생성:숨겨진연결고리발견하기191
7.7요약197

CHAPTER8인덱스,검색기,그리고데이터준비199
8.1LangChain의인덱스와검색기199
8.2데이터수집205
8.3텍스트분할기209
8.4유사도검색과벡터임베딩219
8.5실습❶고객지원Q&A챗봇225
8.6실습❷Whisper와LangChain을이용한유튜브비디오요약기232
8.7실습❸지식베이스를위한음성비서243
8.8실습❹자기비판체인을사용한원치않는출력방지255
8.9실습❺고객서비스챗봇에서부적절한출력방지260
8.10요약265

CHAPTER9고급RAG268
9.1개념증명에서제품으로:RAG시스템의도전과제268
9.2고급RAG기법과LlamaIndex269
9.3RAG의지표및평가284
9.4LangChain,LangSmith및LangChainHub299
9.5요약304

CHAPTER10에이전트306
10.1에이전트:추론엔진으로서의대형모델306
10.2AutoGPT와BabyAGI한눈에보기312
10.3LangChain의에이전트시뮬레이션프로젝트327
10.4실습❶분석보고서작성에이전트구축332
10.5실습❷LlamaIndex를사용한데이터베이스쿼리및요약340
10.6실습❸OpenAI어시스턴트를활용한에이전트구축350
10.7실습❹LangChainOpenGPTs354
10.8실습❺멀티모달금융문서분석기로PDF파일분석하기357
10.9요약371

CHAPTER11파인튜닝372
11.1파인튜닝에대한이해372
11.2LoRA373
11.3실습❶LoRA를활용한SFT376
11.4실습❷SFT및LoRA를활용한금융감정분석389
11.5실습❸의료데이터를활용한CohereLLM파인튜닝398
11.6RLHF408
11.7실습❹RLHF를통한LLM성능향상411
11.8요약433

CHAPTER12배포및최적화435
12.1모델증류와교사-학생모델435
12.2LLM배포최적화:양자화,가지치기,추측적디코딩441
12.3실습:GCP에서CPU로양자화된LLM배포하기452
12.4오픈소스LLM을클라우드환경에배포하기461
12.5요약463

나가며465
용어집468
찾아보기472

출판사 서평

LLM으로구현하는실무형AI서비스개발
LLM은빠르게진화하며새로운모델과기법이끊임없이등장하고있지만지금사용되는개발도구와기술이더발전된AI모델을다루는기본토대가된다.이토대를깊이이해한사람이앞으로나올더강력한모델도가장효과적으로활용할수있다.AI는자연어처리뿐아니라알고리즘설명,소프트웨어개발,학술개념해설,생성형이미지제작등다양한분야에서활용되며,산업전반에혁신을불러오고있다.

이책은LLM과자연어처리의최신동향을소개하고,모델의작동원리를깊이있게설명하면서도실무에바로쓸수있는방법을제시한다.특히RAG파이프라인구축프로젝트를통해텍스트를처리하고맥락에맞게상호작용하는최신기술을직접다룬다.LLM을특정용도에맞춰정확성과신뢰성을높이는필수기술스택인프롬프트엔지니어링,파인튜닝,RAG를중심으로,실제서비스에적용가능한제품제작과정을구체적으로안내한다.단순한개념설명을넘어서한계를극복하는전략과실전구현방법까지제시해개발자가직접애플리케이션과제품을완성할수있도록돕는다.

총12장으로구성된이책은LLM의핵심개념부터실무적용까지체계적으로다룬다.1장은확장법칙,콘텍스트크기,창발적능력등LLM이강력한이유를살펴보고,2장은트랜스포머아키텍처와각레이어구성요소를중심으로다양한모델설계를설명한다.3장은환각,레이턴시,컴퓨팅제약같은한계를분석하고,4장은퓨샷학습과체인프롬프트등프롬프트기술을코드예제와함께실습한다.5장은RAG기본원칙과벡터데이터베이스개념,데이터저장및검색방법을다루고,6장은LangChain과LlamaIndex로LLM작업을단순화하는방법을설명한다.

7장은다양한프롬프트유형과응답제어,추적기법을,8장은인덱스생성,데이터분할,저장등검색최적화를다룬다.9장은고급RAG기법과잠재적문제해결,챗봇성능평가를다루며LangSmith활용법까지함께소개한다.이어10장은외부환경과상호작용하는지능형에이전트를,11장은LoRA와QLoRA를활용한파인튜닝전략을다룬다.마지막12장에서는모델증류,양자화,가지치기등으로성능을유지하면서비용을줄이는최적화방법을제안한다.각장에는RAG기반뉴스요약기,고객지원Q&A챗봇,Whisper와LangChain을활용한유튜브영상요약기,PDF금융문서분석기,LoRA기반금융감정분석등실제구현이가능한19개의프로젝트가포함되어있으며,개념을실습과함께익히며실무에바로적용할수있다.

시간이지나모델이나구현방식이바뀌더라도이책에서다루는원칙과접근방법은여전히유효하다.지금필요한실무지식일뿐아니라앞으로등장할더발전된모델을다루는데도그대로활용할수있을것이다.

주요내용LLM구조이해와모델선택전략프롬프트엔지니어링및응답제어기법벡터검색기반RAG파이프라인구축랭체인,라마인덱스활용LoRA,QLoRA기반파인튜닝AutoGPT,BabyAGI등에이전트기술랭스미스를활용한평가및디버깅양자화,모델경량화,최적화,배포전략
이책에서직접해보는19가지실전LLM프로젝트LLM을활용한번역퓨샷학습을통한LLM출력제어LangChain을사용한LLM기반애플리케이션구축뉴스기사요약기구축출력파서를사용한출력관리뉴스기사요약기개선텍스트데이터를활용한지식그래프생성고객지원Q&A챗봇Whisper와LangChain을이용한유튜브비디오요약기자기비판체인을사용한원치않는출력방지고객서비스챗봇에서부적절한출력방지분석보고서작성에이전트구축LlamaIndex를사용한데이터베이스쿼리및요약OpenAI어시스턴트를활용한에이전트구축LangChainOpenGPTs멀티모달금융문서분석기로PDF파일분석LoRA를활용한SFTSFT및LoRA를활용한금융감정분석의료데이터를활용한CohereLLM파인튜닝RLHF를통한LLM성능향상