AI 엔지니어링 (파운데이션 모델을 활용한 시스템 설계부터 개선까지, AI 앱 개발 원스톱 가이드)

칩후옌

저자:칩후옌(ChipHuyen)
클레이폿AI의공동창립자이자CEO로서실시간머신러닝을위한인프라를개발하고있다.이전에는엔비디아,스노클AI,넷플릭스에재직하며머신러닝시스템을개발하고배포하는일을도왔으며,스탠퍼드학부생일때는‘딥러닝연구를위한텐서플로’라는강의를만들어직접학생들을가르쳤다.현재스탠퍼드에서이책의토대가된‘CS329S:머신러닝시스템설계(MachineLearningSystemsDesign)’를강의하고있다.전문분야는소프트웨어엔지니어링과머신러닝에걸쳐있으며,링크드인탑보이스(TopVoices)소프트웨어개발부문(2019)과데이터과학및머신러닝부문(2020)에이름을올렸다.

역자:변성윤
데이터와머신러닝으로문제를해결하는엔지니어.빠르게변하는세상속에서어제보다나아지려는‘향상심’과,그럴수록단단한중심을지키려는‘항상심’을중요하게생각한다.동료엔지니어들이각자의‘향상심’과‘항상심’을찾아가는여정에도움이되기를바라는마음으로지식을공유하고있다.CloudGDE(GoogleDeveloperExpert)로활동하며인프런과부스트캠프AITech등에서강의하고있다.기술블로그‘어쩐지오늘은’,유튜브‘카일스쿨’,그리고인스타그램(@data.scientist)에서생각과경험을나누고있다.

1장파운데이션모델을활용한AI애플리케이션입문
_1.1AI엔지니어링의부상
__1.1.1언어모델에서대규모언어모델로
__1.1.2대규모언어모델에서파운데이션모델로
__1.1.3파운데이션모델에서AI엔지니어링으로
_1.2파운데이션모델활용사례
__1.2.1코딩
__1.2.2이미지및동영상제작
__1.2.3글쓰기
__1.2.4교육
__1.2.5대화형봇
__1.2.6정보집계
__1.2.7데이터체계화
__1.2.8워크플로자동화
_1.3AI애플리케이션기획
__1.3.1활용사례평가
__1.3.2기대치설정
__1.3.3마일스톤계획
__1.3.4유지보수
_1.4AI엔지니어링스택
__1.4.1AI의세가지계층
__1.4.2AI엔지니어링대ML엔지니어링
__1.4.3AI엔지니어링대풀스택엔지니어링
_1.5마치며

2장파운데이션모델이해하기
_2.1학습데이터
__2.1.1다국어모델
__2.1.2도메인특화모델
_2.2모델링
__2.2.1모델아키텍처
__2.2.2모델크기
_2.3사후학습
__2.3.1지도파인튜닝
__2.3.2선호도파인튜닝
_2.4샘플링
__2.4.1샘플링의기초
__2.4.2샘플링전략
__2.4.3테스트시점연산
__2.4.4구조화된출력
__2.4.5AI의확률적특성
_2.5마치며

3장평가방법론
_3.1파운데이션모델평가의어려움
_3.2언어모델링지표이해하기
__3.2.1엔트로피
__3.2.2교차엔트로피
__3.2.3문자당비트와바이트당비트
__3.2.4퍼플렉시티
__3.2.5퍼플렉시티해석과활용사례
_3.3정확한평가
__3.3.1기능적정확성
__3.3.2참조데이터유사도측정
__3.3.3임베딩소개
_3.4AI평가자
__3.4.1AI평가자를쓰는이유
__3.4.2AI평가자사용법
__3.4.3AI평가자의한계
__3.4.4평가자로활용가능한모델
_3.5비교평가를통해모델순위정하기
__3.5.1비교평가의과제들
__3.5.2비교평가의미래
_3.6마치며

4장AI시스템평가하기
_4.1평가기준
__4.1.1도메인특화능력
__4.1.2생성능력
__4.1.3지시수행능력
__4.1.4비용과지연시간
_4.2모델선택
__4.2.1모델선택과정
__4.2.2모델자체개발대상용모델구매
__4.2.3공개벤치마크탐색하기
_4.3평가파이프라인설계하기
__4.3.11단계:시스템의모든구성요소평가하기
__4.3.22단계:평가가이드라인만들기
__4.3.33단계:평가방법과데이터정의하기
_4.4마치며

5장프롬프트엔지니어링
_5.1프롬프트소개
__5.1.1인컨텍스트학습:제로샷과퓨샷
__5.1.2시스템프롬프트와사용자프롬프트
__5.1.3컨텍스트길이와컨텍스트효율성
_5.2프롬프트엔지니어링모범사례
__5.2.1명확하고명시적인지시작성하기
__5.2.2충분한컨텍스트제공하기
__5.2.3복잡한작업을단순한하위작업으로나누기
__5.2.4모델에게생각할시간주기
__5.2.5프롬프트반복하며개선하기
__5.2.6프롬프트엔지니어링도구평가하기
__5.2.7프롬프트정리및버전관리하기
_5.3방어적프롬프트엔지니어링
__5.3.1독점프롬프트와역프롬프트엔지니어링
__5.3.2탈옥과프롬프트주입
__5.3.3정보추출
__5.3.4프롬프트공격에대한방어
_5.4마치며

6장RAG와에이전트
_6.1RAG
__6.1.1RAG아키텍처
__6.1.2검색알고리즘
__6.1.3검색최적화
__6.1.4텍스트를넘어선RAG
_6.2에이전트
__6.2.1에이전트개요
__6.2.2도구
__6.2.3계획수립
__6.2.4에이전트실패유형과평가
_6.3메모리
_6.4마치며

7장파인튜닝
_7.1파인튜닝개요
_7.2파인튜닝이필요한경우
__7.2.1파인튜닝을해야하는이유
__7.2.2파인튜닝을하지말아야하는이유
__7.2.3파인튜닝과RAG
_7.3메모리병목현상
__7.3.1역전파와학습가능한파라미터
__7.3.2메모리계산
__7.3.3수치표현방식
__7.3.4양자화
_7.4파인튜닝기법
__7.4.1파라미터효율적파인튜닝
__7.4.2모델병합과다중작업파인튜닝
__7.4.3파인튜닝전술
_7.5마치며

8장데이터셋엔지니어링
_8.1데이터큐레이션
__8.1.1데이터품질
__8.1.2데이터커버리지
__8.1.3데이터양
__8.1.4데이터수집과주석
_8.2데이터증강및합성
__8.2.1데이터합성을하는이유
__8.2.2전통적인데이터생성기법
__8.2.3AI기반데이터합성
__8.2.4모델증류
_8.3데이터처리
__8.3.1데이터검사
__8.3.2데이터중복제거
__8.3.3데이터정리및필터링
__8.3.4데이터형식맞추기
_8.4마치며

9장추론최적화
_9.1추론최적화이해하기
__9.1.1추론개요
__9.1.2추론성능지표
__9.1.3AI가속기
_9.2추론최적화
__9.2.1모델최적화
__9.2.2추론서비스최적화
_9.3마치며

10장AI엔지니어링아키텍처와사용자피드백
_10.1AI엔지니어링아키텍처
__10.1.11단계:컨텍스트보강
__10.1.22단계:가드레일도입하기
__10.1.33단계:모델라우터와게이트웨이추가
__10.1.44단계:캐시로지연시간줄이기
__10.1.55단계:에이전트패턴추가
__10.1.6모니터링과관찰가능성
__10.1.7AI파이프라인오케스트레이션
_10.2사용자피드백
__10.2.1대화형피드백추출
__10.2.2피드백설계
__10.2.3피드백의한계
_10.3마치며

AI시스템기획부터설계그리고운영까지,이론과현실의간극을메우는
AI엔지니어링의정수를현실적이고효율적으로담은새로운표준
아이디어를프로토타입으로구현하는일은한층쉬워졌지만,그것을신뢰할수있는AI제품으로만드는일은전혀다른이야기입니다.웹과생성형AI에흩어진단편적인지식만으로는복잡한프로덕션환경에서맞닥뜨리는문제들을풀어내기어렵습니다.『AI엔지니어링』은바로이지점에서출발해,파운데이션모델을활용한AI애플리케이션의기획부터설계,운영까지전과정을아우르는최신실무가이드로,추상적인이론이아니라현업의간극을메워줄체계적인프레임워크를제시합니다.
이책은프롬프트엔지니어링,RAG,파인튜닝,추론최적화,아키텍처설계에이르기까지실무자가반드시알아야할지식을유기적으로연결해설명합니다.단순히기술을나열하는데그치지않고,실제팀이겪는고민과의사결정의맥락까지함께다루어,기술과현장의현실을균형있게조망할수있도록이끕니다.이는현업에서당장적용가능한통찰과함께,장기적인성장에필요한원칙을동시에제공하는구성이기도합니다.

무엇보다이책이돋보이는점은평가(Evaluation)를부록이아닌핵심주제로삼았다는것입니다.AI시스템의품질과신뢰성은평가없이는담보할수없기에,두개의장을할애해성능과신뢰성을확보하는평가방법론을집중조명합니다.이를통해‘감’이아닌데이터에기반한의사결정원칙을세울수있게해주며,전작『머신러닝시스템설계』가그랬듯빠르게변하는AI생태계속에서도흔들림없는기본기를다져주는든든한교과서이자레퍼런스로자리매김할것입니다.

●명확한개념과로드맵제시:AI엔지니어링이기존ML엔지니어링과어떻게다른지정의하고,성공적인AI애플리케이션개발을위한전체적인시야와전략을제공합니다.
●성능과효율을극대화하는핵심전략:프롬프트엔지니어링,RAG,파인튜닝등최신기법을단순히나열하는것을넘어,언제무엇을사용해야하는지에대한명확한기준과트레이드오프를제시합니다.
●데이터기반의사결정능력강화:수많은모델과기술속에서프로젝트의성공을이끌최적의조합을선택할수있도록,체계적인평가파이프라인설계방법과실용적인지표선택가이드를제공합니다.
●실전운영노하우:지연시간,비용등현실적인제약속에서AI시스템을배포하고운영하기위한실용적인최적화방안을학습합니다.
●지속가능한시스템구축:사용자피드백을체계적으로수집하고반영하여,한번의구축으로끝나는것이아니라지속적으로개선되는AI시스템을만드는방법을익힙니다.

주요내용

●AI엔지니어링의개념과ML엔지니어링과의차이점분석
●애플리케이션개발과정에서마주치는과제와해결전략
●프롬프트엔지니어링,RAG,파인튜닝,에이전트,데이터셋설계등의주요기법
●지연시간과비용을고려한모델배포및운영최적화방안
●목적에적합한모델,데이터셋,평가기준및지표선택방법
●사용자피드백기반의반복가능한개선루프구축

누구를위한책인가요?

●LLM과파운데이션모델을실무에도입하거나확장하려는AI/ML엔지니어
●모델평가,데이터셋설계,파인튜닝기법을실제프로젝트에적용하고싶은데이터과학자및연구원
●AI애플리케이션개발과정을이해하고팀과협업해야하는프로덕트매니저및기획자
●전통적ML에서LLM기반개발로전환하며새과제를마주한ML개발자