AWS로 구현하는 생성형 AI (LLM에서 멀티모달 모델까지, RAG, LoRA, RLHF를 활용한 AWS 기반 생성형 AI 구축 가이드)
Description
업계와 학계에서 다루는 가장 일반적인 생성형 AI 활용 사례와 작업을 이해할 수 있습니다!

오늘날 기업은 자사의 제품과 서비스에 생성형 AI를 빠르게 도입하고 있습니다. 그러나 이 기술의 영향력과 잠재력에 대해 과장된 정보와 오해가 많이 존재합니다. AWS의 크리스 프레글리, 안체 바르트, 셸비 아이겐브로데는 이 책에서 CTO, 머신러닝 실무자, 애플리케이션 개발자, 비즈니스 분석가, 데이터 엔지니어, 데이터 사이언티스트가 이 흥미로운 신기술을 실용적으로 활용하는 방법을 찾도록 도와줍니다.

이 책을 통해 활용 사례 정의, 모델 선택, 모델 미세 조정, 검색 증강 생성, 인간 피드백을 통한 강화 학습, 모델 양자화, 최적화, 배포 등 생성형 AI 프로젝트의 생명 주기를 배울 수 있습니다. 또한 대규모 언어 모델(LLM), 이미지 생성을 위한 스테이블 디퓨전, 이미지 관련 질문에 답하는 Flamingo, IDEFICS 같은 멀티모달 모델 등 다양한 유형의 모델도 살펴봅니다.

★ 이 책에서 다루는 내용 ★

◎ 생성형 AI를 비즈니스 현장에 적용하는 방법
◎ 작업에 가장 적합한 생성형 AI 모델을 결정하는 방법
◎ 프롬프트 엔지니어링과 콘텍스트 내 학습을 수행하기
◎ 저순위 적응(LoRA)으로 데이터 세트에 맞게 생성형 AI 모델을 미세 조정하기
◎ 인간 피드백을 통한 강화 학습(RLHF)으로 생성형 AI 모델을 인간의 가치에 맞추는 방법
◎ 검색 증강 생성(RAG)으로 모델을 증강하기
◎ 랭체인, ReAct 같은 라이브러리를 활용해 에이전트와 액션을 개발하기
◎ 아마존 베드록으로 생성형 AI 애플리케이션을 만드는 방법
저자

크리스프레글리,안체바르트,셸비아이겐브로데

(ChrisFregly)
캘리포니아샌프란시스코에위치한아마존웹서비스의생성형AI부문수석솔루션아키텍트이다.그는모든AWS인증을보유하고있습니다.글로벌GenerativeAIonAWS밋업의공동창립자이기도하며,전세계AI및머신러닝밋업과콘퍼런스에서정기적으로강연한다.이전에는Databricks와Netflix에서엔지니어로일하며,확장성있는빅데이터및머신러닝제품과솔루션을개발했다.또한《AWS기반데이터과학》(한빛미디어,2023)의공동저자이기도하다.

목차

▣01장:생성형AI활용사례,기본사항및프로젝트생명주기
활용사례및작업
파운데이션모델및모델허브
생성형AI프로젝트의생명주기
AWS에서의생성형AI
AWS에서생성형AI를사용하는이유
AWS에서생성형AI애플리케이션구축하기
요약

▣02장:프롬프트엔지니어링과콘텍스트내학습
프롬프트와컴플리션
토큰
프롬프트엔지니어링
프롬프트구조
___인스트럭션
___콘텍스트
퓨샷추론으로콘텍스트내학습
___제로샷추론
___원샷추론
___퓨샷추론
___콘텍스트내학습이잘못된사례
___콘텍스트내학습모범사례
프롬프트엔지니어링모범사례
추론구성매개변수
요약

▣03장:대형언어파운데이션모델
대형언어파운데이션모델
토크나이저
임베딩벡터
트랜스포머아키텍처
___입력과콘텍스트윈도
___임베딩레이어
___인코더
___셀프어텐션
___디코더
___소프트맥스출력
트랜스포머기반파운데이션모델유형
사전학습데이터세트
스케일링법칙
컴퓨팅최적화모델
요약

▣04장:메모리와연산최적화
메모리문제
데이터유형및수치정밀도
양자화
___fp16
___bfloat16
___fp8
___int8
셀프어텐션레이어최적화
___플래시어텐션
___그룹쿼리어텐션
분산컴퓨팅
___분산데이터병렬처리
___완전샤드데이터병렬처리
___DDP와FSDP의성능비교
AWS분산컴퓨팅
___아마존세이지메이커로완전샤드데이터병렬처리
___AWS뉴런SDK및AWS트레이니엄
요약

▣05장:미세조정및평가
인스트럭션기반미세조정
___Llama2-Chat
___Falcon-Chat
___FLAN-T5
인스트럭션데이터세트
___다중작업인스트럭션데이터세트
___FLAN:다중작업인스트럭션데이터세트예제
___프롬프트템플릿
___사용자정의데이터세트를인스트럭션데이터세트로변환하기
인스트럭션기반미세조정
___아마존세이지메이커스튜디오
___아마존세이지메이커점프스타트
___허깅페이스용아마존세이지메이커Estimator
평가
___평가지표
___벤치마크및데이터세트
요약

▣06장:효율적인매개변수미세조정(PEFT)
완전미세조정과PEFT비교
LoRA와QLoRA
___LoRA기본원리
___순위
___목표모듈과레이어
___LoRA적용
___LoRA어댑터와원본모델병합
___LoRA어댑터테넌트별유지
___완전미세조정과LoRA성능비교
___QLoRA
프롬프트튜닝과소프트프롬프트
요약

▣07장:인간피드백을통한강화학습으로미세조정
인간가치정렬(HumanAlignment):유용성,정직성,무해성
강화학습개요
맞춤형보상모델학습하기
___휴먼인더루프를활용한학습데이터수집
___레이블러를위한지침예시
___인간이단주석을수집하기위한아마존세이지메이커그라운드트루스활용하기
___보상모델을학습하기위한순위데이터준비
___보상모델학습하기
기존보상모델:메타의유해성판독기
인간피드백을통한강화학습으로미세조정
___RLHF에서보상모델활용
___근접정책최적화강화학습알고리즘
___PPO로RLHF미세조정수행
___보상해킹완화
___RLHF에서효율적인매개변수미세조정(PEFT)활용
RLHF로미세조정모델평가
___정성적평가
___정량적평가
___평가모델가져오기
___평가지표집계함수정의
___RLHF적용전과후평가지표비교
요약

▣08장:모델배포최적화
모델추론최적화
___가지치기
___GPTQ사후학습양자화
___증류
대규모모델추론컨테이너
AWS인퍼런시아:추론전용하드웨어
모델업데이트와배포전략
___A/B테스트
___섀도배포
지표와모니터링
오토스케일링
___오토스케일링정책
___오토스케일링정책정의
요약

▣09장:RAG와에이전트를활용한맥락인식추론애플리케이션
대규모언어모델의한계
___환각
___지식단절
RAG
___외부지식소스
___RAG워크플로
___문서로딩
___청킹
___문서검색과순위재정렬
___프롬프트증강
RAG오케스트레이션과구현
___문서로딩과청킹
___벡터임베딩저장소와검색
___검색체인
___최대한계관련성(MMR)을활용한순위재정렬
에이전트
___ReAct프레임워크
___프로그램지원언어프레임워크
생성형AI애플리케이션
FMOps:생성형AI프로젝트의생명주기운영
___실험단계고려사항
___개발단계고려사항
___운영배포단계고려사항
요약

▣10장:멀티모달파운데이션모델
활용사례
멀티모달프롬프트엔지니어링활용예시
이미지생성과품질향상
___이미지생성
___이미지편집및품질향상
인페인팅,아웃페인팅,뎁스투이미지
___인페인팅
___아웃페인팅
___뎁스투이미지
이미지캡셔닝과시각적질의응답
___이미지캡셔닝
___콘텐츠조정
___시각적질의응답
모델평가
___텍스트-이미지생성형작업
___이미지-텍스트생성형작업
___비언어적추론
확산아키텍처기본사항
___순방향확산
___역방향확산
___U-Net
스테이블디퓨전2아키텍처
___텍스트인코더
___U-Net과확산과정
___텍스트컨디셔닝
___교차어텐션
___스케줄러
___이미지디코더
스테이블디퓨전XL아키텍처
___U-Net과교차어텐션
___정제기
___컨디셔닝
요약

▣11장:스테이블디퓨전을통한생성제어와미세조정
ControlNet
미세조정
___드림부스
___드림부스와PEFT-LoRA
___TextualInversion
인간피드백을통한강화학습으로인간가치정렬
요약

▣12장:아마존베드록-생성형AI관리형서비스
베드록파운데이션모델
___아마존타이탄파운데이션모델
___StabilityAI의스테이블디퓨전파운데이션모델
베드록추론API
대규모언어모델
___SQL코드생성
___텍스트요약
___임베딩
미세조정
에이전트
멀티모달모델
___텍스트로이미지생성
___이미지로이미지생성
데이터프라이버시와네트워크보안
거버넌스와모니터링
요약