LLMOps를 활용한 LLM 엔지니어링 (LLM 애플리케이션 개발과 관리, 운영을 위한 LLMOps 핵심 가이드 | 반양장)

LLMOps를 활용한 LLM 엔지니어링 (LLM 애플리케이션 개발과 관리, 운영을 위한 LLMOps 핵심 가이드 | 반양장)

$28.17
Description
《LLMOps를 활용한 LLM 엔지니어링》은 LLM 애플리케이션의 개발부터 운영, 평가, 개선까지 전 과정을 실무 중심으로 풀어낸 LLMOps 실전 가이드다. 단순한 모델 호출이나 프롬프트 작성에 그치지 않고, LLM을 제품과 서비스에 적용하는 과정에서 반드시 마주치는 문제들을 어떻게 해결하고, 어떻게 관리할 것인지에 초점을 맞췄다.

또한 이 책은 실습용 애플리케이션을 개발하면서 랭체인, 스트림릿, 파인콘 등의 도구를 활용하는 방법과 프롬프트 버저닝, 성능 평가 자동화, 합성 데이터셋 생성 등 실제 운영에 필요한 기능을 직접 구현해보며 LLMOps의 흐름을 체득할 수 있도록 구성돼 있다.

이 책을 처음부터 끝까지 정독한다면 LLM 운영 전반에 대한 인사이트를 얻을 것이며, 필요한 파트만 골라 읽더라도 당장 직면한 문제들을 해결할 수 있는 실용적인 해법을 발견할 수 있을 것이다.

★ 이 책에서 다루는 내용 ★

◎ LLM 애플리케이션의 반복 개발을 위한 LLMOps 흐름 이해
◎ 클로즈드/오픈소스 LLM 모델의 선택 기준과 프롬프트 구성 요소
◎ 랭체인을 활용한 고객 문의 분류 애플리케이션 개발
◎ 프롬프트 버전 관리, 테스트, 평가가 가능한 LLMOps 도구 개발
◎ 스트림릿 기반 프롬프트/데이터셋/지표 관리 UI 구성
◎ 파인콘 및 문서 청킹을 활용한 RAG 기반 챗봇 구현
◎ RAG 시스템 성능 측정을 위한 라가스 평가자와 합성 데이터셋 생성
◎ 캐싱, 모델 경량화, 모니터링 등 지속적 개선 전략과 도구 통합
저자

박슬기

컴퓨터공학을전공하고네이버에서데이터엔지니어로근무하며통계데이터생산과데이터품질관리업무를수행했다.현재는AI기술에관심을가지고데이터플랫폼에AI를접목해생산성과효율성을높이는방향에관심이있다.

목차

[1부]기본적인LLMOps의흐름

▣01장:LLMOps의흐름
1.1배경:LLM애플리케이션을만들기위한반복적인업무과정
1.2LLMOps가필요한이유
1.3MLOps와LLMOps의차이점
__1.3.1모델의복잡성과규모
__1.3.2데이터관리및처리
__1.3.3커스터마이제이션과최적화
__1.3.4모니터링
1.4LLMOps워크플로

▣02장:LLM애플리케이션개발을위한배경지식
2.1LLM모델선택
__2.1.1상업용클로즈드모델
__2.1.2오픈소스모델
__2.1.3클로즈드모델과오픈소스모델의차이점
__2.1.4비즈니스요구사항에따른모델선택
2.2애플리케이션유형에따른LLM파라미터조절
2.3프롬프트의요소
__2.3.1프롬프트의구성요소
__2.3.2프롬프트역할
__2.3.3프롬프트템플릿화

▣03장:실습용고객문의분류애플리케이션개발
3.1고객문의분류애플리케이션개요
3.2언어모델선택
__3.2.1앤트로픽의MessagesAPI
__3.2.2올라마를이용한오픈소스모델접근
3.3랭체인개요
__3.3.1랭체인을사용하는이유
__3.3.2랭체인설치및예제애플리케이션빌드
3.4랭체인기초
__3.4.1프롬프트템플릿
__3.4.2채팅모델
__3.4.3출력파서
__3.4.4LCEL
3.5랭체인을이용한실습애플리케이션개발
__3.5.1모델정의
__3.5.2출력파서정의
__3.5.3애플리케이션체인개발

▣04장:LLMOps도구개발
4.1LLMOps도구의필요성
__4.1.1프롬프트버저닝
__4.1.2평가를위한데이터셋관리
__4.1.3성능평가기준과방식
4.2LLMOps도구의필수기능과구성요소
__4.2.1테스트기능
__4.2.2프롬프트관리및버저닝기능
__4.2.3평가
__4.2.4데이터셋관리기능
4.3개발환경구성
__4.3.1파이썬기반의간편한웹앱생성을위한스트림릿
__4.3.2데이터를저장하기위한SQLite
4.4LLM테스트기능
__4.4.1테스팅UI가필요한이유
__4.4.2테스트기능에서지원하는모델관리클래스구현
__4.4.3스트림릿을이용한테스트메뉴생성
4.5프롬프트관리와버저닝
__4.5.1프롬프트관리가필요한이유
__4.5.2프롬프트관리를위한테이블설계
__4.5.3프롬프트관리를위한클래스구현
__4.5.4스트림릿테스트메뉴개선:프롬프트저장및버전관리지원
__4.5.5특정프롬프트템플릿을관리하는클래스구현
4.6평가지표
__4.6.1다양한평가지표
__4.6.2평가지표를생성하는평가자클래스구현
__4.6.3평가자생성및사용
4.7데이터셋
__4.7.1데이터셋관리를위한테이블설계
__4.7.2데이터셋저장소클래스구현
__4.7.3단일데이터셋관리를위한클래스구현
__4.7.4스트림릿을이용한데이터셋관리메뉴생성
4.8데이터셋평가
__4.8.1데이터셋평가를위한테이블설계
__4.8.2데이터셋평가클래스구현
__4.8.3스트림릿을이용한평가실행메뉴생성
__4.8.4스트림릿을이용한평가결과조회메뉴생성
4.9LLMOps메뉴구성

▣05장:LLMOps도구를이용해LLM애플리케이션관리하기
5.1프롬프트초안설계및생성
5.2데이터셋구축
5.3평가진행
5.4프롬프트의새로운버전추가
5.5버전별평가지표를비교해의사결정하기
5.6평가결과를토대로질문에답변하기

[2부]RAG를위한LLMOps의흐름

▣06장:실습용RAG기반보험챗봇애플리케이션
6.1보험문의챗봇애플리케이션개요
6.2일반적인검색증강생성(RAG)워크플로
__6.2.1문서인덱싱프로세스
__6.2.2답변생성프로세스
__6.2.3더나아간RAG패러다임
6.3벡터데이터베이스파인콘사용하기
__6.3.1실습:파인콘을활용한유사문서검색
6.4PDF파일을읽어벡터데이터베이스에색인
__6.4.1문서청킹
__6.4.2문서청크벡터화
__6.4.3색인
6.5입력된질문과가장유사한문서검색
__6.5.1임베딩모델로후보군문서검색(10개)
__6.5.2재순위화모델로최종필터링(3개)
6.6실습애플리케이션체인개발
__6.6.1검색:유사문서검색
__6.6.2생성:문서기반으로답변생성

▣07장:RAG용LLMOps도구개발
7.1RAG시스템을위한도구기능
7.2RAG평가자구현
__7.2.1RAG평가지표이해하기
__7.2.2RAG평가지표를지원하는라가스
__7.2.3RAG용평가자구현
__7.2.4도구통합:동적평가자지원
__7.2.5도구통합:RAG평가지원
__7.2.6스트림릿평가메뉴기능추가
7.3합성데이터셋생성기능
__7.3.1RAG의질문유형
__7.3.2지식그래프기반테스트셋생성파이프라인
__7.3.3실습:PDF문서기반합성테스트셋생성
__7.3.4PDF문서기반합성데이터셋클래스구현

▣08장:LLMOps도구를이용한LLM애플리케이션관리
8.1프롬프트생성
8.2합성데이터셋생성및저장
8.3평가진행
8.4평가결과분석
__8.4.1토큰사용량과지연시간분석
__8.4.2컨텍스트정밀도와신뢰성지표분석
8.5평가결과를토대로질문에답변하기

[3부]지속적개선

▣09장:LLM애플리케이션의지속적인관리
9.1모니터링
__9.1.1모델사용량추적
__9.1.2성능지표수집
__9.1.3프롬프트인젝션공격탐지
9.2리소스관리:비용절감과모델경량화
__9.2.1캐싱
__9.2.2모델경량화:양자화
__9.2.3모델경량화:지식증류
9.3딥시크가불러온시장의방향성
__9.3.1저비용고성능AI모델개발
__9.3.2오픈소스화전략
__9.3.3효율적인학습기법도입

▣10장:LLMOps도구의지속적개선
10.1체이닝,에이전트지원과모니터링
__10.1.1체이닝
__10.1.2에이전트
10.2모델배포프로세스지원
__10.2.1모델학습
__10.2.2모델서빙