원하는 대로 튜닝하는 나만의 sLLM비용은 낮게, 보안은 높게, 성능은 내 업무에 딱 맞게!

오지영

저자:오지영

1장LLM과sLLM

1.1LLM알아보기
__1.1.1LLM개념과동작원리
__1.1.2LLM의주요기술
__1.1.3LLM의대표모델
1.2sLLM알아보기
__1.2.1sLLM의개념
__1.2.2sLLM의배경과필요성
__1.2.3sLLM이해결할수있는문제
1.3sLLM의대표모델

2장sLLM을활용한산업별사례분석

2.1산업별동향
2.2도메인별동향
__2.2.1의료산업
__2.2.2공공/행정
__2.2.3금융
__2.2.4교육
__2.2.5법률
__2.2.6유통/이커머스
__2.2.7제조/산업
2.3스타트업,기업,연구기관에서의활용사례
__2.3.1스타트업
__2.3.2대기업
__2.3.3연구기관
2.4LLM모델vssLLM장단점
__2.4.1LLM모델
__2.4.2sLLM모델

3장sLLM모델트렌드와최신동향

3.1국내외시장동향
__3.1.1세계시장동향
__3.1.2국내시장현황
3.2최신sLLM모델
__3.2.1LLaMA(메타)
__3.2.2Gemma(구글)
__3.2.3Phi(마이크로소프트)
__3.2.4MistralAI
__3.2.5최근출시모델
3.3오픈소스기반LLM과클라우드기반LLM
__3.3.1오픈소스기반LLM
__3.3.2클라우드기반LLM
__3.3.3오픈소스기반LLMvs클라우드기반LLM

4장sLLM모델학습환경구축

4.1모델기반기술
__4.1.1허깅페이스
__4.1.2Ollama
__4.1.3랭체인,라마인덱스,랭그래프
__4.1.4벡터데이터베이스
__4.1.5RAG
__4.1.6파인튜닝
4.2필수라이브러리와도구
__4.2.1파이썬:파이토치,텐서플로,허깅페이스트랜스포머
__4.2.2데이터전처리
__4.2.3분산/클라우드환경

5장파인튜닝과sLLM파인튜닝

5.1파인튜닝
__5.1.1파인튜닝정의
__5.1.2파인튜닝의주요기술과하이퍼파라미터설정
__5.1.3sLLM파인튜닝의필요성
__5.1.4sLLM파인튜닝특징과장단점
5.2상용서비스인OpenAI의파인튜닝활용
__5.2.1OpenAI파인튜닝절차
5.3sLLM파인튜닝
__5.3.1모델선택의기준
__5.3.2주요모델비교및실습최적세팅
__5.3.3여러sLLM파인튜닝및성능비교하기

6장sLLM의효율적인파인튜닝

6.1효율적인파인튜닝의필요성
__6.1.1전통적인풀파인튜닝의한계
__6.1.2경량파인튜닝
6.2LoRA
__6.2.1기본개념
__6.2.2LoRA코드이해하기
__6.2.3LoRA의장단점
6.3QLoRA
__6.3.1기본개념
__6.3.2작동원리
__6.3.3QLoRA코드이해하기
__6.3.4QLoRA설정하기
__6.3.5QLoRA의장단점
6.4파인튜닝기법비교
__6.4.1LoRAvsQLoRA
__6.4.2풀파인튜닝vsLoRAvsQLoRA
6.5한국어모델파인튜닝실습

7장효율적인sLLM최적화기법

7.1모델최적화개요
__7.1.1왜최적화가필요한가?
__7.1.2어떻게최적화할것인가?
7.2모델압축기법
__7.2.1가지치기
__7.2.2양자화
__7.2.3가지치기vs양자화
__7.2.4지식증류
7.3추론최적화기법
__7.3.1배치처리
__7.3.2키-값캐시
__7.3.3플래시어텐션
7.4GPU비용절감전략
__7.4.1메모리최적화기법
__7.4.2분산학습기초
__7.4.3클라우드GPU비용관리
__7.4.4실용적대안
7.5정리및실전가이드
__7.5.1최적화기법선택하기
__7.5.2단계별최적화로드맵
__7.5.3상황별체크리스트

8장sLLM모델의서비스적용

8.1API배포
__8.1.1FastAPI서비스구축하기
__8.1.2FastAPI서비스실습
__8.1.3허깅페이스InferenceAPI활용하기
__8.1.4허깅페이스InferenceAPI실습
8.2Gradio로웹인터페이스만들기
8.3클라우드환경에배포하기
__8.3.1허깅페이스Spaces생성하기
__8.3.2배포용파일저장
__8.3.3허깅페이스Spaces업로드하기
__8.3.4코드로허깅페이스Spaces배포하기

9장sLLM기반서비스구축

9.1챗봇,문서요약,AI어시스턴트만들기
__9.1.1개발환경준비하기
__9.1.2간단한챗봇만들기
__9.1.3문서요약서비스만들기
__9.1.4RAG기반AI어시스턴트만들기
__9.1.5문서관리인터페이스
9.2프로젝트에오픈소스활용하기
__9.2.1랭체인
__9.2.2랭체인실습
__9.2.3라마인덱스
__9.2.4라마인덱스실습:문서인덱싱과쿼리엔진

10장실무에서발생하는문제해결

10.1데이터부족문제해결법
__10.1.1데이터부족문제의이해
__10.1.2데이터증강기법
__10.1.3효율적인학습전략
__10.1.4외부데이터소스활용
10.2모델출력품질향상기법
__10.2.1출력품질평가체계
__10.2.2하이퍼파라미터튜닝
__10.2.3출력품질개선기법
__10.2.4일반적인품질문제해결
10.3윤리적이슈와보안고려사항
__10.3.1데이터윤리와프라이버시
__10.3.2모델보안및악용방지
__10.3.3책임있는AI배포

가볍고안전하게시작하는최고의맞춤형AI!
작아서더똑똑한sLLM!

sLLM은LLM이가진높은연산비용과실시간응답성문제를해결하고,특정도메인에최적화된결과를제공하는효율적인솔루션입니다.범용지식에초점이맞춰진LLM과달리,sLLM은기업내부시스템에적용하여데이터보안을강화하면서도조직에꼭필요한정보를중심으로학습할수있습니다.

이책은sLLM을내손으로직접만들고최적화하는과정을안내하는sLLM실습서입니다.이미공개된LLaMA,Gemma,Phi등의오픈소스모델을기반으로나만의데이터를주입하는경량파인튜닝(LoRA,QLoRA)기술부터메모리부담을덜어주는경량화최적화기법까지폭넓게다룹니다.특히구글코랩환경에서실행되는실전예제와한국어도메인에최적화된모델들을중심으로구성해활용도를극대화했습니다.나아가완성된모델에실용적인웹화면을결합하고,이를즉시배포하여실제작동하는완성도높은엔드투엔드(End-to-End)서비스를직접구축해볼수있습니다.

복잡한수식대신직관적인도해와실전코드로,AI입문자부터현업개발자까지나만의AI를구축하고배포하는전과정을실습하며실무역량을키울수있습니다.


책속으로

책의흐름
책은sLLM에따라기본개념에서시작해,실제로모델을가져와쓰고,다듬고,서비스로띄우는과정까지천천히따라갑니다.전반부에서는LLM과sLLM이어떻게다른지,어떤모델들이있는지를살펴봅니다.LLaMA,Gemma,클로드처럼요즘자주들리는이름을정리하고,국내sLLM생태계가지금어떤모습으로굴러가는지도함께살펴봅니다.중반부에서는본격적으로모델을다뤄봅니다.허깅페이스에서모델을불러오고,양자화로가볍게만들고,LoRA,QLoRA같은경량파인튜닝으로내데이터에맞게조정하는과정을코드와함께익힙니다.코랩의제한된자원안에서돌아가는방법에특히신경을썼습니다.후반부에서는파인튜닝한모델을실제서비스로만드는방법을기술하고있습니다.FastAPI로인터페이스를만들고,Gradio로웹화면을붙이며,허깅페이스스페이스나ngrok으로외부에공개하는흐름을단계별로따라갈수있도록정리했습니다.각장의코드는모두구글코랩에서그대로돌아가도록다듬었고,한국어에잘맞는모델들을우선사용했습니다.

누구를위한책인가
이책은AI를처음시작하는분을가장먼저떠올리며썼습니다.파이썬을조금다뤄봤고,sLLM이라는단어를어디선가들어봤지만어디서부터시작해야할지막막한분들입니다.그래서모든개념은처음듣는사람의입장에서풀어썼고,어려운수식대신코드와그림으로설명했습니다.
AI를전공하는대학생에게도좋은실습서가되리라생각합니다.강의에서배운이론을실제로돌려보고싶을때또는졸업프로젝트주제를찾고있을때펼쳐보면좋겠습니다.
현업개발자에게도도움이되기를바랍니다.API비용부담없이자기서비스에LLM을붙여보고싶거나,사내환경때문에외부API를쓰기어려운상황이라면sLLM은좋은선택지가됩니다.
다만GPT같은거대모델을처음부터학습시키는방법은이책에서다루지않습니다.이책은이미공개된좋은모델을기반으로내손으로다듬어쓰는길을안내합니다.

이책을읽을때
처음부터차례로읽어도좋고,필요한장부터펼쳐도됩니다.허깅페이스사용법을다루는장은이후모든실습의바탕이되니,코드를직접돌려보실생각이라면먼저읽어보기를권합니다.
가능하면책을읽는동안코랩창을하나함께열어두면좋겠습니다.눈으로읽는것과손으로직접돌려보는것은정말다른경험입니다.잘안돌아가는코드가있어도너무마음쓰지말고,본문에적어둔단서들을따라가보면서스스로해결해보는감각도함께가져갔으면합니다.
---「들어가며」중에서