LLM 미세 튜닝, 핵심만 빠르게! (파이토치와 허깅 페이스 기반의 최신 미세 튜닝 기법)

LLM 미세 튜닝, 핵심만 빠르게! (파이토치와 허깅 페이스 기반의 최신 미세 튜닝 기법)

$32.00
Description
복잡한 이론은 덜고, 꼭 필요한 핵심만 담았다!
LLM 미세 튜닝을 익히는 가장 간결한 안내서
《LLM 미세 튜닝, 핵심만 빠르게!》는 급변하는 LLM 생태계 속에서 흔들리지 않는 핵심 개념에 집중해, 대규모 언어 모델을 직접 미세 튜닝할 수 있도록 안내하는 핸즈온 가이드입니다. 양자화, LoRA 어댑터, 데이터셋 포매팅, 지도 학습 미세 튜닝, 로컬 배포까지 전체 과정을 단계적으로 따라가며, 실제로 모델을 수정하고 동작을 바꾸는 경험을 제공합니다. 특히 허깅 페이스 생태계를 기반으로, 복잡한 내부 동작과 설정이 실제로 어떤 의미를 갖는지를 이해하도록 돕습니다.
이 책은 딥러닝과 파이토치, 트랜스포머 구조에 익숙한 중급 실무자를 대상으로 합니다. 단순히 코드를 실행하는 데서 그치지 않고 미세 튜닝의 성패를 가르는 핵심 조정과 설정을 알려 주며, 그렇게 하는 이유를 하나씩 짚어 줍니다. 따라서 책을 다 읽고 나면 개인용 GPU 환경에서도 모델을 효율적으로 미세 튜닝하고, 특정 작업에 최적화된 LLM을 설계·배포할 수 있는 실질적인 역량을 갖추게 될 것입니다.

이 책에서 다루는 내용
•BitsAndBytes를 사용해 양자화 모델 로드하기
•허깅 페이스의 PEFT를 활용한 LoRA 어댑터(로우 랭크 어댑터) 설정하기
•채팅 템플릿과 포매팅 함수를 사용해 효율적으로 데이터셋 포매팅하기
•개인용 GPU에서 LLM 미세 튜닝하기
•llama.cpp와 Ollama를 이용해 GGUF 포맷으로 로컬에 배포하기
•흔히 발생하는 오류 메시지 및 예외 상황 해결하기
저자

다니엘보이트고도이

아마존베스트셀러작가이자프로그래머,데이터과학자,그리고교육자다.2022년《DeepLearningwithPyTorchStep-by-Step:ABeginner'sGuide》기술서시리즈를자가출판했으며,이책들은미국과스페인의여러대학교에서교재로사용되고있다.또한ChinaMachinePress를통해중국어로도번역·출간되었다.2016년부터베를린에기반을둔유서깊은부트캠프'DataScienceRetreat'에서머신러닝,분산컴퓨팅,시계열분석,대규모언어모델을강의하며많은수강생들의커리어를발전시키는데기여해왔다.edX에서는'PyTorchandDeepLearningforDecisionMakers'강의를개발했다.지난25년간은행,정부,핀테크,소매,모빌리티,에듀테크등다양한산업분야에서활동해왔다.

목차

옮긴이의글
지은이의글

0장대규모언어모델미세튜닝레시피
들어가며
0.1양자화된베이스모델로드하기
0.2LoRA설정하기
0.3데이터셋포매팅하기
0.4SFTTrainer를사용하여미세튜닝하기
0.5모델에질의하기

1장대규모언어모델
들어가며
1.1대규모언어모델과소규모언어모델
1.2트랜스포머
1.3어텐션이전부입니다
1.4미세튜닝의종류

2장양자화된모델로드하기
들어가며
2.1양자화방법
2.2반정밀도가중치
2.3브레인플로트
2.4모델로드하기
2.5혼합정밀도
2.6BitsAndBytes
다음장에서는

3장LoRA
들어가며
3.1파라미터타입과그레이디언트
3.2PEFT
다음장에서는

4장데이터셋포매팅
들어가며
4.1템플릿적용
4.2토크나이저
4.3데이터콜레이터
4.4패킹된데이터셋
4.5고급방법-BYOT(BringYourOwnTemplate)
다음장에서는

5장SFTTrainer로미세튜닝하기
들어가며
5.1SFTTrainer미세튜닝
5.2SFTConfig
5.3(진짜)실제훈련
5.4어텐션
5.5실험결과,어블레이션스타일
다음장에서는

6장로컬에배포하기
들어가며
6.1모델과어댑터로드하기
6.2모델쿼리
6.3llama.cpp
6.4모델서빙

-1장문제해결
오류
경고

부록AGPU포드설정하기
A.1runpod.io활용주피터랩실행
A.2포드중지및종료
A.3플래시어텐션2설치

부록B데이터타입의내부표현
B.1정수
B.2부동소수점수

찾아보기