[POD] LLM의 시대 언어모델의 혁신과 진화

송민섭,이기주외

저자:송민섭,이기주,최성호,남궁혜림,박소정,김남규

Chapter1.Transformer에서BERT,GPT까지

1.Attentionisallyouneed,Transformer
1-1Transformer등장배경
1-2Transformer구조
1-3Transformer특징
2.BERT
2-1BERT등장배경
2-2BERT구조
2-3BERT입력
2-4BERT학습
2-5BERT파생모델
3.GPT
3-1GPT등장배경
3-2GPT구조
3-3GPT학습
3-4GPTvsBERT
3-5GPT후속모델(GPT-2)
　
Chapter2.혁신적인LLM의등장

1.LLM개요
1-1LLM등장배경
1-2혁식적인LLM,GPT-3
1-3LLM활용
2.LLM종류
2-1LLaMA
2-2LaMDA
2-3기타LLM
　
Chapter3.효율적인파라미터미세조정-PEFT

1.PEFT(Parameter-EfficientFine-Tuning)개요
1-1PEFT등장배경
1-2PEFT개념
1-3PEFT종류
2.SoftPrompt-basedFine-tuning
2-1소프트프롬프트개념
2-2Prefix-tuning
2-3Prompttuning
2-4P-tuning
3.Low-rankDecomposition
3-1Low-rank
3-2LoRA
3-3LoRA종류
　
Chapter4.경량화

1.학습비용의문제및모델크기측면의한계
1-1LLM의거대화
1-2거대화된모델크기로인한한계
2.경량화
3.지식증류(KnowledgeDistillation)
3-1지식증류란
3-2KnowledgeDistillationApproachesinLLM
4.양자화(Quantization)
4-1양자화란
4-2QuantizationApproachesinLLM
5.가지치기(Prunning)
5-1가지치기란
5-2PruningApproachinLLM
　
Chapter5.Hallucination

1.Hallucination의정의
1-1Hallucination의개념
1-2Hallucination의유형
1-3Hallucination의문제점
2.Hallucination의원인과완화:데이터
2-1Hallucination의원인:데이터
2-2ReverseTraining
2-3RAG(Retrieval-AugmentedGeneration)
3.Hallucination의원인과완화:추론
3-1Hallucination의원인:추론
3-2CoVe(Chain-of-Verificaion)
　
Chapter6.LLM의발전방향

1.LLM의발전방향
2.윤리적문제
2-1편향
2-2보안
3.설명불가능
3-1설명가능한인공지능,XAI
3-2프롬프트엔지니어링
4.LLM의비즈니스적활용
4-1멀티모달
4-2도메인특화LLM
4-3온디바이스

-