AI 프로젝트 100% 성공을 위한 체크리스트 17 (비즈니스 성장을 위한 AI 프로덕트의 기획부터 설계, 성능 평가까지 단계별 전략)

유진호

국민대학교전자공학과에서공학학사를,서강대학교영상대학원미디어공학과에서공학석사를취득했다.컴퓨터비전분야에서시작해서GE헬스케어에서초음파진단장비관련일을하다가카카오엔터테인먼트에서크로스플랫폼3D렌더링엔진개발업무를했고,파라메타에서블록체인과클라우드,티켓플레이스에서웹서비스와클라우드등다양한분야에서소프트웨어개발을수행해왔다.동시에,애자일코치로서소프트웨어팀이높은생산성과열정을가지고일할수있도록개발조직을운영하기위해노력하고있다.현재는한솔PNS에서AX플랫폼인AI-Atlas를개발하고있다.

1부AI프로젝트를시작하며:기본점검

1장프로젝트가실패할확률을추산해보았나?
생성AI/LLM를이용한프로젝트들이인기있는이유
생성AI/LLM프로젝트들의치명적함정들
생성AI/LLM프로젝트의위험성을줄일수있는방안
정리

2장생성AI기술은절대반지일까?
기존머신러닝/규칙기반기술이더적합한문제도있다
생성AI/LLM이더적합한문제도있을까?
기존머신러닝/규칙기반vs생성AI/LLM기술의달라진개발순서
정리

3장업무노하우와도메인지식을파악해적용했는가?
지식습득과생산비용을획기적으로감소시킨생성AI/LLM
무엇이우리를다른경쟁자들과다르게만들까?
도메인지식과숨은업무노하우를끌어내는방법
1단계:분석할중요한사건을선정하기
2단계:시간순서표만들기
3단계:깊이파고들기
4단계:“가정해보는(Whatif)”질문하기
도메인지식과생성AI/LLM의융합으로
정리

2부AI프로젝트의실제구축방안

4장우리비즈니스에맞는AI기술을제대로알고선택했는가?
LLM모델만이용할경우
RAG:LLM모델에데이터를붙여서이용하기
에이전트:LLM모델에도구와메모리붙이기
MCP:모든도구들의‘사실상표준’
여러에이전트들연결하기:A2A프로토콜
정리

5장서비스가능한AI프로덕트를위한아키텍처요소를잘구성했는가?
1단계:가드레일설치
2단계:라우터와게이트웨이
3단계:프롬프트템플릿관리
4단계:캐시로응답시간줄이기
5단계:출력을입력으로넣어주기
6단계:모니터링과관찰가능성추가하기
정리

6장데이터는어떻게확보했으며충분히준비할수있었는가?
생성AI/LLM앱에는어떤데이터가필요할까?
오픈소스데이터셋활용하기
데이터가쌓이는구조설계하기
데이터증강하기:CRAFT방법론
데이터수집이어렵거나법적문제가있을경우
데이터를가져오기위한레거시시스템과의연동
데이터에서개인정보보호방안을마련했는가?
정리

7장비정형문서를제대로읽어와서처리했는가?
정형데이터vs비정형데이터,무엇이다른가?
비정형문서를데이터로변환하는방법
파싱:문서파일을기계가읽을수있는데이터로변환하기
문서포맷별어려운점:PDF
그외문서포맷별어려운점
‘표준데이터형식’만들기
청킹:LLM이한번에소화할수있게잘게나누기
정리

8장LLM:자체구축할까?API를활용할까?
AI시스템을자체구축할경우?
직접LLM을서빙할때의비용은얼마나드나?
LLMAPI의비용은점점더저렴해지고있다
모든것에다비싼생성AI/LLMAPI를쓰지않아도된다
정리

9장SLM:적시에도입하고제대로활용하고있는가?
SLM은언제도입해야할까?
SLM은어떻게만드는가?
__언어모델구조결정
__지식증류:특화된작업결정후그에맞는학습데이터준비
__모델재학습:파인튜닝
__양자화를통한모델크기축소
__만들어진모델의평가와서빙
그럼에도,SLM은성능이너무떨어지지않을까?
정리

10장비즈니스문제해결:LLM워크플로를만들까?에이전트에맡길까?
증강LLM,LLM워크플로,에이전트란무엇인가?
앤스로픽이제안한LLM워크플로패턴
정말에이전트를써야할때는언제일까?
__정형화된정보의요약및질의응답
__반복업무자동화및보고서작성
__외부도구및API연계를통한작업
__코드생성및개발보조
__대규모데이터분석및의사결정보조
에이전트를쓰지말아야할때는언제일까?
__직관을이용해실시간대응이필요한작업
__복잡한논리추론과인과관계이해
__장기기억및긴문맥이요구되는작업
__복잡한다단계계획수립및새로운도구조합
__창의적발상과의미있는혁신작업
__사실검증이필요한정확한지식의응용
실전사례:어느증권프로젝트의전환점
정리

3부더완벽한AI프로덕트를향하여:성능평가와최적화,인적요소

11장적절한프롬프트를만들어우리가원하는컨텍스트를구성했는가?
프롬프트엔지니어링은과연끝났는가?6
다른사람들은프롬프트를어떻게만들까?
프롬프트를이용한가드레일설계
효과가탁월한‘생각의사슬(CoT)’프롬프트기법
시스템프롬프트,사용자프롬프트,언어모델별프롬프트작성법
LLM모델별프롬프트작성방법
LLM을이용한프롬프트최적화
프롬프트를관리하고평가하라
컨텍스트엔지니어링:전체맥락을설계하라
정리

12장AI답변수준을높이기위해RAG최적화를했는가?
RAG가질문에답하는방법
사용자의질문이명확하지않을때
청킹:RAG에넣기위해데이터조각내기
임베딩모델선택과파인튜닝
희소벡터와밀집벡터
벡터DB및검색엔진최적화와재순위자
지식그래프를통해검색의정확도를높인RAG:그래프RAG
일반RAGvs에이전틱RAG
정리

13장RAG성능을평가하고있는가?
RAG의성능을평가할수있는도구
평가도구자세히보기:RAGAS
__1단계:평가데이터준비하기
__2단계:세가지핵심지표로평가하기
RAG의성능평가는반복적으로그리고주기적으로해야한다
정리

14장LLM모델성능을평가하고있는가?
우선‘무엇을잘하게만들고싶은가’부터정의하라
LLM평가:사람과AI,누가더나은심판인가?
단일지표보다는균형잡힌접근
정리

15장에이전트성능을평가하고있는가?
일반적으로사용하는에이전트의성능평가지표
평가접근법의분류
__종합실무능력평가방법(1)가이아
__종합실무능력평가방법(2)더에이전트컴퍼니
펑션콜링기능평가하기
벤치마크점수에지나치게몰입하지않도록
우리에이전트를평가하는고유한에이전트벤치마크를만들자
정리

16장AI의거짓말과환각에대응하고있는가?
왜환각현상은완전히제거하기어려운가?
일반적인환각현상관리전략
각분야별환각현상대응방법
정리

17장인재확보와관리전략을운영하고있는가?
기술격차와수급불균형의문제
그렇다면,어떤사람이필요한가?
일반소프트웨어엔지니어가없으면AI서비스를만들수없다
AI분야의엔지니어로취업이나이직을고려하고있다면?
정리

부록A오픈가중치모델을선택하기위한체크리스트와추정항목
부록BAI프로덕트를기획하기전에고려할사항

|이책의독자대상|
-AI로새로운기회를만들고비즈니스가치를높이려는실무자와경영진
-당장제품과서비스에AI를적용해야하는개발자,머신러닝엔지니어,데이터과학자
-기존서비스에AI를접목해프로덕트를기획,운영해야하는PM과PO
-반복되는AI프로젝트실패의구조적원인을찾고싶은조직리더

|이책의구성|
1부‘AI프로젝트를시작하며:기본점검’
1장‘프로젝트가실패할확률을추산해보았나?’에서는AI프로젝트가실패할확률은왜그리도높은지,실패를피하려면초기에어떤부분을고려해야하는지를다룹니다.
2장‘생성AI기술은절대반지일까?’에서는생성AI기술이모든것의해답은아닐수도있다는점을짚어봅니다.특히기존에잘활용해온규칙기반시스템이나머신러닝시스템이더적합한일들은무엇이며,생성AI/LLM이적합한일은무엇인지를알아봅니다.
3장‘업무노하우와도메인지식을파악해적용했는가?’에서는AI를적용할각분야실무자들의도메인지식과업무노하우를어떻게정리해서AI프로덕트에녹여낼것인지를살펴봅니다.

2부‘AI프로젝트의실제구축방안’
4장‘우리비즈니스에맞는AI기술을제대로알고선택했는가?’에서는현재해결하고자하는문제에어떤AI기술을선택해서써야할지에대해알아봅니다.다양한기술의기본사항과특장점에대한기초지식을갖추고자합니다.
5장‘서비스가능한AI프로덕트를위한아키텍처요소를잘구성했는가?’에서는AI프로덕트가현실에서돌아가게하기위해필요한가드레일,라우터나게이트웨이,프롬프트템플릿관리등을알아보고,그필요성과의미에대해서도살펴봅니다.
6장‘데이터는어떻게확보했으며,충분히준비할수있었는가’에서는데이터를가져오는데방해가되는요소들을피하는방법,때에따라서는오픈소스로공개된데이터들을이용하고부족할경우에는합성데이터를만드는것,그리고개인정보보호방안까지알아봅니다.
7장‘비정형문서를제대로읽어와서처리했는가?’에서는다양한문서에서비정형데이터를가져와서정리하는방법,파일포맷별로달라져야하는다양한문서파싱전략방안을살펴봅니다.
8장‘LLM:자체구축할까?API를활용할까?’에서는직접서빙시에어느정도의비용이드는지추산을해보고상황에따라어떻게접근하는것이경제적인지를살펴봅니다.
9장,‘SLM:적시에도입하고제대로활용하고있는가?’에서는실제비즈니스에맞는SLM을언제만들어야하고어떻게만들어야하는지를알아봅니다.지식증류,파인튜닝,양자화등독자가꼭알아야하는기본사항들을위주로살펴봅니다.
10장‘비즈니스문제해결:LLM워크플로를만들까?에이전트에게맡길까?’에서는워크플로와에이전트의차이를알아보고,언제무엇을선택해쓰는게좋은지를살펴봅니다.

3부‘더완벽한AI프로덕트를향하여:성능평가와최적화,인적요소’
11장‘적절한프롬프트를만들어우리가원하는컨텍스트를구성했는가?’에서는좋은프롬프트를만드는많은방법중에제가직접써보고좋았던방법들을정리했습니다.특히‘컨텍스트엔지니어링’의관점에서어떻게프롬프트를봐야할지도알아봅니다.
12장‘AI답변수준을높이기위해RAG최적화를했는가?’에서는RAG를최적화해서AI가더답을잘할수있는방법을소개합니다.이와관련해,청킹,임베딩,검색,재순위,에이전틱RAG등을배워봅니다.
13장‘RAG성능을평가하고있는가?’에서는RAG의성능평가를할때벡터DB에올린자료들에입각해서평가데이터셋을만들고,LLM을통해서평가하는RAGAS에대해알아봅니다.
14장‘LLM모델성능을평가하고있는가?’에서는LLM모델의성능평가가필요한이유를알아봅니다.성공적인모델성능평가를위해서는명확한목표를정의하고이에맞는데이터셋을모아야하며,여러가지평가지표를설정하고마지막으로이지표들을균형잡힌결과로해석해야합니다.
15장‘에이전트성능을평가하고있는가?’에서는에이전트성능평가가필요한이유,그리고성능평가를실제로수행하기위해공개벤치마크를활용한평가방식을알아봅니다.또한기존의벤치마크들이다루지못하는부분에대해직접벤치마크와지표를마련하는방법도살펴봅니다.
16장‘AI의거짓말과환각에대응하고있는가?’에서는환각현상이모델학습에서부터기인한현상이므로,환각현상을줄이기위한방안으로RAG를통한외부문서참조,롱컨텍스트모델활용,가드레일기술을통한실시간입출력검증,출처명시를통한투명성강화,인적검증및피드백시스템구축등을알아봅니다.
17장‘인재확보와관리전략을운영하고있는가?’에서는기업이나조직에서함께사용자의관점에서는일할사람들을어떻게뽑을수있을지,그리고이취업을준비하는피사용자의관점에서는어떻게AI회사에서일할기회를얻을수있을지를알아봅니다.

부록A‘오픈가중치모델을선택하기위한체크리스트와추정항목’에서는허깅페이스에있는모델카드상의스펙들을비교/추정해서우리가만들려는제품에어떤모델이맞는지를판단할수있는항목을알아봅니다.
부록B‘AI프로덕트를기획하기전에고려할사항’에서는어떻게해야의미가있는프로덕트를만들수있을지,그스펙은어떻게정해야하는지,경쟁자들은어떻게따돌릴지에대해생각해볼수있는항목을살펴봅니다.