스테이블 디퓨전 실전 가이드 (직접 체험하면서 배우는 이미지 생성 AI의 원리와 활용 테크닉의 모든 것)

시라이아키히코,AICU미디어편집부

저자:시라이아키히코
엔터테인먼트메타버스기술의연구개발에관여하는연구자,화이트해커작가,미국의스타트업인AICUInc,HiddenPixelTechnologyInc.의CEO.도쿄공예대학사진공학과를졸업했으며,동대학원화상공학을수료했다.캐논주식회사와그룹연구소에서탄생한영국의CriterionSoftware에서세계최초의산업용게임엔진인RenderWare의보급개발에참여했으며,그후에도쿄공업대학인지시스템과학전공으로박사학위를취득했다.
NHK엔지니어링서비스차세대콘텐츠연구실을거쳐,프랑스로건너가ENSAM객원연구원,국제공모전LavalVirtualReVolution의설립멤버,일본과학미래관과학커뮤니케이터등을역임했다.다중화은폐기술인ExPixel,2x3D,MangaGenerator등선도적인UX를학생들과함께개발했으며,가나가와공과대학준교수를거쳐,2018년부터디지털할리우드대학대학원객원교수및GREE주식회사VRStudioLaboratory의Director로있다.
스마트폰향메타버스Reality를개발하고적용하는REALITY주식회사를설립해VirtualYoutuber같은XR라이브엔터테인먼트기술을연구개발했고,메타버스엔터테인먼트의미래개발과지식재산권창출을중심으로직접엔터테인먼트의라이브플레이어로서글로벌을지향한개발및전송활동방법론을제창했다.
2023년부터는디지털할리우드대학에서출발한미국의스타트업기업인AICUInc.의CEO로서,생성AI시대에“창조하는사람을만든다.”라는비전을내세워크리에이티브및생성AI를활용한산업과매체서비스를개발중이다.일본가상현실학회IVRC실행위원회위원,예술과학회부회장이다.저서로는《WiiRemote프로그래밍(오무社)》,《시라이박사의미래게임디자인.엔터테인먼트시스템의과학(웍스코퍼레이션)》,《AI와협력해그림의신이되자-논문으로이해하는StableDiffusion(임프레스R&D)》등이있다.

저자:AICU미디어편집부
‘AI를알기쉽고재미있게전하는’종합AI정보미디어.AI리포터Koto가크리에이티브AI를중심으로24시간365일최신정보를전하고있다.활동매체는note,X(Twitter),영상매체등실로다양하며각종상용사이트를다룬기사를제공하거나동인지및상업서적,e-book등의출판기획과협업개발을진행한다.아동부터노인층까지전연령을대상으로한워크숍과이벤트또한개발한다.AI선진기업의신규서비스보급지원,AI를활용하고자하는기업의기술검증과사내전파,학교와학원을위한콘텐츠개발등에관한의뢰도접수중이다.

머리말

Chapter1이미지생성AI에대해알아보자
1-1AI로이미지를생성해보자
칼럼:사용하는Google계정에주의하자
1-2이미지생성AI의탄생과변천
1-3현재시점에서‘AI의정의’를생각해보자
칼럼:　변화해가는사회와AI　사이의관계성
1-4인공신경망을알아보자
1-5확산모델에의한이미지생성원리를알아보자

Chapter2환경구축을시작해보자
2-1StableDiffusion을사용할환경을준비하자
2-2구글Colab에서해보는환경구축
칼럼:이용중인프로그램에대해
칼럼:구글Colab의에러에대응하자
칼럼:구글Colab의연산자원을효율적으로관리하자
2-3StabilityMatrix를로컬환경에서구축한다
칼럼:패키지선택화면에서빠져나가지않도록주의하자
2-4간단한단어로이미지를생성한다
칼럼:이미지를저장할경로를변경하자
칼럼:커뮤니티에서질문을해보자
2-5모델을다운로드한다
칼럼:StableDiffusion시리즈
2-6VAE를다운로드한다

Chapter3프롬프트에서이미지를생성해보자
3-1프롬프트로원하는이미지를만들어내자
칼럼:CLIP의제로샷전이성
3-2네거티브프롬프트를구축한다
칼럼:임베디이란?
3-3‘생각대로’이미지를생성하자
3-4이미지의해상도를올리자
3-5다양한파라미터를조정해보자
3-6다양한프롬프트를테스트해보자
칼럼:데포르메캐릭터풍이미지를생성해보자

Chapter4이미지를써서이미지를생성해보자
4-1img2img로할수있는것을파악하자
칼럼:색의변화를억제하는설정을해보자
4-2Sketch를이용해이미지를생성해보자
칼럼:밑그림으로이미지를생성해보자
4-3Inpaint로이미지를편집해보자
칼럼:Maskblur를조정해자연스럽게보이도록한다
4-4Inpaint를응용해이미지를수정한다
4-5Outpainting으로이미지를확장한다
4-6img2img로이미지의해상도를올린다
칼럼:확장기능에대해
4-7확장기능으로업스케일링을해보자

Chapter5ControlNet을활용해보자
5-1ControlNet을알아보자
칼럼:오픈소스라이선스의확인
5-2ControlNet을다운로드해서준비한다
5-3ControlNet을이용해이미지를생성한다
칼럼:둘이상의ControlNet을사용한다
5-4프리프로세서의역할을이해한다
칼럼:OpenPose를더능숙하게사용해보자

Chapter6LoRA를만들어활용해보자
6-1추가학습으로무엇을할수있는지알아보자
칼럼:향후LoRA의활용방법
6-2LoRA를이용해이미지를생성하자
6-3자신만의전용화풍LoRA를만든다
칼럼:LoRA학습데이터에서조심해야할점
칼럼:학습률에대해알아보자
6-4다양한종류의LoRA를만들어보자
6-5학습내용을평가해보자

Chapter7이미지생성AI를더욱활용해보자
InterviewGuest피나스
InterviewGuest라케시데
이미지생성AI의활용및주의점
AUTOMATIC1111/WebUI추천확장기능
관련용어

맺음말
참고문헌
감사의말

StabilityAI공식파트너사가공개하는
스테이블디퓨전활용테크닉의결정판

2022년에처음등장한‘스테이블디퓨전’은사람들에게큰인상을남겼다.이AI는실사에서애니에이르는다양한이미지를쉽고빠르게고품질로생성할수있는데,발전을거듭하더니주요한이미지생성AI중하나로자리매김했다.스테이블디퓨전같은이미지생성AI가등장한덕분에,우리는출중한그림실력이없어도아이디어가있다면자신의상상력을새로운방식으로맘껏펼칠수있는시대를맞이하는중이다.
새로운창작의시대가열렸다고해도과언이아닌지금,이미지생성에관심이있거나일러스트·디자인·웹툰같은분야에종사하고있는사람이라면이미지생성AI의기능을익히고,활용처를고민해야한다.스테이블디퓨전과함께라면더욱많은아이디어,더욱빠른작업속도가꿈은아니기때문이다.

일러스트레이터·디자이너·게임개발자·애니메이터
작업자의능률과아이디어를끌어올리는스테이블디퓨전의힘

《스테이블디퓨전실전가이드》는초급부터고급까지아우르는이미지생성AI입문서이자가이드다.먼저초보자의경우,비싼하드웨어나복잡한코딩지식없이도구글Colab을활용해누구나이미지를생성하는방법을알려준다는점이눈에띌것이다.구글Colab은클라우드컴퓨팅서비스로,인터넷에접속한상태라면누구나구글의막강한연산환경을이용하게해준다.이점은기술적복잡성때문에AI에접근하지못했던많은사람에게새로운가능성을열어준다.구글계정만있으면사용할수있는Colab환경에서스크립트를손쉽게실행하고,고품질이미지를생성해보는경험을할수있다.
또한본문곳곳에배치된칼럼은특정주제의심화설명이나실수를줄이는팁등을제공해초보자를돕는다.예를들어,구글Colab환경의자원관리방법이나오류대처법을소개하는부분은초보자가흔히마주할수있는문제를효과적으로해결하도록안내한다.

원하는이미지를만드는프롬프트작성법부터
작업에개성을부여하는ControlNet과LoRA까지

기본원리를익히고간단한실습을했다면,이후에는고급기술과노하우를익힐수있다.단순히프롬프트입력만으로출력하는이미지에서벗어나,내가원하는이미지를어떻게만들수있는지를친절하게설명한다.프롬프트를세밀하게다루는요령과파라미터의세부적인설정방법을체험하면서최적의결과를얻는방법을스스로익힐수있을것이다.책에서는다양한예시와작업물을비교해가며,이모든노하우를독자가쉽게따라할수있도록내용을구성했다.
이미지생성AI의기능중에서가장복잡하고어렵다는LoRA도상세하게설명한다는점은이미지생성을이미경험한사람들에게도솔깃한지점이다.다양한화풍과이미지를추가로학습시켜자신만의AI모델인LoRA를어떻게만들수있는지확실하게익혀보자.LoRA를잘구축해놓으면,자신의개성을확연하게드러낼수있으며일관성있는화풍의이미지도만들어낼수있다.

현장에서활용하는실무기술과전략
이미지생성작업의진짜팁을익혀라

어떤작업이든일정한흐름이있기마련이다.AI이미지생성작업에도목적을설정하고,이를빠르게달성하는데도움을주는효율적인작업흐름이있다.이책에서는AI크리에이터2명이자신의작업과정을낱낱이공개한다.자신들이어떤흐름에따라이미지를만드는지를소개한다.독자는현직작가들의생생한작업과정을열람하면서특정작업을해결하는방법과팁을참고할수있다.현장에서바로통하는요령과이치를잘소화한다면,이미지생성실력이급속도로올라갈것이다.
스테이블디퓨전은계속발전하고있으며,새로운버전이발표될때마다더강력한기능이추가되고성능도올라간다.이책은특정버전을중심으로여러기능을설명하나,이미지생성AI의근본적인원리가무엇인지도설명한다.이책은왜AI의작동방식까지설명하고있을까.
스테이블디퓨전의버전이바뀌더라도,AI의작동원리와이를바탕으로익힌작업노하우는유효하게남아앞으로도활용할수있기때문이다.즉특정버전에얽매인기능이아니라,작업과정을효율적으로구성하거나높은품질을도출하는방법을익힐수있다는뜻이다.스테이블디퓨전의작동원리인'확산모델'을이해하는일은이처럼생각보다중요하다.원리를알면,자신이원하는결과물을얻기위한최적의설정을스스로탐색하는능력을갖출수있다.
《스테이블디퓨전실전가이드》는스테이블디퓨전에관심이있지만어디서부터시작해야할지모르는사람또는AI이미지생성의세계를깊이탐험하고자하는사람모두에게정보와통찰을제공해준다.따라서창의력과기술을접목해자신의아이디어와상상력을현실에서구현하는방법을알려주는소중한길잡이가될것이다.최신기술을쉽게배우고,새로운창작의세계에발을들이고싶은사람에게이책을추천한다.독자는누구나쉽게따라할수있는체계적인설명,많은예제로구성된체험학습등을경험하면서분명AI이미지생성의매력에흠뻑빠질것이다.