증강 현실 가상 현실과 공간 컴퓨팅 (차세대 공간 컴퓨팅의 이론과 예제 | 2021 세종도서 학술부문 선정도서)

에린팡길리넌

USF데이터인스티튜트(USFDataInstitute)의딥러닝프로그램에서다이버시티펠로우(DiversityFellow)로재직하고있다.실리콘밸리출신으로UC버클리동문이자컴퓨팅디자이너와소프트웨어엔지니어를겸하며,스타트업컨설턴트이기도하다.이책의수석공동편집자이자기고자로서이집필프로젝트를개념화했으며,데이터와머신러닝시각화디자인및개발에관한장에기여했다.
2017년에는앞서언급한프로그램에서다이버시티펠로우로선정됐으며,2018년에는오큘러스런치패드(OculusLaunchPad)의펠로우로선정됐다.2015년이래교육과전문개발에중점을둔두개의다이버시티앤인클루전(diversityandinclusion)관련비영리단체,여성과저소득층커뮤니티를지원하는ARVR아카데미,STEAM(과학,기술,공학,예술,수학을아우르는명칭)FASTER에서의필리핀계미국인공동체를공동으로설립하고확장했다.이전의시민활동경력을십분살려전미국상무부차관인로칸나(RoKhanna)와테크포오바마(TechForObama)창립자인스티브스피너(SteveSpinner)의공식캠페인스태프로일했다.트위터(@erinjerri)와온라인(erinjerri.com)에서만나볼수있다.

1부.디지털현실과교차하는디자인과예술

1장.인간이컴퓨터와상호작용하는방법
__일반적인용어정의
__서론
__시대로보는모달리티:20세기이전
__시대로보는모달리티:제2차세계대전을거치며
__시대로보는모달리티:제2차세계대전이후
__시대로보는모달리티:개인컴퓨팅의부상
__시대로보는모달리티:컴퓨터소형화
__공간컴퓨팅장치에쓰이는모달리티의현재
__몰입형컴퓨팅시스템을위한컨트롤러의현재
____신체트래킹기술
__핸드트래킹과손포즈인식에대한참고사항
____차세대음성,손,하드웨어입력


2장.장치가아닌우리의감각을위한디자인
__미래전망
__감각기술의설명
__우리는누구를위해미래를만들고있는가?
____디자이너와팀이미래에맡을역할
____AI에서여성의역할
__감각디자인
____서론
__다섯가지감각원리
____1.직관적경험은다중감각적이다
____2.3D는표준의핵심이될것이다
____3.디자인은곧물리적성질이다
____4.통제할수없는부분까지도디자인하라
____5.공간협업의힘을활용하라
__어도비의AR이야기
__결론


2부.확장현실이디지털예술을변화시키는방법

3장.예술을위한가상현실
__한층자연스럽게3D예술작품을제작하는방법
__애니메이션용VR


4장.3D아트최적화
__서론
____고려할만한대안
____이상적인해결책
____위상
____구워내기
__드로우콜
__3D예술제작에VR도구사용
__3D모델구해오기와처음부터직접만들기
__요약


3부.하드웨어,SLAM트래킹

5장.증강현실을가능하게하는컴퓨터비전의작동방식
__우리는누구인가
__AR의간략한역사
__AR플랫폼을고르는방법과그이유
____개발자에게는어떤플랫폼이적절하며그이유는무엇인가?
____성능은곧통계다
____하드웨어와소프트웨어통합
____광학적보정
____관성보정
____트래킹의미래
____AR컴퓨터비전의미래
__매핑
____멀티플레이어AR은어떻게작동하는가?
____어려운부분은무엇인가?
____재로컬라이징은어떻게작동하는가?
____이분야연구에서(특히소비자가경험할수있는)최신기술은무엇인가?
____재로컬라이징문제를소비자가실제로해결할수있는가?
____그냥구글이나애플이이문제를해결할수는없는가?
____재로컬라이징!=멀티플레이어:사실그이상으로중요한...
____앱에서는재로컬라이징이실제로어떻게이뤄지고있는가?
__플랫폼
____애플의ARKit
____SomeMysteriesExplained
____ARCore는그냥경량탱고아닌가?
____이제ARCore로개발해야하는가?
____탱고,홀로렌즈,부포리아외의다른AR은어떤가?
__개발시에고려해야할기타사항
____조명
____멀티플레이어AR?왜이렇게어려운가?
____AR은어떻게사람들을연결하는가?
____AR앱은어떻게세상과연결되며,어떻게자기위치를알수있는가?
____어떻게AR앱이현실세계의사물을이해하고연결하게끔할수있는가?
__AR클라우드
____AR클라우드를생각할때내가전망하는것
____AR클라우드가그다지도중요한가?
____AR클라우드란게대체무엇인가?
____ARKit와ARCore에대한언론의반응은왜그렇게시원찮은가?
____훌륭한AR앱을만들기위해무엇이빠져있는가?
____오늘날의모바일클라우드는분야에따라달라지는가?
____AR클라우드없이ARKit(또는ARCore)를사용할수는없는가?
____AR클라우드의서막
____더큰그림:개인정보와AR클라우드데이터
__용어사전


4부.크로스플랫폼증강현실과가상현실창조

6장.가상현실과증강현실:크로스플랫폼이론
__왜크로스플랫폼인가?
__게임엔진의역할
__3D그래픽이해
____가상카메라
____자유도
__비디오게임디자인으로보는이식성
__컨트롤러입력단순화
____개발1단계:기본인터페이스디자인
____개발2단계:플랫폼통합
__요약


7장.가상현실툴킷:커뮤니티를위한오픈소스프레임워크
__VRTK란무엇이며사람들이왜사용하는가?
__VRTK의역사
__스팀VR유니티툴킷에온것을환영한다
__VRTKv4
__VRTK의미래
__VRTK의성공
____VRTK4시작


8장.가상현실과증강현실을개발하는세가지좋은방법
__가상현실과증강현실을개발하는일은어렵다
__로코모션다루기
____VR에서의로코모션
____AR에서의로코모션
__효과적인오디오사용
____VR에서의오디오
____AR에서의오디오
__공통적인상호작용패러다임
____VR에서의인벤토리
____증강현실레이캐스트
__결론


5부.데이터로더잘표현하기:공간컴퓨팅에서의데이터시각화와인공지능

9장.공간컴퓨팅에서의데이터와머신러닝시각화디자인및개발
__서론
__데이터시각화이해
__공간컴퓨팅에서의데이터와머신러닝시각화원칙
__공간컴퓨팅에서데이터와신러닝시각화가작동하는이유
____XR의출현에따른데이터시각화디자인의진화과정
____XR로표현된2D와3D데이터
__공간컴퓨팅에서의2D데이터시각화와3D데이터시각화
__공간컴퓨팅내데이터시각화의상호작용성
__애니메이션
__데이터시각화디자인에서의실패
__우수한데이터시각화디자인은3D공간을최적화한다
__시간절약은단순성과도같다
__데이터표현,인포그래픽,상호작용
____데이터시각화의자격
__데이터시각화와빅데이터/머신러닝시각화간차이정의
__데이터시각화를제작하는방법:데이터시각화를생성하는파이프라인
__웹XR:웹용데이터시각화구축
__XR에서의데이터시각화문제
__업계에서의데이터시각화사용사례
__실제데이터의3D재구성과직접적인조작:XR에서보는해부학적구조
____글래스브레인자세히살펴보기
____TVA서그의의료영상VR모듈
__모든사람을위한데이터시각화:XR의오픈소스기반데이터시각화
__단백질데이터시각화
__실습용자습서:공간컴퓨팅에서데이터시각화만들기
__데이터시각화를만드는방법:리소스
__결론
__참고자료
__리소스
____데이터시각화도구
____머신러닝시각화도구
____데이터저널리즘시각화
__용어사전


10장.캐릭터AI와행동양식
__서론
__행동양식
__현재의적용법:반응형AI
____적용성
____복잡성과보편성
____실효성
__시스템을더지능적으로:숙고형AI
__머신러닝
____강화학습
____심층강화학습
____모방학습
____자율플래닝과머신러닝결합
____적용
__결론
__참고자료


6부.체화현실의사용사례

11장.헬스케어기술생태계의가상현실과증강현실
__VR/AR헬스기술애플리케이션디자인
__표준UX는직관적이지않다
____조용한환경선택
____편의성
__튜토리얼:인사이트의파킨슨병실험
____인사이트의역할
____인사이트의구성
__기업
____계획과지도
____의학교육용체험설계
____환자의사용을위한체험설계
____예방의학
__학계의선도적사례연구


12장.팬의관점에서본스포츠XR
__서문
__파트1:스포츠AR과VR의핵심원칙5가지
____라이브란환상이다
__파트2:스포츠경험의새로운혁명
__파트3:미래개척
____소유권
____마치며
__결론


13장.가상현실의기업현장훈련사례
__서문:기업현장훈련의중요성
__VR훈련은효과가있는가?
__사례:침수가옥훈련
__VR훈련이적합한부분은?R.I.D.E.
__좋은VR훈련을만들려면?
__360도동영상
____360도동영상의장점
____360도동영상의난제
____360도동영상에서의상호작용
__사례:작업현장훈련
__내러티브의역할
__사례:상점털이강도대비훈련
__XR경험의미래:360도동영상을넘어
____컴퓨터그래픽
__사례:대면스킬훈련
__미래:포토그라메트리
__미래:라이트필드
__미래:AR훈련
__미래:음성인식
__미래:이상적인훈련시나리오
__참고자료

■예술과디자인:공간컴퓨팅,디자인상호작용,인간중심상호작용과감각디자인,디지털예술을위한콘텐츠제작도구등을탐구한다.
■기술개발:ARkit,ARCore,공간매핑기반시스템의차이점을검토한다.헤드마운트디스플레이를사용한크로스플랫폼개발에대한접근방법을배운다.
■사용사례:공간컴퓨팅,교육,스포츠,건강,기타엔터프라이즈응용프로그램에서데이터와머신러닝시각화및Al의작동방식을알아본다.

★이책의구성★

아직도표준이만들어지고있는현상황에서독자에게서로다른세분야인예술과디자인,기술사례,실제사용사례를망라하는개요를제공해테크놀로지의발달과정,오늘날의공간컴퓨팅,미래의가능성을소개한다.

예술과디자인
공간컴퓨팅은3D공간의최적화와작업을이해하는방식에서시작된다는점이다른이전컴퓨팅매체와뚜렷이다르며사용자경험에모든초점을맞춘다.따라서책의서두에는디자인,예술,실제콘텐츠제작도구의기반에초점을맞춰야했다.먼저티모니웨스트(TimoniWest)(유니티의연구책임자)가광범위한공간컴퓨팅의상세한역사와디자인을설명하며,실카미에스닉스(SilkaMiesnieks)(어도비의신규디자인책임자)가새로운기술패러다임에서의인간중심상호작용과감각디자인을설명한다.그런다음전문3D예술가이자기업가에서벤처투자가로변신한티파탯첸나바신(TipatatChennavasin)의콘텐츠제작이이어지며,이에더불어전문3D예술가이자마케팅리더인재즈민카노(JazminCano)가다양한플랫폼에맞춰에셋을최적화하고자하는예술가를위해설명을이어간다.
기술개발
2부에서는기술기반에중점을두고AR클라우드시대의여명기에있는하드웨어와소프트웨어개발을이해할수있도록컴퓨터비전의선구자이자6D.ai의공동창립자인빅터프리사카리우(VictorPrisacariu)(옥스퍼드비전랩)교수와매트미에스닉스(MattMiesnieks)가상세히토론한다.
하드웨어,컴퓨터비전(SLAM)알고리즘이어떻게기능하는지,이분야에새로진입하는크리에이터가AR클라우드를활용하는성공적인애플리케이션과경험을만들려면어떤기술적벤치마크와(어떤HMD용으로개발할것인지에대한)사업적결정을프레임워크로써야할지등의기본원칙을깊이있게이해하도록돕는다.또한ARKit과ARCore를상세히비교한다.
공동편집자이자매직립과어크로스XR(AcrossXR)의스티브루카스(SteveLukas),바산스모한(VasanthMohan),VRTK의하비볼(HarveyBall)이역시VRTK의개발자이자열렬한옹호자인클로라마도르빌리아스(CloramaDorvilias)와함께개발한오픈소스소프트웨어라이브러리를포함해크로스플랫폼오픈소스개발에관련된훌륭한저작도포함됐다.
게임을만들기시작하는개발자나ARKit과AR클라우드를활용해iOS와안드로이드애플리케이션을만드는모바일개발자라면여기에서많은것을배울수있을것이다.

★옮긴이의말★

코로나로인해도래한‘언택트’시대,비대면상호작용은그어느때보다중요해졌습니다.인간은본질적으로사회적동물이며,다른인간과의면대면소통은인류의삶을구성해온근간입니다.마주하지않고서도가능한한실제에가까운면대면소통을하고자다양한커뮤니케이션도구가개발되고있습니다.
AR/VR은이러한시대적흐름에잘부합하는인터랙션플랫폼입니다.게임과엔터테인먼트분야에서주로활용돼왔지만,기술의발전을예상할때AR/VR이제공할수있는사용자경험은무궁무진합니다.단순한일상소통뿐아니라다양한공간에대한추체험,세심한케어가필요한돌봄서비스,회사에서의트레이닝에이르기까지인간의오감과전신을활용하는면대면소통에가장근접하는경험을제공할수있는도구가AR/VR입니다.
AR/VR분야의지속적인발전을예견하며기대하는입장에서는지식의최전선에서가져온풍성한정보를한국의독자들과공유할수있어기쁘게생각합니다.저역시이책을번역하며,제전문분야인인간-컴퓨터상호작용과UX를넘어서서인식의지평을크게넓힐수있었습니다.모쪼록AR/VR에대해지녔던궁금증을해갈하는데이책이일말의도움이될수있기를빕니다.

김서경

21세기는어쩌면스마트폰의시대라고불릴수도있겠다.남은80년동안얼마나눈부신기술발전이우리가사는세상을또다른모습으로뒤바꿔놓을지아직알수없지만,적어도지난20년동안내손을거쳐간아이폰3부터지금의최신모델에이르기까지스마트폰을손에쥔이래내가경험하는세계는일괄적으로배포되는정보를그대로받아들이기보다는선별해서소비할수있게됐고,형식역시개인맞춤형앱을통해,화면혹은손목의스마트워치라는렌즈를통해필터링돼들어오고있다.
하지만내가2020년지금21세기가스마트폰의시대라고정의하는이유는다름아니라스마트폰만큼혁신적으로우리의삶에침투해생활의편의를제공하는다른도구가아직‘상용화’되지못했기때문이다.
AR과VR,XR등으로구분돼불리는증강현실과가상현실이누구나갖고있는스마트폰플랫폼을통해간단하고몸에걸치기에어색하지않은장비를거쳐제공되는세상은어떤모습일까?적어도운전중스마트폰을확인하거나보행중스마트폰화면에집중하다가겪는사소한사고들이예방되는순기능정도는기대해본다.
그렇다면상상력을조금만더발휘해보자.이책후반에소개하는여러사용사례(usecase)를보면지금있는기술을어떻게다듬어얼마나유익한결과를얻을수있을지힌트를얻을수있을것이다.이런기술은이미세계곳곳에서개발되고있다.문제는보급과상용화인데,이분야를단순히엔터테인먼트에국한하지않고지금우리가생활에서항상쓰는다양한부분을확장하는방식으로활용한다면삶의질이수직상승할수있을것이다.아주대단하고근사한것일필요는없다.
바야흐로언택트가대세가되고있는지금이거리와시간에구애받지않고전문가의도움을받는경험을설계하고개발할최적기다.의료분야와교육및재교육분야에서는특히증강현실서비스로기존일방향동영상콘텐츠의한계를극복하고상시모니터링을적용하는등지금과같은팬데믹상황을기술을통해극복하는시도가필요하다.
멀지않은장래에SF영화에서흔히보던서비스들을체험하고,“21세기는멋진신세계구나”라고감탄하게되길기대해본다.

고은혜