데이터로 측정하는 UX 리서치 3/e (성공하는 UX 실무자를 위한 데이터 기반 측정법)

BillAlbert

(William(Bill)Albert)
글로벌비즈니스육성인큐베이터인마하49의수석부사장이자글로벌고객개발책임자이다.마하49에합류하기전에는13년동안벤틀리대학교의사용자경험센터의센터장이었다.또한피델리티인베스트먼츠의사용자경험디렉터,라이코스의사용자인터페이스선임연구원,닛산캠브릿지베이직리서치의박사후연구원으로도활동했다.사용자경험리서치/디자인/전략분야에서20년이상경험을쌓아왔다.50개이상의국내외콘퍼런스에서연구를발표하고게재했으며,사용자경험/사용성/인간-컴퓨터인터랙션분야의여러학술저널에동료심사를거쳐연구물을발표했다.2010년에는톰툴리스,도나테데스코와함께엘스비어/모건카우프만출판사에서출간한『알기쉬운UX디자인평가:대규모온라인사용성조사가이드』(지앤선,2013)를공동집필했다.
2013년부터〈사용자경험저널〉의공동편집장을맡고있다.휴먼팩터,인적요인와공간인지에대한연구로,캘리포니아산타바바라대학교와일본정부로부터저명한연구지원금을받았다.워싱턴대학교에서지리정보시스템전공학사및석사학위를,보스턴대학교에서지리-공간인지연구로박사학위를받았다.닛산케임브리지베이직리서치에서포닥을마쳤다.

헌사
옮긴이소개
옮긴이의말
지은이소개
서문
감사의글
셰릴툴리스시로이스의특별한메모

1장서론
1.1사용자경험이란무엇인가?
1.2사용자경험지표란무엇인가?
1.3UX지표의가치
1.4모두를위한지표
1.5사용자경험지표의새로운기술
1.6UX지표에관한열가지괴담
오해1:지표를수집하는데너무많은시간이소요된다
오해2:UX지표는너무많은비용이든다
오해3:자잘한개선에집중하는상황에선UX지표가유용하지않다
오해4:UX지표는원인을이해하는데도움이되지않는다
오해5:UX지표는노이즈가너무많다
오해6:직감을믿으면된다
오해7:신제품에는지표가적용되지않는다
오해8:우리가다루고있는이슈유형에적합한측정지표가존재하지않는다
오해9:경영진은지표를이해하지못하거나높이평가하지않는다
오해10:작은표본크기로는신뢰할수있는데이터를수집하기어렵다

2장기본지식
2.1독립변수와종속변수
2.2데이터유형
2.2.1명목형데이터
2.2.2순서형데이터
2.2.3구간형데이터
2.2.4비율형데이터
2.3기술통계
2.3.1중심경향측정
2.3.2변산성측정
2.3.3신뢰구간
2.3.4신뢰구간을오차막대로표시하기
2.4평균비교
2.4.1독립표본
2.4.2대응표본
2.4.33개이상의표본비교
2.5변수간의관계
2.5.1상관관계
2.6비모수적검정
2.6.1카이제곱검정
2.7데이터를그래픽으로시각화하기
2.7.1기둥그래프와막대그래프
2.7.2선그래프
2.7.3산점도
2.7.4파이차트와도넛차트
2.7.5누적막대그래프
2.8요약

3장계획하기
3.1연구의목표
3.1.1형성적사용자리서치
3.1.2총괄적사용자리서치
3.2UX의목표
3.2.1사용자성능
3.2.2사용자선호도
3.2.3사용자감정
3.3사업의목표
3.4올바른UX지표선택하기
3.4.1전자상거래거래완료하기
3.4.2제품비교하기
3.4.3동일제품의사용빈도평가하기
3.4.4내비게이션과인포메이션아키텍처평가하기
3.4.5인지도제고
3.4.6문제발견하기
3.4.7고위험제품의사용성극대화하기
3.4.8전반적으로긍정적인사용자경험으로만들기
3.4.9미묘한디자인변경이미치는영향평가하기
3.4.10디자인대안을서로비교하기
3.5사용자리서치방법론과도구
3.5.1전통적인(모더레이터가있는)사용성테스트
3.5.2모더레이터없이진행하는사용성테스트
3.5.3온라인설문조사
3.5.4정보구조도구
3.5.5클릭도구와마우스도구
3.6기타세부사항
3.6.1예산과일정
3.6.2참가자
3.6.3데이터수집
3.6.4데이터정제
3.7요약

4장성능지표
4.1과업성공
4.1.1이원적성공척도
4.1.2성공수준
4.1.3성공측정의문제
4.2과업시간
4.2.1과업소요시간측정의중요성
4.2.2과업소요시간을수집하고측정하는방법
4.2.3과업소요시간데이터를분석하고제시하기
4.2.4시간데이터활용시고려사항
4.3오류
4.3.1오류를측정하는시점
4.3.2무엇이오류를만들어내는가?
4.3.3오류수집및측정
4.3.4오류분석및제시
4.3.5오류지표를사용할때고려할사항
4.4기타효율성지표
4.4.1효율성지표를수집및측정하기
4.4.2효율성데이터분석및제시하기
4.4.3과업성공과소요시간을조합해만든효율성지표
4.5학습용이성
4.5.1학습용이성데이터를수집및측정하기
4.5.2학습용이성데이터를분석및제시하기
4.5.3학습용이성을측정할때고려해야할사항
4.6요약

5장자가측정지표
5.1자가측정데이터의중요성
5.2평가척도
5.2.1리커트척도
5.2.2시멘틱척도
5.2.3자가측정데이터를수집하는시점
5.2.4평가수집방법
5.2.5자가측정데이터수집의편향
5.2.6평가척도에대한일반지침
5.2.7평가척도데이터분석하기
5.3과업사후평가
5.3.1사용용이성
5.3.2시나리오사후설문지
5.3.3기대치측정하기
5.3.4과업사후자가측정지표의비교
5.4전반적사용자경험평가
5.4.1시스템사용성척도
5.4.2컴퓨터시스템사용성설문지
5.4.3제품반응카드
5.4.4사용자경험설문지
5.4.5어트랙디프
5.4.6순고객추천지수
5.4.7사용자경험을자가측정하기위한그밖의도구
5.4.8자가측정지표비교
5.5SUS로디자인안비교하기
5.6온라인서비스
5.6.1웹사이트분석및측정인벤토리
5.6.2미국고객만족도지수
5.6.3오피니언랩
5.6.4라이브사이트설문조사관련이슈
5.7자가측정지표의기타유형
5.7.1속성의우선순위평가하기
5.7.2특정속성평가하기
5.7.3특정요소평가하기
5.7.4개방형질문
5.7.5인식과이해
5.7.6인식수준과유용성간의차이비교
5.8요약

6장이슈기반지표
6.1사용성이슈란무엇인가?
6.1.1진짜이슈와거짓이슈
6.2이슈를식별하는방법
6.2.11:1연구에서사고구술법사용
6.2.2자동화된연구에서축어적코멘트사용하기
6.2.3웹분석사용하기
6.2.4시선추적사용하기
6.3심각도평가
6.3.1사용자경험에따른심각도평가
6.3.2요인조합에따른심각도평가
6.3.3심각도평가체계사용하기
6.3.4평가체계에대한몇가지주의사항
6.4사용성이슈에대한지표분석및보고하기
6.4.1고유한이슈의빈도
6.4.2참가자별이슈빈도
6.4.3참가자비율
6.4.4카테고리별이슈
6.4.5과업별이슈
6.5사용성이슈식별의일관성
6.6사용성이슈식별의편향
6.7참가자수
6.7.1참가자5명이면충분하다
6.7.2참가자5명만으로는충분하지않다
6.7.3무엇을해야할까?
6.7.4우리의권고
6.8요약

7장시선추적
7.1시선추적의작동원리
7.2모바일시선추적
7.2.1순간정보인식측정하기
7.2.2상황에따른모바일사용자이해
7.2.3모바일시선추적기술
7.2.4안경
7.2.5기기스탠드
7.2.6소프트웨어기반시선추적
7.3시선추적데이터시각화
7.4관심분야
7.5일반적인시선추적지표
7.5.1체류시간
7.5.2고정횟수
7.5.3고정시간
7.5.4순서
7.5.5첫번째시선고정까지의시간
7.5.6재방문
7.5.7적중률
7.6시선추적데이터분석을위한팁
7.7동공반응
7.8요약

8장감정측정
8.1감성적사용자경험정의
8.2감정측정방법
8.2.1감정측정의다섯가지고려사항
8.3언어적표현을통한감정측정
8.4자가측정
8.5얼굴표정분석
8.6전기적피부반응
8.7사례연구:생체인식의가치
8.8요약

9장결합지표와비교지표
9.1단일UX점수
9.1.1타깃목표에기반한지표결합
9.1.2백분율을기준으로지표들을결합하기
9.1.3z-점수를기반으로지표결합
9.1.4SUM사용하기
9.2UX점수카드와프레임워크
9.2.1UX점수카드
9.2.2UX프레임워크
9.3목표및전문가성능과의비교
9.3.1목표와의비교
9.3.2전문가성능수준과의비교
9.4요약

10장스페셜토픽
10.1웹분석
10.1.1기본웹분석
10.1.2클릭률
10.1.3이탈률
10.1.4A/B테스트
10.2카드소팅데이터
10.2.1열린카드소팅데이터분석
10.2.2닫힌카드소팅데이터분석
10.3트리테스트
10.4첫번째클릭테스트
10.5접근성지표
10.6투자자본수익률지표
10.7요약

11장사례연구
11.1넷플릭스TV사용자인터페이스,빠르게생각하기와느리게생각하기
11.1.1배경
11.1.2방법론
11.1.3결과
11.1.4토론
11.1.5영향
11.2PCW프레임워크(참여/경쟁/승리):시장에서의제품및기능평가
11.2.1소개
11.2.2객관적기준잡기
11.2.3기능분석
11.2.4PCW(종합)사용성테스트
11.3엔터프라이즈UX사례연구:‘UX수익체인’발견하기
11.3.1소개
11.3.2지표식별하고선택하기
11.3.3방법론
11.3.4분석
11.3.5결과
11.3.6결론
11.4건강보험웹사이트의UX벤치마킹
11.4.1방법론
11.4.2결과
11.4.3요약및권장사항
11.4.4감사의말씀
11.4.5약력
11.5SNAP격차해소
11.5.1현장조사
11.5.2주간리뷰
11.5.3신청서질문
11.5.4설문조사
11.5.5프로토타입테스트
11.5.6성공지표
11.5.7조직
11.5.8약력

12장성공의열가지열쇠
12.1데이터에생명력불어넣기
12.2측정요청을기다리지말라
12.3측정에는생각보다돈이많이들지않는다
12.4일찍계획하기
12.5제품벤치마킹
12.6데이터탐색
12.7비즈니스언어로말하기
12.8자신감보여주기
12.9지표를오용하지말자
12.10프레젠테이션간소화

참고문헌
찾아보기

“사용자경험,이제는숫자로말하라!”
UX전략의기준을세우는세계적베스트셀러
『데이터로측정하는UX리서치3/e』국내출간

막연한느낌의시대는끝났다.
이제는데이터를기반으로사용자경험을설계하고,평가하고,설득해야한다.
UX리서치의교과서로손꼽히는『데이터로측정하는UX리서치3/e』가10년만의대대적인개정을거쳐드디어한국어로출간된다.
3판은최신UX리서치흐름을반영해,원격테스트,모바일앱환경,비대면사용자조사,통계적설득전략등현장실무자들이직면한문제들에대한구체적인해법을제공한다.
SUS,NPS,SEQ,SUPR-Q와같은핵심UX지표들을어떻게설계하고,실제사용자로부터데이터를수집하며,이를조직내이해관계자에게효과적으로보고할수있을지단계별로친절히안내한다.

“UX,감이아닌데이터로말하라.”
최신UX리서치흐름을반영,현장실무자가직면한문제에대한구체적인해법제공

『데이터로측정하는UX리서치3/e』은막연한직관과감에의존하던UX설계에서벗어나,사용자경험을정량화하고데이터를기반으로설득력있는제품전략을수립하는방법을체계적으로안내하는세계적인UX리서치실무서이다.
이책은글로벌UX전문가들이현장에서가장널리사용하는SUS,NPS,SEQ,SUPR-Q등핵심UX지표들을중심으로,어떻게측정항목을설계하고,데이터를수집하고,통계적으로분석해,그결과를시각화하고조직내이해관계자들에게효과적으로전달할수있는지를단계별로설명한다.
특히3판에서는최근UX환경의변화에발맞춰원격사용성테스트,모바일과멀티디바이스환경,비대면리서치와같은최신사례를폭넓게다루고있으며,실무에서바로활용할수있는템플릿,리서치시나리오예시,실전보고서작성노하우까지포함해UX리서처는물론디자이너,PM,마케터,데이터분석가등사용자중심제품을만들고자하는모든실무자에게실질적인가이드를제공한다.따라서감각이아닌데이터로사용자경험을설계하고,설득이아닌근거로제품을개선하고자하는이들에게,이책은단순한입문서를넘어UX전략의기준이자실전의무기가돼줄것이다.


◈이책에서다루는내용◈

◆독자들로하여금특정UX지표의장점과한계를이해하고이를제품디자인프로세스와전체비즈니스전략관점에서효과적으로활용할수있도록돕는다.
◆감성적몰입도지표,얼굴표정분석,UX스코어카드,시선추적,웹분석등사용자경험을측정하는데중점을둔최신방법론과기법들을살펴본다.
◆UX지표를가장적합한통계기법으로분석하고그결과를이해관계자에게간단하고효과적으로설명하는방법을단계별로쉽게설명한다.
◆조직내에서UX지표를성공적으로구현한,5가지새로운글로벌심층사례연구가포함돼있다.


◈이책의대상독자◈

이책은경험의유형이무엇이든(소비자제품,컴퓨터시스템,애플리케이션,웹사이트,서비스일수도있고,또는이와는완전히다른어떤유형일수도있지만,경험의유형에관계없이)모든제품또는서비스의사용자경험을개선하는데관심이있는모든사람을대상으로한다.사용자경험개선에관심이있는사람들,이책의혜택을받을사람들은각기다른시각을가진다양한분야의전문가일것이다.사용성/UX전문가,인터랙션디자이너,정보설계자,서비스디자이너,제품디자이너,웹디자이너와개발자,소프트웨어개발자,그래픽디자이너,마케팅/시장조사전문가,프로젝트/제품관리자까지그대상은다양하다.


◈이책의구성◈

이책은크게세단계로나뉜다.첫번째단계(1~3장)에서는UX지표들을이해하고활용하는데필요한배경정보를설명한다.
1장은사용자경험과관련지표에관해개략적으로소개한다.사용자경험을정의하고,사용자경험측정의가치에대해논하며,이와관련된새로운트렌드를공유한다.더불어UX지표에대한일반적인통념을바로잡고,UX측정의최신개념을소개한다.
2장은UX데이터에관한배경정보와기본통계개념을설명한다.또한여러UX방법론과관련된일반적인통계절차를수행하기위한가이드를제공한다.
3장은지표관련연구계획에대해중점적으로설명한다.참가자목표(participantgoal)와연구목표(studygoal)를정의하고,갖가지상황에적합한지표를선택한다.

두번째단계(4~10장)에서는UX지표의일반적유형과(단일유형에속하지않는)몇몇특별한주제들을살펴본다.우리는각지표에대해그지표가무엇인지,언제어떻게사용하는지혹은언제사용하지않는지설명한다.그리고데이터를수집하는방법과데이터를분석하고제시하는여러방법을보여준다.다음으로,실제UX리서치에서지표가어떻게사용됐는지예시를보여준다.
4장은과업성공여부(tasksuccess),과업시간(time-on-task),오류(error),효율성(efficiency),학습용이성(easeoflearning)등다양한유형의성능지표(performancemetric)를다룬다.이지표들은사용자행동(userbehavior)의여러양상을측정하기때문에성능(performance)의범주에속한다.
5장은만족도(satisfaction),기대치(expectation),사용용이성(ease-of-use),신뢰도(confidence),유용성(usefulness),인지도(awareness)등자가측정지표에관해중점적으로설명한다.자가측정지표는(UX전문가가사용자의실제행동을측정한결과가아니라)사용자가자신의경험에대해공유한내용이다.
6장은사용성이슈(usabilityissue)를측정하는방법을살펴본다.사용성이슈는이슈가발생하는빈도(frequency)와심각도(severity),이슈유형등을측정해쉽게정량화할수있다.또한적절한표본(sample)의크기와사용성이슈를안정적으로포착하는방법과관련된몇몇논쟁에대해서도이야기한다.
7장은시선추적(eye-tracking)기술을사용해사용자의시각적주의력(visualattention),관심도를측정하는방법을다룬다.이기술은지난몇년동안더욱정확해지고측정비용도저렴해지면서점차많이사용됐다.우리는시선추적기술의기본사항들,이기술을통해얻을수있는시각적관심관련지표들의종류,시각적관심도패턴을사용해사용자경험을개선하는방법을설명한다.
8장은감성적몰입도(emotionalengagement)를측정하는방법을소개한다.이지표에는기쁨(joy),관여도(engagement),심지어스트레스(stress)같은정서적반응을측정하기위한광범위한기술이적용된다.이모든지표는사용자인터페이스와의상호작용경험의결과로사용자의신체,특히얼굴이어떻게반응하는지에관한정보를포착한다.
9장은서로다른유형의지표들을결합하고새로운지표를만들어내는방법에대해설명한다.가끔은제품의사용자경험에대한전반적평가를받아보는게도움이된다.이포괄적이고종합적인평가는서로다른유형의지표들을단일UX지수로결합하거나그지표들을UX점수카드에요약하거나전문가성능수준과비교하면서수행된다.
10장은(UX연구관점에서중요하지만앞서소개한다섯가지UX지표카테고리에딱들어맞진않는)특별한주제들을소개한다.라이브웹사이트(livewebsite)에서의A/B테스트,데이터카드소팅(card-sortingdata),접근성데이터(accessibilitydata),투자자본수익률(ROI,ReturnOnInvestment)등의주제들을설명한다.

세번째단계(11~12장)에서는UX지표들을실무에서어떻게활용하는지보여준다.특히서로다른유형의조직안에서UX지표들을실제로어떻게사용하는지,조직에서는UX지표사용을어떤방법으로촉진하는지설명한다.
11장은서로다른연구자들이수행한다섯가지사례연구를소개한다.각각의독특한사례연구를통해다양한조직에속한UX전문가들이서로다른유형의UX지표들을사용하는방법,데이터를수집하고분석한방법,그리고그결과들을살펴본다.
12장은여러분이여러분의조직안에서UX지표들을사용해나아가는데도움이되는10단계가이드를제공한다.우리는UX지표들이서로다른유형의조직의업무활동에어떻게부합할수있을지살펴보고,조직안에서UX지표가제대로작동하게하는실용적인팁과성공레시피에관해논의한다.