인공지능 소프트웨어 품질 보증을 위한 테스트 기법 (예제와 튜토리얼로 익히는 4가지 AI 소프트웨어 테스트 방법)

사토나오토,오가와히데토,구루마히로노부,묘진도모유키

佐藤直人
2005년히타치제작소에입사한주임연구원이자공학박사다.전문분야는소프트웨어테스트,정형기법등이다.취미는독서이지만최근구독형동영상서비스에밀리고있다.루어낚시에도관심이있으나이책의집필시기에는아직한마리도낚지못했다.

지은이소개x
옮긴이소개xi
옮긴이머리말xii
추천의글xiii
베타리더후기xiv
이책에대하여xvi

CHAPTER0AI소프트웨어와테스트1
0.1AI소프트웨어테스트의필요성1
__0.1.1AI의보급에따른과제1
__0.1.2AI기술의핵심‘머신러닝’3
0.2귀찮은문제=과제와해결방법에관련된모순4
__0.2.1머신러닝의장점에내포된문제점4
__0.2.2이책의주제와대상독자5

CHAPTER1AI의이해7
1.1AI의종류7
__1.1.1강한AI와약한AI7
__1.1.2규칙기반AI와머신러닝8
__1.1.3지도학습9
__1.1.4지도학습으로해결할수있는문제들9
__1.1.5비지도학습10
__1.1.6강화학습10
__1.1.7휴리스틱스와메타휴리스틱스11
1.2AI소프트웨어12
__1.2.1머신러닝과AI소프트웨어12
__1.2.2AI모델12
__1.2.3학습과훈련및평가13
__1.2.4훈련결과에대한평가와AI소프트웨어테스트15
__1.2.5AI소프트웨어와AI시스템의관계16
__[칼럼]AI의진화발전사례:일본식장기인쇼기프로그램16
1.3지도학습의체계18
__1.3.1학습완료모델에기반한추론18
__1.3.2훈련용입력데이터와훈련용정답데이터18
__1.3.3훈련완료모델의평가19
__1.3.4학습완료모델의테스트20
__[칼럼]머신러닝의수학적해석21
1.4AI의개발공정24
__1.4.1AI개발공정의특징:시행착오의반복24
__1.4.2AI컴포넌트개발공정26
__1.5AI모델의구체적인사례27
__1.5.1심층신경망27
__1.5.2앙상블트리30
__1.5.3분류문제33
__1.5.4회귀문제37
1.6요약39

CHAPTER2AI소프트웨어테스트41
2.1기존의소프트웨어와AI소프트웨어의차이점41
__[칼럼]수학적귀납법과과학적접근법43
2.2기존의소프트웨어테스트43
__2.2.1입장료계산문제의예44
__2.2.2동치클래스와경곗값을이용한테스트45
__[칼럼]생일계산46
__[칼럼]동치클래스와경곗값의수학적표현47
2.3기존테스트기법의적용가능성48
__2.3.1동치클래스기법의적용가능성48
__2.3.2머신러닝의특성50
2.4AI소프트웨어테스트기법52
__2.4.1메타모픽테스트기법의개요53
__2.4.2뉴런커버리지테스트기법의개요54
__2.4.3최대안전반경테스트기법의개요55
__2.4.4커버리지검증기법의개요55
__[칼럼]AI의품질57

CHAPTER3튜토리얼준비59
3.1실행환경설정59
__3.1.1파이썬설치59
__3.1.2외부라이브러리설치62
__[칼럼]pip를이용한외부라이브러리설치63
3.2테스트도구다운로드65
__3.2.1참조파일다운로드65
__3.2.2기타파일다운로드66
3.3학습에사용할데이터셋68
__3.3.1MNIST데이터셋68
__3.3.2HouseSales데이터셋69
3.4AI모델의학습69
__3.4.1MNIST데이터셋기반의DNN모델의학습70
__[칼럼]DNN모델의저장방법72
__3.4.2HouseSales데이터셋기반의DNN모델의학습74
__3.4.3HouseSales데이터셋기반의XGBoost모델학습76
3.5학습완료모델의실행확인77
__3.5.1숫자이미지식별을위한DNN모델의실행확인77
__3.5.2주택가격예측을위한DNN모델실행확인79
__3.5.3주택가격예측을위한XGBoost모델실행확인80

CHAPTER4메타모픽테스트기법81
4.1메타모픽테스트기법이란?81
__4.1.1테스트오라클의문제점81
__4.1.2메타모픽관계84
__[칼럼]수식을이용한메타모픽테스트기법의정의85
__4.1.3AI소프트웨어에적용87
__4.1.4메타모픽테스트기법으로알수있는사항89
__[칼럼]테스트성공인경우에알수있는사실들91
__4.1.5기존의테스트기법과의차이점94
__4.1.6메타모픽테스트기법의활용96
__[칼럼]테스트성공인경우에알수있는사실들(Part2)99
4.2튜토리얼100
__4.2.1메타모픽테스트기법의실행101
__4.2.2데이터가공방법변경109
__4.2.3데이터가공횟수의변경111
4.3요약112

CHAPTER5뉴런커버리지테스트기법113
5.1기존의커버리지와뉴런커버리지113
__5.1.1기존소프트웨어에대한커버리지113
__[칼럼]명령커버리지·분기커버리지·조건커버리지114
__5.1.2DNN모델에커버리지적용116
__5.1.3뉴런의활성상태117
5.2뉴런커버리지를이용한테스트122
__5.2.1뉴런커버리지를향상시키는데이터122
__5.2.2테스트용입력데이터작성방법122
__[칼럼]편미분과기울기124
__5.2.3가이드라인을기반으로가공방법선택129
__[칼럼]벡터와내적131
__5.2.4가공데이터를사용한테스트실행134
5.3튜토리얼135
__5.3.1뉴런커버리지테스트의실행135
__5.3.2활성화를판정하는경곗값변경139
__5.3.3뉴런커버리지테스트의반복실행143

CHAPTER6최대안전반경테스트기법145
6.1최대안전반경의이해145
__6.1.1강건성145
__6.1.2적대적데이터147
__6.1.3최대안전반경150
__[칼럼]다양한‘거리’152
6.2최대안전반경계산방법153
__6.2.1최대안전반경의근삿값153
__6.2.2계산방법의개요154
__6.2.3안전반경의판정156
__6.2.4하계와상계의계산방법158
__6.2.5하계와상계의단계적계산방법161
__[칼럼]시그모이드함수에대한하계함수와상계함수의정의166
6.3튜토리얼172
__6.3.1DNN모델의변환172
__6.3.2CNN-Cert의실행174
__6.3.3타깃분류그룹핑의변경185

CHAPTER7커버리지검증기법187
7.1커버리지검증187
__7.1.1커버리지검증의목적187
__7.1.2커버리지검증의체계190
__[칼럼]인간의추론과AI의추론190
__[칼럼]검증을수월하게수행하기위한식변형193
__[칼럼]SATSolver와SMTSolver의동작194
7.2XGBoost모델의커버리지검증195
__7.2.1예제모델의커버리지검증195
__[칼럼]전제조건과검증특성202
__[칼럼]커버리지검증을단시간내에수행하는방법206
__7.2.2학습완료모델에서논리식으로의변환207
__7.2.3커버리지검증도구의구조211
7.3검증특성을만족하지않는입력데이터범위의탐색217
__7.3.1예제모델의조건비적합범위의검색217
__7.3.2조건비적합범위탐색도구의구조222
7.4DNN모델의커버리지검증225
__7.4.1예제모델의커버리지검증225
__7.4.2학습완료모델로부터논리식으로의변환234
__7.4.3커버리지검증도구의구조238
7.5요약241

APPENDIXA각종파일의표기법243
A.1XGBoost입출력데이터정의파일의표기법243
A.2DNN입출력데이터정의파일의표기법244
A.3검증조건파일의표기법245

맺음말247
찾아보기249

AI소프트웨어테스트의기본개념,예제,튜토리얼로실전까지정복

챗GPT같은AI소프트웨어가핫한시대다.자율주행,로봇,가전제품등의분야에서AI개발과활용에대한수요가급증하면서AI소프트웨어가우후죽순생겨나고있다.하지만내부결정과정을이해하기어려운AI는검증과정이무척이나까다롭기에새로운기술적방법론에만관심을갖는경우가많다.

그러나현실적으로소프트웨어의품질보증을위해서는테스트가필수적이다.그렇다면AI소프트웨어는어떻게테스트해야할까?기존소프트웨어테스트기법은정답과비교를하지만,정답을정의할수없는문제를다루는AI를테스트하려면다른방법이필요하다.이책의저자들은최신학술논문을알기쉽게해설하며실전예제와함께그해답을제시한다.

이책에서는기존의소프트웨어테스트기법의한계를뛰어넘는메타모픽테스트,뉴런커버리지테스트,최대안전반경테스트,커버리지검증기법을소개한다.저자들은어려운수학을재치있는글과그림으로설명한다.기법을이해하는데에서그치지않고실무에적용할수있도록구성해대학생부터실무담당자까지두루읽을만한책이다.