왜 지금 AI를 감사해야 하는가

김영일

이 책은 연구위원들이 글로벌 규제와 최신 기술 트렌드를 분석하고, 치열한 토론을 거쳐 한국 비즈니스 환경에 맞는 실질적인 AI 감사 프레임워크를 도출해 낸 공동 학습의 결실이다.

추천사
시작하며 ─ AI 거버넌스와 감사의 시대

제1장 AI의 부상과 감사 환경의 변화
1.1. 감사 환경의 변화와 감사인의 역할 재정의
1.2. 산업별 AI 도입 현황과 감사 시사점
참고문헌

제2장 글로벌 AI 규제 및 표준 트렌드
2.1. EU AI Act: 위험 기반 접근 방식
2.2. NIST AI RMF 및 ISO/IEC 42001(AIMS)
2.3. 중국: 국가 주도형 알고리즘 통제
2.4. 한국ㆍ일본ㆍ싱가포르 등 기타 국가: 혁신과 신뢰의 균형
2.5. 종합 비교와 AI 감사 관점의 함의
참고문헌

제3장 AI 생애주기별 통합 리스크 관리 프레임워크
3.1. 선행연구 검토
3.2. AI 감사의 세 가지 위험과 생애주기 접근
3.3. 기획ㆍ설계 ─ AI 거버넌스와 규제 준수
3.4. 데이터 수집ㆍ전처리 ─ 프라이버시와 무결성
3.5. 모델 개발ㆍ훈련 ─ 알고리즘 투명성
3.6. 검증ㆍ테스트 ─ 신뢰성 평가와 레드팀
3.7. 배포ㆍ운영 ─ 접점 보안과 OWASP LLM
3.8. 모니터링ㆍ폐기 ─ 사후 책임과 지속적 감사
3.9. 결론 ─ 세 위험의 통합과 CWEㆍCompliance의 조화

제4장 AI 거버넌스 체계 구축
4.1. IT 거버넌스를 넘어선 AI 거버넌스의 이해
4.2. 조직 내 AI 윤리위원회 및 의사결정 체계
4.3. 책임성(Accountability) 모델과 거버넌스 프레임워크
4.4. 감사인을 위한 실무 지침과 역량 강화 전략
참고문헌

제5장 AI 알고리즘의 편향성과 공정성
5.1. 왜 AI 편향성이 감사의 핵심 이슈인가
5.2. AI 편향성의 발생 원인과 유형
5.3. 실제 사례로 보는 AI 편향성
5.4. 공정성 측도(Fairness Metrics): 감사의 기준
5.5. 편향성 완화 기법(Bias Mitigation Techniques)
5.6. 편향성 탐지 및 완화 도구
5.7. 국내외 규제 및 표준 프레임워크
5.8. AI 편향성 감사 실무 방법론
5.9. AI 편향성 감사 체크리스트
5.10. 편향성 감사 결과 보고
5.11. 사례 연구: 금융 대출 AI의 편향성 감사
참고문헌

제6장 설명가능한 AI(XAI) 감사 기법
6.1. 왜 XAI인가 ─ 설명을 뽑아내는 일의 어려움
6.2. XAI 방법론의 지도 ─ 무엇이 어떻게 다른가
6.3. 상황별 추천 ─ 어떤 도구를, 언제, 무엇을 고려하며
6.4. XAI 도구의 선택과 핵심 리스크 통제
6.5. 결론 ─ 기법은 증거를 만들 뿐, 판정은 감사인의 몫

제7장 데이터 품질 및 프라이버시 보호
7.1. 학습 데이터의 무결성 및 적정성 검증 프로세스
7.2. AI 개인정보 보호 기술: 차분 프라이버시와 동형 암호
참고문헌

제8장 머신러닝 및 딥러닝 아키텍처 검토
8.1. 모델 훈련 프로세스의 투명성 및 재현성 감사
8.2. 모델의 견고성(Robustness) 및 드리프트(Drift) 모니터링
참고문헌

제9장 클라우드 기반 AI 서비스(SaaS/PaaS) 감사
9.1. 인프라 보안 및 형상관리
9.2. 제3자 제공 AI 서비스에 대한 통제권 확인
참고문헌

제10장 GenAI(생성형 AI)와 LLM 감사
10.1. 대규모 언어 모델의 특수 리스크
10.2. 프롬프트 인젝션 탐지 및 거버넌스
10.3. GenAI 핵심 리스크 통제와 실무 체크리스트
10.4. GenAI 감사의 지향점과 제언
참고문헌

부록
부록 1 ─ 통제 기술서(RCM) 활용 가이드
부록 2 ─ AI 주요 리스크 카탈로그

책 속에서

전통적인 감사는 본질적으로 이미 발생한 거래와 기록을 사후에 검증하는 활동이었습니다. 일어난 일의 정확성과 적정성을 되짚어 평가하는 방식입니다. 그러나 AI가 의사결정의 한 축을 담당하기 시작한 지금, 감사인이 던져야 할 질문은 ‘기록이 정확한가’를 넘어섰습니다. 이제 우리는 ‘이 모델은 공정한가’, ‘그 결과는 설명가능한가’, ‘학습 데이터에 편향은 없는가’를 함께 물어야 합니다.
---p.26

기획ㆍ설계 단계 감사의 목표는 단순합니다. 시스템을 만들기 전에 책임과 규제의 토대가 제대로 놓였는지 확인하는 것입니다. AI 감사가 데이터나 모델이 아니라 이 단계에서 시작하는 데에는 분명한 이유가 있습니다. 구현 단계의 결함은 나중에 코드를 고쳐 바로잡을 수 있지만, 무엇을 누구를 위해 만들 것인가 하는 목적 설정과 누가 무엇에 책임지는가 하는 책임구조가 잘못 놓이면, 그 위에 쌓는 모든 기술적 통제가 토대 없는 집이 되고 맙니다.
---p.97

AI 통제는 문서만으로 판단하기 어렵습니다. 감사인은 설계 효과성과 운영 효과성을 구분해 보아야 합니다. 설계 효과성은 통제가 위험을 줄일 수 있도록 적절하게 설계되어 있는지를 의미합니다. 예를 들어 고위험 AI에 영향평가와 위원회 승인이 요구되고, 모델 변경 시 재검증이 필요하며, 사람 검토자가 지정되어 있다면 설계상 기본 구조는 갖추었다고 볼 수 있습니다.
---p.166

AI 설명 기법은 감사인의 판단을 대신하지 않습니다. 블랙박스를 여는 것은 도구가 하지만, 그 안에서 본 것이 옳은지를 판정하는 일은 끝까지 사람의 몫입니다. 이 판정을 뒷받침하는 통제는 네 방향으로 이어집니다. 모델이 무엇을 근거로 어떻게 판단하는지를 문서로 남겨 검증받을 수 있게 하고, 설명 기법으로 드러난 편향을 배포 전에 걸러내며, 설명 결과를 근거로 사람이 최종 판단하도록 강제하고, 그 설명을 요구할 권리를 가진 정보주체에게 법이 정한 기한 안에 답하는 것입니다.
---p.235

훈련 프로세스의 감사는 기술ㆍ보안을 넘어 윤리와 지속 가능성 영역까지 확장되고 있습니다. 특히 대규모 모델의 학습에 소요되는 에너지와 탄소 배출은 더 이상 부차적 이슈가 아닙니다.
---p.307

전통적인 IT 감사는 결정론적(deterministic) 시스템을 전제로 발전해왔습니다. 즉, 동일한 입력에는 동일한 출력이 발생하며, 통제(Control)는 그 인과관계가 의도한 대로 작동하는지를 검증하는 과정이었습니다. 그러나 LLM은 이러한 전제를 무너뜨립니다. 같은 프롬프트에도 서로 다른 답을 내놓고, 사용 맥락에 따라 안전장치가 우회되기도 합니다.
---p.383