보안 빅데이터 분석 플랫폼 구축과 활용 (Splunk를 활용한 실무형 가이드북)

김대용

숭실대학교컴퓨터학부를졸업하고삼성SDS금융전략사업부에입사해지금까지시스템개발부터운영,프로세스컨설팅및IT전략컨설팅까지두루경험했다.핀테크기반신사업추진부서근무시절빅데이터와플랫폼에관심을갖게돼금융업종에적합한빅데이터플랫폼을구축하고활용하기위한방법을연구했다.현재는보안컨설턴트이자프로젝트관리자로써다수의보안분야프로젝트를수행하며보안빅데이터분석플랫폼구축전문가로활동하고있으며,‘현장에답이있다’는평소의철학대로지금도프로젝트현장에서굵은땀방울을흘리고있다.

1장.개요
__1.1왜데이터분석이필요한가?
____1.1.1보안위협의고도화및지능화
____1.1.2보안담당자의한계봉착
____1.1.3기술발전에따른보안트렌드의변화
__1.2왜플랫폼으로구축해야하는가?
____1.2.1보안데이터가지니는고유의특성
____1.2.2보안빅데이터분석플랫폼정의
____1.2.3플랫폼의진정한힘:네트워크효과와교차네트워크효과
__1.3왜구축가이드가중요한가?
____1.3.1플랫폼구축의현실:CaseByCase
____1.3.2성공적구축은성공적활용의전제조건
____1.3.3구축가이드가제공할가치:품질,시간,그리고시너지
__1.4왜스플렁크인가?

2장.보안빅데이터분석플랫폼구축워크플로우
__2.1워크플로우개요
__2.2Phase1:구축전사전준비
____2.2.1Why:플랫폼구축목적명시
____2.2.2What:플랫폼기본구성요소정의
____2.2.3How:주요구성요소별플랫폼구현방안수립
__2.3Phase2:플랫폼인프라구성
____2.3.1구성기준정의
____2.3.2스플렁크인스턴스설치
____2.3.3주요구성별설정적용
____2.3.4주요구성변경요건별설정변경가이드
__2.4Phase3:플랫폼콘텐츠구현및활용
____2.4.1데이터검색
____2.4.2데이터분석
____2.4.3시나리오구현및적용
____2.4.4대시보드구성및활용
____2.4.5콘텐츠강화를위한툴과팁
__2.5Phase4:스플렁크앱기반플랫폼확장
____2.5.1상용앱
____2.5.2무료앱
__2.6Phase5:구축후운영환경최적화
____2.6.1플랫폼운영현황점검항목정의
____2.6.2점검항목별현황점검수행
____2.6.3정상여부확인및비정상항목조치
____2.6.4플랫폼구성요소별운영효율성강화가이드
__2.7워크플로우호환성:꼭스플렁크여야만하는가

3장.Phase1:구축전사전준비
__3.1Why:플랫폼구축목적명시
____3.1.1업무개선목표달성
____3.1.2IT목표달성
____3.1.3기타요건
__3.2What:플랫폼기본구성요소정의
____3.2.1구축환경
____3.2.2데이터수집및전송
____3.2.3데이터저장
____3.2.4데이터검색
____3.2.5데이터분석및활용
____3.2.6데이터시각화
____3.2.7플랫폼운영및관리
__3.3How:주요구성요소별플랫폼구현방안수립
____3.3.1구축환경정의
____3.3.2데이터수집및전송방안
____3.3.3데이터저장방안
____3.3.4데이터검색방안
____3.3.5데이터분석및활용방안
____3.3.6데이터시각화방안
____3.3.7플랫폼운영및관리방안

4장.Phase2:플랫폼인프라구성
__4.1사전공지사항
__4.2시뮬레이션환경구성가이드
__4.3가상데이터수집설정
__4.4단일서버환경구성
____4.4.1구성기준정의
____4.4.2스플렁크엔터프라이즈설치및설정
____4.4.3데이터수집및전송설정
________스플렁크엔터프라이즈라이선스적용
________스플렁크엔터프라이즈에서의데이터수집설정
____4.4.4데이터저장설정
____4.4.5데이터검색설정
____4.4.6스플렁크유니버설포워더설치및설정
________스플렁크유니버설포워더설치
________파일및디렉터리모니터링설정
________로그이벤트속성설정
________로그이벤트전송설정
____4.4.7플랫폼인프라구성후정상동작확인
__4.5복수서버환경구성
____4.5.1구성기준정의
____4.5.2스플렁크엔터프라이즈인스턴스설치
____4.5.3데이터수집및전송설정
________스플렁크엔터프라이즈라이선스슬레이브적용
________로그이벤트수신설정
________로그이벤트전송설정
________로그이벤트필터링설정
________로그이벤트마스킹설정
____4.5.4데이터저장설정
________스플렁크엔터프라이즈라이선스슬레이브적용
________신규인덱스생성
________전송데이터의대한저장설정
____4.5.5데이터검색설정
________스플렁크엔터프라이즈라이선스마스터설정
________검색피어등록
________검색데이터필드추출
____4.5.6스플렁크유니버설포워더설치및설정
____4.5.7플랫폼인프라구성후정상동작확인
__4.6클러스터링기반분산처리환경구성
____4.6.1구성기준정의
____4.6.2스플렁크엔터프라이즈인스턴스설치
____4.6.3라이선스마스터&클러스터마스터설정
________라이선스마스터설정
________클러스터마스터설정
________인덱스추가생성및배포설정
____4.6.4데이터수집및전송설정
________스플렁크엔터프라이즈라이선스슬레이브적용로그이벤트수신설정
________로그이벤트전송설정
________로그이벤트필터링&마스킹설정
____4.6.5데이터저장설정
________스플렁크엔터프라이즈라이선스슬레이브적용
________인덱서피어노드활성화
________인덱스생성정보에대한정상배포확인
________전송데이터에대한저장설정
____4.6.6데이터검색설정
________스플렁크엔터프라이즈라이선스슬레이브적용
________검색피어등록
________검색헤드클러스터링설정
________검색데이터필드추출
____4.6.7스플렁크앱배포설정
________스플렁크엔터프라이즈라이선스슬레이브적용
________검색헤드클러스터정보등록
________검색헤드클러스터구성원대상배포정보수신설정
________배포대상앱업로드
________배포대상앱을검색헤드클러스터구성원에배포
________검색헤드클러스터구성원에서배포앱확인160
____4.6.8모니터링콘솔설정
________검색피어추가적용
________분산모드전환적용
____4.6.9스플렁크유니버설포워더설치및설정
____4.6.10플랫폼인프라구성후정상동작확인
__4.7주요구성변경요건별설정가이드
____4.7.1기존수집대상의종류/용량변경
____4.7.2기존수집방식과동일한신규수집대상추가
____4.7.3수집데이터저장기간설정및변경

5장.Phase3:플랫폼콘텐츠구현및적용
__5.1사전공지사항
__5.2데이터검색
____5.2.1키워드검색
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
____5.2.2이벤트추이검색
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
____5.2.3정규표현식을활용한고급검색
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
____5.2.4검색결과저장및공유
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
__5.3데이터분석
____5.3.1로그이벤트에대한시계열상관분석
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
____5.3.2통계함수를활용한분석결과구체화
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
____5.3.3차트함수를활용한분석결과시각화
________사용자요건정의
________스플렁크를통한구현예시
________실무활용가이드
__5.4시나리오구현및적용
____5.4.1사용자요건정의
____5.4.2스플렁크를통한구현예시
____5.4.3실무활용가이드
__5.5대시보드구성및활용
____5.5.1사용자요건정의
____5.5.2스플렁크를통한구현예시
____5.5.3실무활용가이드
__5.6콘텐츠강화를위한툴과팁
____5.6.1경고
____5.6.2룩업
____5.6.3KV스토어
____5.6.4SummaryIndex
____5.6.5보고서가속화
____5.6.6데이터모델가속화

6장.Phase4:스플렁크앱기반플랫폼확장
__6.1SplunkEnterpriseSecurityApp
____6.1.1보안포스처(SecurityPosture)
____6.1.2인시던트검토(IncidentReview)
____6.1.3조사케이스(Investigation)
____6.1.4글래스테이블(GlassTable)
____6.1.5보안인텔리전스(SecurityIntelligence)
____6.1.6보안도메인(SecurityDomain)
____6.1.7워크플로우기반보안위협대응자동화(AdaptiveResponse)
__6.2주요무료앱
____6.2.1SplunkAdd-onfor*nix
____6.2.2SplunkDBConnect
____6.2.3LookupEditor
____6.2.4SplunkDashboardExamples
____6.2.5Timeline
____6.2.6보안솔루션관련앱에대한설치및활용
____6.2.7SplunkMachineLearningToolkit
________쇼케이스예시:수치예측(PredictNumericFields)
________쇼케이스예시:범주분류(PredictCategoricalFields)
________쇼케이스예시:수치형이상치탐지(DetectNumericOutliers)
________쇼케이스예시:범주형이상치탐지(DetectCategoricalOutliers)
________쇼케이스예시:시계열예측(ForecastTimeSeries)<