넷플릭스의 클라우드 엔지니어링

정윤진

CHAPTER01넷플릭스
1.1|넷플릭스소개
1.2|데브옵스와클라우드
1.3|넷플릭스,아마존이다른이유
1.4|넷플릭스에대하여

CHAPTER02클라우드가가져온변화
2.1|모바일의발전이가져온변화
2.2|다양한기술의조합
2.3|넷플릭스가만든서비스구조
2.4|디지털트랜스포메이션의핵심
2.5|넷플릭스가장애를취급하는방법
2.6|모든것은고장날수있다

CHAPTER03넷플릭스의도구들
3.1|클라우드사용의핵심
3.2|아마존웹서비스기본
3.3|플랫폼도구
3.4|트래픽의분리,엣지서비스
3.5|관측성확보를위한도구
3.6|숨겨진마이크로서비스,고가용캐시
3.7|장애에대한적극적대응
3.8|넷플릭스의컨테이너사용
3.9|넷플릭스도구정리

CHAPTER04넷플릭스를모델로한디지털트랜스포메이션
4.1|넷플릭스의자유와책임
4.2|아마존
4.4|조직의모습과팀의구성
4.5|신규/기존조직에대한훈련
4.6|새로운도구와환경들
4.7|재사용가능한,풀사이클개발환경
4.8|테스트
4.9|소프트웨어와데이터기술내재화

CHAPTER05마치며:제로다운타임을향해

우리가사는지금의시대는사람들이2000년대초반의PC보다훨씬좋은성능의컴퓨팅을,매일매일다양한모바일기계들을통해소비하며살아가고있다.모든이의주머니속에슈퍼컴퓨터가있는셈이다.사람들은이장치를통해대화하고,거래하고,음악이나영상을소비하며삶의기쁨과슬픔,그리고편의를누리고있다.이다양한삶의희로애락과편의가뭉쳐져있는각개인의모바일장치를통해사업을진행하는것이이제매우일반적이다.무슨사업을생각하더라도IT를떼고생각할수없다는말이다.이것은분명90년대말,2000년대와는확연히다른시대적상황이다.사업의생명주기에이사업을구현한소프트웨어가함께한다.소프트웨어의생명주기가곧사업의생명주기다.따라서소프트웨어는사업을충실히반영해야할필요가있으며이것을잘하는기업과잘하지못하는기업의격차는전례없이크다.
FAANG으로압축되는페이스북(Facebook),아마존(Amazon),애플(Apple),넷플릭스(Netflix),구글(Google)과같은회사들은각자의분야에서2위사업자들과굉장한격차를보이며,도무지따라잡을수있을것같지않다.이런회사들뿐만아니라인스타그램이나에어비엔비,우버,리프트,그랩,틱톡등신규로사업을시작한업체들도폭발적으로인기를얻어역시해당부분의가장강력한사업자로이름을날리고있기도하다.이들의공통점은바로‘기술회사’라는점이다.그냥기술이아니라소프트웨어와데이터를매우잘다루는회사라는것이다.이들은먼저사업의목표를선명하게하고,이를고객의요구에맞추어점진적으로개선하되서비스의중단이없으며,서비스를통해발생한피드백을통해고객스스로도몰랐던요구를만들어제공하는기술을가진회사들이다.운이좋았던것인지나빴던것인지저자는다양한회사의초창기에엔지니어로서참여했다.이를테면카페24로알려진심플렉스인터넷이나국산원격제어애플리케이션으로잘알려진알서포트,아마존웹서비스와피보탈에이르기까지매우작은규모에서시작해결국상장에이르렀던회사들의초반을함께해왔다.중반이후더큰규모가되기까지함께하지는못했지만,다녔던회사들이상장이라는거대한성공을거둔다는것은분명행복한일이다.이들회사에서엔지니어로서,때로는시스템개발자로,때로는아키텍트로,때로는소프트웨어엔지니어로근무하는동안세상은데이터센터에서클라우드로이전했고대부분사업의핵심역량은IT로전이되었다.
2010년이전에어렵게해결했던문제들은2010년이후에고민할필요도없는것들이되었다.
오늘날많은문제가그러하다.“undifferentiatedheavylifting”이라는말은사업이기술에반영될때더욱가치를발한다.사실우리는이미누군가가이루어놓은것들을사용해더나은것을만들수있는세상에살고있다.예를들어리눅스커널이나컴퓨터에그저연결하기만하면동작하는수많은하드웨어,라이브러리,프레임워크,언어등은기술의선구자들에의해이미존재하고만들어져있어가져다사용하기만하면되는것들이다.아파치웹서버가없었다면,아니지금당장대다수의서버시스템에서glibc가없다면어떤일이벌어질것인지는상상하기조차어렵다.
더쉬운예로만약자바(JAVA)라는언어가없는상태에서신규로웹서비스를만든다면어떨까.CGI부터구현해야할지도모르겠다.소프트웨어엔지니어링분야에서존재하는기술들을사용해서새로운서비스를만드는것은매우익숙한것이라고볼수있다.이책에서이런익숙한부분을‘클라우드’라는환경을통해소개하고싶었다.즉,누군가뛰어나게잘하고있는것들을가져다가,또는그콘셉트를차용해서바닥부터새로만드는것이아니라빠르고안전하게사업을반영하는서비스를만들어내는방법을소개하고자했다.다년간의방황끝에이책에주로넷플릭스의기술에대한이야기,그리고아마존과피보탈에서의경험을바탕으로한이야기를싣는것이좋겠다는생각이들었다.따라서책에는이회사들에대한이야기가저자의주관적견해와함께소개된다.소개되는내용들에는아마익숙한것들도있을것이고아닌것들도있을것이다.
2015년부터마이크로서비스와스프링부트,스프링클라우드에대해소개하고싶었지만지금에는더좋은설명으로무장한책들이시장에많이소개되고있다.
따라서이책의활용방법은이런기술들이클라우드네이티브라불리는것에사용되고있고그것을어떻게하면우리서비스에반영할수있을것인가에대한큰그림을얻는데있다.이는비단기술에관한것뿐아니라조직과문화에대한부분이함께필요한것이므로아마종전의많은조직에서그대로수용하기에는어려움이있을지도모르겠다.
아마존의최고경영자인제프베조스는어느인터뷰에서이런말을했다.자신은복권에당첨된사람이고,그복권에당첨될수있었던것은인터넷이라는기술이이미세상에있었기때문이라고했다.이미존재하는생태계의기술을사용해사업을진행한것이본인에게커다란성공을가져다주었다고한다.그래서그는그렇게얻은부를다시우주에투자해서인터넷과같은생태계를만들고자한단다.현재누구나사업을시작하고자한다면인터넷을통해그리고이미만들어진수많은오픈소스나상용도구들을통해낮은진입장벽으로시작할수있었던것처럼,다음세대들이누구나우주를대상으로낮은비용을통해사업을진행하게하는것이꿈이며,그런세상이도래하는것을본인생애안에서보고싶다고한다.이런사상이아마존웹서비스탄생의배경이라고도볼수있겠다.왜많은사람들은사업을시작할때높은비용으로서버를구매하고,네트워크를구매하고,소프트웨어를구매해야하는가.이에대한대답이아마존웹서비스였으며,이는이제수많은사업자에게없어서는안될도구가되었다.
이처럼우리는누군가만들어놓은것들을활용하고,해결하기어려운문제들에대한힌트를얻는방법을생각해야할필요가있다.새로운것을실험한결과이어진실패를통한배움은조직의엔지니어링을건강하게만들것이다.따라서이런종류의실패는적극적으로권장해야할필요가있으며,시스템적으로다시발생하지않도록하는것이바로경험일것이다.
모든내용을소개할수는없어경험상중요하다고생각되는내용을우선으로책에담고자했다.이책은정독해서하나씩따라해보기같은책이라기보다는,가볍게읽어내려가며현재개발하고있는,또는운용하고있는서비스에대한힌트를얻는용도로사용하면좋겠다.
마지막으로이분야에종사하는누구라도오픈소스생태계를건너뛰고많은사용자의모바일에서동작하는사업을구현할수없다는점을강조하고싶다.오늘한번이라도인터넷에접근했다면여러분은누군가가시간과노력을들여만든코드,그리고세상을널리이롭게하기위해기꺼이제공된코드의혜택을받고있음을언급하고싶다.따라서매번비용을지불하고사용할수는없겠지만,오픈소스가곧공짜라는생각을가지는대신오픈소스를통해다시세상에쓸모있는무언가를만들수있다는데에조금이라도감사한마음을가지면어떨까