DuckDB 인 액션 (SQL만 알면 되는 로컬 데이터 분석, DuckDB로 가볍게 시작한다)

마크니드햄,마이클헝거,마이클시몬스

저자:마크니드햄
마크니드햄은클릭하우스(ClickHouse)의제품마케팅엔지니어로,숏폼과블로그를통해실시간데이터웨어하우스를알리고개발자경험을개선하고있습니다.이전에는ApachePinot을활용한실시간분석(ApachePinot)및소프트웨어개발에15년이상종사하며관련경험을자신의블로그(markhneedham.com)에공유하고있습니다.또한데이터와AI관련교육영상을유튜브를통해활발히제공하고있습니다.
유튜브:youtube.com/@markhneedham
X:@markhneedham

저자:마이클헝거
마이클헝거는35년이상소프트웨어개발분야에서활동했고,최근14년간Neo4j에서제품혁신과개발자전략을이끌고있습니다.오라클의자바챔피언(JavaChampion)으로선정된바있으며,자바및그래프데이터베이스등오픈소스프로젝트에기여하고있습니다.또한《자바스펙트럼》잡지에12년이상기고자로참여했으며다양한콘퍼런스강연과조직에도활발히기여하고있습니다.자세한정보는그의블로그에서확인할수있습니다.
블로그:jexp.de

저자:마이클시몬스
마이클시몬스20년넘게개발자로일해온자바챔피언이자Neo4j의선임소프트웨어엔지니어입니다.독일의유틸리티산업에서SQL로대형전력망의에너지사용량분석및예측을담당했고,자바와DB주제로다수의콘퍼런스에서연사로활동했습니다.베스트셀러《스프링부트2》의저자이자소프트웨어아키텍처문서화에관한책《arc42byExample》의공동저자이기도합니다.개인적으로DuckDB를활용하여자전거기록을분석하고관리하는열정적인데이터전문가입니다.여가시간에는마라톤에도전하며꾸준히운동하는개발자이며마라톤을준비하지않을때는DuckDB로자신의자전거기록을정리하고있습니다.
블로그:info.michael-simons.eu
자전거기록사이트:biking.michael-simons.eu/history

역자:김의윤
삼성전자에서소프트웨어엔지니어로재직중이며반도체설계엔지니어들의생산성을극대화하기위한다양한인하우스소프트웨어솔루션들을개발하고있습니다.'스마트한도구개발이곧조직역량강화로이어진다'라는신념아래폭증하는반도체데이터를효율적으로다루기위한방안을지속적으로모색하고있습니다.또한파이썬전문가로서축적해온지식과경험을사내에활발히공유하면서동료들과함께성장해나가고있습니다.

1장DuckDB소개
__1.1DuckDB란무엇인가요?
__1.2왜DuckDB에주목해야할까요?
__1.3언제DuckDB를사용하는게좋을까요?
__1.4언제DuckDB를사용하지말아야할까요?
__1.5사용사례
__1.6DuckDB는어디에적합할까요?
__1.7데이터처리흐름단계
__요약

2장DuckDB시작하기
__2.1지원되는환경
__2.2DuckDBCLI설치하기
__2.3DuckDBCLI를사용하는방법
__2.4DuckDB의확장시스템
__2.5CSV파일을DuckDBCLI로분석하기
__요약

3장SQL쿼리실행하기
__3.1간단한SQL복습
__3.2에너지생산분석하기
__3.3데이터정의언어쿼리
__3.4데이터조작언어쿼리
__3.5DuckDB전용SQL확장
__요약

4장데이터의고급집계와분석
__4.1데이터수집중에사전집계하기
__4.2데이터요약하기
__4.3서브쿼리
__4.4그룹화집합
__4.5윈도함수들
__4.6WHERE절외부에서조건과필터링처리하기
__4.7PIVOT문
__4.8ASOFJOIN사용하기
__4.9테이블함수사용하기
__4.10LATERAL조인사용하기
__요약

5장지속성없이데이터탐색하기
__5.1왜데이터를따로보존하지않고데이터베이스를사용할까요?
__5.2파일유형과스키마추론하기
__5.3중첩된JSON쪼개기
__5.4CSV를Parquet로변환하기
__5.5Parquet파일분석하고쿼리하기
__5.6SQLite와다른데이터베이스쿼리하기
__5.7엑셀파일로작업하기
__요약

6장파이썬생태계와통합하기
__6.1시작하기
__6.2관계형API사용하기
__6.3pandas데이터프레임쿼리하기
__6.4사용자정의함수
__6.5ApacheArrow및Polars와의상호운용성
__요약

7장DuckDB를클라우드에서MotherDuck과함께사용하기
__7.1MotherDuck소개
__7.2MotherDuck으로시작하기
__7.3MotherDuck최대한활용하기
__요약

8장DuckDB로데이터파이프라인구축하기
__8.1데이터파이프라인과DuckDB의역할
__8.2dlt를사용한데이터수집
__8.3dbt를사용한데이터구조변환과모델링
__8.4Dagster로데이터파이프라인을오케스트레이션하기
__요약

9장데이터앱구축및배포
__9.1Streamlit으로맞춤형데이터앱구축하기
__9.2ApacheSuperset으로BI대시보드구축하기
__요약

10장대규모데이터세트에대한성능고려사항
__10.1스택오버플로전체데이터베이스불러오기와쿼리하기
__10.2쿼리계획및실행
__10.3스택오버플로데이터를Parquet로내보내기
__10.4Parquet파일에서뉴욕시택시데이터세트탐색하기
__요약

11장결론
__11.1이책에서배운내용
__11.2DuckDB의향후안정버전들
__11.3다루지못한내용
__11.4더배울수있는곳은?
__11.5DuckDB와함께하는데이터엔지니어링의미래는어떨까요?

부록ADuckDB를위한클라이언트API
__A.1공식지원언어
__A.2동시성에관한간략한설명
__A.3사용사례
__A.4대용량데이터가져오기
__A.5JDBC드라이버를통해자바에서DuckDB사용하기
__A.6추가연결옵션들
__요약

부록BDuckDBUI
__B.1DuckDBUI소개
__B.2이책의예제를DuckDBUI로실행하기
__요약

DuckDB를먼저사용한사람들의반응
“DuckDB를처음써본날,저는분석환경을바꿨습니다.”
“DuckDB는설치도필요없고,그냥실행하면된다.진짜로.”
“SQL은아는데Spark는너무크다싶을때,딱DuckDB였습니다.”
“20,000,000개로우를0.126초만에처리했다.처음엔의심했다.”

누구를위한책인가요?
*클라우드비용과설정에지친데이터엔지니어
*pandas로는데이터가벅찬데이터과학자
*SQL은쓰지만Spark는부담스러운개발자·실무자
*프라이버시중심조직에서분석해야하는실무자

이책의차별점
CLI와파이썬으로배우는실습중심구성
JSON,CSV,Parquet파일을직접쿼리하는현장예제
DuckDB의SQL확장기능완전해설
MotherDuck클라우드버전까지포함한활용법
전체예제GitHub제공,최신로컬UI설명수록
DuckDBv1.2.1최신버전반영

“우리는설명서를쓰지않았습니다.
“동료에게설명하듯썼습니다.”
_저자서문중

데이터분석이힘들어지는순간,DuckDB가필요하다
이제DuckDB로완전히새롭게경험하세요!
노트북하나로기가바이트단위데이터를1초만에분석할수있다면믿을수있을까?DuckDB라면가능하다.CSV,JSON,Parquet등다양한파일형식,심지어압축된파일까지단한줄의SQL만으로바로읽고분석할수있다.복잡한설치과정도,데이터웨어하우스구축도필요없다.그냥데이터와노트북만있으면충분하다.

클라우드비용과복잡한인프라,이제는안녕
DuckDB로가볍게,더빠르게!
데이터웨어하우스구축이나클라우드서비스이용에드는비용과관리의부담,DuckDB앞에서는고민할필요가없다.CSV,JSON,Parquet뿐아니라DeltaLake,Iceberg,S3,SQLite,MySQL,PostgreSQL까지어떤데이터든별도변환없이즉시분석할수있다.이제당신의데이터분석이놀랍도록간단해진다.

배우지않아도이미할줄아는데이터베이스
DuckDB는지금바로쓸수있다
새로운데이터베이스를쓰려면복잡한문서를읽고수많은튜토리얼을봐야할까?DuckDB는다르다.이미알고있는SQL문법그대로사용할수있고SQL만으로부족한다면파이썬과의완벽한통합으로자유롭게확장할수도있다.로컬에서더큰성능이필요하다면DuckDB의클라우드버전인MotherDuck으로언제든지쉽게확장가능하다.

이책에서다루는내용
CSV,JSON,Parquet형식의데이터를로컬또는원격에서읽고처리하는방법
집계,공통테이블표현식(CTE),윈도함수,조인,피벗테이블등다양한SQL기능을활용한분석용쿼리작성
파이썬에서DuckDB를사용해SQL과관계형API를모두활용하고,데이터프레임과상호작용하는방법
대규모데이터세트를수집,준비,쿼리하는실전예제
클라우드환경에서데이터파이프라인을구축하고활용하는전략
사용자정의함수와확장기능으로DuckDB를커스터마이징하는방법
Streamlit으로맞춤형데이터앱구축하기
ApacheSuperset으로BI대시보드구축하기
Polars,pandas,ApacheArrow와의상호운용성