GPT-5와 ChatGPT로 시작하는 멀티모달 AI 프로그래밍 실전 입문 (OpenAI API부터 멀티모달, AI 에이전트, 파인튜닝까지 한권으로 끝내기)

후루카와 히데카즈

1999년, 《JAVA PRESS》(기술평론사)에서 휴대폰 앱 개발 방법에 대한 연재를 시작했다. 2001년, 주식회사 DWANGO에서 Java 탑재 휴대폰 503i의 출시 타이틀인 ‘사무라이 로마네스크’ 개발에 참여했다. 이후 새로운 단말기의 신기능을 활용한 앱을 만들면서 기술 서적을 계속 집필하여 25년간 약 50권을 출간했다. 현재는 주식회사 젤펨(Zelpm inc.)에서 사람과 AI의 공생 환경 실현을 목표로 인공지능 연구 개발에 힘쓰고 있다.
주요 저서로는 《제미나이 인공지능 프로그래밍》(길벗), 《GPT-4, ChatGPT, 라마인덱스, 랭체인을 활용한 인공지능 프로그래밍》(위키북스), 《BERT/GPT-3/DALL-E 자연어 처리·이미지 처리·음성 처리 인공지능 프로그래밍 실전 입문》 《Unity로 시작하는 ROS·인공지능 로봇 프로그래밍 실전 입문》 《알파제로를 분석하며 배우는 인공지능》(제이펍), 《Unity로 시작하는 머신러닝·강화학습 Unity ML-Agents 실전 게임 프로그래밍 v2.2 대응판》 《OpenAI Gym/Baselines 딥러닝·강화학습 인공지능 프로그래밍 실전 입문》(본디지털) 등이 있다.
공저로는 《Unity 게임 프로그래밍 바이블》 《Unity 게임 프로그래밍 바이블 2nd Generation》(본디지털)이 있다.

▣ 01장: GPT-5와 ChatGPT의 개요
1-1 GPT-5와 ChatGPT의 개요
__ChatGPT의 개요
__ChatGPT의 작동 원리
__GPT-5의 개요
__OpenAI API의 개요
__ChatGPT의 이용 요금
__인공지능과 머신러닝과 딥러닝의 개요
1-2 인공지능과 머신러닝과 딥러닝
__뉴런과 신경망
__모델 생성과 학습과 추론
__자연어 처리 딥러닝 모델의 진화
1-3 자연어 처리 딥러닝 모델
__이미지 생성 딥러닝 모델
__음성/음악 생성 딥러닝 모델

▣ 02장: ChatGPT 사용법
2-1 ChatGPT 사용법
__ChatGPT의 화면 구성
__ChatGPT의 기본 기능
__ChatGPT의 주요 활용 사례
__ChatGPT의 도구 그룹
__음성 입력과 음성 모드
__임시 채팅
__대화 내용을 학습시키지 않는 설정
2-2 ChatGPT Agent 사용법
__ChatGPT Agent란
__ChatGPT Agent의 사용 제한
__ChatGPT Agent의 주요 용도
__ChatGPT Agent의 이용 절차
__ChatGPT Agent의 커넥터
__안전성 및 프라이버시 대책
2-3 Codex 사용법
__Codex란
__Codex의 사용 제한
__Codex의 설정
__Codex의 실행
__Codex의 작업 예
__고급 설정
__프롬프트 힌트
2-4 Sora 사용법
__Sora란
__Sora의 사용 제한
__Sora에 의한 동영상 생성
__Storyboard에 의한 동영상 생성
2-5 GPT 사용법
__GPT란
__GPT 사용법
__GPT 만드는 법
2-6 Playground 사용법
__Playground 시작하기
__OpenAI API의 이용 요금
__Playground의 화면 구성
__Chat
__Images
__Audio
__Assistants
__Dashboard
2-7 gpt-oss 사용법
__gpt-oss 개요
__gpt-oss 시험해 보기

▣ 03장: 파이썬 개발 환경 준비
3-1 파이썬 개요
__파이썬이란
3-2 구글 코랩 준비
__구글 코랩이란
__구글 코랩 시작하기
__파이썬 스크립트 실행
__파이썬 패키지 설치
__텍스트 추가
__구글 코랩의 툴바
__구글 코랩 메뉴
__GPU 사용
__구글 드라이브 마운트
__구글 코랩의 제한과 대책
__12시간 규칙 대책
__GPU 사용 제한 대책
__데이터 영구 저장
__할당된 GPU 확인
__구글 코랩 플랜
__플랜 업그레이드 혜택
3-3 로컬 머신의 파이썬 환경 준비
__윈도우에 파이썬 개발 환경 설치
__macOS에 파이썬 개발 환경 설치
3-4 파이썬 문법
__문자열 출력
__변수와 연산자
__문자열
__리스트
__딕셔너리
__튜플
__제어 구문
__함수와 람다 식
__클래스
__패키지 임포트와 컴포넌트 직접 호출

▣ 04장: OpenAI API
4-1 텍스트 생성
__텍스트 생성(Text Generation)이란
__텍스트 생성 모델의 입출력
__텍스트 생성 모델 이용 요금
__OpenAI API 키 발급
__OpenAI API 사전 준비
__텍스트 생성 실행
__텍스트 생성의 주요 태스크
__스트리밍
__대화 상태 관리
__구조화 출력
__프롬프트 캐시
4-2 Reasoning
__Reasoning이란
__GPT-5의 작동 메커니즘
__Reasoning 모델의 입출력
__OpenAI API 사전 준비
__Reasoning 실행
__Reasoning Effort
__Reasoning Summary
__Verbosity
__Reasoning 모델 프롬프팅 모범 사례
__Reasoning의 주요 태스크
4-3 이미지 인식
__이미지 인식이란
__이미지 인식 모델의 입출력
__이미지 인식 모델 이용 요금
__OpenAI API 사전 준비
__이미지에 대한 질문 응답: 이미지 URL
__이미지에 대한 질문 응답: Base64
__이미지 인식의 제한 사항
4-4 이미지 생성
__이미지 생성(Image Generation)이란
__이미지 생성 모델의 입출력
__이미지 생성 모델 이용 요금
__API Organization Verification
__OpenAI API 사전 준비
__텍스트로부터 이미지 생성
__이미지 출력 사용자 정의
__참조 이미지를 사용한 이미지 편집
__마스크를 사용한 이미지 편집
4-5 음성 합성
__음성 합성이란
__음성 합성 모델의 입출력
__음성 합성 모델 이용 요금
__OpenAI API 사전 준비
__음성 합성 실행
__지시에 의한 출력 스타일 변경
__실시간 오디오 스트리밍
4-6 음성 인식
__음성 인식(Speech to Text)이란
__음성 인식 모델의 입출력
__음성 인식 모델 이용 요금
__OpenAI API 사전 준비
__음성 인식 실행
__프롬프트에 의한 품질 향상
4-7 임베딩
__임베딩이란
__임베딩 모델의 입출력
__임베딩 모델 이용 요금
__OpenAI API 사전 준비
__임베딩 실행
__최근접 이웃 탐색
4-8 모더레이션
__모더레이션이란
__모더레이션 모델의 입출력
__모더레이션 모델 이용 요금
__OpenAI API 사전 준비
__모더레이션 실행

▣ 05장: 내장 도구
5-1 Web search
__내장 도구의 개요
__Web search의 개요
__Web search의 이용 요금
__OpenAI API 사전 준비
__Web search의 실행
__인용 출처 확인
5-2 File search
__File search의 개요
__File search의 이용 요금
__OpenAI API 사전 준비
__벡터 스토어의 생성
__File search의 실행
__인용 출처 확인
5-3 Computer use
__Computer use 개요
__Computer use 이용 요금
__Computer use 실행
__코드 해설
5-4 Image generation
__Image generation 개요
__Image generation의 이용 요금
__OpenAI API 사전 준비
__이미지 생성의 실행
__멀티 턴 이미지 생성 실행
__수정 프롬프트 확인
__스트리밍
5-5 Code Interpreter
__Code Interpreter 개요
__컨테이너에 의한 샌드박스 환경
__Code Interpreter 이용 요금
__OpenAI API 사전 준비
__Code Interpreter의 실행
__Code Interpreter의 파일 조작
__Code Interpreter의 지원 파일
5-6 MCP Tool
__MCP Tool의 개요
__MCP Tool의 이용 요금
__OpenAI API 사전 준비
__MCP Tool의 실행
__도구의 확인
__도구의 필터링
__인가
__인증
5-7 Function Calling
__Function Calling의 개요
__Function Calling의 이용 요금
__OpenAI API 사전 준비
__Function Calling의 실행
__외부 함수의 정의
__모범 사례

▣ 06장: Realtime API
6-1 Realtime API 개요
__Realtime API란
__Realtime 모델 이용 요금
__OpenAI Realtime Console 실행
__OpenAI Realtime Console 코드 해설
6-2 실시간 대화
__실시간 대화 개요
__셋업
__실시간 대화 구현
6-3 실시간 전사
__실시간 전사 개요
__셋업
__실시간 전사 구현

▣ 07장: Agents SDK
7-1 Agents SDK의 개요
__Agents SDK란
__셋업
__에이전트 실행
__핸드오프 실행
__가드레일 실행
7-2 고객 서비스 구현
__고객 서비스 구현의 개요
__셋업
__고객 서비스의 구현
7-3 리서치 봇 구현
__리서치 봇 구현 개요
__셋업
__리서치 봇 구현

▣ 08장: 파인튜닝
8-1 파인튜닝 개요
__파인튜닝이란
__파인튜닝 기법
__파인튜닝 절차
__파인튜닝 이용 요금
8-2 지도 파인튜닝
__지도 파인튜닝 개요
__학습 데이터 형식
__학습 데이터 준비
__파인튜닝 실행
__모델의 실행
__파인튜닝 모델의 조정
__비전 파인튜닝
8-3