AI, 빅데이터 활용이 쉬워지는 142가지 데이터셋

반병현

1993년6월30일경북안동시출생.
KAIST바이오및뇌공학과에서학사학위및석사학위(조기졸업)를취득했다.
졸업후상상텃밭의CTO로취임하며본격적으로인공지능기술개발에몰두하려했으나,불과3개월만에입영영장이날아와2018년6월부터2020년4월까지안동노동청에서사회복무요원으로병역의의무를다했다.
복무중업무자동화프로그램을개발하여6개월치업무를30분만에끝냄으로써큰이슈가되었고,청와대와고용노동부를비롯한기관에불려다니며기술자문과강연을제공했다.
이과정에서숨겨왔던컴퓨터실력이발각되는바람에복무기간내내수십대의컴퓨터를고치러불려다녔고,컴퓨터를어려워하는공무원들을위해교육을제공하거나전산업무를대신처리해주기도하며남은군생활을마무리했다.
현재〈상상텃밭〉의CTO로재직중이며,복잡계분석기술과AI기술을접목한독특한농업분야신기술들을발명하고있다.대표저서로는『6개월치업무를하루만에끝내는업무자동화』(생능출판사,2020),『쉬운딥러닝』(생능출판사,2021),『비전공자가업무에서자주물어보는101가지컴퓨터활용팁』(생능출판사,2021)등이있다.

CHAPTER0데이터셋사용안내
SECTION01이책을활용하는방법
SECTION02데이터셋의사용과저작권법

Part1빅데이터포털
Chapter1데이터포털
001.텐서플로데이터셋
002.AIHub
003.공공데이터포털
004.야후(Yahoo!)데이터셋

Part2영상데이터
Chapter2이미지분류(ImageClassification)
005.FGVC-항공기사진
006.MNIST-숫자손글씨
007.FashionMNIST-패션의류
008.Omniglot-알파벳손글씨
009.Quick,Draw!-손그림
010.CIFAR-10-실물오브젝트
011.CIFAR-100-실물오브젝트
012.CUB-200-조류사진
013.SVHN-현실숫자
014.ConflictStimuli-CNN일반화
015.iNaturalist-자연사진
016.So2Sat-인공위성사진
017.SI-SCORE-CNN일반화
018.CO3D-객체다각도촬영

Chapter3탐지및표지(DetectionandSegmentation)
019.COCO-대규모종합영상데이터
020.OpenImageV6-대규모종합영상데이터
021.Sculuptures6K-조각상찾기
022.Oxford-IIITPet-동물사진
023.Penguin-펭귄찾기
024.DAVIS-비디오세그멘테이션

Chapter4의미론적연관성(SemanticCorrespondence)
025.AnimalParts-동물신체부위
026.PF-PASCAL-SemanticFlow
027.SPair-71k-SemanticCorrespondence
028.TTS-SemanticCorrespondence

Chapter5안면인식(HumanFaceRecognition)
029.FairFace-다인종얼굴
030.CelebA-유명인얼굴
031.CelebAMask-HQ-얼굴조작
032.AFLW-얼굴3차원정보
033.LS3D-W-얼굴3차원정보
034.VGG-Face2-얼굴인식
035.CelebrityTogether-얼굴인식
036.CelebrityinPlace-인물과장소동시인식

Chapter6자세인식(HumanPoseEstimation)
037.HandDataset-사람손
038.BuffyPose-특정포즈인식
039.BuffyStickman-자세인식
040.VGGHPE-자세인식
041.SignLanguagePose-수화인식
042.LSP-스포츠포즈
043.MPI-INF-3DHP-자세추론
044.Human3.6M-대규모인체데이터
045.3DPW-3D자세추론

Chapter7자율주행(AutonomousDriving)
046.BDD100K-대규모자율주행데이터
047.KITTI-대규모자율주행데이터
048.Cityscape-길거리세그멘테이션
049.Cityscape3D-탈것인식
050.CULane-도로만인식

Chapter8비디오(Video)
051.VoxConverse-발화자찾기
052.VGG-Sound-Audio-Visual
053.MoCA-은신중인동물찾기
054.CondensedMovie-영화클립
055.SherlockTVSeries-안면인식
056.LAEO-HumanInteraction
057.TVHumanInteraction-HumanInteraction
058.SCV-스타크래프트2플레이영상
059.FakeAVCeleb-딥페이크감지

Chapter9농업영상(AgriculturalImages)
060.Citrus-시트러스
061.DeepWeeds-잡초
062.PlantLeaves-잎사귀
063.PlantVillage-잎사귀
064.PlantaeK-잎사귀
065.iBean-콩잎

Chapter10의료영상(MedicalImages)
066.MimickNet-영상재건
067.CBIS-DDSM-유방암조영
068.CCH-현미경사진
069.BCCD-혈구
070.Malaria-말라리아감염혈액
071.MSD-MedicalImageSegmentation
072.VFP290K-실신환자찾기

Chapter11그외영상데이터(OtherVisualData)
073.SynthText-OCR
074.MJSynth-OCR
075.OxfordBuildings-객체인식
076.S3O4D-다각도랜더링
077.3DShapes-다각도렌더링
078.NYUDepth-깊이추론
079.DMLab-깊이추론

Part3자연어처리데이터
Chapter12영어자연어처리(NLP(EN))
080.WikiBio-위키피디아문서
081.GPT2Output-대규모텍스트
082.SummScreen-대화요약
083.LongSummarization-논문요약
084.PubMedCrawl-논문정보수집
085.DART-시멘틱트리플렛
086.TwitchChat-트위치채팅

CHAPTER13한국어자연어처리(NLP(KR))
087.ParaKQC-질문과명령
088.Chatbot_data-챗봇
089.ClovaCall-음성대화
090.KorQuAD2.0-질의응답
091.Song-NER-개체명인식
092.KMOUNLP-NER-개체명인식
093.Sci-News-Sum-Kr-50-뉴스요약
094.Petitions-청와대국민청원
095.KLUE-한국어이해
096.KorNLU-문장분류및유사성
097.NSMC-네이버영화리뷰
098.ToxicComment-NSMC감정상세화
099.3i4K-발화의도분석
100.KoreanHateSpeech-혐오발언
101.KAISTCorpus-코퍼스데이터셋모음

CHAPTER14질의응답(QuestionAnswering)
102.ARC-지능검사문제
103.ARM-행렬추론
104.AI2ARC-과학시험문제
105.NQ-Open-영어질의응답
106.SQuAD-독해기반질의응답
107.CoQA-대화기반질의응답

CHAPTER15기계번역(MachineTranslation)
108.XQuAD-다국어질의응답
109.MLQA-다국어질의응답
110.TyDi-다국어질의응답
111.FloRes-101-101가지언어번역
112.TedTalks-테드강연
113.KPC-한국어,영어,불어매핑

PART4소리데이터
CHAPTER16음성발화(SpeechandVoices)
114.SpokenDigit-음성MNIST
115.LibriSpeech-대규모음성코퍼스
116.LibriTTS-음성코퍼스
117.LJSpeech-오디오북
118.CommonVoiceCorpus-대규모음성코퍼스
119.CREMA-D-감정인식
120.VoxCeleb2-대규모발화데이터
121.LRW-입술읽기(단어)
122.LRS3-TED-입술읽기(문장)

CHAPTER17음악및소리(MusicandSound)
123.FUSS-소리분해
124.CMM-클래식음악
125.GMD-전자드럼
126.E-GMD-전자드럼
127.NSynth-대규모악보
128.BachDoodle-화음
129.MAESTRO-피아노연주

PART5강화학습데이터
CHAPTER18강화학습(ReinforcementLearningEnvironments)
130.GreenHouse-온실시뮬레이션
131.OpenAIGYM-대규모강화학습환경들
132.D4RL-대규모강화학습환경들

PART6과학기술데이터
CHAPTER19생명과학(Biology)
133.GDC-암유전자포털
134.CTPR-항암약물치료반응
135.KEGG-유전자&물질대사
136.OOD-박테리아유전자
137.COVID-19Open-Data-코로나19

CHAPTER20화학(Chemistry)
138.iEnvCmplx-화학복잡계
139.iPlantNutrient-식물-화학복잡계상호작용
140.OGB-LSC-그래프추론
141.ProteinNet-단백질분자구조
142.GDB-유기물분자구조