AI 허브 오픈 API'aihubshell' 이용안내
AI 허브에서 제공하고 있는 인공지능 학습용 데이터를 API를 통해 다운로드 받을 수 있습니다.
Linux 등 다양한 개발환경에서 데이터 다운로더인, aihubshell을 제공합니다.
• AI 허브 Shell 이용안내
aihubshell 가이드서버에서 aihubshell을 사용하여 AI 허브의 데이터를 다운로드 받을 수 있습니다.
aihubshell을 이용 시 AI허브의 계정정보를 입력하여 사용할 수 있습니다.
aihubshell은 grep명령어를 함께 사용하여 원하는 정보를 확인 할 수 있습니다.
다운로드된 파일은 병합 후 기존 디렉토리 구조로 압축해제하여 제공됩니다.
다운로드된 파일을 압축해제하기 위해 다운로드 받는 데이터의 2~3배 이상의 용량을 확보하시길 바랍니다.
aihubshell -help 명령어를 사용하시면 상세정보를 제공 합니다.
자세한 이용방법은 아래의 명령어 및 옵션 상세정보, 활용 안내를 참고하세요.
aihubshell 프로그램은 데이터셋 다운로드 승인이 완료되어야 다운로드가 가능합니다. 데이터셋 상세페이지에서 다운로드 버튼 클릭 후 승인 여부를 확인해주세요.
• aihubshell 명령어 및 옵션 상세정보
| 명령어 | 옵션 | 내용 |
|---|---|---|
| - aihubid | {사용자계정} |
https://aihub.or.kr 에서 회원가입 후 이용하실 수 있습니다. [mode d 를 사용할 시 입력 필수] 안내 : 입력된 aihubid는 https://aihub.or.kr에서 사용하는 ID입니다. |
| -aihubpw | {사용자비밀번호} |
https://aihub.or.kr 에서 회원가입 후 이용하실 수 있습니다. [mode d 를 사용할 시 입력 필수] 안내 : 입력된 aihubpw는 https://aihub.or.kr에서 사용하는 비밀번호 입니다. |
| -mode | l |
[list 모드 안내] datasetkey 가 없는 경우 개방된 데이터셋의 제목과 key값을 제공합니다. datasetkey 를 입력한 경우 해당 데이터셋의 파일 목록을 아래와 같이 제공합니다. 데이터셋의 파일목록, 용량, filekey를 제공합니다. 공지사항이 있을 경우 안내합니다. |
| d |
[download 모드 안내] [필수 이용조건] -aihubid, -aihubpw 입력 [필수 파라미터] datasetkey filekey 입력한 경우 해당 파일을 다운로드 합니다. {111, 222, 333} 다중 파일 다운로드 지원 filekey 옵션 누락시 전체 파일을 다운로드 합니다. [필수 사전 사항] https://aihub.or.kr 에서 데이터 승인신청 및 승인완료 |
|
| -datasetkey | {datasetkey} |
https://aihub.or.kr 에서 확인 할 수 있습니다. -mode l 에서 datasetkey 번호를 확인 할 수 있습니다. |
| -filekey | {filekey} |
https://aihub.or.kr 에서 확인 할 수 있습니다. -mode l 에서 -datasetkey를 입력하면 filekey 번호를 확인 할 수 있습니다. |
• aihubshell 다운로드 및 환경준비
aihubshell 다운로드
aihubshell은 aihub의 학습용 데이터를 cli 환경에서 다운로드할 수 있는 도구 입니다.
aihubshell은 cli 환경에서 curl 명령어로 다운로드 받을 수 있습니다.
aihub@DESKTOP :~$ curl -o "aihubshell" https://api.aihub.or.kr/api/aihubshell.do
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 7704 100 7704 0 0 218k 0 --:--:-- --:--:-- --:--:-- 221k
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
-rw-r--r-- 1 aihub aihub 7704 Sep 7 00:00 aihubshell
aihubshell 실행권한 부여
aihubshell은 실행권한을 반드시 부여하셔야 활용이 가능합니다.
aihub@DESKTOP :~$ chmod +x aihubshell
aihub@DESKTOP :~$ ls -al
-rwxr-xr-x 1 aihub aihub 7704 Sep 7 00:00 aihubshell*
전역 실행 bin 등록
aihubshell을 /usr/bin/에 복사하여 전역명령어로 등록합니다.
전역명령어로 등록하시면 어느 위치에서든 aihubshell 명령어를 사용하실 수 있습니다.
aihub@DESKTOP :~$ sudo cp aihubshell /usr/bin
[sudo] password for aihub:
aihub@DESKTOP :~$
aihub@DESKTOP :~$ cd /usr/bin/
aihub@DESKTOP :/usr/bin/$ ls -al | grep aihubshell
-rwxr-xr-x 1 aihub aihub 7704 Sep 7 00:00 aihubshell
• aihubshell 명령어 활용
메뉴얼 조회
aihubshell 명령어 및 옵션 상세 정보를 조회 합니다.
aihub@DESKTOP :~$ aihubshell -help
aihubshell에 대한 명령어 및 옵션 상세
ENGL_CMGG KOREAN_CMGG DETAIL_CN
-aihubid {사용자계정} | https://aihub.or.kr 에서 회원가입 후 이용하실 수 있습니다.
.......... 생 략 .............
데이터셋 정보 조회 [list 모드]
데이터셋 정보를 조회하며 형식은 [datasetkey, 데이터명] 입니다.
grep 명령어를 사용하여 필터링 할 수 있습니다.
aihub@DESKTOP :~$ aihubshell -mode l
==================DataSet 목록==================
50, AR/VR 화면정확도 향상을 위한 플렌옵틱 카메라 이미지
51, K-Fashion 이미지
57, 멀티모달
59, 반려동물 구분을 위한 동물 영상
.......... 생 략 .............
aihub@DESKTOP :~$
aihub@DESKTOP :~$ aihubshell -mode l | grep 이미지
50, AR/VR 화면정확도 향상을 위한 플렌옵틱 카메라 이미지
51, K-Fashion 이미지
63, 상표 이미지 및 텍스트
.......... 생 략 .............
aihub@DESKTOP :~$
aihub@DESKTOP :~$ aihubshell -mode l | grep 가리비
593, 지능형 스마트양식장 통합 데이터(가리비)
데이터셋 파일 정보 조회
datasetkey 옵션을 추가하여 원하는 파일 정보를 조회 합니다.
파일 정보의 형식은 폴더 구조 및 [파일명 | 용량 | filekey]입니다.
aihub@DESKTOP :~$ aihubshell -mode l -datasetkey 593
==========================================
Fetching file tree structure...
The contents are encoded in UTF-8 including Korean characters.
If the following contents are not output normally,
Please modify the character information of the OS.
==========================================
└─111.지능형 스마트양식장 통합 데이터(가리비)
├─01.데이터
│ ├─1.Training
│ │ ├─라벨링데이터
│ │ │ └─TL1.zip | 108 MB | 51937
│ │ └─원천데이터
│ │ └─TS1.zip | 11 GB | 51938
.......... 생 략 .............
데이터셋 다운로드 [download 모드]
[download 모드]에서 datasetkey를 입력하여 AI학습용 데이터 전체를 다운로드 합니다.
명령어를 실행한 장소에서 다운로드가 진행 됩니다.
다운로드가 완료되면 자동으로 아카이빙파일 병합, 압축해제, 압축파일 제거 순으로 작업이 진행 됩니다.
위의 사항을 고려하여 다운로드 받을 데이터의 2~3배 이상의 용량을 확보하시길 바랍니다.
-aihubid, -aihubpw에 특수문자가 포함되어 있는 경우 아랴의 예시와 같이 '(홑따움표)로 감싸주어 처리 하시길 바랍니다.
aihub@DESKTOP :~$ cd temp/
aihub@DESKTOP :~/temp$ aihubshell -mode d -datasetkey 593 -aihubid 'aihub@aihub.or.kr' -aihubpw '!@#$%ABCDabcd1234'
Authentication successful.
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 14.1G 0 14.1G 0 0 52.5M 0 --:--:-- 0:04:35 --:--:-- 56.9M
Request successful with HTTP status 200.
Download successful.
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part0
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part1073741824
.......... 생 략 .............
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/원천데이터/TS1.zip.part11811160064
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터/TL1.zip.part0
잠시 기다려 주세요 병합중 입니다.
Merging TL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터
Merging TS1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/원천데이터
Merging VL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/라벨링데이터
Merging VS1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터
병합이 완료 되었습니다.
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 .
drwxr-x--- 1 aihub aihub 4096 Sep 7 00:00 ..
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 '111.지능형 스마트양식장 통합 데이터(가리비)'
선택다운로드
[download 모드]에서 filekey 옵션을 추가하면 해당하는 파일을 다운로드 합니다.
filekey는 ,(콤마)로 구분해서 멀티 다운로드 기능을 제공합니다.
aihub@DESKTOP :~/temp$ aihubshell -mode d -datasetkey 593 -filekey 51937 -aihubid 'aihub@aihub.or.kr' -aihubpw '!@#$%ABCDabcd1234'
Authentication successful.
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 107M 0 107M 0 0 43.2M 0 --:--:-- 0:00:02 --:--:-- 60.1M
Request successful with HTTP status 200.
Download successful.
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터/TL1.zip.part0
잠시 기다려 주세요 병합중 입니다.
Merging TL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/1.Training/라벨링데이터
병합이 완료 되었습니다.
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 .
drwxr-x--- 1 aihub aihub 4096 Sep 7 00:00 ..
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 '111.지능형 스마트양식장 통합 데이터(가리비)'
aihub@DESKTOP :~$
aihub@DESKTOP :~$
aihub@DESKTOP :~/temp$ aihubshell -mode d -datasetkey 593 -filekey 51939,51940 -aihubid 'aihub@aihub.or.kr' -aihubpw '!@#$%ABCDabcd1234'
Authentication successful.
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 1449M 0 1449M 0 0 46.9M 0 --:--:-- 0:00:30 --:--:-- 60.1M
Request successful with HTTP status 200.
Download successful.
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part0
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터/VS1.zip.part1073741824
111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/라벨링데이터/VL1.zip.part0
잠시 기다려 주세요 병합중 입니다.
Merging VL1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/라벨링데이터
Merging VS1.zip in ./111.지능형 스마트양식장 통합 데이터(가리비)/01.데이터/2.Validation/원천데이터
병합이 완료 되었습니다.
aihub@DESKTOP :~$
aihub@DESKTOP :~$ ls -al
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 .
drwxr-x--- 1 aihub aihub 4096 Sep 7 00:00 ..
drwxr-xr-x 1 aihub aihub 4096 Sep 7 00:00 '111.지능형 스마트양식장 통합 데이터(가리비)'