데이터셋 창고
모은 데이터셋은 학습에 쓰기 전에 꼭 한 번 확인합니다. 데이터셋 창고 는 이 PC 와 Hugging Face Hub 의 데이터셋을 한 화면에 보여 주는 곳입니다. 여기서 에피소드를 재생해 보며 나쁜 에피소드를 지우고, 여러 데이터셋을 하나로 합치고, Hub 와 데이터셋을 주고받습니다.
학습 목표
- 데이터셋 창고와 데이터 › 편집 이 같은 화면임을 알고, 일마다 필요한 준비(기능 패키지 · 토큰 · 인터넷)를 말할 수 있다.
- 에피소드를 재생하며 영상과 관절 그래프로 나쁜 에피소드를 골라낼 수 있다.
- 에피소드 삭제 · 데이터셋 병합 · Hub 데이터셋 내려받기 · 업로드 · 삭제를 할 수 있다.
- Hub 에 올린 데이터셋을 브라우저의 LeRobot Dataset Visualizer 로 볼 수 있다.
1. 데이터셋 창고 열기
1.1. [앱] 두 입구
| 입구 | 위치 | 이럴 때 |
|---|---|---|
| 데이터셋 창고 | 홈 왼쪽 사이드바 | 로봇 없이 데이터셋만 볼 때 |
| 데이터 › 편집 | 로봇 작업 화면의 데이터 탭 | 수집하다가 바로 확인할 때 |
두 곳은 같은 화면이고 같은 데이터셋을 보여 줍니다. 로봇 작업 화면에서 열어도 그 로봇의 데이터셋만 추리지 않고, 이 PC 의 데이터셋을 모두 보여 줍니다.
1.2. 일마다 필요한 것
| 하려는 일 | 필요한 것 |
|---|---|
| 목록 보기 · 로컬 데이터셋 삭제 | 사이드바 데이터셋 창고 는 기본 구성만으로 됩니다. 데이터 탭은 탭을 열 때부터 아래 두 패키지가 필요합니다 |
| 재생 · 에피소드 삭제 · 병합 · 내려받기 · 업로드 | 로봇 제어 패키지 · 데이터 패키지. 처음 쓸 때 데이터셋 재생·편집 — 추가 설치 창이 뜹니다 (기능 패키지 설치) |
| ☁ HuggingFace Hub 목록 · 내려받기 · 업로드 · Hub 저장소 삭제 | HuggingFace 토큰 (설정 › 일반 › API 키, 설정)과 인터넷 |
2. 데이터셋 선택 화면
데이터셋 창고 첫 화면. 왼쪽 💾 로컬 은 이 PC 의 데이터셋, 오른쪽 ☁ HuggingFace Hub 는 토큰 계정의 데이터셋입니다.
2.1. 💾 로컬
~/.cache/huggingface/lerobot아래<사용자명>/<이름>폴더에 든 데이터셋을 보여 줍니다. 데이터 수집으로 모은 데이터셋과 Hub 에서 내려받은 데이터셋이 모두 여기 있습니다.- 카드에는 이름,
7 에피소드 · 2,343 프레임 · 30fps, 데이터셋을 모은 로봇 타입(lekiwi_client,so_follower등)이 나옵니다. - 최근에 바뀐 데이터셋이 위에 옵니다.
- 하나도 없으면
로컬 데이터셋이 없습니다.와 경로가 보입니다.
2.2. ☁ HuggingFace Hub
- 토큰 계정이 가진 데이터셋만 보여 줍니다 (
계정: HueyWoo). 다른 사람이나 조직의 데이터셋은 이 목록에 나오지 않습니다. - Hub 카드는 늘
에피소드 정보 없음으로 보입니다. 이름만 받아 오기 때문이고, 내려받으면 로컬 카드에 숫자가 나옵니다. - 토큰이 없으면
HuggingFace 토큰이 설정되지 않았습니다., 조회에 실패하면Hub 조회 실패: …가 이 칸에 나옵니다.
2.3. 카드를 누르면
| 누른 카드 | 일어나는 일 |
|---|---|
| 로컬 카드 | 재생 화면이 열립니다 (3절) |
| Hub 카드 — 로컬에도 같은 이름이 있음 | 다시 받지 않고 로컬 사본을 엽니다 |
| Hub 카드 — Hub 에만 있음 | 이 PC 로 내려받습니다 (6절) |
2.4. 오른쪽 위 버튼 세 개
| 버튼 | 색 | 하는 일 |
|---|---|---|
| 데이터셋 업로드 | 노랑 | 로컬 데이터셋을 Hub 에 올립니다 (7절) |
| 데이터셋 병합 | 보라 | 데이터셋 2개 이상을 하나로 합칩니다 (5절) |
| 데이터셋 삭제 | 빨강 | 로컬 · Hub 데이터셋을 지웁니다 (8절) |
버튼을 누르면 고르기 상태가 됩니다. 카드 테두리가 점선으로 바뀌면 카드를 눌러 체크하고, 오른쪽 위의 업로드 (N) · 병합 (N) · 삭제 (N) 로 확정합니다. 그만두려면 취소 를 누릅니다.
3. 재생 — 에피소드 확인하기
로컬 카드를 누르면 재생 화면이 열립니다. 로봇 없이 3D · 카메라 영상 · 관절 그래프로 에피소드를 시각화하는 화면입니다. 처음 한 번은 데이터셋 준비 중입니다 / 처음 한 번만 시간이 걸립니다 창이 잠깐 뜹니다.
3.1. 화면 구성
| 위치 | 보이는 것 |
|---|---|
| 맨 위 | ← 데이터셋 선택 · 데이터셋 이름 · 상태 글 (메타 로드 중… → 데이터셋 여는 중…) |
| 왼쪽 | FRAMES · EPISODES · FPS, EPISODES 목록 (Episode 0 · 450 frames …), 에피소드 삭제 |
| 가운데 위 | 3D REPLAY (데이터셋을 모은 로봇의 3D 모델) · 카메라 (1대면 한 칸, 2대면 나란히, 3~4대면 2×2) |
| 가운데 아래 | 에피소드 전체의 관절 그래프와 지금 프레임을 가리키는 세로선 |
| 맨 아래 | ▶ (재생/일시정지) · 슬라이더 · 12 / 450 (지금 프레임 / 전체) · 속도 0.5× · 1× · 2× |
- 첫 에피소드가 자동으로 골라집니다. 에피소드는 멈춘 상태로 열리니 ▶ 를 눌러 재생합니다.
- 슬라이더를 끌거나 눌러 원하는 순간으로 옮깁니다.
- 칸 사이의 보라색 경계선을 끌면 3D · 카메라 · 그래프 칸 크기를 바꿀 수 있습니다.
- 재생은 화면에서만 합니다. 실물 로봇은 움직이지 않습니다.
3.2. 무엇을 확인할까
| 확인할 것 | 정상 | 이상하면 |
|---|---|---|
| 카메라 영상 | 영상 이름과 내용이 맞습니다 (예: front 에 작업 공간, wrist 에 그리퍼 끝) | 두 카메라가 바뀌었습니다. 다음 수집 전에 카메라 설정을 확인합니다 |
| 그래프 | action.… 선을 observation.… 선이 조금 늦게 따라갑니다 | 한쪽만 튀거나 평평하면 기록이 잘못된 에피소드입니다 |
| 에피소드 끝 | 작업을 마치고 곧 끝납니다 | 오래 가만히 있는 꼬리가 깁니다 |
| 작업 결과 | 물체를 제대로 옮겼습니다 | 놓치거나 실패한 에피소드는 나쁜 시범입니다 |
이상한 에피소드의 번호를 적어 두고 4절에서 한꺼번에 지웁니다. 카메라 설정은 팔 로봇이면 로봇 설정, LeKiwi 면 카메라 연결에서 확인합니다.
4. 에피소드 삭제
- [앱] 재생 화면 왼쪽의 에피소드 삭제 를 누릅니다. 재생이 멈추고 목록이 고르기 상태가 됩니다.
- 지울 에피소드를 눌러 체크하고 삭제 (N) 을 누릅니다. 그만두려면 취소 를 누릅니다.
에피소드 삭제확인 창에 지울 목록과총 2 / 10 에피소드가 나옵니다.에피소드를 삭제하면 다시 복구할 수 없습니다.를 확인하고 진행합니다.- 진행 창
2 에피소드 삭제 처리 중…이 뜨고 단계가데이터셋 메타 로드 중…→새 데이터셋 생성 중… (시간이 걸릴 수 있습니다)→디스크 스왑 중…→백업 정리 중…→데이터셋 재오픈 중…→완료로 바뀝니다. - 끝나면 재생 화면이 남은 에피소드로 다시 열립니다.
- 진행 창이 떠 있는 동안에는 창을 닫을 수 없습니다 (
작업이 진행되는 동안 창을 닫지 마세요.). 영상을 다시 만들기도 해서 시간이 걸릴 수 있습니다. - 앱은 새 데이터셋을 옆에 만든 뒤 바꿔 끼웁니다. 중간에 실패하면 원본을 되살립니다.
- 에피소드를 모두 지울 수는 없습니다 (
삭제 불가— 최소 1개는 남겨야 합니다). - 지운 뒤에는 남은 에피소드 번호가 0부터 다시 매겨집니다. 여러 개를 지울 때는 번호가 바뀌기 전에 한 번에 체크해 지우세요.
- 이 PC 의 사본만 바뀝니다. Hub 에 올린 사본은 그대로이니, 바꾼 내용을 Hub 에도 남기려면 다시 업로드합니다 (7절).
5. 데이터셋 병합
같은 작업을 여러 번 나눠 모았다면 하나의 데이터셋으로 합칠 수 있습니다. 원본은 그대로 남고, 합친 데이터셋이 새로 생깁니다.
- [앱] 데이터셋 병합 을 누르고 합칠 카드를 2개 이상 체크합니다. 병합 (N) 은 2개 이상일 때 눌립니다.
데이터셋 병합이름 창에 새 이름을 적습니다. 형식은user/name이고 영문 · 숫자 ·_·-·.만 씁니다. 기본값은 체크한 데이터셋 가운데 목록에서 가장 위에 있는 것의 이름 뒤에_merged를 붙인 이름입니다 (예:HueyWoo/pick_and_place_merged).- 진행 창
2 개 데이터셋 → 'HueyWoo/에서pick_and_place_merged' 병합 중… 소스 데이터셋 로드 중… (1/2) …→데이터셋 병합 중… (시간이 걸릴 수 있습니다)→완료로 바뀝니다. 진행 중에는 창을 닫을 수 없습니다. - 끝나면 로컬 목록에 새 데이터셋이 생깁니다.
합칠 수 있는 조건은 다음과 같습니다.
| 조건 | 어기면 |
|---|---|
| 모두 이 PC 에 있을 것 | 로컬 데이터셋 필요 — Hub 에만 있는 데이터셋은 먼저 내려받습니다 (6절) |
| fps 가 같을 것 | 병합 실패: Same fps is expected … |
| 로봇 타입이 같을 것 | 병합 실패: Same robot_type is expected … |
| 관절 구성 · 카메라 이름 · 영상 해상도가 같을 것 | 병합 실패: Same features is expected … |
새 이름이 user/name 형식일 것 | 이름 형식 오류 |
| 새 이름이 원본과 다를 것 | 이름 충돌 |
| 같은 이름의 로컬 데이터셋이 없을 것 | 데이터셋 이름 중복 |
태스크 설명이 다른 데이터셋끼리도 합칠 수 있습니다. 합친 데이터셋에는 문장이 여러 개 들어갑니다.
local-user 데이터셋을 내 계정 이름으로 옮기기
수집할 때 사용자명을 비워
local-user/…로 저장된 데이터셋은 Hub 에 올라가지 않습니다. 둘 이상이면 병합하면서 새 이름을HueyWoo/…처럼 본인 계정으로 정하면 됩니다. 하나뿐이면 파일 관리자에서~/폴더를.cache/ huggingface/ lerobot/ local-user/ <이름> ~/으로 옮기세요 (.cache/ huggingface/ lerobot/ HueyWoo/ <이름> .cache는 숨김 폴더라Ctrl+H를 누르면 보이고,HueyWoo폴더가 없으면 만듭니다). 앱은 폴더 위치로 데이터셋 이름을 정합니다.
6. Hub 데이터셋 내려받기 (복제)
Hub 에만 있는 데이터셋을 이 PC 로 복제합니다. 훈련 탭은 이 PC 의 데이터셋만 고를 수 있으므로, Hub 데이터셋으로 학습하려면 먼저 여기서 내려받습니다.
- [앱] ☁ HuggingFace Hub 칸에서 이 PC 에 없는 데이터셋 카드를 누릅니다.
데이터셋 다운로드창에<이름> 다운로드 중…,3 / 12 파일, 지금 받는 파일 이름이 나옵니다.- 끝나면
완료를 잠깐 보여 주고 창이 닫히며, 로컬 칸에 카드가 생깁니다.
- 받는 위치는
~/입니다..cache/ huggingface/ lerobot/ <사용자명>/ <이름>/ - 토큰이 없으면
HuggingFace 토큰 없음창이 뜹니다. - 취소 를 누르면
취소 요청 중… 현재 파일이 끝나면 정리됩니다.다음사용자가 취소했습니다.로 멈춥니다. 이미 받은 파일은 지우지 않으므로, 받다 만 사본이 로컬 목록에 보일 수 있습니다. 그럴 때는 그 로컬 사본을 지우고 Hub 카드를 다시 누르세요. - 실패하면
파일 목록 조회 실패: …나'<파일>' 다운로드 실패: …가 창에 남습니다. 인터넷과 토큰을 확인하고 다시 시도합니다.
7. 데이터셋 업로드
로컬 데이터셋을 Hub 에 올립니다. 인터넷이 없을 때 모아 업로드를 건너뛴 데이터셋도 여기서 올립니다.
- [앱] 데이터셋 업로드 를 누르고 올릴 로컬 카드를 체크합니다 (Hub 카드는 고를 수 없습니다). 업로드 (N) 을 누릅니다.
- 토큰이 없으면
HuggingFace 토큰 없음, Hub 에 닿지 않으면인터넷 연결 없음창이 뜨고 멈춥니다. 데이터셋 업로드확인 창이 올릴 목록과공개(public) 저장소로 올라갑니다. 같은 이름이 이미 있으면 파일을 덮어씁니다.를 보여 줍니다.- 진행 창에
HuggingFace Hub 에 데이터셋 N개 업로드 중…과[1/2] HueyWoo/… — 파일 목록 준비 중…→HueyWoo/… — 12 / 40 파일이 나옵니다. - 끝나면 진행 창 맨 위의 굵은 글이 결과로 바뀝니다.
| 결과 | 뜻 |
|---|---|
업로드 완료 — N개 | 모두 올렸습니다. HuggingFace Hub 에서 확인할 수 있습니다. |
업로드 완료 N개 · 실패 M개 | 일부가 실패했습니다. 실패한 데이터셋과 이유가 아래에 나옵니다 |
업로드를 멈췄습니다 (완료 N개) | 취소 로 멈췄습니다 (지금 올리는 파일이 끝나면 멈춥니다…) |
- 저장소 이름은 로컬 이름 그대로입니다 (예:
HueyWoo/pick_and_place). 앞부분이 토큰 계정(또는 그 계정이 쓰기 권한을 가진 조직)이 아니면 (local-user/…등) 실패하니, 5절 팁으로 이름을 바꾼 뒤 올립니다. - 저장소는 공개(public) 데이터셋으로 만들고, Hub 페이지에 데이터셋 소개(라이선스
apache-2.0)를 함께 올립니다. - 업로드는 로컬 파일을 올려 덮어쓰기만 하고, Hub 에만 있는 파일은 지우지 않습니다. 에피소드를 많이 지운 뒤 Hub 사본을 깔끔하게 맞추려면 Hub 사본을 먼저 지우고(8절) 올립니다.
- 중간에 멈추면 일부 파일만 올라간 저장소가 Hub 에 남을 수 있습니다. 다시 업로드하면 덮어씁니다.
8. 데이터셋 삭제
- [앱] 데이터셋 삭제 를 누르고 지울 카드(로컬 · Hub 모두 가능)를 체크한 뒤 삭제 (N) 을 누릅니다.
데이터셋 삭제확인 창에· [로컬] …/· [클라우드] …로 무엇이 지워지는지 나옵니다. Hub 데이터셋이 있으면⚠ 클라우드 데이터셋 삭제는 HuggingFace Hub 의 저장소를 영구적으로 제거합니다. 되돌릴 수 없습니다., 로컬이면로컬 데이터셋은 디스크의 파일이 모두 삭제됩니다.가 붙습니다.- 끝나면 목록을 다시 읽습니다. 일부가 실패하면
일부 삭제 실패창에 이유가 나옵니다.
Hub 데이터셋 삭제는 되돌릴 수 없습니다
Hub 저장소를 지우면 그 데이터셋을 받아 쓰던 다른 PC 와 사람도 더 이상 받을 수 없습니다. 지우기 전에 이 PC 에 사본이 있는지 확인하세요.
- 로컬에도 같은 이름이 있는 Hub 카드를 고르면, 확인 창에
[로컬]로 나오고 이 PC 의 사본만 지워집니다. Hub 저장소까지 지우려면 로컬 사본을 지운 뒤 Hub 카드를 다시 골라 지웁니다. - Hub 데이터셋을 지울 때는 토큰이 필요합니다 (
HuggingFace 토큰 없음). - 로컬 삭제는
~/.cache/huggingface/lerobot안의 데이터셋만 지웁니다. 그 데이터셋으로 학습한 결과(체크포인트)는 지워지지 않습니다.
9. 브라우저에서 보기 — LeRobot Dataset Visualizer
Hub 에 올린 공개 데이터셋은 설치 없이 브라우저에서 볼 수 있습니다. 다른 사람에게 데이터를 보여 줄 때 편합니다.
- [PC] Hugging Face 가 제공하는 LeRobot Dataset Visualizer 를 엽니다.
LeRobot Dataset Visualizer 첫 화면. 입력칸에 데이터셋 이름을 넣습니다.
- 데이터셋 이름(
HueyWoo/pick_and_place형식)을 입력칸에 넣고 Go 를 누릅니다. 이름은 Hugging Face 데이터셋 페이지 맨 위에서 복사할 수 있습니다.
Hugging Face 데이터셋 페이지 맨 위. 계정/이름 옆 복사 아이콘으로 이름을 복사합니다.
- 에피소드를 고르면 카메라 영상, 태스크 설명(
Language Instruction), 관절 그래프(action·observation.state)가 함께 재생됩니다.
에피소드 재생 화면. 그림은 SO-101 팔로 모은 예시 데이터셋이라 영상이 front · side 입니다.
10. 문제 해결
| 증상 | 확인할 것 |
|---|---|
로컬 데이터셋이 없습니다. | 데이터셋이 ~/ 에 있는지 확인합니다. 다른 위치의 데이터셋은 보이지 않습니다 |
Hub 칸에 HuggingFace 토큰이 설정되지 않았습니다. | 설정 › 일반 › API 키 에 HuggingFace 토큰을 저장합니다 |
Hub 조회 실패: … | 인터넷 연결과 토큰이 유효한지 확인합니다 |
| 다른 사람 · 조직의 데이터셋이 Hub 칸에 없다 | Hub 칸은 토큰 계정의 데이터셋만 보여 줍니다. 다른 계정의 공개 데이터셋은 이 화면에서 내려받을 수 없습니다 |
Hub 카드가 모두 에피소드 정보 없음 | 정상입니다. 내려받으면 로컬 카드에 숫자가 나옵니다 |
로컬 카드가 에피소드 정보 없음 | 에피소드 없이 끝난 수집의 빈 폴더일 수 있습니다. 열면 에피소드가 없습니다. 가 나옵니다 → 지웁니다 |
카드를 누르면 데이터셋 재생·편집 — 추가 설치 창이 뜬다 | 로봇 제어 패키지 · 데이터 패키지 를 설치합니다 |
라이브러리를 불러오지 못했습니다 | 앱을 다시 시작합니다. 영상 디코더(FFmpeg) 안내가 함께 나오면 터미널에서 sudo apt install ffmpeg 를 실행합니다 |
데이터셋 open 실패: … 에 is in 2.1 format | 예전 LeRobot 형식(v2.1)으로 만든 데이터셋이라 열 수 없습니다 |
메타 로드 실패: … · 데이터셋 open 실패: … (그 밖) | 받다 만 사본일 수 있습니다. 로컬 사본을 지우고 Hub 에서 다시 받습니다 |
삭제 불가 | 에피소드는 최소 1개 남겨야 합니다 |
로컬 데이터셋 필요 | 병합은 이 PC 에 있는 데이터셋만 됩니다. Hub 데이터셋은 먼저 내려받습니다 |
병합 실패: Same … is expected | fps · 로봇 타입 · 관절 · 카메라 구성이 같은 데이터셋끼리만 합칠 수 있습니다 (5절 표) |
인터넷 연결 없음 (업로드) | 로봇 AP 처럼 인터넷이 없는 와이파이에 붙어 있습니다. 인터넷이 되는 와이파이(또는 유선)로 바꾼 뒤 다시 올립니다 |
업로드 완료 0개 · 실패 1개 | 토큰에 쓰기(Write) 권한이 있는지, 데이터셋 이름 앞부분이 토큰 계정과 같은지 확인합니다 |
| Hub 사본에 지운 에피소드가 남아 있다 | 에피소드 삭제는 이 PC 의 사본만 바꿉니다. 다시 업로드합니다 (7절) |
정보
Windows 판(0.1.7)도 같은 화면과 기능입니다. 로컬 데이터셋 위치만
%USERPROFILE%\.cache\huggingface\lerobot입니다.
11. 정리
- 데이터셋 창고(홈 사이드바)와 데이터 › 편집 은 같은 화면이고, 이 PC 의 데이터셋을 모두 보여 줍니다.
- 로컬 카드를 누르면 재생 화면이 열립니다. 영상 · 관절 그래프 · 에피소드 끝 · 작업 결과를 보고 나쁜 에피소드를 에피소드 삭제 로 한 번에 지웁니다.
- 데이터셋 병합 은 fps · 로봇 타입 · 카메라 구성이 같은 로컬 데이터셋끼리 새 이름으로 합칩니다.
- Hub 에만 있는 카드를 누르면 이 PC 로 내려받고, 데이터셋 업로드 는 로컬 데이터셋을 공개 저장소로 올립니다.
- Hub 데이터셋 삭제는 되돌릴 수 없습니다.
확인한 데이터셋으로 학습을 시작합니다.