데이터셋 창고

모은 데이터셋은 학습에 쓰기 전에 꼭 한 번 확인합니다. 데이터셋 창고 는 이 PC 와 Hugging Face Hub 의 데이터셋을 한 화면에 보여 주는 곳입니다. 여기서 에피소드를 재생해 보며 나쁜 에피소드를 지우고, 여러 데이터셋을 하나로 합치고, Hub 와 데이터셋을 주고받습니다.

학습 목표

  • 데이터셋 창고와 데이터 › 편집 이 같은 화면임을 알고, 일마다 필요한 준비(기능 패키지 · 토큰 · 인터넷)를 말할 수 있다.
  • 에피소드를 재생하며 영상과 관절 그래프로 나쁜 에피소드를 골라낼 수 있다.
  • 에피소드 삭제 · 데이터셋 병합 · Hub 데이터셋 내려받기 · 업로드 · 삭제를 할 수 있다.
  • Hub 에 올린 데이터셋을 브라우저의 LeRobot Dataset Visualizer 로 볼 수 있다.

1. 데이터셋 창고 열기

1.1. [앱] 두 입구

입구위치이럴 때
데이터셋 창고홈 왼쪽 사이드바로봇 없이 데이터셋만 볼 때
데이터 › 편집로봇 작업 화면의 데이터 탭수집하다가 바로 확인할 때

두 곳은 같은 화면이고 같은 데이터셋을 보여 줍니다. 로봇 작업 화면에서 열어도 그 로봇의 데이터셋만 추리지 않고, 이 PC 의 데이터셋을 모두 보여 줍니다.

1.2. 일마다 필요한 것

하려는 일필요한 것
목록 보기 · 로컬 데이터셋 삭제사이드바 데이터셋 창고 는 기본 구성만으로 됩니다. 데이터 탭은 탭을 열 때부터 아래 두 패키지가 필요합니다
재생 · 에피소드 삭제 · 병합 · 내려받기 · 업로드로봇 제어 패키지 · 데이터 패키지. 처음 쓸 때 데이터셋 재생·편집 — 추가 설치 창이 뜹니다 (기능 패키지 설치)
☁ HuggingFace Hub 목록 · 내려받기 · 업로드 · Hub 저장소 삭제HuggingFace 토큰 (설정 › 일반 › API 키, 설정)과 인터넷

2. 데이터셋 선택 화면

데이터셋 창고의 데이터셋 선택 화면 — 왼쪽 로컬 목록, 오른쪽 HuggingFace Hub 목록, 오른쪽 위 업로드 · 병합 · 삭제 버튼 데이터셋 창고 첫 화면. 왼쪽 💾 로컬 은 이 PC 의 데이터셋, 오른쪽 ☁ HuggingFace Hub 는 토큰 계정의 데이터셋입니다.

2.1. 💾 로컬

2.2. ☁ HuggingFace Hub

2.3. 카드를 누르면

누른 카드일어나는 일
로컬 카드재생 화면이 열립니다 (3절)
Hub 카드 — 로컬에도 같은 이름이 있음다시 받지 않고 로컬 사본을 엽니다
Hub 카드 — Hub 에만 있음이 PC 로 내려받습니다 (6절)

2.4. 오른쪽 위 버튼 세 개

버튼색하는 일
데이터셋 업로드노랑로컬 데이터셋을 Hub 에 올립니다 (7절)
데이터셋 병합보라데이터셋 2개 이상을 하나로 합칩니다 (5절)
데이터셋 삭제빨강로컬 · Hub 데이터셋을 지웁니다 (8절)

버튼을 누르면 고르기 상태가 됩니다. 카드 테두리가 점선으로 바뀌면 카드를 눌러 체크하고, 오른쪽 위의 업로드 (N) · 병합 (N) · 삭제 (N) 로 확정합니다. 그만두려면 취소 를 누릅니다.


3. 재생 — 에피소드 확인하기

로컬 카드를 누르면 재생 화면이 열립니다. 로봇 없이 3D · 카메라 영상 · 관절 그래프로 에피소드를 시각화하는 화면입니다. 처음 한 번은 데이터셋 준비 중입니다 / 처음 한 번만 시간이 걸립니다 창이 잠깐 뜹니다.

3.1. 화면 구성

위치보이는 것
맨 위← 데이터셋 선택 · 데이터셋 이름 · 상태 글 (메타 로드 중… → 데이터셋 여는 중…)
왼쪽FRAMES · EPISODES · FPS, EPISODES 목록 (Episode 0 · 450 frames …), 에피소드 삭제
가운데 위3D REPLAY (데이터셋을 모은 로봇의 3D 모델) · 카메라 (1대면 한 칸, 2대면 나란히, 3~4대면 2×2)
가운데 아래에피소드 전체의 관절 그래프와 지금 프레임을 가리키는 세로선
맨 아래▶ (재생/일시정지) · 슬라이더 · 12 / 450 (지금 프레임 / 전체) · 속도 0.5× · 1× · 2×

3.2. 무엇을 확인할까

확인할 것정상이상하면
카메라 영상영상 이름과 내용이 맞습니다 (예: front 에 작업 공간, wrist 에 그리퍼 끝)두 카메라가 바뀌었습니다. 다음 수집 전에 카메라 설정을 확인합니다
그래프action.… 선을 observation.… 선이 조금 늦게 따라갑니다한쪽만 튀거나 평평하면 기록이 잘못된 에피소드입니다
에피소드 끝작업을 마치고 곧 끝납니다오래 가만히 있는 꼬리가 깁니다
작업 결과물체를 제대로 옮겼습니다놓치거나 실패한 에피소드는 나쁜 시범입니다

이상한 에피소드의 번호를 적어 두고 4절에서 한꺼번에 지웁니다. 카메라 설정은 팔 로봇이면 로봇 설정, LeKiwi 면 카메라 연결에서 확인합니다.


4. 에피소드 삭제

  1. [앱] 재생 화면 왼쪽의 에피소드 삭제 를 누릅니다. 재생이 멈추고 목록이 고르기 상태가 됩니다.
  2. 지울 에피소드를 눌러 체크하고 삭제 (N) 을 누릅니다. 그만두려면 취소 를 누릅니다.
  3. 에피소드 삭제 확인 창에 지울 목록과 총 2 / 10 에피소드 가 나옵니다. 에피소드를 삭제하면 다시 복구할 수 없습니다. 를 확인하고 진행합니다.
  4. 진행 창 2 에피소드 삭제 처리 중… 이 뜨고 단계가 데이터셋 메타 로드 중… → 새 데이터셋 생성 중… (시간이 걸릴 수 있습니다) → 디스크 스왑 중… → 백업 정리 중… → 데이터셋 재오픈 중… → 완료 로 바뀝니다.
  5. 끝나면 재생 화면이 남은 에피소드로 다시 열립니다.

5. 데이터셋 병합

같은 작업을 여러 번 나눠 모았다면 하나의 데이터셋으로 합칠 수 있습니다. 원본은 그대로 남고, 합친 데이터셋이 새로 생깁니다.

  1. [앱] 데이터셋 병합 을 누르고 합칠 카드를 2개 이상 체크합니다. 병합 (N) 은 2개 이상일 때 눌립니다.
  2. 데이터셋 병합 이름 창에 새 이름을 적습니다. 형식은 user/name 이고 영문 · 숫자 · _ · - · . 만 씁니다. 기본값은 체크한 데이터셋 가운데 목록에서 가장 위에 있는 것의 이름 뒤에 _merged 를 붙인 이름입니다 (예: HueyWoo/pick_and_place_merged).
  3. 진행 창 2 개 데이터셋 → 'HueyWoo/pick_and_place_merged' 병합 중… 에서 소스 데이터셋 로드 중… (1/2) … → 데이터셋 병합 중… (시간이 걸릴 수 있습니다) → 완료 로 바뀝니다. 진행 중에는 창을 닫을 수 없습니다.
  4. 끝나면 로컬 목록에 새 데이터셋이 생깁니다.

합칠 수 있는 조건은 다음과 같습니다.

조건어기면
모두 이 PC 에 있을 것로컬 데이터셋 필요 — Hub 에만 있는 데이터셋은 먼저 내려받습니다 (6절)
fps 가 같을 것병합 실패: Same fps is expected …
로봇 타입이 같을 것병합 실패: Same robot_type is expected …
관절 구성 · 카메라 이름 · 영상 해상도가 같을 것병합 실패: Same features is expected …
새 이름이 user/name 형식일 것이름 형식 오류
새 이름이 원본과 다를 것이름 충돌
같은 이름의 로컬 데이터셋이 없을 것데이터셋 이름 중복

태스크 설명이 다른 데이터셋끼리도 합칠 수 있습니다. 합친 데이터셋에는 문장이 여러 개 들어갑니다.

local-user 데이터셋을 내 계정 이름으로 옮기기

수집할 때 사용자명을 비워 local-user/… 로 저장된 데이터셋은 Hub 에 올라가지 않습니다. 둘 이상이면 병합하면서 새 이름을 HueyWoo/… 처럼 본인 계정으로 정하면 됩니다. 하나뿐이면 파일 관리자에서 ~/.cache/huggingface/lerobot/local-user/<이름> 폴더를 ~/.cache/huggingface/lerobot/HueyWoo/<이름> 으로 옮기세요 (.cache 는 숨김 폴더라 Ctrl+H 를 누르면 보이고, HueyWoo 폴더가 없으면 만듭니다). 앱은 폴더 위치로 데이터셋 이름을 정합니다.


6. Hub 데이터셋 내려받기 (복제)

Hub 에만 있는 데이터셋을 이 PC 로 복제합니다. 훈련 탭은 이 PC 의 데이터셋만 고를 수 있으므로, Hub 데이터셋으로 학습하려면 먼저 여기서 내려받습니다.

  1. [앱] ☁ HuggingFace Hub 칸에서 이 PC 에 없는 데이터셋 카드를 누릅니다.
  2. 데이터셋 다운로드 창에 <이름> 다운로드 중…, 3 / 12 파일, 지금 받는 파일 이름이 나옵니다.
  3. 끝나면 완료 를 잠깐 보여 주고 창이 닫히며, 로컬 칸에 카드가 생깁니다.

7. 데이터셋 업로드

로컬 데이터셋을 Hub 에 올립니다. 인터넷이 없을 때 모아 업로드를 건너뛴 데이터셋도 여기서 올립니다.

  1. [앱] 데이터셋 업로드 를 누르고 올릴 로컬 카드를 체크합니다 (Hub 카드는 고를 수 없습니다). 업로드 (N) 을 누릅니다.
  2. 토큰이 없으면 HuggingFace 토큰 없음, Hub 에 닿지 않으면 인터넷 연결 없음 창이 뜨고 멈춥니다.
  3. 데이터셋 업로드 확인 창이 올릴 목록과 공개(public) 저장소로 올라갑니다. 같은 이름이 이미 있으면 파일을 덮어씁니다. 를 보여 줍니다.
  4. 진행 창에 HuggingFace Hub 에 데이터셋 N개 업로드 중… 과 [1/2] HueyWoo/… — 파일 목록 준비 중… → HueyWoo/… — 12 / 40 파일 이 나옵니다.
  5. 끝나면 진행 창 맨 위의 굵은 글이 결과로 바뀝니다.
결과뜻
업로드 완료 — N개모두 올렸습니다. HuggingFace Hub 에서 확인할 수 있습니다.
업로드 완료 N개 · 실패 M개일부가 실패했습니다. 실패한 데이터셋과 이유가 아래에 나옵니다
업로드를 멈췄습니다 (완료 N개)취소 로 멈췄습니다 (지금 올리는 파일이 끝나면 멈춥니다…)

8. 데이터셋 삭제

  1. [앱] 데이터셋 삭제 를 누르고 지울 카드(로컬 · Hub 모두 가능)를 체크한 뒤 삭제 (N) 을 누릅니다.
  2. 데이터셋 삭제 확인 창에 · [로컬] … / · [클라우드] … 로 무엇이 지워지는지 나옵니다. Hub 데이터셋이 있으면 ⚠ 클라우드 데이터셋 삭제는 HuggingFace Hub 의 저장소를 영구적으로 제거합니다. 되돌릴 수 없습니다., 로컬이면 로컬 데이터셋은 디스크의 파일이 모두 삭제됩니다. 가 붙습니다.
  3. 끝나면 목록을 다시 읽습니다. 일부가 실패하면 일부 삭제 실패 창에 이유가 나옵니다.

Hub 데이터셋 삭제는 되돌릴 수 없습니다

Hub 저장소를 지우면 그 데이터셋을 받아 쓰던 다른 PC 와 사람도 더 이상 받을 수 없습니다. 지우기 전에 이 PC 에 사본이 있는지 확인하세요.


9. 브라우저에서 보기 — LeRobot Dataset Visualizer

Hub 에 올린 공개 데이터셋은 설치 없이 브라우저에서 볼 수 있습니다. 다른 사람에게 데이터를 보여 줄 때 편합니다.

  1. [PC] Hugging Face 가 제공하는 LeRobot Dataset Visualizer 를 엽니다.

LeRobot Dataset Visualizer 첫 화면 — 데이터셋 이름 입력칸과 Go 버튼 LeRobot Dataset Visualizer 첫 화면. 입력칸에 데이터셋 이름을 넣습니다.

  1. 데이터셋 이름(HueyWoo/pick_and_place 형식)을 입력칸에 넣고 Go 를 누릅니다. 이름은 Hugging Face 데이터셋 페이지 맨 위에서 복사할 수 있습니다.

Hugging Face 데이터셋 페이지 머리 — 계정/데이터셋 이름과 Robotics · LeRobot 태그 Hugging Face 데이터셋 페이지 맨 위. 계정/이름 옆 복사 아이콘으로 이름을 복사합니다.

  1. 에피소드를 고르면 카메라 영상, 태스크 설명(Language Instruction), 관절 그래프(action · observation.state)가 함께 재생됩니다.

Visualizer 에피소드 화면 — 왼쪽 에피소드 목록, 카메라 영상 두 개, 태스크 문장, 관절 그래프 에피소드 재생 화면. 그림은 SO-101 팔로 모은 예시 데이터셋이라 영상이 front · side 입니다.


10. 문제 해결

증상확인할 것
로컬 데이터셋이 없습니다.데이터셋이 ~/.cache/huggingface/lerobot/<사용자명>/<이름>/ 에 있는지 확인합니다. 다른 위치의 데이터셋은 보이지 않습니다
Hub 칸에 HuggingFace 토큰이 설정되지 않았습니다.설정 › 일반 › API 키 에 HuggingFace 토큰을 저장합니다
Hub 조회 실패: …인터넷 연결과 토큰이 유효한지 확인합니다
다른 사람 · 조직의 데이터셋이 Hub 칸에 없다Hub 칸은 토큰 계정의 데이터셋만 보여 줍니다. 다른 계정의 공개 데이터셋은 이 화면에서 내려받을 수 없습니다
Hub 카드가 모두 에피소드 정보 없음정상입니다. 내려받으면 로컬 카드에 숫자가 나옵니다
로컬 카드가 에피소드 정보 없음에피소드 없이 끝난 수집의 빈 폴더일 수 있습니다. 열면 에피소드가 없습니다. 가 나옵니다 → 지웁니다
카드를 누르면 데이터셋 재생·편집 — 추가 설치 창이 뜬다로봇 제어 패키지 · 데이터 패키지 를 설치합니다
라이브러리를 불러오지 못했습니다앱을 다시 시작합니다. 영상 디코더(FFmpeg) 안내가 함께 나오면 터미널에서 sudo apt install ffmpeg 를 실행합니다
데이터셋 open 실패: … 에 is in 2.1 format예전 LeRobot 형식(v2.1)으로 만든 데이터셋이라 열 수 없습니다
메타 로드 실패: … · 데이터셋 open 실패: … (그 밖)받다 만 사본일 수 있습니다. 로컬 사본을 지우고 Hub 에서 다시 받습니다
삭제 불가에피소드는 최소 1개 남겨야 합니다
로컬 데이터셋 필요병합은 이 PC 에 있는 데이터셋만 됩니다. Hub 데이터셋은 먼저 내려받습니다
병합 실패: Same … is expectedfps · 로봇 타입 · 관절 · 카메라 구성이 같은 데이터셋끼리만 합칠 수 있습니다 (5절 표)
인터넷 연결 없음 (업로드)로봇 AP 처럼 인터넷이 없는 와이파이에 붙어 있습니다. 인터넷이 되는 와이파이(또는 유선)로 바꾼 뒤 다시 올립니다
업로드 완료 0개 · 실패 1개토큰에 쓰기(Write) 권한이 있는지, 데이터셋 이름 앞부분이 토큰 계정과 같은지 확인합니다
Hub 사본에 지운 에피소드가 남아 있다에피소드 삭제는 이 PC 의 사본만 바꿉니다. 다시 업로드합니다 (7절)

정보

Windows 판(0.1.7)도 같은 화면과 기능입니다. 로컬 데이터셋 위치만 %USERPROFILE%\.cache\huggingface\lerobot 입니다.


11. 정리

확인한 데이터셋으로 학습을 시작합니다.