워크스페이스
사이드바 워크스페이스 에는 한 가지 작업을 처음부터 끝까지 해내는 전용 화면이 모여 있습니다. 지금은 Yolo + Pick&Place 하나가 있습니다. YOLO 객체 인식으로 큐브를 찾아 LeKiwi 가 바퀴로 다가가 팔로 집고, 미리 녹화한 동작으로 내려놓습니다. 이 페이지는 이 워크스페이스가 무엇인지, 어떤 로봇에서 쓸 수 있는지, 어떤 순서로 쓰는지를 짧게 정리합니다.
학습 목표
- Yolo + Pick&Place 가 무엇을 하는지 설명할 수 있다.
- 내 로봇에서 워크스페이스를 쓸 수 있는지 판단할 수 있다.
- 환경 준비에서 필요한 라이브러리(ultralytics)를 설치할 수 있다.
- 실행 페이지의 네 단계와 기본 안전장치를 알 수 있다.
1. Yolo + Pick&Place 란?
사이드바 워크스페이스 를 누르면 보이는 화면입니다. 카드 Yolo + Pick&Place 를 눌러 시작합니다.
학습한 정책 없이, YOLO 모델 · 미리 저장한 팔 자세 · 녹화한 동작을 이어 붙여 큐브를 옮깁니다. 한 번 실행하면 아래 순서로 진행합니다.
| 순서 | 하는 일 |
|---|---|
| 1. 접근 | 전방(front) 카메라로 큐브를 찾아 바퀴로 다가갑니다. |
| 2. Pick | 손목(wrist) 카메라로 위치를 맞추며 팔을 뻗어 그리퍼로 집습니다. 집었는지 확인하고, 놓쳤으면 다시 시도합니다. |
| 3. 되돌아오기 | 큐브를 문 채 출발 위치로 돌아옵니다. |
| 4. Place | 미리 녹화한 Place 동작을 재생해 큐브를 내려놓습니다. 동작을 고르지 않았으면 3까지만 합니다. |
- 앱에서 바퀴가 스스로 움직이는 유일한 기능입니다. (추론은 바퀴를 늘 멈춰 둡니다.)
- 큐브를 찾는 YOLO 모델(
.pt파일)은 직접 준비합니다. 앱은 YOLO 모델을 학습하거나 내려받지 않습니다. - 집었는지는 카메라 화면에서 큐브 양옆에 보라색 그리퍼가 보이는지로 판단합니다. 그리퍼 색이 다르면 판단이 틀어질 수 있습니다.
2. 지원 범위
새 A-Go(새 SD 이미지 · ROS 2)는 0.2.0(2026-11-01 재배포)부터 씁니다
Pick&Place 의 이동 구간은 아직 실물 재조정 중입니다. 처음에는 로봇을 움직이는 버튼(자세 잡기 · 동작 재생 · 녹화 · 실행)을 하나씩 눌러 보며 천천히 확인하고, 이상하면 바로 멈춥니다.
| 로봇 | 워크스페이스 |
|---|---|
| 예전 SD 이미지의 LeKiwi — 로봇에서 lerobot 호스트를 띄우는 방식으로, 연결 확인 뒤에도 앱에 ▶ 호스트 실행 버튼이 남습니다 | 쓸 수 있습니다 |
| 새 A-Go (새 SD 이미지 · ROS 2) — 로봇 설정에서 연결 확인 을 하면 로봇 (ROS2): 줄과 ▶ 로봇 켜기 가 나타납니다 | 0.2.0(2026-11-01 재배포)부터 씁니다 (이동 구간은 실물 재조정 중) |
| SO-101 · SO-102 | 쓸 수 없습니다. 실행 페이지의 로봇 목록에 흐리게 보이고, 마우스를 올리면 이 워크스페이스는 LeKiwi(모바일 베이스) 전용입니다. 가 보입니다 |
새 A-Go 를 앱으로 쓰는 방법은 Physical Labs 연결에 있습니다.
Windows 판
이 문서는 Ubuntu 판(0.2.0) 기준입니다. Windows 판(최신 0.1.7)은 새 A-Go 를 지원하지 않으며, 워크스페이스의 화면과 설치 과정이 이 문서와 다를 수 있습니다.
3. 쓰는 순서 [앱]
사이드바 워크스페이스 → Yolo + Pick&Place → 환경 준비 → 로봇 선택 → 실행 페이지 순서로 넘어갑니다.
3.1. 환경 준비 — ultralytics 추가 설치
워크스페이스는 기능 패키지 두 개와 YOLO 라이브러리 ultralytics 가 있어야 열립니다. 표의 상태 칸에 지금 상태가 보입니다 (✔ 설치됨 · ✖ 누락 · ↻ 재시작 필요).
| 라이브러리 | 용도 |
|---|---|
| 로봇 제어 패키지 (필수) | LeKiwi 호스트 접속 · 팔 제어 (lerobot) |
| 데이터 패키지 (필수) | 모션 · 데이터셋 불러오기 |
| ultralytics (필수) | YOLO 객체 인식 추론 |
| PyTorch | YOLO 연산 백엔드 (앱 기본 설치 포함) |
| OpenCV | 카메라 프레임 처리 (앱 기본 설치 포함) |
설치 를 누르면 필요한 것만 차례로 설치합니다.
워크스페이스 — 추가 설치창 — 로봇 제어 · 데이터 패키지를 설치합니다. 과정은 기능 패키지 설치와 같습니다.Yolo + Pick&Place YOLO 의존성 설치창 — 확인한 뒤 ultralytics 를 설치합니다. 앱에 이미 있는 PyTorch · OpenCV 는 바꾸지 않습니다.
설치하는 동안 관리자(시스템) 비밀번호를 물을 수 있습니다. 모두 ✔ 설치됨 이 되면 다음 → 로봇 선택 이 켜집니다. 버튼이 다시 시작 으로 바뀌면 앱을 다시 시작해야 새 라이브러리가 적용됩니다.
3.2. 로봇 고르기
로봇 선택 화면에서 쓸 LeKiwi 를 골라 다음 (N) 을 누릅니다. 여러 대를 고를 수 있지만, 실행 페이지에서는 한 번에 한 대(●)만 움직입니다. 로봇이 없으면 로봇 창고로 이동 으로 먼저 만듭니다.
3.3. 실행 페이지의 네 단계
실행 페이지 왼쪽에 단계 와 로봇 목록이 있고, 위쪽 배너의 ▶ 호스트 실행 으로 로봇 호스트를 켭니다. 카메라 영상과 관절 값이 이 호스트를 거쳐 들어오고 바퀴 · 팔 명령도 이 호스트로 나갑니다. 홈이나 다른 메뉴로 나가면 호스트는 저절로 내려갑니다.
| 단계 | 하는 일 | 열리는 조건 |
|---|---|---|
| 1 YOLO 모델 | 모델 불러오기… 로 큐브를 찾을 YOLO 가중치 파일(.pt)을 고릅니다. ✔ 모델 확인됨 — 클래스: … 가 보이면 됩니다. 신뢰도 conf(기본 0.5) · 입력 크기 imgsz(기본 640) · 장치(자동 · GPU 0 · CPU)를 정할 수 있습니다. | 늘 열려 있습니다 |
| 2 자세 준비 | ▶ 시작 으로 리더암 텔레오퍼레이션을 켜고 팔을 움직여 자세를 저장합니다. ① pre_pick(집기 직전) · ② grasp(집는 순간) · ③ grasp_closed(큐브를 문 상태)는 꼭 저장하고, ④ grasp_ref(손목 화면 참조)는 선택입니다. 리더암 포트 · 로봇 주소 · 호스트 실행이 필요합니다. | YOLO 모델을 고른 뒤 |
| 3 Place 선택 | Pick 뒤 큐브를 내려놓을 동작을 고릅니다. 텔레오퍼레이션 · 엔드이펙터 탭의 Motion Record 로 녹화한 동작을 쓰거나, ● Place 녹화하기 로 여기서 바로 녹화합니다. | 늘 열려 있습니다 |
| 4 Pick&Place 실행 | 처음에는 드라이런 으로 확인하고, 준비 → ▶ 시작 으로 실행합니다. 화면 위 배지에 SEARCHING · WRIST_APPROACH · DONE 같은 영어 상태 이름이 보입니다. 다 끝나면 Pick&Place 완료 가 보이고, ■ 정지 를 눌러 시작 자세로 돌아가며 마무리합니다. | YOLO 모델 + LeKiwi + ①②③ 자세 |
4. 안전장치
바퀴가 실제로 움직입니다
처음에는 넓고 평평한 바닥에서, 기본 속도로, 드라이런 부터 시작하세요. 책상 위나 계단 · 가장자리 근처에서는 쓰지 마세요. 2 · 3단계의 텔레오퍼레이션 · 이 자세로 이동 · ▶ 재생하기 · 초기 포즈 리셋 · 녹화도 실물 팔을 움직입니다 (바퀴가 든 동작이면 바퀴까지).
| 장치 | 동작 |
|---|---|
| 드라이런 | 접속 · 인식 · 판단은 하되 바퀴 · 팔에는 정지 명령만 보냅니다. 처음에는 이것으로 회전 방향과 큐브 인식을 먼저 확인합니다. |
| 두 번 눌러 시작 | 준비 는 일시정지 상태로 접속만 합니다. 접속된 뒤 ▶ 시작 을 눌러야 바퀴가 움직입니다. |
| 속도 상한 | 고급 설정 의 최고 전진 속도 (m/s) 는 0.30, 최고 회전 속도 (deg/s) 는 60 까지만 올라갑니다 (기본 0.10 · 30). |
| 큐브를 놓치면 | 화면에서 큐브가 보이지 않으면 바퀴를 세웁니다. |
| 두 단계 정지 | ■ 정지 첫 번째는 바퀴를 세우고 팔을 시작 자세로 되돌린 뒤 연결을 끊습니다. 되돌아가는 중에 다시 누르면(■ 즉시 정지) 바로 멈춥니다. 끝나면 정지됨 — 바퀴를 멈추고 연결을 끊었습니다. 가 보입니다. |
| 바로 멈추는 경우 | 로봇을 바꿀 때(로봇 전환 확인 창), 사이드바 메뉴로 나갈 때, ← 로봇 선택 으로 돌아갈 때, 앱을 끌 때는 되돌아가지 않고 바로 멈춥니다. |
| 단계를 옮길 때 | 실행 중에 왼쪽 단계 에서 다른 단계를 눌러도 Pick 은 멈추지 않습니다. 다른 단계 화면에는 Pick 의 ■ 정지 가 없으니, 실행 중에는 4단계 화면에 머무세요. |
| 바퀴가 든 Place 동작 | 실행 전에 선택한 Place 모션에는 바퀴 이동이 포함되어 있습니다. 그대로 재생할까요? 를 묻습니다 (3단계 ▶ 재생하기 도 비슷하게 묻습니다). |
5. 저장되는 파일
| 무엇 | 어디 |
|---|---|
| 워크스페이스 설정 (YOLO 모델 경로 · conf · 고급 설정 · 고른 로봇 · Place 선택) | ~/ |
| 팔 자세 | ~/ 의 pre_pick.json · grasp.json · grasp_closed.json · grasp_ref.json (덮어쓰면 이전 것은 <이름>_prev.json 으로 남습니다) |
| Place 동작 | ~/ — 텔레오퍼레이션 · 엔드이펙터의 Motion Record 와 같은 곳입니다 |
| YOLO 모델 | 고른 위치 그대로 씁니다 (복사하지 않음). 파일을 옮기면 1단계에서 다시 골라야 합니다 |
<robot id> 는 앱 로봇 설정의 robot id 입니다.
녹화한 동작은 캐시 폴더에 있습니다
~/.cache를 비우는 정리 프로그램을 쓰면 녹화한 동작도 함께 지워질 수 있습니다. 아끼는 동작은 따로 복사해 두세요.
6. 문제 해결
| 증상 | 확인할 것 |
|---|---|
상태 줄에 이 로봇(ROS2 LeKiwi)에서는 아직 지원하지 않습니다. | 0.2.0 재배포(2026-11-01 저녁) 전 판입니다 — sudo apt install --reinstall ./ |
상태 줄에 선택한 로봇 중 LeKiwi 가 없습니다. | ← 로봇 선택 으로 돌아가 LeKiwi 를 고릅니다. |
| 다음 → 로봇 선택 이 꺼져 있다 | 표에 ✖ 누락 이 남았는지 봅니다. 설치 를 누르고, 버튼이 다시 시작 이면 앱을 다시 시작합니다. |
ultralytics 가 설치되어 있지 않습니다. 환경 준비 페이지에서 설치하세요. | 환경 준비 에서 설치 를 다시 합니다. |
YOLO 모델 파일이 아닙니다: … | YOLO 가중치 .pt 파일인지 확인합니다. |
4단계가 잠겨 있다 (자세 준비에서 pre_pick · grasp · grasp_closed 를 저장하세요.) | 2단계에서 ①②③ 자세를 저장합니다. |
리더암 포트가 없습니다. 로봇 설정 탭에서 leader arm 포트를 저장하세요. | 2단계는 리더암으로 자세를 잡습니다. 로봇 설정에서 리더암 포트를 저장합니다. |
8초 안에 카메라 front, wrist 프레임을 받지 못했습니다. | 로봇 호스트가 켜져 있는지, 카메라 두 대가 꽂혀 있는지 확인합니다. |
모든 시도 실패 — 그 자리에서 멈췄습니다. | ■ 정지 뒤 큐브 위치나 조명을 바꿔 다시 시도합니다. 계속되면 고급 설정 의 집기 판별 보라색 비율 같은 값을 조정합니다. |
앱 전체의 문제는 문제 해결에 더 있습니다.
7. 정리
- Yolo + Pick&Place 는 YOLO 로 큐브를 찾아 LeKiwi 가 다가가 집고, 출발 위치로 돌아와 녹화한 동작으로 내려놓는 워크스페이스입니다.
- 예전 SD 이미지의 LeKiwi 에서 씁니다. 새 A-Go(새 SD 이미지 · ROS 2)는 아직 지원하지 않고, SO-101 · SO-102 는 쓸 수 없습니다.
- 환경 준비 에서 기능 패키지와 ultralytics 를 설치한 뒤, 1 YOLO 모델 → 2 자세 준비 → 3 Place 선택 → 4 Pick&Place 실행 순서로 씁니다.
- 바퀴가 실제로 움직이므로 넓은 바닥에서 드라이런 부터 하고, 실행 중에는 4단계 화면에 머뭅니다. ■ 정지 는 두 단계(시작 자세로 복귀 → 즉시 정지)로 동작합니다.
다음으로 볼 문서입니다.
