워크스페이스

사이드바 워크스페이스 에는 한 가지 작업을 처음부터 끝까지 해내는 전용 화면이 모여 있습니다. 지금은 Yolo + Pick&Place 하나가 있습니다. YOLO 객체 인식으로 큐브를 찾아 LeKiwi 가 바퀴로 다가가 팔로 집고, 미리 녹화한 동작으로 내려놓습니다. 이 페이지는 이 워크스페이스가 무엇인지, 어떤 로봇에서 쓸 수 있는지, 어떤 순서로 쓰는지를 짧게 정리합니다.

학습 목표

  • Yolo + Pick&Place 가 무엇을 하는지 설명할 수 있다.
  • 내 로봇에서 워크스페이스를 쓸 수 있는지 판단할 수 있다.
  • 환경 준비에서 필요한 라이브러리(ultralytics)를 설치할 수 있다.
  • 실행 페이지의 네 단계와 기본 안전장치를 알 수 있다.

1. Yolo + Pick&Place 란?

워크스페이스 화면 — Yolo + Pick&Place 카드 하나

사이드바 워크스페이스 를 누르면 보이는 화면입니다. 카드 Yolo + Pick&Place 를 눌러 시작합니다.

학습한 정책 없이, YOLO 모델 · 미리 저장한 팔 자세 · 녹화한 동작을 이어 붙여 큐브를 옮깁니다. 한 번 실행하면 아래 순서로 진행합니다.

순서하는 일
1. 접근전방(front) 카메라로 큐브를 찾아 바퀴로 다가갑니다.
2. Pick손목(wrist) 카메라로 위치를 맞추며 팔을 뻗어 그리퍼로 집습니다. 집었는지 확인하고, 놓쳤으면 다시 시도합니다.
3. 되돌아오기큐브를 문 채 출발 위치로 돌아옵니다.
4. Place미리 녹화한 Place 동작을 재생해 큐브를 내려놓습니다. 동작을 고르지 않았으면 3까지만 합니다.

2. 지원 범위

새 A-Go(새 SD 이미지 · ROS 2)는 0.2.0(2026-11-01 재배포)부터 씁니다

Pick&Place 의 이동 구간은 아직 실물 재조정 중입니다. 처음에는 로봇을 움직이는 버튼(자세 잡기 · 동작 재생 · 녹화 · 실행)을 하나씩 눌러 보며 천천히 확인하고, 이상하면 바로 멈춥니다.

로봇워크스페이스
예전 SD 이미지의 LeKiwi — 로봇에서 lerobot 호스트를 띄우는 방식으로, 연결 확인 뒤에도 앱에 ▶ 호스트 실행 버튼이 남습니다쓸 수 있습니다
새 A-Go (새 SD 이미지 · ROS 2) — 로봇 설정에서 연결 확인 을 하면 로봇 (ROS2): 줄과 ▶ 로봇 켜기 가 나타납니다0.2.0(2026-11-01 재배포)부터 씁니다 (이동 구간은 실물 재조정 중)
SO-101 · SO-102쓸 수 없습니다. 실행 페이지의 로봇 목록에 흐리게 보이고, 마우스를 올리면 이 워크스페이스는 LeKiwi(모바일 베이스) 전용입니다. 가 보입니다

새 A-Go 를 앱으로 쓰는 방법은 Physical Labs 연결에 있습니다.

Windows 판

이 문서는 Ubuntu 판(0.2.0) 기준입니다. Windows 판(최신 0.1.7)은 새 A-Go 를 지원하지 않으며, 워크스페이스의 화면과 설치 과정이 이 문서와 다를 수 있습니다.


3. 쓰는 순서 [앱]

사이드바 워크스페이스 → Yolo + Pick&Place → 환경 준비 → 로봇 선택 → 실행 페이지 순서로 넘어갑니다.

3.1. 환경 준비 — ultralytics 추가 설치

워크스페이스는 기능 패키지 두 개와 YOLO 라이브러리 ultralytics 가 있어야 열립니다. 표의 상태 칸에 지금 상태가 보입니다 (✔ 설치됨 · ✖ 누락 · ↻ 재시작 필요).

라이브러리용도
로봇 제어 패키지 (필수)LeKiwi 호스트 접속 · 팔 제어 (lerobot)
데이터 패키지 (필수)모션 · 데이터셋 불러오기
ultralytics (필수)YOLO 객체 인식 추론
PyTorchYOLO 연산 백엔드 (앱 기본 설치 포함)
OpenCV카메라 프레임 처리 (앱 기본 설치 포함)

설치 를 누르면 필요한 것만 차례로 설치합니다.

  1. 워크스페이스 — 추가 설치 창 — 로봇 제어 · 데이터 패키지를 설치합니다. 과정은 기능 패키지 설치와 같습니다.
  2. Yolo + Pick&Place YOLO 의존성 설치 창 — 확인한 뒤 ultralytics 를 설치합니다. 앱에 이미 있는 PyTorch · OpenCV 는 바꾸지 않습니다.

설치하는 동안 관리자(시스템) 비밀번호를 물을 수 있습니다. 모두 ✔ 설치됨 이 되면 다음 → 로봇 선택 이 켜집니다. 버튼이 다시 시작 으로 바뀌면 앱을 다시 시작해야 새 라이브러리가 적용됩니다.

3.2. 로봇 고르기

로봇 선택 화면에서 쓸 LeKiwi 를 골라 다음 (N) 을 누릅니다. 여러 대를 고를 수 있지만, 실행 페이지에서는 한 번에 한 대(●)만 움직입니다. 로봇이 없으면 로봇 창고로 이동 으로 먼저 만듭니다.

3.3. 실행 페이지의 네 단계

실행 페이지 왼쪽에 단계 와 로봇 목록이 있고, 위쪽 배너의 ▶ 호스트 실행 으로 로봇 호스트를 켭니다. 카메라 영상과 관절 값이 이 호스트를 거쳐 들어오고 바퀴 · 팔 명령도 이 호스트로 나갑니다. 홈이나 다른 메뉴로 나가면 호스트는 저절로 내려갑니다.

단계하는 일열리는 조건
1 YOLO 모델모델 불러오기… 로 큐브를 찾을 YOLO 가중치 파일(.pt)을 고릅니다. ✔ 모델 확인됨 — 클래스: … 가 보이면 됩니다. 신뢰도 conf(기본 0.5) · 입력 크기 imgsz(기본 640) · 장치(자동 · GPU 0 · CPU)를 정할 수 있습니다.늘 열려 있습니다
2 자세 준비▶ 시작 으로 리더암 텔레오퍼레이션을 켜고 팔을 움직여 자세를 저장합니다. ① pre_pick(집기 직전) · ② grasp(집는 순간) · ③ grasp_closed(큐브를 문 상태)는 꼭 저장하고, ④ grasp_ref(손목 화면 참조)는 선택입니다. 리더암 포트 · 로봇 주소 · 호스트 실행이 필요합니다.YOLO 모델을 고른 뒤
3 Place 선택Pick 뒤 큐브를 내려놓을 동작을 고릅니다. 텔레오퍼레이션 · 엔드이펙터 탭의 Motion Record 로 녹화한 동작을 쓰거나, ● Place 녹화하기 로 여기서 바로 녹화합니다.늘 열려 있습니다
4 Pick&Place 실행처음에는 드라이런 으로 확인하고, 준비 → ▶ 시작 으로 실행합니다. 화면 위 배지에 SEARCHING · WRIST_APPROACH · DONE 같은 영어 상태 이름이 보입니다. 다 끝나면 Pick&Place 완료 가 보이고, ■ 정지 를 눌러 시작 자세로 돌아가며 마무리합니다.YOLO 모델 + LeKiwi + ①②③ 자세

4. 안전장치

바퀴가 실제로 움직입니다

처음에는 넓고 평평한 바닥에서, 기본 속도로, 드라이런 부터 시작하세요. 책상 위나 계단 · 가장자리 근처에서는 쓰지 마세요. 2 · 3단계의 텔레오퍼레이션 · 이 자세로 이동 · ▶ 재생하기 · 초기 포즈 리셋 · 녹화도 실물 팔을 움직입니다 (바퀴가 든 동작이면 바퀴까지).

장치동작
드라이런접속 · 인식 · 판단은 하되 바퀴 · 팔에는 정지 명령만 보냅니다. 처음에는 이것으로 회전 방향과 큐브 인식을 먼저 확인합니다.
두 번 눌러 시작준비 는 일시정지 상태로 접속만 합니다. 접속된 뒤 ▶ 시작 을 눌러야 바퀴가 움직입니다.
속도 상한고급 설정 의 최고 전진 속도 (m/s) 는 0.30, 최고 회전 속도 (deg/s) 는 60 까지만 올라갑니다 (기본 0.10 · 30).
큐브를 놓치면화면에서 큐브가 보이지 않으면 바퀴를 세웁니다.
두 단계 정지■ 정지 첫 번째는 바퀴를 세우고 팔을 시작 자세로 되돌린 뒤 연결을 끊습니다. 되돌아가는 중에 다시 누르면(■ 즉시 정지) 바로 멈춥니다. 끝나면 정지됨 — 바퀴를 멈추고 연결을 끊었습니다. 가 보입니다.
바로 멈추는 경우로봇을 바꿀 때(로봇 전환 확인 창), 사이드바 메뉴로 나갈 때, ← 로봇 선택 으로 돌아갈 때, 앱을 끌 때는 되돌아가지 않고 바로 멈춥니다.
단계를 옮길 때실행 중에 왼쪽 단계 에서 다른 단계를 눌러도 Pick 은 멈추지 않습니다. 다른 단계 화면에는 Pick 의 ■ 정지 가 없으니, 실행 중에는 4단계 화면에 머무세요.
바퀴가 든 Place 동작실행 전에 선택한 Place 모션에는 바퀴 이동이 포함되어 있습니다. 그대로 재생할까요? 를 묻습니다 (3단계 ▶ 재생하기 도 비슷하게 묻습니다).

5. 저장되는 파일

무엇어디
워크스페이스 설정 (YOLO 모델 경로 · conf · 고급 설정 · 고른 로봇 · Place 선택)~/.config/PhysicalLabs/workspaces.json
팔 자세~/.PhysicalLabs/pickplace/<robot id>/poses/ 의 pre_pick.json · grasp.json · grasp_closed.json · grasp_ref.json (덮어쓰면 이전 것은 <이름>_prev.json 으로 남습니다)
Place 동작~/.cache/physical-labs/<robot id>/motion/… — 텔레오퍼레이션 · 엔드이펙터의 Motion Record 와 같은 곳입니다
YOLO 모델고른 위치 그대로 씁니다 (복사하지 않음). 파일을 옮기면 1단계에서 다시 골라야 합니다

<robot id> 는 앱 로봇 설정의 robot id 입니다.

녹화한 동작은 캐시 폴더에 있습니다

~/.cache 를 비우는 정리 프로그램을 쓰면 녹화한 동작도 함께 지워질 수 있습니다. 아끼는 동작은 따로 복사해 두세요.


6. 문제 해결

증상확인할 것
상태 줄에 이 로봇(ROS2 LeKiwi)에서는 아직 지원하지 않습니다.0.2.0 재배포(2026-11-01 저녁) 전 판입니다 — sudo apt install --reinstall ./physical-labs_0.6.0-0.2.0_amd64.deb
상태 줄에 선택한 로봇 중 LeKiwi 가 없습니다.← 로봇 선택 으로 돌아가 LeKiwi 를 고릅니다.
다음 → 로봇 선택 이 꺼져 있다표에 ✖ 누락 이 남았는지 봅니다. 설치 를 누르고, 버튼이 다시 시작 이면 앱을 다시 시작합니다.
ultralytics 가 설치되어 있지 않습니다. 환경 준비 페이지에서 설치하세요.환경 준비 에서 설치 를 다시 합니다.
YOLO 모델 파일이 아닙니다: …YOLO 가중치 .pt 파일인지 확인합니다.
4단계가 잠겨 있다 (자세 준비에서 pre_pick · grasp · grasp_closed 를 저장하세요.)2단계에서 ①②③ 자세를 저장합니다.
리더암 포트가 없습니다. 로봇 설정 탭에서 leader arm 포트를 저장하세요.2단계는 리더암으로 자세를 잡습니다. 로봇 설정에서 리더암 포트를 저장합니다.
8초 안에 카메라 front, wrist 프레임을 받지 못했습니다.로봇 호스트가 켜져 있는지, 카메라 두 대가 꽂혀 있는지 확인합니다.
모든 시도 실패 — 그 자리에서 멈췄습니다.■ 정지 뒤 큐브 위치나 조명을 바꿔 다시 시도합니다. 계속되면 고급 설정 의 집기 판별 보라색 비율 같은 값을 조정합니다.

앱 전체의 문제는 문제 해결에 더 있습니다.


7. 정리

다음으로 볼 문서입니다.