텔레오퍼레이션 — 리더 팔로 팔로워 움직이기

텔레오퍼레이션은 사람이 손으로 리더 팔을 움직이면 팔로워 팔이 그 동작을 그대로 따라 하는 원격 조종입니다. Physical Labs 의 텔레오퍼레이션 탭에서는 명령어 없이 버튼 하나로 두 팔을 연결하고, 3D 보기 · 카메라 · 관절 그래프로 상태를 함께 봅니다. 데이터 수집도 같은 방식으로 팔을 움직이므로, 수집 전에 여기서 두 팔이 잘 맞는지 먼저 확인하면 좋습니다.

이 문서는 Ubuntu 판 0.2.0 기준입니다

SO-101(A-Ba) · SO-102 를 중심으로 설명하고, A-Go(LeKiwi)에서 다른 점은 5절에 짧게 모았습니다. Windows 판(0.1.7)은 SO-102 와 새 A-Go(ROS 2 로봇)를 지원하지 않고, 포트가 COM3 처럼 보입니다. 다른 USB 구멍에 꽂으면 COM 번호가 바뀔 수 있으니 연결 전에 포트를 확인하세요.

학습 목표

  • 리더-팔로워 방식과 Sim Control · Real Control 의 차이를 설명할 수 있다.
  • 포트를 확인하고 🔌 연결 로 텔레오퍼레이션을 시작 · 정지할 수 있다.
  • 3D 보기 · 카메라 뷰 · 관절 그래프로 팔로워가 리더를 잘 따르는지 확인할 수 있다.
  • 동작을 Motion Record 로 녹화하고 Motion Replay 로 다시 재생할 수 있다.
  • 끝낼 때 팔로워가 떨어지지 않게 안전하게 정리할 수 있다.

1. 텔레오퍼레이션 알아보기

1.1. 리더와 팔로워

팔하는 일로봇 설정의 이름
리더 팔 (leader arm)사람이 손으로 움직이는 팔입니다. 연결하면 모터 힘이 꺼져 손으로 가볍게 움직입니다teleop id
팔로워 팔 (follower arm)리더를 따라 움직이는 팔입니다. 데이터 수집 · 추론에서 실제로 일하는 팔입니다robot id

앱은 리더의 관절 각도를 읽어 팔로워의 같은 관절로 보내는 일을 1초에 수십 번 되풀이합니다. 그래서 리더를 움직이는 즉시 팔로워가 따라옵니다. 두 팔의 보정이 맞아야 같은 각도가 같은 자세가 됩니다.

1.2. Sim Control 과 Real Control

Control 탭 안에 Sim Control · Real Control 두 탭이 있습니다. 처음 열면 Sim Control 이 골라져 있습니다.

탭리더를 움직이면3D 보기에 보이는 것팔로워
Sim Control3D 만 따라 움직입니다리더의 자세명령을 받지 않고, 연결된 채 제자리에서 버팁니다
Real Control팔로워가 따라 움직입니다팔로워의 실제 자세리더를 따라 움직입니다

Real 로 바꾸는 순간 확인 없이 팔로워가 리더 자세로 움직입니다

SO-101 · SO-102 는 확인 창이 없습니다. Real Control 을 고른 채로 🔌 연결 을 눌러도 마찬가지입니다. 리더를 팔로워와 비슷한 자세로 맞춘 뒤 넘어가고, 팔로워 주변에서 사람 · 물건을 치우세요. 앱은 팔이 무엇에 부딪히는지 검사하지 않습니다.

1.3. 시작 전에 준비할 것

준비물설명
저장한 로봇로봇 설정 에서 robot id · teleop id · 두 팔의 포트를 정하고 로봇 저장 까지 마친 로봇 → 로봇 설정
두 팔의 보정칼리브레이션 탭에서 follower arm · leader arm 을 모두 보정합니다 → 칼리브레이션
기능 패키지로봇 제어 패키지 · 데이터 패키지. 탭을 처음 열 때 설치 카드가 뜨면 설치하기 를 누릅니다 → 기능 패키지 설치
두 팔의 연결리더 · 팔로워 USB 를 PC 에 꽂고 모터 전원을 켭니다
카메라 (선택)로봇 설정에 등록한 카메라가 카메라 뷰 에 뜹니다. 없어도 텔레오퍼레이션은 됩니다

텔레오퍼레이션 탭 자리에 뜬 설치 카드 — 로봇 제어 패키지와 데이터 패키지, 설치하기 버튼

기능 패키지가 없을 때 뜨는 설치 카드입니다. 설치하기 를 누르고 기다리면 설치가 끝나는 대로 텔레오퍼레이션 화면이 열립니다.


2. 화면 구성

2.1. 위쪽 — 하위 탭과 Control 줄

SO-101 텔레오퍼레이션 탭 윗부분 — Control · Motion Record · Motion Replay 탭, Sim Control · Real Control 탭, Follower 포트 · Leader 포트 · 상태 · 연결 버튼

연결하기 전의 모습입니다. 그림의 포트 이름은 촬영용 예시라 두 칸이 같지만, 실제로는 Follower 포트에 팔로워 팔을, Leader 포트에 리더 팔을 고릅니다.

칸 · 버튼하는 일
Control · Motion Record · Motion Replay조종 · 녹화 · 재생 탭입니다 (4절)
Sim Control · Real Control팔로워를 실제로 움직일지 정합니다 (1.2절)
Follower 포트: · Leader 포트:두 팔의 포트입니다. 로봇 설정에 저장한 포트가 골라져 있습니다
↻포트 목록을 다시 읽습니다 (연결 전에만)
상태:점과 글로 지금 상태를 보여 줍니다. 회색 연결 안됨 → 주황 연결 중… → 초록 운영 중 — Sim 모드 또는 운영 중 — Real 모드
🔌 연결두 팔에 연결하면서 바로 텔레오퍼레이션을 시작합니다. 연결되면 🔌 연결 해제 로 바뀌고, 다시 누르면 멈추고 연결을 끊습니다

2.2. 가운데 — 3D 보기와 카메라 뷰

2.3. 아래 — 관절 그래프와 관절 값

텔레오퍼레이션 탭 아래쪽 — 관절 그래프와 현재 관절 위치 · 엔드이펙터 좌표 칸

연결하기 전이라 그래프가 비어 있고 값은 모두 — 입니다.

칸뜻
관절 그래프관절마다 선 두 개를 그립니다. 실선 observation.<관절>.pos 는 팔로워가 잰 실제 위치, 점선 action.<관절>.pos 는 리더가 보낸 명령입니다. Real 에서 실선이 점선을 바짝 따라가면 잘 따르는 것입니다
현재 관절 위치어깨 회전 (°) · 어깨 상하 (°) · 팔꿈치 (°) · 손목 굽힘 (°) · 손목 회전 (°) · 그리퍼 (°) 의 지금 각도. SO-102 는 손목 좌우 (°) 가 더 있습니다
엔드이펙터 좌표 (m)그리퍼 끝의 X · Y · Z. SO-102 는 SO-102 엔드이펙터 좌표는 아직 지원하지 않습니다. 가 보입니다

그래프 위 경계선(손잡이)을 끝까지 내리면 그래프 칸이 숨고, 손잡이를 더블클릭하면 접었다 펼쳤다 합니다. 3D 와 카메라를 크게 보고 싶을 때 씁니다.


3. 텔레오퍼레이션 하기

3.1. [로봇] 준비하기

  1. 리더 · 팔로워의 USB 케이블을 PC 에 꽂고 두 팔의 모터 전원을 켭니다.
  2. 팔로워가 닿는 범위에서 사람 · 물건을 치웁니다.
  3. 리더와 팔로워를 비슷한 자세로 둡니다. 둘 다 접어 둔 쉬는 자세가 무난합니다.

3.2. [앱] 포트 확인하기

  1. 사이드바 로봇 창고 → 로봇 카드 → 텔레오퍼레이션 탭을 엽니다. 처음 열 때는 텔레오퍼레이션 준비 중입니다 / 처음 열 때만 시간이 걸립니다 가 잠깐 뜹니다.
  2. Follower 포트: 에 팔로워, Leader 포트: 에 리더가 골라져 있는지 확인합니다. 케이블을 방금 꽂았다면 ↻ 를 누릅니다.

여기서 바꾼 포트는 로봇 설정에 바로 저장됩니다

다음에 탭을 열 때도 그 포트가 골라져 있습니다. 연결 중에는 포트를 바꿀 수 없으니, 바꾸려면 먼저 🔌 연결 해제 를 누르세요.

3.3. [앱] Sim Control 에서 연결하기

  1. Control → Sim Control 을 고릅니다.
  2. 🔌 연결 을 누릅니다. 앱을 켠 뒤 처음 연결할 때는 텔레오퍼레이션 준비 중 / lerobot 라이브러리를 불러오는 중입니다 (최초 1회) 가 몇 초 뜹니다.
  3. 연결하는 동안 버튼이 ⠋ 연결 중… (취소) 로 바뀝니다. 이때 누르면 연결을 취소합니다.
  4. 상태가 초록 운영 중 — Sim 모드 가 되면 리더를 천천히 움직여 봅니다. 3D 의 팔과 그래프의 점선이 따라 움직이고, 팔로워는 제자리에 있으면 정상입니다.

Sim 에서 3D 가 리더를 그대로 따라오면 준비가 끝난 것입니다

관절 하나가 반대로 움직이거나 크게 어긋나 보이면 Real 로 넘어가지 말고 그 팔의 보정을 다시 하세요.

3.4. [앱] Real Control 로 넘어가기

  1. 리더를 팔로워와 비슷한 자세로 맞춥니다.
  2. Real Control 탭을 누릅니다. 상태가 운영 중 — Real 모드 로 바뀌고, 팔로워가 리더를 따라 움직이기 시작합니다.
  3. 처음에는 리더를 천천히 움직입니다. 그래프의 실선(팔로워)이 점선(리더)을 따라오는지 봅니다.
  4. 다시 3D 로만 보려면 Sim Control 로 돌아갑니다. 팔로워는 그 자리에서 멈춥니다.

리더에서 손을 떼면 팔로워도 따라 내려옵니다

리더는 모터 힘이 꺼져 있어 손을 놓으면 무게 때문에 처집니다. Real Control 에서는 팔로워가 그 움직임까지 그대로 따라 하니, 손을 떼기 전에 리더를 내려놓거나 Sim Control 로 바꾸세요.

3.5. [앱] 끝내기

  1. 리더로 팔로워를 안전한 자세(접은 자세나 책상에 닿은 자세)로 옮깁니다.
  2. 🔌 연결 해제 를 누릅니다. 텔레오퍼레이션이 멈추고 두 팔의 연결이 끊깁니다.

연결이 끊기면 팔로워의 힘이 풀려 처지거나 떨어집니다

아래 경우 모두 팔로워 연결이 끊깁니다. 편 팔은 떨어질 수 있으니 먼저 내려놓으세요.

  • 🔌 연결 해제 를 눌렀을 때
  • 다른 탭으로 옮길 때 (탭 이동 창에서 Yes)
  • 사이드바 메뉴로 옮길 때 (묻지 않고 끊깁니다 → 화면 둘러보기)
  • Motion Replay 탭으로 옮길 때
  • Motion Record 에서 ■ 중지 를 눌렀을 때
  • Real 재생을 ■ 정지 · ⏸ 로 멈추거나, Real 재생 뒤 ← 목록 을 누를 때
  • 앱을 끌 때

4. 동작 녹화 · 재생

4.1. 무엇이 녹화되나

Motion Record 는 리더가 보낸 명령(action)과 팔로워가 잰 위치(observation)를 시간 순서대로 JSON 파일에 담습니다. 카메라 영상은 담지 않으므로 학습용 데이터셋이 아닙니다. 학습에 쓸 데이터는 데이터 수집에서 모읍니다.

녹화 탭녹화하는 동안 팔로워저장 폴더
Sim Motion Record움직이지 않습니다 (리더의 움직임만 담습니다)~/.cache/physical-labs/<robot id>/motion/teleop/sim/
Real Motion Record리더를 따라 움직입니다~/.cache/physical-labs/<robot id>/motion/teleop/real/
Ubuntu
xdg-open ~/.cache/physical-labs

4.2. [앱] 녹화하기 (Motion Record)

  1. Motion Record → Sim Motion Record 또는 Real Motion Record 를 고릅니다.
  2. 이름: 칸에 녹화 이름을 적고, FPS: (15 · 30 · 60, 기본 30)를 고릅니다.
  3. ● 녹화 를 누르면 시간이 흐르고 상태가 녹화 중 이 됩니다. 리더로 동작을 합니다.
  4. 잠깐 멈추려면 ⏸ 일시정지, 이어서 하려면 ▶ 재개 를 누릅니다.
  5. ■ 중지 를 누르면 녹화 완료 창에 녹화 파일이 저장되었습니다. 와 파일 경로가 뜹니다. 이때 텔레오퍼레이션도 함께 멈춥니다.

Real Motion Record 는 누르는 순간 Real 이 됩니다

텔레오퍼레이션이 도는 중에 Real Motion Record 탭을 누르거나, 연결하지 않은 채 그 탭에서 ● 녹화 를 누르면 확인 없이 팔로워가 리더를 따라 움직이기 시작합니다. 리더 자세를 먼저 맞추세요.

4.3. [앱] 재생하기 (Motion Replay)

  1. Motion Replay 탭으로 갑니다. 텔레오퍼레이션이 돌고 있었다면 이때 멈추고 팔로워의 힘이 풀립니다 (재생 모드 진입으로 중지됨). 먼저 팔로워를 내려놓으세요.
  2. 목록에서 녹화를 고르고 ▶ 재생 을 누르면 재생 화면으로 바뀌며 바로 재생이 시작됩니다. 목록 줄은 [sim] 이름 (12.3s, 370f) @ 30fps - 10-27 14:05 처럼 녹화 탭 · 길이 · 프레임 수 · 날짜를 보여 줍니다. 필요 없는 녹화는 삭제 로 지웁니다.
  3. 재생 화면의 ⏸ 는 일시정지가 아니라 정지입니다. 다시 ▶ 를 누르면 처음부터 재생합니다. 재생 중에는 슬라이더로 원하는 곳으로 옮길 수 있고, 반복 횟수와 무한 재생 도 고를 수 있습니다.
  4. 실물로도 재생하려면 재생을 멈춘 상태에서 Real 을 체크한 뒤 ▶ 를 누릅니다. 이때 팔로워에 새로 연결하고, 안전을 위해 슬라이더로 건너뛰기는 막힙니다.
  5. ■ 정지 로 멈추고, ← 목록 으로 목록에 돌아갑니다. 🗑 삭제 는 지금 녹화를 지웁니다. Real 재생을 ■ 정지 · ⏸ 로 멈추거나 Real 재생 뒤 ← 목록 을 누르면 팔로워 연결이 끊겨 힘이 풀리니, 팔을 받치고 누르세요.

Real 체크는 ← 목록 으로 나가도 그대로 남습니다. 그 상태로 다른 녹화의 ▶ 재생 을 누르면 곧바로 실물로 재생되니, 3D 로만 볼 때는 목록으로 나가기 전에 체크를 끄세요.

Real 재생은 첫 프레임 자세로 바로 움직이며 시작합니다

SO-101 · SO-102 는 확인 창이 없습니다. 지금 팔로워 자세와 녹화의 첫 자세가 많이 다르면 팔이 그만큼 빠르게 움직입니다. 녹화를 시작했던 자세 근처에 팔로워를 두고 재생하세요.

Real 재생은 반복 1회로 한 번씩 하세요

지금 판은 Real 로 반복 2회 이상 · 무한 재생 을 하거나, 재생이 끝난 뒤 ▶ 를 바로 다시 누르면 두 번째 재생부터 팔로워의 힘이 빠져 팔이 처지거나 떨어질 수 있습니다. 다시 재생하려면 팔을 받친 채 ← 목록 으로 나갔다가 녹화를 다시 고르세요.


5. A-Go(LeKiwi) 에서 다른 점

A-Go(LeKiwi)도 같은 탭에서 리더 팔로 로봇 팔을 움직입니다. 새 A-Go(ROS 2 로봇)는 Ubuntu 판 0.1.8 이상에서 연결되며, 다른 점만 짧게 정리합니다.

다른 점내용
맨 위 상태 줄로봇 상태(켜짐 · 꺼짐 · 카메라)와 ▶ 로봇 켜기 · ■ 로봇 끄기 · ⛔ 비상 정지 가 붙습니다. 로봇이 꺼져 있으면 🔌 연결 이 막힙니다
팔로워 포트Follower 포트: 대신 Lekiwi (원격) · <로봇 주소> 가 보입니다. PC 에는 리더 팔만 꽂습니다
Real ControlReal Control 로 넘어가거나 Real 로 연결할 때 실물 로봇 추종 확인 창이 한 번 뜹니다. 텔레오퍼레이션 중에 Real Motion Record 탭을 누를 때는 이 창 없이 바로 Real 이 됩니다 (4.2절)
바퀴Real Control 에서 키보드로 로봇이 실제로 굴러갑니다. W / S 앞뒤, A / D 좌우, Q / E 제자리 회전, R / F 속도 단계
Real 재생Real 을 체크하면 실물 로봇 재생 확인 창이 뜹니다. 바퀴 주행이 든 녹화는 로봇이 실제로 이동합니다
비상 정지바퀴를 세우고 바퀴 · 팔의 힘을 끕니다. 편 팔은 떨어집니다
조작 권한로봇 웹 화면에서 조작 권한을 쥐고 있으면 앱 연결이 막힙니다

로봇 켜기부터 데이터 수집까지의 순서는 Physical Labs 연결 · 데이터 · 학습 · 추론에 있습니다.


6. 문제 해결

증상확인할 것
🔌 연결 이 흐려 눌리지 않는다버튼에 마우스를 올리면 까닭이 보입니다. 로봇 설정에서 로봇 ID 를 먼저 저장하세요. · 로봇 설정에서 Teleop ID 를 먼저 저장하세요. 면 로봇 설정을 저장하고, Leader 포트를 선택하세요. · Follower 포트를 선택하세요. 면 포트를 고릅니다
팔로워 보정 정보가 없습니다. … · 리더 보정 정보가 없습니다. …그 팔의 보정을 아직 하지 않았습니다 → 칼리브레이션
Could not connect on port '…'포트가 맞는지, 케이블 · 전원이 꽂혀 있는지 봅니다. 그래도 안 되면 시리얼 포트 권한(dialout)을 확인합니다 → 문제 해결
N번 모터에서 응답이 없어 통신에 실패했습니다. 같은 모터 오류텔레오퍼레이션 오류 창에 흔한 원인이 순서대로 나옵니다. 같은 ID 모터가 두 대인지, 다른 탭 · 터미널이 같은 포트를 쓰는지, 전원 · 배선, 리더 · 팔로워 포트가 바뀌었는지, 통신 속도(보율)가 맞는지 봅니다
리더를 움직여도 팔로워가 가만히 있다상태가 운영 중 — Sim 모드 면 Real Control 로 옮깁니다
팔로워가 엉뚱하게 움직인다Follower 포트: · Leader 포트: 가 서로 바뀌지 않았는지 봅니다. USB 를 다시 꽂으면 ttyACM 번호가 바뀔 수 있습니다. 포트가 맞다면 보정을 다시 합니다
Real 로 바꾸자 팔이 휙 움직였다리더와 팔로워의 자세 차이만큼 움직인 것입니다. 리더 자세를 맞춘 뒤 넘어갑니다 (3.4절)
끝내자 팔로워가 툭 떨어졌다연결이 끊기면 힘이 풀립니다. 끊기 전에 팔을 내려놓습니다 (3.5절)
카메라 뷰에 등록된 카메라가 없습니다. 가 보인다로봇 설정에서 카메라를 추가하고 저장합니다 → 로봇 설정
녹화 이름 필요이름: 칸에 녹화 이름을 적습니다
텔레오퍼레이션 실행 중 (재생할 때)Control 탭에서 🔌 연결 해제 로 먼저 멈춥니다
실 로봇 연결 실패팔로워 USB · 전원 · 포트를 확인합니다. 다른 탭이 팔로워를 쓰고 있지 않은지도 봅니다
이 모션은 현재 로봇(…)과 관절 구성이 달라 재생할 수 없습니다.SO-101 과 SO-102 의 녹화는 서로 재생할 수 없습니다. 같은 기종으로 녹화한 것만 씁니다
녹화 저장 실패디스크 공간과 ~/.cache/physical-labs 폴더의 쓰기 권한을 확인합니다
텔레오퍼레이션 중 다른 메뉴를 눌렀더니 팔이 멈췄다사이드바로 옮기면 연결이 끊깁니다. 다시 탭으로 와서 연결합니다

그 밖의 문제는 문제 해결에 모았습니다.


7. 정리