텔레오퍼레이션 — 리더 팔로 팔로워 움직이기
텔레오퍼레이션은 사람이 손으로 리더 팔을 움직이면 팔로워 팔이 그 동작을 그대로 따라 하는 원격 조종입니다. Physical Labs 의 텔레오퍼레이션 탭에서는 명령어 없이 버튼 하나로 두 팔을 연결하고, 3D 보기 · 카메라 · 관절 그래프로 상태를 함께 봅니다. 데이터 수집도 같은 방식으로 팔을 움직이므로, 수집 전에 여기서 두 팔이 잘 맞는지 먼저 확인하면 좋습니다.
이 문서는 Ubuntu 판 0.2.0 기준입니다
SO-101(A-Ba) · SO-102 를 중심으로 설명하고, A-Go(LeKiwi)에서 다른 점은 5절에 짧게 모았습니다. Windows 판(0.1.7)은 SO-102 와 새 A-Go(ROS 2 로봇)를 지원하지 않고, 포트가
COM3처럼 보입니다. 다른 USB 구멍에 꽂으면 COM 번호가 바뀔 수 있으니 연결 전에 포트를 확인하세요.
학습 목표
- 리더-팔로워 방식과 Sim Control · Real Control 의 차이를 설명할 수 있다.
- 포트를 확인하고 🔌 연결 로 텔레오퍼레이션을 시작 · 정지할 수 있다.
- 3D 보기 · 카메라 뷰 · 관절 그래프로 팔로워가 리더를 잘 따르는지 확인할 수 있다.
- 동작을 Motion Record 로 녹화하고 Motion Replay 로 다시 재생할 수 있다.
- 끝낼 때 팔로워가 떨어지지 않게 안전하게 정리할 수 있다.
1. 텔레오퍼레이션 알아보기
1.1. 리더와 팔로워
| 팔 | 하는 일 | 로봇 설정의 이름 |
|---|---|---|
리더 팔 (leader arm) | 사람이 손으로 움직이는 팔입니다. 연결하면 모터 힘이 꺼져 손으로 가볍게 움직입니다 | teleop id |
팔로워 팔 (follower arm) | 리더를 따라 움직이는 팔입니다. 데이터 수집 · 추론에서 실제로 일하는 팔입니다 | robot id |
앱은 리더의 관절 각도를 읽어 팔로워의 같은 관절로 보내는 일을 1초에 수십 번 되풀이합니다. 그래서 리더를 움직이는 즉시 팔로워가 따라옵니다. 두 팔의 보정이 맞아야 같은 각도가 같은 자세가 됩니다.
1.2. Sim Control 과 Real Control
Control 탭 안에 Sim Control · Real Control 두 탭이 있습니다. 처음 열면 Sim Control 이 골라져 있습니다.
| 탭 | 리더를 움직이면 | 3D 보기에 보이는 것 | 팔로워 |
|---|---|---|---|
| Sim Control | 3D 만 따라 움직입니다 | 리더의 자세 | 명령을 받지 않고, 연결된 채 제자리에서 버팁니다 |
| Real Control | 팔로워가 따라 움직입니다 | 팔로워의 실제 자세 | 리더를 따라 움직입니다 |
- 연결된 채로 탭만 바꾸면 Sim 과 Real 이 바로 바뀝니다. 다시 연결할 필요가 없습니다.
- Sim Control 도 두 팔을 모두 연결합니다. 그래서 Sim 으로 연습할 때도 두 팔의 USB · 전원 · 보정이 필요합니다.
Real 로 바꾸는 순간 확인 없이 팔로워가 리더 자세로 움직입니다
SO-101 · SO-102 는 확인 창이 없습니다. Real Control 을 고른 채로 🔌 연결 을 눌러도 마찬가지입니다. 리더를 팔로워와 비슷한 자세로 맞춘 뒤 넘어가고, 팔로워 주변에서 사람 · 물건을 치우세요. 앱은 팔이 무엇에 부딪히는지 검사하지 않습니다.
1.3. 시작 전에 준비할 것
| 준비물 | 설명 |
|---|---|
| 저장한 로봇 | 로봇 설정 에서 robot id · teleop id · 두 팔의 포트를 정하고 로봇 저장 까지 마친 로봇 → 로봇 설정 |
| 두 팔의 보정 | 칼리브레이션 탭에서 follower arm · leader arm 을 모두 보정합니다 → 칼리브레이션 |
| 기능 패키지 | 로봇 제어 패키지 · 데이터 패키지. 탭을 처음 열 때 설치 카드가 뜨면 설치하기 를 누릅니다 → 기능 패키지 설치 |
| 두 팔의 연결 | 리더 · 팔로워 USB 를 PC 에 꽂고 모터 전원을 켭니다 |
| 카메라 (선택) | 로봇 설정에 등록한 카메라가 카메라 뷰 에 뜹니다. 없어도 텔레오퍼레이션은 됩니다 |
기능 패키지가 없을 때 뜨는 설치 카드입니다. 설치하기 를 누르고 기다리면 설치가 끝나는 대로 텔레오퍼레이션 화면이 열립니다.
2. 화면 구성
2.1. 위쪽 — 하위 탭과 Control 줄
연결하기 전의 모습입니다. 그림의 포트 이름은 촬영용 예시라 두 칸이 같지만, 실제로는 Follower 포트에 팔로워 팔을, Leader 포트에 리더 팔을 고릅니다.
| 칸 · 버튼 | 하는 일 |
|---|---|
| Control · Motion Record · Motion Replay | 조종 · 녹화 · 재생 탭입니다 (4절) |
| Sim Control · Real Control | 팔로워를 실제로 움직일지 정합니다 (1.2절) |
| Follower 포트: · Leader 포트: | 두 팔의 포트입니다. 로봇 설정에 저장한 포트가 골라져 있습니다 |
| ↻ | 포트 목록을 다시 읽습니다 (연결 전에만) |
| 상태: | 점과 글로 지금 상태를 보여 줍니다. 회색 연결 안됨 → 주황 연결 중… → 초록 운영 중 — Sim 모드 또는 운영 중 — Real 모드 |
| 🔌 연결 | 두 팔에 연결하면서 바로 텔레오퍼레이션을 시작합니다. 연결되면 🔌 연결 해제 로 바뀌고, 다시 누르면 멈추고 연결을 끊습니다 |
2.2. 가운데 — 3D 보기와 카메라 뷰
- 3D 보기(왼쪽): Sim 에서는 리더의 자세를, Real 에서는 팔로워의 실제 자세를 보여 줍니다. 아래에 상태 글과 1초에 몇 번 주고받는지(
Hz)가 보입니다. - 카메라 뷰(오른쪽): 로봇 설정에 등록한 카메라 영상이 카메라마다 한 칸씩 뜹니다. 카메라가 없으면
등록된 카메라가 없습니다. 로봇 설정에서 카메라를 추가하면 여기 영상이 뜹니다.가 보입니다.
2.3. 아래 — 관절 그래프와 관절 값
연결하기 전이라 그래프가 비어 있고 값은 모두 — 입니다.
| 칸 | 뜻 |
|---|---|
| 관절 그래프 | 관절마다 선 두 개를 그립니다. 실선 observation.<관절>.pos 는 팔로워가 잰 실제 위치, 점선 action.<관절>.pos 는 리더가 보낸 명령입니다. Real 에서 실선이 점선을 바짝 따라가면 잘 따르는 것입니다 |
| 현재 관절 위치 | 어깨 회전 (°) · 어깨 상하 (°) · 팔꿈치 (°) · 손목 굽힘 (°) · 손목 회전 (°) · 그리퍼 (°) 의 지금 각도. SO-102 는 손목 좌우 (°) 가 더 있습니다 |
| 엔드이펙터 좌표 (m) | 그리퍼 끝의 X · Y · Z. SO-102 는 SO-102 엔드이펙터 좌표는 아직 지원하지 않습니다. 가 보입니다 |
그래프 위 경계선(손잡이)을 끝까지 내리면 그래프 칸이 숨고, 손잡이를 더블클릭하면 접었다 펼쳤다 합니다. 3D 와 카메라를 크게 보고 싶을 때 씁니다.
3. 텔레오퍼레이션 하기
3.1. [로봇] 준비하기
- 리더 · 팔로워의 USB 케이블을 PC 에 꽂고 두 팔의 모터 전원을 켭니다.
- 팔로워가 닿는 범위에서 사람 · 물건을 치웁니다.
- 리더와 팔로워를 비슷한 자세로 둡니다. 둘 다 접어 둔 쉬는 자세가 무난합니다.
3.2. [앱] 포트 확인하기
- 사이드바 로봇 창고 → 로봇 카드 → 텔레오퍼레이션 탭을 엽니다. 처음 열 때는
텔레오퍼레이션 준비 중입니다/처음 열 때만 시간이 걸립니다가 잠깐 뜹니다. - Follower 포트: 에 팔로워, Leader 포트: 에 리더가 골라져 있는지 확인합니다. 케이블을 방금 꽂았다면 ↻ 를 누릅니다.
여기서 바꾼 포트는 로봇 설정에 바로 저장됩니다
다음에 탭을 열 때도 그 포트가 골라져 있습니다. 연결 중에는 포트를 바꿀 수 없으니, 바꾸려면 먼저 🔌 연결 해제 를 누르세요.
3.3. [앱] Sim Control 에서 연결하기
- Control → Sim Control 을 고릅니다.
- 🔌 연결 을 누릅니다. 앱을 켠 뒤 처음 연결할 때는
텔레오퍼레이션 준비 중/lerobot 라이브러리를 불러오는 중입니다 (최초 1회)가 몇 초 뜹니다. - 연결하는 동안 버튼이
⠋ 연결 중… (취소)로 바뀝니다. 이때 누르면 연결을 취소합니다. - 상태가 초록
운영 중 — Sim 모드가 되면 리더를 천천히 움직여 봅니다. 3D 의 팔과 그래프의 점선이 따라 움직이고, 팔로워는 제자리에 있으면 정상입니다.
Sim 에서 3D 가 리더를 그대로 따라오면 준비가 끝난 것입니다
관절 하나가 반대로 움직이거나 크게 어긋나 보이면 Real 로 넘어가지 말고 그 팔의 보정을 다시 하세요.
3.4. [앱] Real Control 로 넘어가기
- 리더를 팔로워와 비슷한 자세로 맞춥니다.
- Real Control 탭을 누릅니다. 상태가
운영 중 — Real 모드로 바뀌고, 팔로워가 리더를 따라 움직이기 시작합니다. - 처음에는 리더를 천천히 움직입니다. 그래프의 실선(팔로워)이 점선(리더)을 따라오는지 봅니다.
- 다시 3D 로만 보려면 Sim Control 로 돌아갑니다. 팔로워는 그 자리에서 멈춥니다.
리더에서 손을 떼면 팔로워도 따라 내려옵니다
리더는 모터 힘이 꺼져 있어 손을 놓으면 무게 때문에 처집니다. Real Control 에서는 팔로워가 그 움직임까지 그대로 따라 하니, 손을 떼기 전에 리더를 내려놓거나 Sim Control 로 바꾸세요.
3.5. [앱] 끝내기
- 리더로 팔로워를 안전한 자세(접은 자세나 책상에 닿은 자세)로 옮깁니다.
- 🔌 연결 해제 를 누릅니다. 텔레오퍼레이션이 멈추고 두 팔의 연결이 끊깁니다.
연결이 끊기면 팔로워의 힘이 풀려 처지거나 떨어집니다
아래 경우 모두 팔로워 연결이 끊깁니다. 편 팔은 떨어질 수 있으니 먼저 내려놓으세요.
- 🔌 연결 해제 를 눌렀을 때
- 다른 탭으로 옮길 때 (
탭 이동창에서 Yes)- 사이드바 메뉴로 옮길 때 (묻지 않고 끊깁니다 → 화면 둘러보기)
- Motion Replay 탭으로 옮길 때
- Motion Record 에서 ■ 중지 를 눌렀을 때
- Real 재생을 ■ 정지 · ⏸ 로 멈추거나, Real 재생 뒤 ← 목록 을 누를 때
- 앱을 끌 때
4. 동작 녹화 · 재생
4.1. 무엇이 녹화되나
Motion Record 는 리더가 보낸 명령(action)과 팔로워가 잰 위치(observation)를 시간 순서대로 JSON 파일에 담습니다. 카메라 영상은 담지 않으므로 학습용 데이터셋이 아닙니다. 학습에 쓸 데이터는 데이터 수집에서 모읍니다.
| 녹화 탭 | 녹화하는 동안 팔로워 | 저장 폴더 |
|---|---|---|
| Sim Motion Record | 움직이지 않습니다 (리더의 움직임만 담습니다) | ~/ |
| Real Motion Record | 리더를 따라 움직입니다 | ~/ |
xdg-open ~/.cache/physical-labs4.2. [앱] 녹화하기 (Motion Record)
- Motion Record → Sim Motion Record 또는 Real Motion Record 를 고릅니다.
- 이름: 칸에 녹화 이름을 적고, FPS: (15 · 30 · 60, 기본 30)를 고릅니다.
- ● 녹화 를 누르면 시간이 흐르고 상태가
녹화 중이 됩니다. 리더로 동작을 합니다. - 잠깐 멈추려면 ⏸ 일시정지, 이어서 하려면 ▶ 재개 를 누릅니다.
- ■ 중지 를 누르면
녹화 완료창에녹화 파일이 저장되었습니다.와 파일 경로가 뜹니다. 이때 텔레오퍼레이션도 함께 멈춥니다.
- 연결하지 않은 채 ● 녹화 를 누르면 그 녹화 탭에 맞춰(Sim 또는 Real) 자동으로 연결하고 텔레오퍼레이션을 시작합니다.
- 텔레오퍼레이션이 도는 중에 Control 탭과 다른 모드의 녹화 탭에서 시작하면
모드 불일치확인 창이 뜹니다. Yes 를 눌러도 팔로워가 움직이는 방식은 바뀌지 않고 녹화만 시작됩니다. 헷갈리면 No 를 누르고 Control 탭과 같은 모드의 녹화 탭을 고르세요. - 녹화 중에 Sim Motion Record ↔ Real Motion Record 를 바꾸면 그때까지가 자동으로 저장됩니다 (
탭 전환으로 자동 저장됨). 녹화 중에 Control · Motion Replay 로 옮기려 하면녹화 중확인 창이 뜹니다. - 같은 이름으로 다시 녹화하면 덮어쓰지 않고
<이름>_2,<이름>_3… 으로 새 파일을 만듭니다.
Real Motion Record 는 누르는 순간 Real 이 됩니다
텔레오퍼레이션이 도는 중에 Real Motion Record 탭을 누르거나, 연결하지 않은 채 그 탭에서 ● 녹화 를 누르면 확인 없이 팔로워가 리더를 따라 움직이기 시작합니다. 리더 자세를 먼저 맞추세요.
4.3. [앱] 재생하기 (Motion Replay)
- Motion Replay 탭으로 갑니다. 텔레오퍼레이션이 돌고 있었다면 이때 멈추고 팔로워의 힘이 풀립니다 (
재생 모드 진입으로 중지됨). 먼저 팔로워를 내려놓으세요. - 목록에서 녹화를 고르고 ▶ 재생 을 누르면 재생 화면으로 바뀌며 바로 재생이 시작됩니다. 목록 줄은
[sim] 이름 (12.3s, 370f) @ 30fps - 10-27 14:05처럼 녹화 탭 · 길이 · 프레임 수 · 날짜를 보여 줍니다. 필요 없는 녹화는 삭제 로 지웁니다. - 재생 화면의 ⏸ 는 일시정지가 아니라 정지입니다. 다시 ▶ 를 누르면 처음부터 재생합니다. 재생 중에는 슬라이더로 원하는 곳으로 옮길 수 있고, 반복 횟수와 무한 재생 도 고를 수 있습니다.
- 실물로도 재생하려면 재생을 멈춘 상태에서 Real 을 체크한 뒤 ▶ 를 누릅니다. 이때 팔로워에 새로 연결하고, 안전을 위해 슬라이더로 건너뛰기는 막힙니다.
- ■ 정지 로 멈추고, ← 목록 으로 목록에 돌아갑니다. 🗑 삭제 는 지금 녹화를 지웁니다. Real 재생을 ■ 정지 · ⏸ 로 멈추거나 Real 재생 뒤 ← 목록 을 누르면 팔로워 연결이 끊겨 힘이 풀리니, 팔을 받치고 누르세요.
Real 체크는 ← 목록 으로 나가도 그대로 남습니다. 그 상태로 다른 녹화의 ▶ 재생 을 누르면 곧바로 실물로 재생되니, 3D 로만 볼 때는 목록으로 나가기 전에 체크를 끄세요.
Real 재생은 첫 프레임 자세로 바로 움직이며 시작합니다
SO-101 · SO-102 는 확인 창이 없습니다. 지금 팔로워 자세와 녹화의 첫 자세가 많이 다르면 팔이 그만큼 빠르게 움직입니다. 녹화를 시작했던 자세 근처에 팔로워를 두고 재생하세요.
Real 재생은 반복 1회로 한 번씩 하세요
지금 판은 Real 로 반복 2회 이상 · 무한 재생 을 하거나, 재생이 끝난 뒤 ▶ 를 바로 다시 누르면 두 번째 재생부터 팔로워의 힘이 빠져 팔이 처지거나 떨어질 수 있습니다. 다시 재생하려면 팔을 받친 채 ← 목록 으로 나갔다가 녹화를 다시 고르세요.
- 텔레오퍼레이션이 도는 중에 재생하려 하면
텔레오퍼레이션 실행 중이 뜹니다. Control 탭에서 먼저 멈춥니다. - Real 연결에 실패하면
실 로봇 연결 실패창 끝에Sim 재생으로 진행됩니다.가 뜨고 3D 로만 재생합니다. - SO-101 과 SO-102 는 관절 수가 달라 서로의 녹화를 재생할 수 없습니다.
5. A-Go(LeKiwi) 에서 다른 점
A-Go(LeKiwi)도 같은 탭에서 리더 팔로 로봇 팔을 움직입니다. 새 A-Go(ROS 2 로봇)는 Ubuntu 판 0.1.8 이상에서 연결되며, 다른 점만 짧게 정리합니다.
| 다른 점 | 내용 |
|---|---|
| 맨 위 상태 줄 | 로봇 상태(켜짐 · 꺼짐 · 카메라)와 ▶ 로봇 켜기 · ■ 로봇 끄기 · ⛔ 비상 정지 가 붙습니다. 로봇이 꺼져 있으면 🔌 연결 이 막힙니다 |
| 팔로워 포트 | Follower 포트: 대신 Lekiwi (원격) · <로봇 주소> 가 보입니다. PC 에는 리더 팔만 꽂습니다 |
| Real Control | Real Control 로 넘어가거나 Real 로 연결할 때 실물 로봇 추종 확인 창이 한 번 뜹니다. 텔레오퍼레이션 중에 Real Motion Record 탭을 누를 때는 이 창 없이 바로 Real 이 됩니다 (4.2절) |
| 바퀴 | Real Control 에서 키보드로 로봇이 실제로 굴러갑니다. W / S 앞뒤, A / D 좌우, Q / E 제자리 회전, R / F 속도 단계 |
| Real 재생 | Real 을 체크하면 실물 로봇 재생 확인 창이 뜹니다. 바퀴 주행이 든 녹화는 로봇이 실제로 이동합니다 |
| 비상 정지 | 바퀴를 세우고 바퀴 · 팔의 힘을 끕니다. 편 팔은 떨어집니다 |
| 조작 권한 | 로봇 웹 화면에서 조작 권한을 쥐고 있으면 앱 연결이 막힙니다 |
로봇 켜기부터 데이터 수집까지의 순서는 Physical Labs 연결 · 데이터 · 학습 · 추론에 있습니다.
6. 문제 해결
| 증상 | 확인할 것 |
|---|---|
| 🔌 연결 이 흐려 눌리지 않는다 | 버튼에 마우스를 올리면 까닭이 보입니다. 로봇 설정에서 로봇 ID 를 먼저 저장하세요. · 로봇 설정에서 Teleop ID 를 먼저 저장하세요. 면 로봇 설정을 저장하고, Leader 포트를 선택하세요. · Follower 포트를 선택하세요. 면 포트를 고릅니다 |
팔로워 보정 정보가 없습니다. … · 리더 보정 정보가 없습니다. … | 그 팔의 보정을 아직 하지 않았습니다 → 칼리브레이션 |
Could not connect on port '…' | 포트가 맞는지, 케이블 · 전원이 꽂혀 있는지 봅니다. 그래도 안 되면 시리얼 포트 권한(dialout)을 확인합니다 → 문제 해결 |
N번 모터에서 응답이 없어 통신에 실패했습니다. 같은 모터 오류 | 텔레오퍼레이션 오류 창에 흔한 원인이 순서대로 나옵니다. 같은 ID 모터가 두 대인지, 다른 탭 · 터미널이 같은 포트를 쓰는지, 전원 · 배선, 리더 · 팔로워 포트가 바뀌었는지, 통신 속도(보율)가 맞는지 봅니다 |
| 리더를 움직여도 팔로워가 가만히 있다 | 상태가 운영 중 — Sim 모드 면 Real Control 로 옮깁니다 |
| 팔로워가 엉뚱하게 움직인다 | Follower 포트: · Leader 포트: 가 서로 바뀌지 않았는지 봅니다. USB 를 다시 꽂으면 ttyACM 번호가 바뀔 수 있습니다. 포트가 맞다면 보정을 다시 합니다 |
| Real 로 바꾸자 팔이 휙 움직였다 | 리더와 팔로워의 자세 차이만큼 움직인 것입니다. 리더 자세를 맞춘 뒤 넘어갑니다 (3.4절) |
| 끝내자 팔로워가 툭 떨어졌다 | 연결이 끊기면 힘이 풀립니다. 끊기 전에 팔을 내려놓습니다 (3.5절) |
카메라 뷰에 등록된 카메라가 없습니다. 가 보인다 | 로봇 설정에서 카메라를 추가하고 저장합니다 → 로봇 설정 |
녹화 이름 필요 | 이름: 칸에 녹화 이름을 적습니다 |
텔레오퍼레이션 실행 중 (재생할 때) | Control 탭에서 🔌 연결 해제 로 먼저 멈춥니다 |
실 로봇 연결 실패 | 팔로워 USB · 전원 · 포트를 확인합니다. 다른 탭이 팔로워를 쓰고 있지 않은지도 봅니다 |
이 모션은 현재 로봇(…)과 관절 구성이 달라 재생할 수 없습니다. | SO-101 과 SO-102 의 녹화는 서로 재생할 수 없습니다. 같은 기종으로 녹화한 것만 씁니다 |
녹화 저장 실패 | 디스크 공간과 ~/.cache/physical-labs 폴더의 쓰기 권한을 확인합니다 |
| 텔레오퍼레이션 중 다른 메뉴를 눌렀더니 팔이 멈췄다 | 사이드바로 옮기면 연결이 끊깁니다. 다시 탭으로 와서 연결합니다 |
그 밖의 문제는 문제 해결에 모았습니다.
7. 정리
- 리더 팔을 손으로 움직이면 팔로워 팔이 따라 움직입니다. 🔌 연결 한 번으로 연결과 시작을 함께 합니다.
- Sim Control 은 3D 만, Real Control 은 실물 팔로워까지 움직입니다. 먼저 Sim 에서 3D 가 리더를 잘 따르는지 보고 Real 로 넘어갑니다.
- Real 로 바꾸는 순간 확인 없이 팔로워가 리더 자세로 움직입니다. 리더 자세를 맞추고 주변을 비웁니다.
- 그래프의 실선(팔로워)이 점선(리더)을 따라가면 잘 따르는 것입니다.
- Motion Record 는 관절 동작만 담는 연습용 녹화이고, 학습용 데이터는 데이터 탭에서 모읍니다.
- 연결이 끊기면 팔로워의 힘이 풀립니다. 끝내기 전에 팔을 내려놓으세요.


