A-Go(LeKiwi) 카메라 연결

A-Go(LeKiwi)에는 USB 카메라가 두 대 달려 있습니다. 로봇 앞을 보는 전방 카메라와 그리퍼를 보는 손목 카메라입니다. 두 카메라는 똑같은 제품이라, 로봇은 카메라를 꽂은 USB 포트 자리로 둘을 구분합니다. 이 페이지에서는 카메라를 맞는 자리에 꽂고, 웹 화면과 Physical Labs의 미리보기로 확인하고, 바뀌었을 때 바로잡는 방법을 안내합니다.

학습 목표

  • 전방 · 손목 카메라가 무엇을 비추는지, 둘이 바뀌면 왜 안 되는지 설명할 수 있다.
  • 로봇이 USB 포트 자리로 두 카메라를 구분한다는 것을 설명할 수 있다.
  • 웹 화면과 Physical Labs에서 두 카메라 영상을 확인할 수 있다.
  • 전방 · 손목이 바뀌었거나 영상이 나오지 않을 때 바로잡을 수 있다.

1. 카메라 두 대

1.1. 전방과 손목

카메라웹 화면 이름Physical Labs · 데이터셋 이름비추는 것꽂는 자리 (USB 포트)
전방전방 카메라front로봇 앞 바닥과 작업 공간1.2
손목손목 카메라wrist그리퍼(집게) 끝1.1

1.1 · 1.2 는 라즈베리파이가 USB 포트를 부르는 번호입니다. 2절에서 자세히 설명합니다.

1.2. 둘이 바뀌면 안 되는 이유

데이터셋에는 전방 영상과 손목 영상이 front · wrist 라는 이름으로 따로 저장됩니다. 모델은 “front에는 로봇 앞이, wrist에는 그리퍼가 보인다”는 전제로 학습합니다.

두 카메라가 바뀐 채로 데이터를 모으면 에러는 나지 않지만 조용히 잘못된 데이터셋이 만들어집니다. 추론 중에 바뀌면 모델은 엉뚱한 화면을 보고 움직입니다. 그래서 데이터를 모으기 전에 한 번, 카메라 케이블을 다시 꽂았을 때마다 한 번 확인합니다.


2. 카메라는 꽂은 자리로 정해집니다

2.1. 규칙

두 카메라는 같은 제품이고 시리얼 번호까지 같아서, 로봇은 카메라 자체로는 둘을 구별하지 못합니다. 그래서 로봇은 라즈베리파이의 어느 USB 포트에 꽂혔는지로 전방과 손목을 정합니다.

라즈베리파이가 부르는 포트카메라
1.2전방 (front)
1.1손목 (wrist)

이 번호가 라즈베리파이의 어느 구멍인지는 로봇에서 직접 확인합니다. 가장 쉬운 방법은 미리보기를 보고, 바뀌었으면 두 케이블을 서로 바꿔 꽂는 것입니다 (4~5절). 구멍 자리를 정확히 알고 싶다면 5.2절의 터미널 방법을 씁니다.

2.2. 꽂을 때 지킬 것

예전 이미지를 쓰던 로봇이라면

예전 이미지(lekiwi1017 등)에서는 udev 규칙으로 /dev/cam_front · /dev/cam_wrist 별칭을 만들어, 어느 포트에 꽂든 설정으로 맞췄습니다. 새 이미지의 로봇 프로그램은 이 별칭을 쓰지 않고 포트 자리만 봅니다. 그래서 예전 로봇에 새 카드를 넣으면 전방 · 손목이 바뀌어 보일 수 있습니다. 4절로 확인하고, 바뀌었으면 5절대로 바꿔 꽂습니다. 별칭을 새로 만들거나 고칠 필요는 없습니다.

2.3. 해상도와 속도는 로봇이 정합니다

항목값
해상도640×480
속도30 fps
형식MJPEG (카메라가 압축한 영상을 그대로 보냄)
회전0° (돌리지 않음)

이 값은 로봇의 카메라 설정 파일(lekiwi_camera.yaml)이 정합니다. 웹 화면과 Physical Labs에서는 보기만 하고 바꾸지 않습니다. 같은 기종의 다른 로봇과 데이터셋을 맞춰 쓰려면 이 값을 그대로 둡니다.


3. 카메라는 로봇 기능과 함께 켜집니다

카메라는 로봇 전원만 켠다고 켜지지 않습니다. 웹 화면이나 Physical Labs에서 로봇 켜기를 눌러 로봇 기능을 켤 때, 카메라를 다루는 프로그램(카메라 노드)도 함께 켜집니다.

켜는 곳카메라
[웹 화면] 대시보드 › 기능 › 로봇 › 로봇 켜기옆의 카메라 포함 이 체크돼 있으면 함께 켜집니다 (처음에 체크돼 있음)
[앱] Physical Labs ▶ 로봇 켜기항상 함께 켜집니다
[로봇] 터미널에서 직접 실행카메라가 꺼진 채 켜집니다. 웹 화면이나 앱으로 켭니다

웹 화면에서 로봇을 켜려면 먼저 위쪽의 조작 권한 받기를 누릅니다. 조작 권한은 대시보드와 조작 권한에서 설명합니다.

로봇 기능이 꺼진 웹 화면 대시보드 — 로봇 켜기 옆에 카메라 포함 체크가 있고, 전방 카메라 칸은 신호 없음 로봇 기능이 꺼져 있으면 카메라도 꺼져 있어 전방 카메라 칸이 신호 없음 입니다. 로봇 켜기 옆의 카메라 포함 을 확인하세요.

켤 때 빠져 있던 카메라는 다시 찾지 않습니다

로봇 기능을 켜는 순간 카메라가 꽂혀 있지 않으면 그 카메라 노드는 바로 끝나고, 나중에 꽂아도 다시 시도하지 않습니다. 카메라를 꽂은 뒤 로봇 끄기 → 로봇 켜기를 합니다. 켜져 있는 동안 잠깐 빠졌다가 같은 자리에 다시 꽂은 경우에는 카메라가 다시 잡힐 수 있지만, 영상이 돌아오지 않으면 마찬가지로 껐다 켭니다.


4. 영상 확인하기

카메라 영상은 팔 보정(캘리브레이션) 전에도 볼 수 있습니다. 아래 세 곳 중 편한 곳에서 확인합니다.

4.1. [웹 화면] 조작 화면 — 두 카메라를 한 번에

  1. 브라우저로 웹 화면을 엽니다. AP 모드라면 http://192.168.4.1:8080, 공유기 모드라면 http://lekiwi01.local:8080 또는 http://<로봇 IP>:8080 입니다. 접속 방법은 처음 접속하기에 있습니다.
  2. 대시보드의 기능 › 로봇 이 실행 중 인지 봅니다. 꺼짐 이면 3절대로 로봇을 켭니다.
  3. 왼쪽 메뉴에서 조작 을 누릅니다.

웹 조작 화면 — 큰 화면에 전방 카메라, 오른쪽 아래 작은 화면에 손목 카메라와 보라색 그리퍼가 보인다 큰 화면이 전방 카메라, 오른쪽 아래 작은 화면이 손목 카메라 입니다. 오른쪽 위 카메라 바꾸기 로 큰 화면과 작은 화면을 서로 바꿉니다.

영상은 조작 권한이 없어도 보입니다. 이름 옆 숫자(13 fps)는 이 브라우저가 받는 속도입니다. 웹 화면은 보기용으로 카메라당 최대 15 fps까지만 보내므로, 15 fps 안팎이면 정상입니다. 바퀴 조작은 조작 (바퀴 · 팔)에서 다룹니다.

4.2. [웹 화면] 대시보드 — 카메라의 실제 속도

웹 화면 대시보드의 센서 수신 표 — 전방 카메라 30.0 Hz 정상, 손목 카메라 보지 않음 가운데 센서 수신 표에서 전방 카메라 가 30.0 Hz 정상 입니다. 대시보드는 손목 영상을 받지 않으므로 손목 카메라 는 보지 않음 으로 나옵니다.

대시보드의 다른 칸은 대시보드와 조작 권한과 센서 · 로그에서 설명합니다.

4.3. [앱] Physical Labs 로봇 설정

Physical Labs에서도 두 카메라를 나란히 볼 수 있습니다. 먼저 Physical Labs 연결대로 로봇을 추가하고 연결 확인까지 마칩니다. Physical Labs는 켤 때 로그인 확인에 인터넷이 필요하므로, 노트북을 로봇 AP(인터넷 없음)에 붙여 쓸 때는 인터넷이 되는 곳에서 앱을 먼저 켜 둔 뒤 와이파이를 바꿉니다.

  1. 사이드바 로봇 창고 에서 로봇(예: lekiwi01)을 고르고 로봇 설정 탭을 엽니다.
  2. 아래로 내려 3. Lekiwi (카메라) 칸을 찾습니다. 칸 안에 ROS2 로봇 — 영상은 로봇 게이트웨이로 받습니다. 라는 글이 보이면 맞는 상태입니다.
  3. ▶ 모두 보기 를 누릅니다. 카메라 하나만 보려면 그 줄의 ▶ 를 누릅니다.
  4. 로봇 기능이 꺼져 있으면 카메라 확인 창이 지금 켤까요? 하고 묻습니다. Yes 를 누르면 로봇을 켠 뒤 미리보기를 시작합니다.
  5. 다 봤으면 ■ 모두 중지 를 누릅니다.

Physical Labs 로봇 설정의 3. Lekiwi (카메라) 칸 — 왼쪽 front 에 로봇 앞 바닥, 오른쪽 wrist 에 보라색 그리퍼 끝 왼쪽이 front(로봇 앞 바닥), 오른쪽이 wrist(그리퍼 끝)입니다. 줄마다 카메라 노드 실행 중 · 로봇 30.0 fps, 영상 아래에 640x480 · 14.0 fps 가 보입니다.

카메라 줄의 로봇 30.0 fps 는 카메라의 실제 속도이고, 영상 아래의 14.0 fps 는 미리보기로 받는 속도입니다. 미리보기는 보기용으로 줄여 받으므로 15 fps 안팎이면 정상입니다. 카메라 줄에는 상태가 이렇게 나옵니다.

카메라 줄의 글뜻
카메라 노드 실행 중 · 로봇 30.0 fps정상입니다
카메라 노드 실행 중정상입니다. 미리보기를 켜면 fps가 함께 나옵니다
로봇 꺼짐 — 카메라는 [▶ 로봇 켜기] 뒤에 켜집니다로봇 기능이 꺼져 있습니다
⚠ 카메라 없이 켜졌습니다 — …웹 화면에서 카메라 포함 을 끈 채 켰습니다. 껐다 다시 켭니다
⚠ 카메라 노드가 없습니다 — 켤 때 카메라가 빠져 있었을 수 있습니다. …켤 때 그 카메라가 없었습니다. 꽂은 뒤 껐다 다시 켭니다
⚠ 카메라 노드가 없습니다 — 터미널에서 켰다면 use_camera:=true 로 다시 켜세요로봇 터미널에서 켰습니다. 웹 화면이나 앱으로 다시 켭니다
⚠ 카메라 노드는 있는데 영상이 … fps 입니다 — 카메라 케이블을 확인하세요켜진 뒤 USB가 빠졌거나 접촉이 나쁩니다 (1 fps보다 낮을 때 나옵니다)
… · ⚠ 영상이 N초째 오지 않습니다 — 카메라 케이블을 확인하세요보는 중에 영상이 끊겼습니다

윈도우판 Physical Labs는 이 화면을 쓸 수 없습니다

새 A-Go(ROS 2 로봇)는 Physical Labs 우분투(.deb)판(이 문서 기준 0.2.0)에서 씁니다. 윈도우판 최신 0.1.7은 지원하지 않으므로, 윈도우 PC에서는 4.1 · 4.2절의 웹 화면으로 확인합니다.

미리보기와 데이터 수집은 다른 길로 영상을 받습니다

미리보기(앱 · 웹)는 로봇의 웹 화면(게이트웨이)에서 받으므로 팔 보정 전에도 됩니다. Physical Labs의 텔레오퍼레이션 · 데이터 수집 · 추론은 데이터 노드에서 영상과 관절값을 함께 받는데, 팔로워 팔 보정이 없으면 이 노드가 아무것도 보내지 않습니다. 미리보기는 되는데 텔레오퍼레이션 화면에 영상이 없다면 캘리브레이션을 먼저 합니다.

4.4. 맞게 꽂혔는지 판단하기

확인맞으면
전방 (front, 전방 카메라)로봇 앞 바닥이 보입니다
손목 (wrist, 손목 카메라)그리퍼(집게) 끝이 보입니다
헷갈릴 때전방 카메라 렌즈를 손으로 가립니다. front 영상이 어두워지면 맞게 꽂힌 것입니다

전방에 로봇 앞, 손목에 그리퍼가 보이면 끝입니다

이 상태를 기준으로 데이터를 모읍니다. 카메라 케이블을 다시 꽂았다면 그때마다 한 번씩 확인합니다.


5. 전방 · 손목이 바뀌어 보이면

5.1. 두 카메라를 서로 바꿔 꽂기

  1. [로봇] 라즈베리파이에 꽂힌 두 카메라 케이블의 자리를 서로 바꿉니다. 전방 카메라 케이블은 지금 손목 카메라가 꽂힌 자리에, 손목 카메라 케이블은 전방 카메라가 꽂힌 자리에 꽂습니다.
  2. 로봇 기능을 껐다가 다시 켭니다.
    • [웹 화면] 조작 권한 받기 → 대시보드 로봇 끄기 → 확인 창 로봇을 끌까요? 에서 로봇 끄기 → 꺼짐 이 되면 카메라 포함 을 확인하고 로봇 켜기 → 끝나면 권한 놓기 (웹이 권한을 쥐고 있으면 Physical Labs의 로봇 켜기 · 끄기와 조작이 막힙니다)
    • [앱] 로봇 설정 2. Lekiwi (원격) 의 ■ 로봇 끄기 → ▶ 로봇 켜기
  3. 4절대로 다시 확인합니다.

로봇을 끌 때 팔을 확인하세요

팔에 힘이 들어가 있으면 로봇은 끄기 전에 팔을 접은 자세로 접고 힘을 뺍니다. 접은 자세를 저장하지 않았다면 끄기가 멈추고, 팔 힘을 빼고 끌지 묻습니다 (앱 팔 힘 빼고 끄기, 웹 그래도 끄기). 힘을 빼면 편 팔이 떨어지므로 팔을 손으로 받친 뒤 누릅니다. 접은 자세는 캘리브레이션에서 저장합니다.

5.2. (선택) [로봇] 어느 구멍이 1.1 · 1.2 인지 찾기

카메라를 모두 뺐다가 다시 꽂아야 하는데 어느 구멍이 어느 자리인지 모를 때 씁니다. 로봇에 SSH로 접속해(처음 접속하기) 아래 명령을 실행합니다. 목록만 보는 명령이라 로봇에 영향이 없습니다. 로봇 기능을 끈 상태에서 카메라를 뽑고 꽂는 것이 안전합니다.

ls /dev/v4l/by-path/ | grep usb

두 카메라가 1.1 · 1.2 자리에 꽂혀 있으면 아래 네 줄이 나옵니다. 카메라 한 대마다 video-index0(영상)과 video-index1(보조 장치) 두 줄입니다.

platform-fd500000.pcie-pci-0000:01:00.0-usb-0:1.1:1.0-video-index0
platform-fd500000.pcie-pci-0000:01:00.0-usb-0:1.1:1.0-video-index1
platform-fd500000.pcie-pci-0000:01:00.0-usb-0:1.2:1.0-video-index0
platform-fd500000.pcie-pci-0000:01:00.0-usb-0:1.2:1.0-video-index1

usb-0:1.1 줄은 손목 자리(1.1)에, usb-0:1.2 줄은 전방 자리(1.2)에 카메라가 꽂혀 있다는 뜻입니다. 카메라 한 대를 뽑고 다시 실행하면 그 카메라의 두 줄이 사라지므로, 뽑은 구멍이 어느 자리였는지 알 수 있습니다. 1.3 이나 1.2.1 처럼 다른 번호가 보이면 카메라가 다른 구멍이나 USB 허브에 꽂힌 것입니다. 이 목록은 자리만 알려 주고 어느 카메라가 꽂혔는지는 모르므로, 전방 · 손목은 4절의 영상으로 확인합니다.

자리를 찾았으면 전방 카메라는 1.2, 손목 카메라는 1.1 자리에 꽂고 로봇 기능을 켭니다.


6. 문제 해결

증상확인할 것
카메라 노드가 없다 — 앱 카메라 줄 ⚠ 카메라 노드가 없습니다 — 켤 때 카메라가 빠져 있었을 수 있습니다…, 웹 화면 대시보드 노드 표의 front_camera_node · wrist_camera_node 가 없음로봇 기능을 켤 때 그 카메라가 꽂혀 있지 않았습니다. 카메라를 원래 자리에 끝까지 꽂고 로봇 끄기 → 켜기를 합니다. 그래도 없음 이면 웹 화면 로그 에서 로봇 을 골라 failed to open … No such file or directory 를 찾습니다. 카메라가 1.1 · 1.2 가 아닌 구멍이나 USB 허브에 꽂힌 것이니 5.2절로 자리를 확인합니다 (센서 · 로그).
앱 ⚠ 카메라 없이 켜졌습니다 …, 대시보드 로봇 줄에 카메라 없이 켬웹 화면에서 카메라 포함 을 끈 채 켰습니다. 로봇을 끄고, 카메라 포함 을 체크한 뒤 다시 켭니다.
앱 ⚠ 카메라 노드가 없습니다 — 터미널에서 켰다면 use_camera:=true 로 다시 켜세요, 대시보드 로봇 이 외부 실행로봇 터미널에서 로봇 기능을 켜면 카메라가 꺼진 채 켜집니다. 터미널에서 켠 것은 그 터미널에서 끄고(Ctrl+C), 웹 화면이나 앱으로 다시 켭니다.
웹 영상 칸이 신호 없음영상이 2초 넘게 오지 않는다는 뜻입니다. 대시보드 로봇 이 꺼짐 이면 로봇을 켭니다 (3절). 켜져 있다면 위 줄들처럼 카메라 노드가 있는지 봅니다.
앱 ⚠ 카메라 노드는 있는데 영상이 … fps 입니다 … 또는 ⚠ 영상이 N초째 오지 않습니다 …켜진 뒤 USB가 빠졌거나 접촉이 나쁩니다. 같은 자리에 끝까지 다시 꽂습니다. 영상이 돌아오지 않으면 로봇 끄기 → 켜기를 합니다.
미리보기가 13~15 fps로 보인다정상입니다. 미리보기는 카메라당 최대 15 fps로 줄여 받습니다. 카메라의 실제 속도는 앱의 로봇 N fps, 웹 화면 대시보드 센서 수신 에서 봅니다.
실제 속도(앱 로봇 N fps, 대시보드 센서 수신)가 30보다 낮다어두운 곳에서는 카메라가 노출을 늘려 20 fps대로 떨어질 수 있습니다. 조명을 밝게 합니다. 대시보드가 늦음 이면 케이블과 USB 접촉을 확인합니다.
미리보기가 자주 끊기거나 늦다와이파이가 약할 수 있습니다. 로봇 가까이에서 보거나 유선 연결로 봅니다. 앱의 줄마다 ▶ 로 한 대만 골라 봐도 두 카메라 영상을 함께 받으므로 와이파이 부담은 줄지 않습니다.
대시보드 손목 카메라 가 보지 않음정상입니다. 대시보드는 손목 영상을 받지 않습니다 (4.2절).
앱 카메라 확인 창 켠 카메라의 노드가 로봇에 없습니다.보려던 카메라의 노드가 하나도 없습니다. 창에 카메라마다 까닭(4.3절 표의 카메라 줄 글)이 적혀 있으니, 이 표의 해당 줄을 따릅니다.
앱 카메라 확인 창 로봇 게이트웨이(…:8080) 에 연결하지 못했습니다로봇 주소와 네트워크를 확인합니다. PC가 로봇과 같은 네트워크(AP lekiwi01, 같은 공유기, 또는 랜선)에 붙어 있는지 봅니다 (처음 접속하기).
앱 카메라 확인 창 … 20초 동안 카메라 영상이 오지 않습니다카메라 칸의 각 줄에서 카메라 노드 상태를 보고, 위 줄들을 따릅니다.
앱에서 로봇 켜기 · 끄기가 다른 화면(…)이 조작 중입니다 로 막힌다웹 화면이 조작 권한을 쥐고 있습니다. 웹 화면 위쪽의 권한 놓기 를 누르고 다시 합니다 (대시보드와 조작 권한).
데이터 수집 · 추론이 카메라 front 의 영상이 2초 넘게 끊겼습니다 — 로봇의 카메라 연결을 확인하세요. 로 멈춘다카메라 케이블을 확인하고 로봇 끄기 → 켜기를 한 뒤, 4절대로 영상이 나오는지 보고 다시 시작합니다.
미리보기는 되는데 Physical Labs 텔레오퍼레이션 화면에 영상이 없다팔로워 팔 보정이 없으면 데이터 노드가 영상을 보내지 않습니다. 캘리브레이션을 먼저 합니다.
전방 · 손목이 바뀌어 보인다5.1절대로 두 케이블을 서로 바꿔 꽂고 로봇 기능을 껐다 켭니다.

더 많은 증상은 문제 해결에 모아 두었습니다.


7. 정리

카메라까지 준비되었습니다. 다음 페이지부터는 웹 화면으로 로봇을 켜고 움직여 봅니다.