SmolVLA 파인튜닝

conda activate lerobot060

# 소스 설치한 경우 (~/lerobot 폴더에서)
pip install -e ".[smolvla]"

# pip 패키지로 설치한 경우
pip install "lerobot[smolvla]==0.6.0"

hf auth login          # write 권한 토큰 입력
hf auth whoami         # 확인

python -c "
from lerobot.datasets.lerobot_dataset import LeRobotDatasetMetadata
m = LeRobotDatasetMetadata('HueyWoo/lekiwi_pick_and_place')
print('에피소드 수 :', m.total_episodes)
print('프레임 수   :', m.total_frames)
print('FPS        :', m.fps)
for k, v in m.features.items():
    print(f'  {k:45s} {v[\"dtype\"]:10s} {v[\"shape\"]}')
"

에피소드 수 : 50
프레임 수   : 11386
FPS        : 30
  action                                        float32    (9,)
  observation.state                             float32    (9,)
  observation.images.front                      video      (480, 640, 3)
  observation.images.wrist                      video      (480, 640, 3)
  timestamp / frame_index / episode_index / index / task_index    (메타데이터)

# 차원별 이름 확인
python -c "
from lerobot.datasets.lerobot_dataset import LeRobotDatasetMetadata
m = LeRobotDatasetMetadata('HueyWoo/lekiwi_pick_and_place')
print(m.features['action']['names'])
"

['arm_shoulder_pan.pos', 'arm_shoulder_lift.pos', 'arm_elbow_flex.pos',
 'arm_wrist_flex.pos',   'arm_wrist_roll.pos',    'arm_gripper.pos',   # 팔 6축
 'x.vel', 'y.vel', 'theta.vel']                                        # 베이스 3축

export HF_USER="HueyWoo"
export TASK_NAME="lekiwi_pick_and_place"

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/${TASK_NAME} \
  --rename_map='{"observation.images.front": "observation.images.camera1", "observation.images.wrist": "observation.images.camera2"}' \
  --policy.repo_id=${HF_USER}/${TASK_NAME}_smolvla \
  --policy.device=cuda \
  --job_name=${TASK_NAME}_smolvla \
  --output_dir=outputs/train/smolvla_lekiwi/${TASK_NAME} \
  --steps=20_000 \
  --batch_size=16 \
  --num_workers=8 \
  --save_checkpoint=true \
  --save_freq=5_000 \
  --wandb.enable=false \
  --policy.push_to_hub=true

ValueError: Feature mismatch between dataset/environment and policy config.
- Missing features: ['observation.images.camera1', 'observation.images.camera2',
                     'observation.images.camera3']
- Extra features:   ['observation.images.front', 'observation.images.wrist']

policy_subset_of_dataset = expected_visuals.issubset(provided_visuals)   # 정책 ⊆ 데이터셋
dataset_subset_of_policy = provided_visuals.issubset(expected_visuals)   # 데이터셋 ⊆ 정책

if not (policy_subset_of_dataset or dataset_subset_of_policy):
    raise_feature_mismatch_error(...)

present_img_keys = [key for key in self.config.image_features if key in batch]
missing_img_keys = [key for key in self.config.image_features if key not in batch]

if len(present_img_keys) == 0:
    raise ValueError("All image features are missing from the batch. At least one expected.")

for key in present_img_keys:      # 있는 것만 사용
    ...
for num_empty_cameras in range(len(missing_img_keys)):
    if num_empty_cameras >= self.config.empty_cameras:   # 기본값 0
        break                                            # → 더미로 채우지 않음

'input_features':  {'observation.images.camera1': ... ,
                    'observation.state': {'shape': [6], ...}},
'output_features': {'action': {'shape': [6], ...}},

cfg.output_features = {key: ft for key, ft in features.items() if ft.type is FeatureType.ACTION}
if not cfg.input_features:          # 사전학습 config에 이미 있으면 유지
    cfg.input_features = {...}

def prepare_state(self, batch):
    state = batch[OBS_STATE][:, -1, :] if batch[OBS_STATE].ndim > 2 else batch[OBS_STATE]
    return pad_vector(state, self.config.max_state_dim)    # max_state_dim = 32

def prepare_action(self, batch):
    return pad_vector(batch[ACTION], self.config.max_action_dim)   # max_action_dim = 32

freeze_vision_encoder: bool = True    # 비전 인코더 동결 (메모리·과적합 감소)
train_expert_only:     bool = True    # Action Expert만 학습, VLM은 동결
train_state_proj:      bool = True    # state 투영층은 학습 (로봇마다 관절이 다르므로)

optimizer_lr:            1e-4          # AdamW
optimizer_grad_clip_norm: 10
scheduler_warmup_steps:  1_000         # Cosine decay with warmup
scheduler_decay_steps:   30_000
scheduler_decay_lr:      2.5e-6

--policy.freeze_vision_encoder=false   # 데이터가 충분히 많을 때 비전까지 학습 (VRAM ↑)
--policy.train_expert_only=false       # VLM까지 전체 파인튜닝 (VRAM 대폭 ↑)
--policy.chunk_size=50                 # 액션 청크 길이
--policy.n_action_steps=50             # 한 번 추론으로 실행할 스텝 수 (≤ chunk_size)
--policy.optimizer_lr=1e-4             # 학습률

lerobot-train: error: unrecognized arguments: --dtype=bfloat16

# Drive Accelerate's autocast from policy.dtype (bf16/fp16 activate it; float32/absent -> launcher default).
policy_dtype = getattr(cfg.trainable_config, "dtype", None)
mixed_precision = {"bfloat16": "bf16", "float16": "fp16", "float32": "no"}.get(policy_dtype)

accelerate launch --mixed_precision=bf16 $(which lerobot-train) \
  --policy.path=lerobot/smolvla_base \
  ...  # 나머지 동일

FileExistsError: Output directory outputs/train/... already exists and resume is False.

--batch_size=8                          # ① 배치 절반으로
--num_workers=4                         # ② 워커 줄이기 (프리페치 메모리 감소)
--policy.freeze_vision_encoder=true     # ③ 기본값 확인 (true여야 함)
--policy.train_expert_only=true         # ④ 기본값 확인 (true여야 함)
--policy.resize_imgs_with_padding="[256, 256]"   # ⑤ 입력 해상도 축소 (성능 저하 감수)

outputs/train/smolvla_lekiwi/lekiwi_pick_and_place/
└── checkpoints/
    ├── 005000/
    │   ├── pretrained_model/      # 정책 가중치 + config + preprocessor
    │   └── training_state/        # 옵티마이저·스케줄러·스텝 (resume용)
    ├── 010000/
    ├── 015000/
    ├── 020000/
    └── last -> 020000             # 최신 체크포인트 심볼릭 링크

# 로컬 체크포인트에서 재개
lerobot-train \
  --config_path=outputs/train/smolvla_lekiwi/${TASK_NAME}/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

# Hub repo에서 재개 (최신 체크포인트를 자동으로 내려받음)
# 학습할 때 --save_checkpoint_to_hub=true 로 체크포인트를 Hub에 올려 둔 경우에만 가능
lerobot-train --config_path=${HF_USER}/${TASK_NAME}_smolvla --resume=true

# 카메라 1개: 스레딩 오버헤드 없이 그대로
if len(items) <= 1:
    return {vid_key: _decode_single(vid_key, query_ts)[1] for vid_key, query_ts in items}

# 카메라 2개 이상: 병렬 디코딩 (비디오 디코딩은 GIL을 놓음)
with ThreadPoolExecutor(max_workers=len(items)) as pool:
    futures = [pool.submit(_decode_single, k, ts) for k, ts in items]
    return dict(f.result() for f in futures)

lerobot-train \
  ... \
  --dataset.return_uint8=true \
  --num_workers=8 \
  --persistent_workers=true

# 데이터셋 정보 확인 (에피소드 수, feature 키, 태스크 문장)
python -c "from lerobot.datasets.lerobot_dataset import LeRobotDatasetMetadata as M; \
           m=M('${HF_USER}/${TASK_NAME}'); print(m.total_episodes, list(m.features), list(m.tasks.index))"

# 사용 가능한 정책 인자 전체 보기
lerobot-train --policy.path=lerobot/smolvla_base --help

# 학습 (핵심 인자)
lerobot-train --policy.path=lerobot/smolvla_base \
              --dataset.repo_id=${HF_USER}/${TASK_NAME} \
              --rename_map='{"observation.images.front": "observation.images.camera1", "observation.images.wrist": "observation.images.camera2"}' \
              --policy.repo_id=${HF_USER}/${TASK_NAME}_smolvla \
              --output_dir=outputs/train/smolvla_lekiwi/${TASK_NAME}

# 재개
lerobot-train --config_path=outputs/train/smolvla_lekiwi/${TASK_NAME}/checkpoints/last/pretrained_model/train_config.json --resume=true