LeRobot v0.6.0: Imagine, Evaluate, Improve

📝 요약

LeRobot v0.6.0은 로봇 학습 루프를 닫는 데 중점을 둔 새로운 릴리스로, 미래를 상상하는 정책, 성공을 감지하는 보상 모델, 실패를 훈련 데이터로 활용하는 배포 CLI, 그리고 벤치마킹을 위한 여섯 개의 새로운 시뮬레이션 환경을 제공합니다. 또한 깊이 감지, VLM 기반 데이터셋 주석, 사용자 지정 비디오 인코딩, 클라우드 훈련, 간소화된 설치 등 다양한 기능이 추가되었습니다. 이번 업데이트는 VLA-JEPA, LingBot-VA, FastWAM과 같은 새로운 정책을 포함하며, GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1 등 기존 VLA 모델 스토어를 확장했습니다. Robometer와 TOPReward와 같은 보상 모델은 로봇 성공을 평가하기 위한 새로운 인터페이스를 제공하며, 데이터셋 기능은 향상된 비디오 인코딩, 깊이 센서 지원, 언어 주석 기능을 포함합니다.

---

이번 새로운 릴리스는 로봇 학습 루프를 닫는 것에 관한 것입니다. 즉, 행동하기 전에 미래를 상상하는 정책, 로봇의 성공 여부를 알려주는 보상 모델, 실패를 훈련 데이터로 바꾸는 배포 CLI, 그리고 모든 것을 측정할 수 있는 여섯 개의 새로운 시뮬레이션 벤치마크입니다. 또한 깊이 감지, VLM 기반 데이터셋 주석, 사용자 지정 비디오 인코딩, HF Jobs에서의 클라우드 훈련, 훨씬 더 가벼워진 설치 기능도 제공합니다.

월드 모델: 미래를 상상하는 정책

로보틱스 세계는 큰 질문을 던지고 있습니다. 월드 모델이 로봇 정책에 실제로 도움이 될까요? v0.6.0은 그 질문에 답하는 데 도움이 되도록 LeRobot에 세 가지 정책을 도입합니다. 각 정책은 훈련의 일부로 미래를 상상하는 법을 배우며, 각 정책은 그 상상을 합리적인 비용으로 유지하기 위해 다른 경로를 따릅니다.

VLA-JEPA

VLA-JEPA는 소형 VLA(Qwen3-VL-2B 기반)에게 행동을 배우는 동안 잠재 공간에서 미래를 예측하도록 가르칩니다. 훈련 중에는 JEPA 월드 모델이 모델 자체의 행동에서 발생하는 프레임을 예측해야 합니다. 여기서의 비결은 추론 시 월드 모델이 사라진다는 것입니다. 따라서 추가적인 추론 비용 없이 월드 모델의 감독을 받을 수 있습니다. DROID 사전 훈련된 베이스를 포함하여 즉시 사용 가능한 세 개의 체크포인트가 Hub에 있습니다.

lerobot-train \
  --policy.path=lerobot/VLA-JEPA-Pretrain \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_finetuned_policy

더 자세한 내용은 VLA-JEPA 문서와 논문을 확인하세요.

LingBot-VA

LingBot-VA는 한 단계 더 나아갑니다. 이는 비디오와 행동을 청크별로 함께 예측하는 자동 회귀 비디오-행동 모델로, 실제 관찰을 다시 입력하여 상상을 현실에 기반하도록 유지합니다. 로봇이 상상한 것을 저장하고(--policy.save_predicted_video=true) 실제로 일어난 일과 비교할 수도 있습니다. 추론은 단일 24–32 GB GPU에서 실행됩니다. 기술적인 세부 사항은 문서와 논문을 참조하세요.

FastWAM

FastWAM은 논문 제목에서 질문합니다. 행동 월드 모델이 테스트 시간 미래 상상을 필요로 할까요? 이는 약 50억 개의 비디오 생성 전문가와 소형 행동 전문가를 단일 네트워크로 묶어 모델이 말 그대로 자신의 롤아웃을 꿈꾸는 법을 배우도록 합니다. 추론 시에는 꿈을 꾸는 과정을 완전히 건너뛰고 직접 행동 청크를 노이즈 제거합니다. lerobot/fastwam_base에서 미세 조정하고 문서에서 더 자세한 내용을 읽어보세요.

VLA: 모델 스토어가 계속 성장하고 있습니다

GR00T N1.7

NVIDIA GR00T 통합을 NVIDIA의 최신 크로스-엠보디먼트 기반 모델인 GR00T N1.7로 업그레이드했습니다. N1.7은 이전 VLM을 Cosmos-Reason2-2B(Qwen3-VL 기반)로 교체하고 플로우 매칭 행동 헤드를 제공합니다. 저희 통합은 NVIDIA의 원래 Isaac-GR00T 구현과 동일한 입력, 동일한 출력으로 기능 일치 테스트를 거쳤습니다. Flash-attention이 이제 선택 사항이므로 pip install 'lerobot[groot]'를 사용하면 작동하며 NVIDIA의 게시된 체크포인트를 직접 로드할 수 있습니다.

[!NOTE] GR00T N1.7은 LeRobot의 N1.5를 대체합니다. N1.5가 필요한 경우 lerobot==0.5.1을 고정하세요.

MolmoAct2

Allen Institute for AI의 비전-언어-행동 모델인 MolmoAct2가 LeRobot에 이식되어 전체 라이프사이클(미세 조정(전체 또는 LoRA), 평가, 실제 로봇 배포)을 지원합니다. 보정 수정이 적용된 즉시 사용 가능한 체크포인트는 SO-100/101에서 제로샷으로 실행할 수 있음을 의미합니다.

lerobot-rollout \
  --policy.path=lerobot/MolmoAct2-SO100_101-LeRobot \
  --robot.type=so100_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras='{cam0: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam1: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}' \
  --task="pick up the red cube" --duration=30

추론은 bf16에서 약 12GB에 들어가며, LoRA 미세 조정은 단일 24GB GPU에 들어갑니다. 전체 배포 가이드는 MolmoAct2 문서를 참조하세요.

EO-1

인터리브된 비전-텍스트-행동 데이터에 대해 상위에서 사전 훈련된 VLA인 EO-1이 LeRobot에 합류했습니다. Qwen2.5-VL-3B 백본과 플로우 매칭 행동 헤드를 갖춘 이 모델은 논문 저자 중 한 명이 기여했습니다. --policy.type=eo1을 사용하여 표준 lerobot-train 워크플로로 훈련할 수 있습니다. 자세한 내용은 문서 및 논문을 참조하세요.

Multitask DiT

Multitask Diffusion Transformer 정책은 TRI Large Behavior Models 레시피를 LeRobot에 제공합니다. CLIP 비전 및 언어 임베딩으로 컨디셔닝된 약 4억 5천만 개의 매개변수를 가진 확산 트랜스포머로, 자연어를 통해 선택된 다양한 작업을 하나의 모델이 학습합니다. 확산 및 플로우 매칭 목적을 모두 지원하며, 직접 훈련할 수 있을 만큼 작습니다. 문서를 참조하세요.

EVO1

VLA가 반드시 거대할 필요는 없습니다. EVO1은 0.77B 매개변수에 정책을 담고 있으며, InternVL3-1B 백본과 플로우 매칭 행동 헤드를 갖추고 있어 미세 조정하고 적당한 GPU에서 실시간으로 실행하기에 충분히 작습니다. 2단계 미세 조정 및 실시간 청크 지원을 기본으로 제공합니다. EVO1 문서 및 논문을 참조하세요.

보상 모델: 로봇이 성공했을 때를 아는 것

성공 탐지 및 진행 상황 추정은 로봇 학습 루프에서 누락된 부분이며, v0.6.0은 이를 위한 공간을 제공합니다. LeRobot은 이제 정책 API를 미러링하는 통합 보상 모델 API(lerobot.rewards)를 가지며, 하나의 인터페이스 뒤에 네 가지 보상 모델(HIL-SERL 보상 분류기, SARM 및 두 가지 새로운 추가 기능)을 제공합니다.

Robometer

Robometer는 사전 훈련된 범용 보상 모델입니다. lerobot/Robometer-4B를 LeRobot 데이터셋에 지시하면 작업별 훈련 없이도 원시 비디오와 언어 지침에서 작업 진행 상황과 성공을 평가합니다. Qwen3-VL-4B를 기반으로 하며 백만 개 이상의 로봇 궤적 데이터셋(RSS 2026 논문)에 대한 궤적 비교를 통해 훈련되었습니다.

TOPReward

TOPReward는 전혀 보상 가중치 없이 완벽한 제로샷입니다. 즉시 사용 가능한 VLM(Qwen3-VL)을 래핑하고 궤적 비디오와 작업 지침이 주어졌을 때 "True" 토큰의 로그 확률을 읽습니다. 기능을 갖춘 VLM은 보상 함수가 됩니다.

두 모델 모두 데이터셋에 프레임별 진행률 곡선을 작성하는 레이블링 스크립트를 제공하며, 보상 인식 행동 복제(RA-BC), 데이터셋 품질 검사 및 진행률 오버레이 비디오에 사용할 수 있습니다. Robometer 및 TOPReward 문서를 확인하세요.

데이터셋: 더 빠른 로딩, 더 풍부한 데이터

나만의 코덱, 나만의 규칙

더 이상 녹화가 하나의 하드코딩된 코덱에만 국한되지 않습니다. 새로운 --dataset.rgb_encoder.* 옵션은 전체 인코딩 표면(코덱, 품질, 픽셀 형식, GOP, 사전 설정)을 노출하며, vcodec=auto는 NVENC, VideoToolbox, VAAPI, QSV와 같은 하드웨어 인코더를 탐색한 후 기본 소프트웨어 AV1 인코더로 대체됩니다. 기존 데이터셋의 경우, 하나의 명령으로 모든 것을 다시 인코딩할 수 있습니다.

lerobot-edit-dataset \
    --repo_id ${HF_USER}/my_dataset \
    --operation.type reencode_videos \
    --operation.rgb_encoder.vcodec h264 \
    --operation.rgb_encoder.crf 23

전체 내용은 비디오 인코딩 문서에서 확인할 수 있습니다.

깊이 지원, 엔드 투 엔드

Intel RealSense를 연결하고 use_depth: true를 설정하면 LeRobot이 깊이 맵을 엔드 투 엔드로 기록합니다. 밀리미터 단위로 캡처되고 RGB 카메라와 함께 소형 12비트 깊이 비디오 스트림으로 압축되며, 훈련 시 물리적 단위로 다시 디코딩됩니다. 깊이는 녹화 중과 lerobot-dataset-viz에서 실시간으로 렌더링되며, SO-100/101, Koch, OpenArm, reBot, Unitree G1 등에서 작동합니다.

대규모 언어 주석

데이터셋이 에피소드당 하나의 작업 문자열에 국한되지 않습니다. LeRobot 데이터셋은 이제 풍부한 언어 주석(타임스탬프가 찍힌 하위 작업, 계획, 메모리, 수정, 음성 및 카메라별 VQA 쌍)을 기본적으로 저장하며, 새로운 lerobot-annotate CLI는 VLM을 사용하여 에피소드를 시청하면서 자동으로 이를 채웁니다.

lerobot-annotate \
    --repo_id=${HF_USER}/my_dataset \
    --new_repo_id=${HF_USER}/my_dataset_annotated \
    --vlm.model_id=Qwen/Qwen2.5-VL-7B-Instruct \
    --push_to_hub=true

그런 다음 YAML 레시피 계층은 샘플 시간에 이러한 주석을 채팅 스타일 훈련 메시지로 렌더링합니다. 이는 내일의 장기, 대화형 로봇 정책이 훈련할 데이터와 정확히 일치합니다. HF Jobs를 사용하여 확장하고 주석 파이프라인 문서를 읽어 자세히 알아보세요.

최대 2배 빠른 데이터 로딩

비디오 데이터셋에 대한 훈련이 이제 기본적으로 최대 약 2배 빨라집니다. 여러 카메라 프레임이 병렬로 디코딩되고, 데이터 로더 워커는 소형 uint8 프레임을 전송하며(프로세스 간 메모리 4배 감소), 영구 워커는 에포크 전반에 걸쳐 디코더 캐시를 유지합니다. 대규모 데이터셋의 하위 집합(episodes=[...]) 로딩은 몇 분에서 몇 밀리초(벤치마크에서 275초에서 0.06초로)로 단축되었습니다. 샘플링도 이제 결정론적이고 재개 가능하므로 중단된 훈련은 샘플 단위로 정확하게 다시 시작됩니다.

벤치마크: 모든 것을 평가하는 단일 CLI

v0.5.0은 LeRobot을 VLA의 평가 허브로 자리매김했으며, v0.6.0은 여섯 개의 새로운 시뮬레이션 벤치마크를 통해 이를 현실로 만듭니다. 이 모든 벤치마크는 동일한 lerobot-eval CLI를 통해 실행할 수 있으며, 각 벤치마크에는 문서 페이지, Docker 이미지, 그리고 CI에서 연기 테스트된 SmolVLA 기본 체크포인트가 있습니다.

• LIBERO-plus는 조명과 카메라 시점부터 다시 작성된 지침에 이르기까지 일곱 가지 축에 걸쳐 약 10,000개의 변형된 LIBERO를 사용하여 VLA를 스트레스 테스트합니다. 정책이 언제 실패하는지 알려줍니다.
• RoboTwin 2.0은 SAPIEN에서 50가지 이인수 조작 작업을 다루며, 광범위한 도메인 무작위화가 적용되었고 Hub에는 100,000개 이상의 즉시 훈련 가능한 궤적이 포함되어 있습니다.
• RoboCasa365는 모바일 조작기에서 절차적으로 생성된 2,500개의 주방에서 365가지 주방 작업을 다루며, 이는 현재 라인업 중 가장 큰 작업 표면입니다.
• RoboCerebra는 언어 기반 중간 지침에 따라 3~6개의 하위 목표를 연결하는 에피소드로 장기 행동을 평가하며, 6,660개의 에피소드 데이터셋이 포함되어 있습니다.
• RoboMME는 기억력 시험입니다. 정책이 반복 횟수를 세고, 숨겨진 물체를 추적하고, 시연된 절차를 모방할 수 있을까요? 4가지 기억력 스위트에 걸쳐 16가지 작업이 있습니다.
• VLABench는 물리 질문부터 커피 끓이기와 같은 복합 작업까지 조작에서 지식과 추론을 테스트합니다.

lerobot-eval \
  --policy.path=lerobot/smolvla_robotwin \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.n_episodes=100 --eval.batch_size=1

시뮬레이터 백엔드는 자체 설치 단계와 특정 시스템 종속성이 필요합니다. 각 문서 페이지에는 정확한 레시피가 있으며, 모든 벤치마크는 설정을 건너뛰고 싶다면 즉시 사용 가능한 Docker 이미지를 제공합니다.

LIBERO, Meta-World, NVIDIA IsaacLab-Arena와 함께하면 이제 한 지붕 아래 아홉 가지 벤치마크 제품군이 있으며, 새로운 새로운 벤치마크 추가 가이드는 자체 벤치마크를 연결하는 방법을 정확하게 문서화합니다. 평가 속도도 향상되었습니다. 병렬 평가는 이제 비동기 벡터화 환경을 기본으로 하며, 최대 2배 빠른 속도로 벤치마크되었습니다.

훈련 및 추론

lerobot-rollout: 배포를 위한 별도 CLI

정책 배포는 이전에는 lerobot-record 위에 덧붙이는 방식이었습니다. 새로운 lerobot-rollout CLI는 플러그인 가능한 전략과 추론 백엔드(느린 호환 VLA를 위한 실시간 청크 포함)를 통해 배포를 자체 워크플로로 만듭니다. base 전략은 정책을 실행합니다. sentry는 지속적으로 기록하고, 에피소드를 순환하며, 진행하면서 Hub에 업로드합니다. highlight는 링 버퍼를 유지하고 키를 누르면 마지막 N초를 저장하여 흥미로운 순간을 놓치지 않도록 합니다. episodic은 클래식 에피소드/리셋 기록 워크플로를 미러링합니다. dagger는 배포를 데이터 수집으로 전환합니다.

DAgger 전략을 사용하면 정책이 실행되는 것을 보고, 잘못되었을 때 키(또는 USB 풋 페달)를 누르고, 리더 암으로 제어하여 수정을 기록한 후 다시 제어권을 넘깁니다. 작동식 리더는 제어권을 넘기기 전에 팔로워의 자세로 구동되므로 핸드오버가 부드럽게 이루어집니다. 모든 수정 프레임에는 intervention 플래그가 태그되며, 결과 데이터셋은 다음 미세 조정을 위해 준비됩니다.

lerobot-rollout \
    --strategy.type=dagger \
    --policy.path=${HF_USER}/my_policy \
    --robot.type=so100_follower \
    --robot.port=/dev/ttyACM0 \
    --teleop.type=so101_leader \
    --teleop.port=/dev/ttyACM1 \
    --dataset.repo_id=${HF_USER}/dagger_corrections \
    --dataset.single_task="Grasp the block"

배포, 수정 수집, 미세 조정, 반복: 로봇 학습 플라이휠은 이제 CLI 플래그입니다. 배포 문서를 읽어보세요.

FSDP: GPU보다 큰 모델 훈련

로봇 기반 모델은 단일 GPU를 넘어서고 있습니다. LeRobot 훈련은 이제 Accelerate를 통해 FSDP(Fully Sharded Data Parallel)를 지원합니다. 매개변수, 기울기 및 옵티마이저 상태가 GPU 간에 분할되며, 체크포인트는 일반적인 단일 파일 model.safetensors로 다시 수집되어 다른 정책처럼 로드됩니다. FSDP 실행을 다른 수의 GPU에서도 계속할 수 있습니다. 다중 GPU 훈련 문서를 참조하세요.

HF Jobs를 통한 클라우드 훈련

GPU가 없어도 문제가 없습니다. 단 하나의 플래그만 추가하면 정확히 동일한 lerobot-train 명령을 클라우드에서 실행할 수 있습니다.

lerobot-train \
  --dataset.repo_id=${HF_USER}/so101_test \
  --policy.type=act \
  --policy.repo_id=${HF_USER}/my_policy \
  --job.target=a10g-small

LeRobot은 필요한 경우 로컬 데이터셋을 비공개 Hub 리포지토리로 푸시하고, 작업을 제출하며, 로그를 터미널로 스트리밍하고, 훈련된 정책을 마지막에 Hub에 푸시합니다. --job.target을 사용하여 T4부터 8x H200까지 선택할 수 있습니다(컴퓨팅은 종량제로 청구됩니다). 문서를 확인하세요.

코드베이스: 더 가볍고 깔끔하게

• pip install lerobot은 이제 정말 가벼워졌으며, 기본 종속성이 약 40% 줄었습니다. 기능 범위별 추가 기능([training], [core_scripts], [evaluation], …)이 나머지를 다루며, 누락된 종속성 오류는 어떤 추가 기능을 추가해야 하는지 정확히 알려줍니다. LeRobot 데이터셋만 사용하는 경우 하드웨어 관련 종속성을 더 이상 설치할 필요가 없습니다.
• 지원되는 PyTorch는 2.7–2.11로 이동했으며, Linux uv 설치를 위해 기본적으로 CUDA 12.8 휠이 고정되어 있습니다. --policy.dtype=bfloat16은 이제 Accelerate를 통해 실제 혼합 정밀도 훈련을 구동합니다.
• 커밋된 uv.lock은 CI, Docker 및 개발을 위한 권위 있는 종속성 사양이며, 문서는 단일 플래그로 CUDA 휠을 선택하는 것까지 모든 단계에 대한 uv 설치 경로를 포함합니다.
• --display_mode=foxglove은 로보틱스 세계의 많은 부분에서 이미 사용되는 시각화 도구인 Foxglove로 텔레오퍼레이션, 녹화 및 롤아웃을 스트리밍합니다. 원격 설정에서 작동하며, lerobot-dataset-viz는 스크럽 가능한 데이터셋 재생을 제공합니다.
• Pip으로 설치 가능한 lerobot_env_* 패키지는 이제 환경을 자체적으로 등록합니다. 플러그인 시스템은 로봇, 카메라, 텔레오퍼레이터, 정책, 환경의 다섯 가지 구성 요소 유형을 모두 다룹니다.
• 녹화 중 키보드 컨트롤이 이제 Wayland, SSH, 헤드리스 장비 및 접근성 권한 없이 macOS에서도 작동합니다.

[!WARNING] 전체 목록 및 호환되지 않는 변경 사항에 대한 이전 지침은 릴리스 노트를 확인하십시오.

커뮤니티 및 생태계

• LeLab은 브라우저 UI에서 전체 LeRobot 워크플로(캘리브레이션, 텔레오퍼레이션, 녹화, 로컬 또는 HF Jobs에서의 훈련, 배포)를 제공하므로 CLI가 필요하지 않습니다. 현재 SO-ARM101을 지원합니다. 시도해 보세요!
• Isaac Teleop은 NVIDIA 팀과의 협력 결과인 NVIDIA의 Isaac Teleop 스택을 통해 CloudXR/OpenXR을 통해 VR 컨트롤러로 SO-101을 텔레오퍼레이션할 수 있습니다. 문서를 참조하세요.
• 새로운 컴퓨팅 하드웨어 가이드는 모든 신규 사용자가 묻는 두 가지 질문, 즉 어떤 GPU가 필요하며 훈련은 얼마나 걸리는지에 대한 답변을 제공합니다. 정책 제품군별 측정된 VRAM 봉투와 RTX 4090부터 4x H100까지의 참조 훈련 시간을 제공합니다.
• 재작성된 정책 추가 가이드는 자체 정책을 인 트리 또는 PR 없이 플러그인 패키지로 제공하는 방법을 보여줍니다.

마지막 생각

이러한 주요 기능 외에도 v0.6.0에는 스마트한 기본 설정부터 보다 안정적인 CI까지 코드베이스 전반에 걸쳐 수백 가지의 버그 수정, 문서 개선 및 편의성 업그레이드가 포함되어 있습니다.

커뮤니티의 모든 분들께 진심으로 감사드립니다. 이 릴리스에는 모델과 벤치마크의 거주지로 LeRobot을 선택한 학계, 산업계 및 취미 팀의 작업이 포함되어 있습니다. 모든 PR과 버그 보고서는 오픈소스 로보틱스를 발전시킵니다.

더 많은 소식을 기대해 주세요 🤗 여기에서 시작하세요! – LeRobot 팀 ❤️

---

원문 출처: https://huggingface.co/blog/lerobot-release-v060