LeRobot v0.5.0: Scaling Every Dimension

📝 요약

LeRobot v0.5.0은 역대 최대 규모의 릴리스로, 휴머노이드 로봇 지원, 새로운 정책, 향상된 데이터셋 기능, Hub에서 직접 시뮬레이션 환경을 로드하는 EnvHub 기능 등을 도입했습니다. 이 릴리스는 Python 3.12 및 Transformers v5로 코드베이스를 현대화하고, GPU 가속 시뮬레이션 및 원격 시각화 기능을 추가했으며, 커뮤니티 기여를 위한 프레임워크를 개선했습니다. 전반적으로 LeRobot은 로봇 학습의 접근성과 성능을 크게 향상시키는 것을 목표로 합니다.

---

LeRobot v0.5.0은 v0.4.0 이후 200개 이상의 PR 병합과 50명 이상의 신규 기여자를 통해 가장 큰 릴리스가 되었습니다. 모든 방향으로 확장되었습니다. 더 많은 로봇(첫 휴머노이드 포함), 더 많은 정책(자기회귀 VLAs의 복귀 포함), 더 빠른 데이터셋, Hub에서 바로 로드할 수 있는 시뮬레이션 환경, Python 3.12 및 Transformers v5에서 실행되는 현대화된 코드베이스를 제공합니다. 시뮬레이션에서 정책을 훈련하든 실제 하드웨어에 배포하든 v0.5.0에는 여러분을 위한 무언가가 있습니다.

하드웨어: 그 어느 때보다 많은 로봇

LeRobot v0.5.0은 암(arm)과 모바일 로봇부터 완전한 휴머노이드까지 지원되는 하드웨어 목록을 극적으로 확장합니다.

Unitree G1 휴머노이드

이번 릴리스의 가장 큰 하드웨어 추가 사항은 전체 Unitree G1 휴머노이드 지원입니다. LeRobot의 첫 휴머노이드 통합이며 종합적입니다.

• 이동성: 환경을 걷고, 탐색하고, 이동합니다.
• 조작: 섬세한 객체 조작 작업을 수행합니다.
• 원격 조종: 직관적인 원격 조종 인터페이스로 G1을 원격으로 제어합니다.
• 전신 제어 (WBC): 복잡한 실제 작업을 위해 이동성과 조작을 동시에 조정합니다.

G1 통합은 LeRobot 내에서 범용 로봇 공학을 향한 주요 단계를 나타냅니다. 탁상용 암을 넘어선 전신 임베디드 AI로 나아가고 있습니다. 문서를 따라 직접 사용해 보세요.

OpenArm & OpenArm Mini

OpenArm 로봇과 그 동반자 OpenArm Mini 원격 조종 장치에 대한 지원을 추가했습니다. OpenArm은 완전한 LeRobot 통합을 갖춘 강력한 로봇 팔이며, Mini는 자연스러운 원격 조종 장치 역할을 합니다. 두 장치 모두 양손 구성을 지원하여 더 복잡한 조작 작업을 위해 듀얼 암 설정을 가능하게 합니다. 문서에서 확인해 보세요.

더 많은 로봇

하드웨어 생태계는 계속 성장하고 있습니다.

• Earth Rover: LeRobot을 실외 내비게이션 및 지면 로봇 공학으로 가져오는 첫 번째 모바일 로봇 통합입니다.
• OMX Robot OMX Robot: 구성 가능한 그리퍼 설정과 보정 지원을 갖춘 새로운 로봇 팔입니다.
• SO-100/SO-101 통합: SO-100 및 SO-101 구현을 단일의 더 깨끗한 코드베이스로 통합했습니다. 코드 중복이 줄고 유지 관리가 쉬워지며 동일한 훌륭한 로봇을 제공합니다.

CAN 버스 모터

CAN(Controller Area Network) 버스를 통한 새로운 모터 컨트롤러 지원은 더 높은 성능의 액추에이터를 위한 문을 열어줍니다.

• RobStride: 고토크 애플리케이션을 위한 CAN 기반 모터 컨트롤러입니다.
• Damiao: 또 다른 CAN 버스 모터 컨트롤러로, 호환 하드웨어 범위를 확장합니다.

이러한 추가 사항은 LeRobot이 기존 Dynamixel 및 Feetech 생태계를 넘어 더 다양한 전문 등급 액추에이터를 구동할 수 있음을 의미합니다.

정책: 성장하는 모델 동물원

이번 릴리스는 LeRobot에 6개의 새로운 정책과 기술을 도입하여 오픈 소스 로봇 학습의 가능성을 넓혔습니다.

Pi0-FAST: 자기회귀 VLA

Pi0-FAST는 LeRobot과 FAST(Frequency-space Action Sequence Tokenization)에 자기회귀 Vision-Language-Action 모델을 제공합니다. Pi0의 흐름 일치 접근 방식과 달리 Pi0-FAST는 Gemma 300M을 기반으로 하는 자기회귀 액션 전문가를 사용하여 이산화된 액션 토큰을 생성합니다.

• FAST 토큰화: 액션은 자기회귀 디코딩을 위해 토큰화되며, 전용 FAST 액션 토큰화 도구를 사용합니다.
• 유연한 디코딩: 속도와 품질의 균형을 맞추기 위한 구성 가능한 온도 및 최대 디코딩 단계입니다.
• RTC 호환: 실시간 청킹(RTC) ( 다음 섹션 참조)과 함께 응답성 있는 추론을 위해 작동합니다.

lerobot-train \
  --policy.type=pi0_fast \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human \
  --policy.device=cuda

실시간 청킹 (RTC)

실시간 청킹은 Physical Intelligence의 추론 시간 기술로, 흐름 일치 정책을 훨씬 더 반응적으로 만듭니다. 전체 액션 청크가 완료될 때까지 기다렸다가 다시 계획하는 대신, RTC는 새로운 예측을 진행 중인 액션과 지속적으로 혼합하여 더 부드럽고 반응성이 뛰어난 동작을 생성합니다.

RTC는 독립형 정책이 아닙니다. 기존 흐름 일치 정책(Pi0 제품군, SmolVLA & Diffusion)에 연결되는 향상 기능입니다. --policy.rtc_config.enabled=true를 통해 구성할 수 있습니다.

이는 지연 시간이 중요한 실제 배포에 있어 게임 체인저입니다. 기술적 세부 사항은 원 논문을, 문서를 참조하세요.

Wall-X

Wall-X는 흐름 일치 액션 예측을 기반으로 구축된 새로운 VLA 정책으로, Qwen2.5-VL에 기반합니다. Qwen2.5-VL의 강력한 비전-언어 이해 기능을 흐름 일치 헤드와 결합하여 교차 임베디드 로봇 제어를 수행합니다.

pip install lerobot[wall_x]
lerobot-train \
  --policy.type=wall_x \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

X-VLA

X-VLA는 LeRobot에 Florence2 기반 VLA를 제공합니다. Microsoft의 Florence-2 비전-언어 모델을 기반으로 구축된 X-VLA는 VLA 정책에 대한 대안 백본을 제공하여 로봇 학습을 위한 기반 모델의 다양성을 확장합니다. 설정 지침은 훈련 가이드를, 기본 모델을 확인하세요.

pip install lerobot[xvla]
lerobot-train \
  --policy.type=xvla \
  --dataset.repo_id=lerobot/bimanual-so100-handover-cube

SARM

SARM(Stage-Aware Reward Modeling)은 로봇 학습에서 가장 어려운 문제 중 하나인 장기 호 작업에 대한 솔루션을 제공합니다. 에피소드 전체에 대한 단일 전역 선형 진행 신호를 사용하는 대신, 작업 단계와 해당 단계 내의 진행 상황을 모두 예측하여 단계 인식 방식으로 진행 상황을 모델링합니다. 이를 통해 복잡한 다단계 조작 작업을 위한 정책을 훨씬 쉽게 훈련할 수 있습니다. 문서를 따라 실험을 시작하세요.

PEFT 지원

핵심 훈련 파이프라인을 수정하지 않고도 LoRA(및 기타 PEFT 방법)를 사용하여 대규모 VLA를 미세 조정할 수 있습니다. PEFT 구성은 정책 수준에 있으며, 수십억 개의 기반 모델을 적은 컴퓨팅으로 특정 로봇 및 작업에 맞게 조정하는 것을 간단하게 만듭니다. 문서를 읽고 자세히 알아보세요.

lerobot-train \
  --policy.type=pi0 \
  --policy.peft_config.use_peft=true \
  --dataset.repo_id=lerobot/aloha_sim_insertion_human

데이터셋: 더 빠른 녹화, 더 빠른 훈련

이번 릴리스에서는 데이터셋 파이프라인에 대한 주요 성능 개선이 이루어져 데이터 수집 및 훈련 속도가 크게 향상되었습니다.

스트리밍 비디오 인코딩

이전에는 데이터셋을 녹화하려면 각 에피소드 후에 비디오 인코딩이 완료될 때까지 기다려야 했습니다. 이제 더 이상 기다릴 필요가 없습니다. 스트리밍 비디오 인코딩을 통해 프레임이 캡처되는 즉시 실시간으로 인코딩됩니다. 즉, 에피소드 간에 기다리는 시간이 없습니다. 에피소드를 완료하고 즉시 다음 에피소드를 시작할 수 있습니다.

스트리밍 인코딩은 하드웨어 인코더 자동 감지도 지원합니다. 따라서 시스템에 GPU 가속 비디오 인코더가 있으면 LeRobot이 자동으로 사용합니다.

dataset = LeRobotDataset.create(
    repo_id="my/dataset",
    fps=30,
    video_backend="auto",       # 최적의 HW 인코더 자동 감지
    streaming_encoding=True,    # 실시간 인코딩
)

[!IMPORTANT] 스트리밍 인코딩 성능은 하드웨어 및 녹화 설정(카메라 수, 해상도 등)에 따라 크게 달라질 수 있습니다. 활성화하기 전에 스트리밍 비디오 인코딩 문서를 검토하십시오.

이미지 훈련 10배, 인코딩 3배 빠름

내부적으로 데이터 액세스 병목 현상을 수정하고 이미지 처리를 개편했습니다.

• 이미지 훈련 10배 빠름: 이미지 변환 지원 개선 및 훈련 속도를 은밀하게 늦추던 데이터 액세스 병목 현상 수정.
• 인코딩 3배 빠름: 병렬 인코딩이 이제 모든 플랫폼에서 기본으로 제공되며, 데이터셋 유형(비디오 대 이미지)에 따라 동적으로 압축 수준이 조정됩니다(스트리밍 사용 시 제외).
• CPU 사용률 개선: 녹화 및 데이터셋 생성 중 리소스 사용 효율성 향상.

새로운 데이터셋 도구

데이터셋 편집 도구는 계속해서 성장하고 있습니다.

• 하위 작업 지원: 계층적 작업 학습을 위해 에피소드 내의 하위 작업을 주석 달고 쿼리합니다.
• 이미지-비디오 변환: 기존 이미지 기반 데이터셋을 비디오 형식으로 변환하여 저장 효율성을 높이고, 파일당 여러 에피소드를 지원합니다.
• 더 많은 편집 작업: 데이터셋 검사를 위한 새로운 info 작업, 작업 수정 도구, 기존 작업(분할, 병합, 기능 편집)에 대한 수많은 수정.
• 더 많은 옵션 노출: 데이터셋 생성에 대한 세밀한 제어를 위해 구성 가능한 비디오 코덱, 허용 오차 설정 및 메타데이터 버퍼 크기.

EnvHub: Hub의 환경

EnvHub는 LeRobot에서 시뮬레이션 환경을 사용하는 새로운 방법입니다. Hugging Face Hub에서 직접 로드할 수 있습니다. 환경 패키지를 로컬에 설치하고 등록을 연결하는 대신, 이제 LeRobot을 Hub 저장소로 가리키면 LeRobot이 모든 것을 처리합니다. 환경 코드를 다운로드하고, Gymnasium에 등록하고, 훈련 및 평가에 사용할 수 있도록 만듭니다.

Hub 환경은 원격 make_env 함수를 다운로드하고 실행하는 HubEnvConfig를 사용합니다.

lerobot-train \
  --env.type=hub \
  --env.hub_path="username/my-custom-env" \
  --policy.type=act

이는 사용자 지정 시뮬레이션 환경을 커뮤니티와 공유하는 데 대한 장벽을 낮춥니다. 환경을 패키징하고 Hub에 푸시하면 누구나 훈련할 수 있습니다. 자세한 내용은 문서를 확인하세요. 시작하기 위한 예시는 다음과 같습니다. LeIsaac x LeRobot EnvHub 튜토리얼.

NVIDIA IsaacLab-Arena

NVIDIA IsaacLab-Arena를 통합하여 LeRobot에 GPU 가속 시뮬레이션을 제공합니다. IsaacLab-Arena는 NVIDIA의 Isaac Sim에서 실행되는 조작 작업 컬렉션을 제공하며, 빠른 강화 학습을 위해 대규모 병렬 환경 인스턴스를 제공합니다. 통합에는 전용 사전/사후 처리 단계와 LeRobot의 훈련 파이프라인과의 완전한 호환성이 포함됩니다. 문서를 확인하세요.

코드베이스: 현대적인 기반

이번 릴리스는 코드베이스를 현대화합니다.

• Python 3.12+: LeRobot은 이제 Python 3.12를 최소 버전으로 요구하여 최신 구문과 더 나은 성능을 지원합니다.
• Transformers v5: Hugging Face Transformers v5로 마이그레이션하여 최신 모델 생태계를 유지합니다.
• 3rd-party 정책 플러그인: v0.4.0의 하드웨어 플러그인 시스템과 마찬가지로 사용자 지정 정책을 설치 가능한 패키지로 등록할 수 있습니다. pip install lerobot_policy_mypolicy를 실행하고 --policy.type=mypolicy로 사용할 수 있습니다. 핵심 라이브러리 변경이 필요하지 않습니다. 문서를 따라 방법을 알아보세요.
• 원격 Rerun 시각화: Rerun을 사용하여 로봇의 텔레메트리를 원격으로 시각화합니다. 대역폭 효율적인 스트리밍을 위한 압축 이미지 지원이 포함됩니다.
• 설치 개선: uv 설치 지침을 추가하고, 설정 단계를 명확히 하며, 종속성 관리를 개선했습니다. 순차적 설치 단계가 이제 명확하게 문서화되었습니다.
• 문서 버전 관리: 이제 문서는 버전이 지정되므로 설치된 릴리스와 일치하는 문서를 항상 찾을 수 있습니다.
• PyTorch 버전 업그레이드: NVIDIA Blackwell GPU를 지원하도록 PyTorch 버전 경계를 업데이트했습니다.

커뮤니티 및 생태계

• 현대화된 Discord: 채널 구성을 개선하여 가장 활발한 커뮤니티 허브를 업데이트했습니다.
• GitHub README, 템플릿 및 자동 라벨링: 새로워진 README, 새로운 이슈 및 PR 템플릿, 기여 가이드라인, 티켓 자동 라벨링을 통해 모든 사람이 더 쉽게 기여할 수 있도록 했습니다.
• ICLR 2026 논문 수락: LeRobot 논문이 ICLR 2026에 수락되었습니다!
• LeRobot Visualizer 새로고침: 시각화 도구가 새로운 데이터셋 시각화 배지와 개선된 기능을 갖추고 새로워졌습니다. 확인해 보세요!
• LeRobot Annotation Studio: 자연어 하위 작업을 사용하여 데이터셋의 모든 순간에 쉽게 주석을 달 수 있도록 설계된 HuggingFace Space입니다. 확인해 보세요!

최종 생각

이러한 주요 기능 외에도 v0.5.0에는 수백 건의 버그 수정, 문서 개선, CI/CD 개선 및 전체 코드베이스에 걸친 편의성 개선이 포함되었습니다. 더 나은 타입 검사부터 더 강력한 테스트 인프라까지, LeRobot이 확장됨에 따라 안정적이고 유지 관리 가능하게 만드는 기반에 투자하고 있습니다.

오늘날의 LeRobot으로 성장하는 데 도움을 준 커뮤니티의 모든 기여자, 사용자, 협력자 여러분께 진심으로 감사드립니다. 모든 버그 보고서, PR 및 토론이 이 프로젝트를 더 좋게 만듭니다.

더 많은 소식을 기대해 주세요 🤗 여기에서 시작하세요! – LeRobot 팀 ❤️

[!IMPORTANT] 곧 큰 놀라움이 있을 예정이니 기대해주세요! 👕

---

원문 출처: https://huggingface.co/blog/lerobot-release-v050