LeRobot v0.4.0: Supercharging OSS Robot Learning

📝 요약

LeRobot은 대규모 로봇 학습을 위한 데이터셋 인프라를 v3.0으로 대폭 개선하고, 데이터셋 편집 도구를 도입하여 사용자 편의성을 높였습니다. 또한 LIBERO와 Meta-World를 지원하는 시뮬레이션 환경을 확장하고, 데이터 처리를 위한 새로운 Processors 파이프라인과 멀티 GPU 훈련을 위한 Accelerate 통합을 선보였습니다. 최첨단 일반화 정책인 pi0, pi0.5, GR00T N1.5를 통합하고, 플러그인 시스템을 통해 하드웨어 통합을 용이하게 하여 오픈소스 로봇 학습 생태계를 더욱 강화했습니다.

---

LeRobot 전반에 걸쳐 강력하고 확장 가능하며 사용자 친화적인 오픈소스 로봇 학습을 위한 중요한 발전을 발표하게 되어 기쁩니다! 재정비된 데이터셋, 다목적 편집 도구, 새로운 시뮬레이션 환경, 하드웨어를 위한 획기적인 플러그인 시스템에 이르기까지 LeRobot은 최첨단 임베디드 AI의 요구를 충족하기 위해 끊임없이 발전하고 있습니다.

데이터셋: 차세대 대규모 로봇 학습 준비 완료

새로운 청크화된 에피소드 형식과 스트리밍 기능을 갖춘 LeRobotDataset v3.0으로 데이터셋 인프라를 완전히 재정비했습니다. 이는 OXE (Open X Embodiment) 및 Droid와 같은 대규모 데이터셋을 처리하는 데 있어 판도를 바꾸는 혁신이며, 탁월한 효율성과 확장성을 제공합니다.

데이터셋 v3.0의 새로운 기능?

• 대규모 확장을 위한 청크화된 에피소드: 새로운 형식은 OXE 수준 (> 400GB)의 데이터셋을 지원하여 전례 없는 확장성을 제공합니다.
• 효율적인 비디오 저장 + 스트리밍: 더 빠른 로딩 시간과 원활한 비디오 데이터 스트리밍을 즐기십시오.
• 통합 Parquet 메타데이터: 흩어진 JSON에 작별을 고하세요! 모든 에피소드 메타데이터는 이제 더 쉬운 관리 및 액세스를 위해 통합된 구조화된 Parquet 파일에 저장됩니다.
• 더 빠른 로딩 및 더 나은 성능: 데이터셋 초기화 시간의 상당한 감소와 더 효율적인 메모리 사용을 경험하십시오.

기존 v2.1 데이터셋을 새로운 v3.0 형식으로 쉽게 마이그레이션할 수 있는 변환 스크립트도 제공하여 원활한 전환을 보장합니다. 이전 블로그 게시물에서 자세한 내용을 확인하십시오. 오픈소스 로보틱스는 계속 발전하고 있습니다!

새로운 기능: 데이터셋 편집 도구!

LeRobot 데이터셋을 사용하는 것이 훨씬 쉬워졌습니다! 유연한 데이터셋 편집을 위한 강력한 유틸리티 세트를 도입했습니다.

새로운 lerobot-edit-dataset CLI를 사용하면 다음을 수행할 수 있습니다.

• 기존 데이터셋에서 특정 에피소드를 삭제합니다.
• 분수 또는 에피소드 인덱스로 데이터셋을 분할합니다.
• 기능을 쉽게 추가하거나 제거합니다.
• 여러 데이터셋을 하나의 통합 세트로 병합합니다.

# 여러 데이터셋을 단일 데이터셋으로 병합합니다.
lerobot-edit-dataset \
    --repo_id lerobot/pusht_merged \
    --operation.type merge \
    --operation.repo_ids "['lerobot/pusht_train', 'lerobot/pusht_val']"

# 에피소드를 삭제하고 새 데이터셋에 저장합니다 (원본 데이터셋 보존).
lerobot-edit-dataset \
    --repo_id lerobot/pusht \
    --new_repo_id lerobot/pusht_after_deletion \
    --operation.type delete_episodes \
    --operation.episode_indices "[0, 2, 5]"

이러한 도구는 워크플로우를 간소화하여 이전과는 비교할 수 없는 방식으로 로봇 데이터셋을 큐레이션하고 최적화할 수 있습니다. 자세한 내용은 문서를 확인하십시오!

시뮬레이션 환경: 훈련 범위 확장

로봇 정책을 위한 더 풍부하고 다양한 훈련 환경을 제공하기 위해 LeRobot의 시뮬레이션 기능을 지속적으로 확장하고 있습니다.

LIBERO 지원

LeRobot은 이제 130개 이상의 작업을 자랑하는 Vision-Language-Action (VLA) 정책을 위한 가장 큰 오픈 벤치마크 중 하나인 LIBERO를 공식적으로 지원합니다! 이는 VLA를 위한 최고의 평가 허브를 구축하는 데 큰 진전이며, 모든 VLA 정책을 평가하기 위한 쉬운 통합과 통합된 설정을 가능하게 합니다.

LIBERO 데이터셋 및 문서를 확인하고 시작하십시오!

Meta-World 통합

50개 이상의 다양한 조작 작업을 특징으로 하는 로봇 조작에서 다중 작업 및 일반화 능력을 테스트하기 위한 최고의 벤치마크인 Meta-World를 통합했습니다. gymnasium ≥ 1.0.0 및 mujoco ≥ 3.0.0의 표준화된 사용과 함께 이러한 통합은 결정론적 시딩과 강력한 시뮬레이션 기반을 보장합니다.

오늘 Meta-World 데이터셋으로 정책을 훈련하십시오!

코드베이스: 모두를 위한 강력한 도구

로봇 제어를 더욱 유연하고 접근 가능하게 만들어 데이터 수집 및 모델 훈련에 대한 새로운 가능성을 열고 있습니다.

데이터 처리를 위한 새로운 파이프라인

로봇에서 모델로 (그리고 다시!) 데이터를 가져오는 것은 까다롭습니다. 원시 센서 데이터, 조인트 위치 및 언어 지침은 AI 모델이 예상하는 것과 일치하지 않습니다. 모델은 올바른 장치에서 정규화되고 배치된 텐서가 필요하며, 로봇 하드웨어는 특정 액션 명령이 필요합니다.

모든 데이터에 대한 보편적 번역기 역할을 하는 새롭고 모듈화된 파이프라인인 Processors를 소개하게 되어 기쁩니다. 각 ProcessorStep이 정규화, 텍스트 토큰화 또는 GPU로 데이터 이동과 같이 하나의 특정 작업을 처리하는 조립 라인으로 생각하십시오.

이러한 단계를 연결하여 강력한 파이프라인을 만들어 데이터 흐름을 완벽하게 관리할 수 있습니다. 삶을 더 쉽게 만들기 위해 두 가지 별도의 유형도 만들었습니다.

• PolicyProcessorPipeline: 모델용으로 구축되었습니다. 고성능 훈련 및 추론을 위한 배치 텐서를 전문적으로 처리합니다.
• RobotProcessorPipeline: 하드웨어용으로 구축되었습니다. 실시간 로봇 제어를 위해 개별 데이터 포인트(단일 관찰 또는 액션 등)를 처리합니다.

# 환경 상태 가져오기
obs = robot.get_observation()

# 이름 변경, 배치, 정규화, 토큰화, 장치 이동 ... 
obs_processed = preprocess(obs)

# 추론 실행
action = model.select_action(obs_processed)

# 정규화 해제, 장치 이동 ...
action_processed = postprocess(action)

# 액션 실행
robot.send_action(action_processed)

이 시스템을 통해 모든 정책을 모든 로봇에 쉽게 연결할 수 있으므로 데이터가 모든 단계에 항상 완벽한 형식으로 유지됩니다. Processors 소개 문서에서 자세한 내용을 알아보십시오.

멀티 GPU 훈련 간소화

대규모 로봇 정책 훈련이 훨씬 빨라졌습니다! Accelerate를 훈련 파이프라인에 직접 통합하여 명령 한 줄로 여러 GPU에 걸쳐 실험을 확장하는 것을 매우 쉽게 만들었습니다.

accelerate launch \
  --multi_gpu \
  --num_processes=$NUM_GPUs \
  $(which lerobot-train) \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_trained_policy \
  --policy.type=$POLICY_TYPE \
  # ... 추가 훈련 구성 플래그

정책 미세 조정 또는 대규모 실험 실행 여부에 관계없이 LeRobot은 이제 분산 훈련의 모든 복잡성을 처리합니다. 이는 훈련 시간을 대폭 줄여 2개의 GPU로 절반, 3개의 GPU로 1/3로 단축할 수 있음을 의미합니다.

문서를 확인하여 로봇 학습을 가속화하십시오!

정책: 오픈 월드 일반화 해제

PI0 및 PI0.5

오픈소스 로보틱스의 주요 마일스톤으로, Physical Intelligence의 pi0 및 pi0.5 정책을 LeRobot에 통합했습니다! 이러한 Vision-Language-Action (VLA) 모델은 로보틱스에서 오픈 월드 일반화 문제를 해결하는 데 상당한 도약을 나타냅니다. 하지만 π₀.₅를 혁신적으로 만드는 것은 무엇일까요?

• 오픈 월드 일반화: 완전히 새로운 환경과 상황에 적응하도록 설계되어 물리적, 의미적, 환경적 수준 전반에 걸쳐 일반화됩니다.
• 이기종 데이터에 대한 공동 훈련: 다양한 멀티모달 웹 데이터, 음성 지침, 하위 작업 명령 및 다중 환경 로봇 데이터의 혼합에서 학습합니다.
• 물리적 지능 협업: 획기적인 작업을 수행한 Physical Intelligence 팀에게 큰 감사를 표합니다!

허깅페이스 허브에서 모델을 찾을 수 있습니다: pi0.5base, pi0base, 그리고 Libero 튜닝된 버전을 찾을 수 있습니다. 자세한 내용은 Physical Intelligence Research를 확인하십시오.

GR00T N1.5

또 다른 흥미로운 개발로, NVIDIA 로보틱스 팀과의 환상적인 협력을 통해 NVIDIA의 GR00T N1.5를 LeRobot에 통합했습니다! 이 오픈 기초 모델은 일반화된 로봇 추론 및 기술을 위한 강력한 도구입니다. 크로스 임베디드 모델로서 멀티모달 입력(언어 및 이미지 등)을 받아 다양한 환경에서 복잡한 조작 작업을 수행하여 일반화된 로보틱스에서 또 다른 주요 도약을 이루었습니다. 하지만 GR00T N1.5를 게임 체인저로 만드는 것은 무엇일까요?

• 일반화된 추론 및 기술: 크로스 임베디드 기초 모델로 설계된 GR00T N1.5는 일반화된 추론 및 조작 작업에 뛰어나며 개선된 언어 이해 능력을 갖추고 있습니다.
• 광범위한 이기종 훈련: 실제 캡처된 휴머노이드 데이터, NVIDIA Isaac GR00T Blueprint로 생성된 합성 데이터, 인터넷 규모의 비디오 데이터를 결합한 대규모 데이터셋에서 학습합니다.
• NVIDIA 협업: NVIDIA 팀과의 파트너십을 통해 이 최첨단 모델을 오픈소스 LeRobot 커뮤니티에 제공하게 되어 기쁩니다!

모델은 허깅페이스 허브에서 찾을 수 있습니다: GR00T-N1.5-3B. 자세한 내용은 NVIDIA 연구 페이지 및 공식 GitHub 저장소를 확인하십시오.

lerobot에서의 이러한 정책의 네이티브 통합은 로봇 학습을 가능한 한 개방적이고 재현 가능하게 만드는 데 있어 큰 진전입니다. 오늘 바로 사용해 보고, 실행을 공유하고, 함께 임베디드 AI의 최전선을 나아가 봅시다!

로봇: 플러그인 시스템을 통한 하드웨어 통합의 새로운 시대

하드웨어 애호가를 위한 빅 뉴스! 타사 하드웨어와 LeRobot을 통합하는 방식을 혁신할 새로운 플러그인 시스템을 출시했습니다. 이제 어떤 로봇, 카메라 또는 텔레오퍼레이터를 연결하는 것이 pip install만큼 간단해져 핵심 라이브러리를 수정할 필요가 없어졌습니다.

주요 이점

• 확장성: 별도의 Python 패키지로 사용자 지정 하드웨어를 개발하고 통합합니다.
• 확장성: 핵심 라이브러리를 비대화하지 않고도 점점 더 많은 장치 생태계를 지원합니다.
• 커뮤니티 친화적: 커뮤니티 기여의 진입 장벽을 낮추어 더 협력적인 환경을 조성합니다.

자체 플러그인을 만드는 방법을 문서에서 알아보십시오.

pip install lerobot_teleoperator_my_awesome_teleop
lerobot-teleoperate --teleop.type=my_awesome_teleop

Reachy 2 통합

새로운 플러그인 시스템 덕분에 Pollen Robotics의 Reachy 2를 LeRobot에 추가했습니다! Reachy 2는 실제 로봇 제어 및 시뮬레이션 모두에 사용할 수 있으며, 즉시 텔레오퍼레이션 및 자율 데모를 실험할 수 있습니다.

전화 통합

강력한 새 파이프라인 시스템 덕분에 이제 휴대폰(iOS/Android)에서 직접 팔로워 암을 텔레오퍼레이션할 수 있습니다. 휴대폰이 텔레오퍼레이터 장치 역할을 하며, RobotProcessor 파이프라인이 모든 변환을 처리하여 다양한 액션 공간(엔드 이펙터 공간 등)에서 로봇을 쉽게 구동할 수 있습니다. 예제를 확인하십시오!

허깅페이스 로봇 학습 과정

모든 사람이 로봇 학습에 접근할 수 있도록 설계된 포괄적이고 자체 속도로 진행되는 전적으로 오픈소스 과정을 출시합니다! 실제 로봇이 어떻게 학습하는지 궁금하다면 이곳이 시작하기 완벽한 장소입니다.

이 과정에서는 다음을 배울 수 있습니다.

• 고전 로보틱스의 기본 사항 이해
• 모방 학습을 위한 생성 모델 사용(VAE, 확산 모델 등)
• 실제 로봇에 강화 학습 적용
• PI0 및 SmolVLA와 같은 최신 일반 로봇 정책 탐색

허깅페이스 로보틱스 조직에 참여하여 따라오고 여정을 시작하십시오!

심층 분석: 최신 로봇 학습 튜토리얼

더 깊이 알고 싶은 분들을 위해 최신 로보틱스 발전에 대한 실습 튜토리얼도 게시했습니다. 이 가이드에는 자체 포함된 설명이 제공되며, 기본 원칙부터 최신 기술을 다시 유도하고 LeRobot 및 허깅페이스를 사용한 즉시 사용 가능한 코드 예제를 포함합니다.

튜토리얼 자체는 Space에 호스팅되어 있으며, LeRobot을 사용한 실습 예제가 포함되어 있으며 모든 모델과 데이터셋은 허깅페이스 허브에 있습니다. 자세한 개요는 논문을 확인할 수도 있습니다.

팀의 최종 생각

이러한 주요 기능 외에도 이번 릴리스에는 수많은 버그 수정, 문서 개선, 업데이트된 종속성, 더 많은 예제 및 더 나은 인프라가 포함되어 LeRobot 경험을 더욱 원활하고 안정적으로 만들었습니다.

커뮤니티의 모든 분들의 귀중한 기여, 피드백 및 지원에 큰 감사를 표합니다. 오픈소스 로보틱스의 미래에 대해 매우 흥분되며 다음 단계에 대해 여러분과 함께 일하기를 기대합니다!

더 많은 소식이 곧 공개될 예정이니 계속 지켜봐 주십시오 🤗 여기에서 시작하십시오! – LeRobot 팀 ❤️

---

원문 출처: https://huggingface.co/blog/lerobot-release-v040