LeRobot v0.6.0: Imagine, Evaluate, Improve

이미지
📝 요약 LeRobot v0.6.0은 로봇 학습 루프를 닫는 데 중점을 둔 새로운 릴리스로, 미래를 상상하는 정책, 성공을 감지하는 보상 모델, 실패를 훈련 데이터로 활용하는 배포 CLI, 그리고 벤치마킹을 위한 여섯 개의 새로운 시뮬레이션 환경을 제공합니다. 또한 깊이 감지, VLM 기반 데이터셋 주석, 사용자 지정 비디오 인코딩, 클라우드 훈련, 간소화된 설치 등 다양한 기능이 추가되었습니다. 이번 업데이트는 VLA-JEPA, LingBot-VA, FastWAM과 같은 새로운 정책을 포함하며, GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1 등 기존 VLA 모델 스토어를 확장했습니다. Robometer와 TOPReward와 같은 보상 모델은 로봇 성공을 평가하기 위한 새로운 인터페이스를 제공하며, 데이터셋 기능은 향상된 비디오 인코딩, 깊이 센서 지원, 언어 주석 기능을 포함합니다. 이번 새로운 릴리스는 로봇 학습 루프를 닫는 것에 관한 것입니다. 즉, 행동하기 전에 미래를 상상하는 정책, 로봇의 성공 여부를 알려주는 보상 모델, 실패를 훈련 데이터로 바꾸는 배포 CLI, 그리고 모든 것을 측정할 수 있는 여섯 개의 새로운 시뮬레이션 벤치마크입니다. 또한 깊이 감지, VLM 기반 데이터셋 주석, 사용자 지정 비디오 인코딩, HF Jobs에서의 클라우드 훈련, 훨씬 더 가벼워진 설치 기능도 제공합니다. 월드 모델: 미래를 상상하는 정책 로보틱스 세계는 큰 질문을 던지고 있습니다. 월드 모델이 로봇 정책에 실제로 도움이 될까요? v0.6.0은 그 질문에 답하는 데 도움이 되도록 LeRobot에 세 가지 정책을 도입합니다. 각 정책은 훈련의 일부로 미래를 상상하는 법을 배우며, 각 정책은 그 상상을 합리적인 비용으로 유지하기 위해 다른 경로를 따릅니다. VLA-JEPA VLA-JEPA는 소형 VLA(Qwen3-VL-2B 기반)에게 행동을 배우는 동안 잠재 공간에서 미래를 예측하도록 가르칩니다. 훈련 중에는 JEPA...

What can you build during 48h Robotics Hackathon?

이미지
📝 요약 1년 전, 전 세계 수천 명의 사람들이 로봇 개발에 참여했습니다. 이들은 Hugging Face의 Robot Worldwide Hackathon에서 동일한 오픈 소스 로봇 스택과 48시간이라는 시간 제약 속에서 로봇을 제작했습니다. 참가자들은 t-shirt 접기, LEGO 픽셀 아트 그리기, 걷는 로봇, 휴대폰 제어 로봇 팔 등 다양한 로봇을 개발했습니다. 이 경험은 참가자들에게 로봇 공학에 대한 흥미를 유발하고, 경력 전환, 연구 발전, 추가 프로젝트 참여 등 긍정적인 영향을 주었습니다. 많은 참가자들이 로봇 개발 경험을 통해 자신감을 얻고 새로운 기회를 발견했습니다. 로봇 공학은 직접 경험하고 실패를 통해 배우는 것이 중요하다고 강조되었습니다. 해커톤은 단순히 기술을 배우는 것을 넘어, 커뮤니티와 함께 성장하는 기회를 제공합니다. 원본 영상: https://www.youtube.com/watch?v=FLxFBU-Kodk

Train AI Robots Without Writing Code! (Introducing LeLab)

이미지
📝 요약 Leloup은 Robot Library를 위한 GUI로 로봇 텔레오퍼레이션, 데이터셋 수집, 모델 학습 및 배포를 지원합니다. 별도의 코드 작성 없이 직관적인 인터페이스로 로봇 설정, 텔레오퍼레이션, 데이터셋 녹화, Hugging Face를 이용한 모델 학습 및 로봇 배포가 가능합니다. 로봇 캘리브레이션 후 텔레오퍼레이션을 통해 연습하고, 데이터셋을 수집하여 AI 모델을 학습시킵니다. Hugging Face Jobs를 통해 강력한 GPU를 활용하여 저렴하게 모델 학습이 가능하며, 학습 중에도 모델 성능을 실시간으로 확인할 수 있습니다. 원본 영상: https://www.youtube.com/watch?v=VqyKUuW9V1g

Run Gemma on Reachy Mini, an open source robot

이미지
📝 요약 Gemma 모델은 로보틱스, IoT 장치 등에 활용될 수 있습니다. 이 모델은 노트북, 데스크톱뿐만 아니라 Raspberry Pi, Jetson Orin Nanos 같은 하드웨어에서도 실행 가능합니다. Gemma 모델을 탑재한 Reachy Mini 로봇은 시각, 청각, 감정 표현, 움직임, 대화가 가능합니다. 로컬에서 모델을 실행하면 프라이버시와 속도를 향상시킬 수 있습니다. 로보틱스 분야에서 Gemma 모델은 빠른 반응 속도를 제공하여 실시간 상호작용에 유리합니다. Gemma 모델은 Reachy 로봇을 통해 조명, 온도 조절 장치 제어, 메시지 전송 등 다양한 액션 수행이 가능합니다. 스마트 장치 및 API와 연동하여 캘린더 관리, 실시간 데이터 조회, 자동화 시스템 제어 등 광범위한 활용이 기대됩니다. Gemma 모델은 오프라인 환경에서도 작동하는 개인 비서 역할을 수행할 수 있습니다. Gemma 모델을 로봇이나 IoT 장치에 적용하는 다양한 아이디어를 환영합니다. Gemma 모델은 프라이버시, 속도 향상, 홈 자동화, 환경 모니터링 등에 유용하게 사용될 수 있습니다. 원본 영상: https://www.youtube.com/watch?v=KPx3nRwbldE

LeRobot goes to driving school: World’s largest open-source self-driving dataset

이미지
📝 요약 L2D(Learning to Drive)는 독일 30개 도시에서 수집된 90TB 이상의 멀티모달 데이터를 포함하는 세계 최대 규모의 자율 주행 데이터셋입니다. 이 데이터셋은 6개의 HD 카메라와 차량 상태 정보를 포함하며, 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계되었습니다. L2D는 운전 강사의 전문가 정책과 연습 운전자의 학생 정책을 모두 포함하며, 이는 다양한 운전 시나리오를 포괄합니다. 이 데이터셋은 LeRobot 파이프라인과의 통합을 지원하여 로보틱스 AI 커뮤니티에서 공간 지능 모델 개발을 촉진합니다. TL;DR of L2D , the world's largest self-driving dataset! 90+ 테라바이트의 멀티모달 데이터 (5000시간 이상 주행) 30개 독일 도시에서 수집 6개의 주변 HD 카메라 및 완전한 차량 상태: 속도/방향/GPS/IMU 연속: 가속/제동/조향 및 이산적 동작: 기어/방향 지시등 환경 상태: 차선 수, 도로 유형 (고속도로 | 주거 지역), 도로 표면 (아스팔트, 자갈, 판석), 최대 속도 제한. 환경 조건: 강수량, 상태 (눈, 맑음, 비), 조명 (새벽, 낮, 황혼) 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계 자연어 지침. F.ex "신호등이 녹색으로 바뀌면, 트램 선로를 넘어 원형 교차로를 통과하세요" 각 에피소드별 미래 웨이포인트 OpenStreetMap 그래프에 스냅, 추가로 조감도 렌더링 전문가 (운전 강사) 및 학생 (연습 운전자) 정책 State-of-the art Vision Language Models 및 Large Language Models는 인터넷에서 수집된 오픈 소스 이미지-텍스트 코퍼스로 훈련되며, 이는 오픈 소스 AI의 최근 가속화를 주도했습니다. 이러한 혁신에도 불구하고, 로보틱스 및 자동차 커뮤니티 내에서 종단간 AI의 채택은 여전히 낮으며,...

LeRobot v0.4.0: Supercharging OSS Robot Learning

이미지
📝 요약 LeRobot은 대규모 로봇 학습을 위한 데이터셋 인프라를 v3.0으로 대폭 개선하고, 데이터셋 편집 도구를 도입하여 사용자 편의성을 높였습니다. 또한 LIBERO와 Meta-World를 지원하는 시뮬레이션 환경을 확장하고, 데이터 처리를 위한 새로운 Processors 파이프라인과 멀티 GPU 훈련을 위한 Accelerate 통합을 선보였습니다. 최첨단 일반화 정책인 pi0, pi0.5, GR00T N1.5를 통합하고, 플러그인 시스템을 통해 하드웨어 통합을 용이하게 하여 오픈소스 로봇 학습 생태계를 더욱 강화했습니다. LeRobot 전반에 걸쳐 강력하고 확장 가능하며 사용자 친화적인 오픈소스 로봇 학습을 위한 중요한 발전을 발표하게 되어 기쁩니다! 재정비된 데이터셋, 다목적 편집 도구, 새로운 시뮬레이션 환경, 하드웨어를 위한 획기적인 플러그인 시스템에 이르기까지 LeRobot은 최첨단 임베디드 AI의 요구를 충족하기 위해 끊임없이 발전하고 있습니다. 데이터셋: 차세대 대규모 로봇 학습 준비 완료 새로운 청크화된 에피소드 형식과 스트리밍 기능을 갖춘 LeRobotDataset v3.0 으로 데이터셋 인프라를 완전히 재정비했습니다. 이는 OXE (Open X Embodiment) 및 Droid 와 같은 대규모 데이터셋을 처리하는 데 있어 판도를 바꾸는 혁신이며, 탁월한 효율성과 확장성을 제공합니다. 데이터셋 v3.0의 새로운 기능? 대규모 확장을 위한 청크화된 에피소드: 새로운 형식은 OXE 수준 (> 400GB)의 데이터셋을 지원하여 전례 없는 확장성을 제공합니다. 효율적인 비디오 저장 + 스트리밍: 더 빠른 로딩 시간과 원활한 비디오 데이터 스트리밍을 즐기십시오. 통합 Parquet 메타데이터: 흩어진 JSON에 작별을 고하세요! 모든 에피소드 메타데이터는 이제 더 쉬운 관리 및 액세스를 위해 통합된 구조화된 Parquet 파일에 저장됩니다. 더 빠른 로딩 및 더 나은 성능: 데이터셋 초기화 시간의 상당한 감소와 더 효율적...

SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data

이미지
📝 요약 SmolVLA는 로보틱스를 위한 450M 파라미터의 오픈소스 비전-언어-액션(VLA) 모델로, 일반 소비자용 하드웨어에서 실행 가능하며 기존 VLA 모델보다 뛰어난 성능을 보입니다. 이 모델은 호환 가능한 라이선스의 커뮤니티 공유 데이터셋으로 사전 학습되었으며, 시뮬레이션 및 실제 작업에서 더 큰 모델들을 능가하는 결과를 보여줍니다. 또한, 30% 더 빠른 응답과 2배의 작업 처리량을 제공하는 비동기 추론 기능을 지원합니다. 🧭TL;DR 오늘 우리는 로보틱스를 위한 소형(450M), 오픈소스 비전-언어-액션 모델인 SmolVLA 를 소개하며, 이는 일반 소비자용 하드웨어에서도 실행됩니다. lerobot 태그 아래 호환 가능한 라이선스의 오픈소스 커뮤니티 공유 데이터셋으로만 사전 학습되었습니다. SmolVLA-450M은 시뮬레이션(LIBERO, Meta-World) 및 실제 작업( SO100, SO101 )에서 훨씬 더 큰 VLA 및 ACT 와 같은 강력한 기준선보다 뛰어난 성능을 보입니다. 30% 더 빠른 응답 과 2배의 작업 처리량 을 위한 비동기 추론 을 지원합니다. 유용한 링크 : SO-100/101 학습 및 평가에 사용된 하드웨어: https://github.com/TheRobotStudio/SO-ARM100 기본 모델 https://huggingface.co/lerobot/smolvla_base 논문: https://huggingface.co/papers/2506.01844 📚 목차 🧭 TL;DR 📖 소개 🤖 SmolVLA 소개 🚀 SmolVLA 사용 방법 설치 사전 학습된 모델 파인튜닝 처음부터 학습 🧠 방법 주요 아키텍처 비전-언어 모델 (VLM) 액션 전문가: Flow Matching Transformer 효율성과 강건성을 위한 설계 선택 시각 토큰 축소 레이어 스킵핑을 통한 빠른 추론 교차 및 자기 주의의 인터리빙 비동기 추론 📦 커뮤니티 데이터셋 작업 주석 개...