RoboSEasy

📝 요약 Grabette는 로봇 학습에 필요한 대규모 조작 데이터셋 구축의 병목 현상을 해결하기 위해 개발된 저비용, 오픈 소스 시스템입니다. 로봇 없이도 휴대용 그리퍼와 카메라를 사용하여 인간의 조작 작업을 녹화하고 이를 로봇 학습에 바로 사용할 수 있는 데이터셋으로 자동 변환할 수 있습니다. 이는 Hugging Face Hub와 같은 개방형 생태계와 통합되어 누구나 쉽게 참여하여 방대하고 다양한 조작 데이터셋을 구축하도록 장려합니다. 몇 분 안에 휴대용 그리퍼로 직접 조작 작업을 녹화하고, 이를 로봇에서 즉시 사용 가능한 데이터셋으로 자동 변환하며, 개방형 협업 로봇 학습 데이터셋 구축에 기여하세요. 병목 현상은 모델이 아닙니다. 데이터입니다. 로봇 학습에는 공급 문제가 있습니다. 우리는 유능한 정책 아키텍처(트랜스포머 기반 VLA, 확산 및 흐름 일치 정책, 심지어 월드 모델까지)와 이를 훈련할 GPU를 보유하고 있습니다. 우리가 부족한 것은 대규모의 다양하고 실제적인 조작 데이터입니다. 이를 수집하기 위해 로봇을 원격 조작하는 것은 비용이 많이 들고 까다로울 수 있습니다. 무엇보다도 로봇이 필요합니다 . 원격 조작 방식에 따라 데이터 수집은 몇 시간이 걸리고 상당한 하드웨어 및 물류 문제를 포함하므로 사용자에게 지루할 수 있습니다. 이는 요구되는 작업 및 환경의 광범위한 다양성과 함께 확장하기 어렵습니다. 하지만 로봇 데이터를 수집하기 위해 로봇이 필요하지 않습니다. 사람의 손, 그리퍼, 카메라, 그리고 손이 수행한 작업의 6-DoF 궤적을 복구할 방법만 있으면 됩니다. 시연을 캡처하면 로봇이 학습할 수 있는 데이터가 됩니다. 오늘 우리가 출시하는 것은 조작 데이터를 녹화하기 위한 개방형 저비용 시스템인 Grabette입니다. 그것을 집어 들고 자신의 손으로 작업을 녹화하면 깨끗하고 로봇에서 즉시 사용 가능한 데이터셋을 얻을 수 있습니다. 로봇도, 실험실도, 원격 조작 장비도 필요 없습니다. 이것이 더 큰 목표입니다. 시연 녹화가 비디오...

📝 요약 LeRobot v0.6.0은 로봇 학습 루프를 닫는 데 중점을 둔 새로운 릴리스로, 미래를 상상하는 정책, 성공을 감지하는 보상 모델, 실패를 훈련 데이터로 활용하는 배포 CLI, 그리고 벤치마킹을 위한 여섯 개의 새로운 시뮬레이션 환경을 제공합니다. 또한 깊이 감지, VLM 기반 데이터셋 주석, 사용자 지정 비디오 인코딩, 클라우드 훈련, 간소화된 설치 등 다양한 기능이 추가되었습니다. 이번 업데이트는 VLA-JEPA, LingBot-VA, FastWAM과 같은 새로운 정책을 포함하며, GR00T N1.7, MolmoAct2, EO-1, Multitask DiT, EVO1 등 기존 VLA 모델 스토어를 확장했습니다. Robometer와 TOPReward와 같은 보상 모델은 로봇 성공을 평가하기 위한 새로운 인터페이스를 제공하며, 데이터셋 기능은 향상된 비디오 인코딩, 깊이 센서 지원, 언어 주석 기능을 포함합니다. 이번 새로운 릴리스는 로봇 학습 루프를 닫는 것에 관한 것입니다. 즉, 행동하기 전에 미래를 상상하는 정책, 로봇의 성공 여부를 알려주는 보상 모델, 실패를 훈련 데이터로 바꾸는 배포 CLI, 그리고 모든 것을 측정할 수 있는 여섯 개의 새로운 시뮬레이션 벤치마크입니다. 또한 깊이 감지, VLM 기반 데이터셋 주석, 사용자 지정 비디오 인코딩, HF Jobs에서의 클라우드 훈련, 훨씬 더 가벼워진 설치 기능도 제공합니다. 월드 모델: 미래를 상상하는 정책 로보틱스 세계는 큰 질문을 던지고 있습니다. 월드 모델이 로봇 정책에 실제로 도움이 될까요? v0.6.0은 그 질문에 답하는 데 도움이 되도록 LeRobot에 세 가지 정책을 도입합니다. 각 정책은 훈련의 일부로 미래를 상상하는 법을 배우며, 각 정책은 그 상상을 합리적인 비용으로 유지하기 위해 다른 경로를 따릅니다. VLA-JEPA VLA-JEPA는 소형 VLA(Qwen3-VL-2B 기반)에게 행동을 배우는 동안 잠재 공간에서 미래를 예측하도록 가르칩니다. 훈련 중에는 JEPA...

📝 요약 1년 전, 전 세계 수천 명의 사람들이 로봇 개발에 참여했습니다. 이들은 Hugging Face의 Robot Worldwide Hackathon에서 동일한 오픈 소스 로봇 스택과 48시간이라는 시간 제약 속에서 로봇을 제작했습니다. 참가자들은 t-shirt 접기, LEGO 픽셀 아트 그리기, 걷는 로봇, 휴대폰 제어 로봇 팔 등 다양한 로봇을 개발했습니다. 이 경험은 참가자들에게 로봇 공학에 대한 흥미를 유발하고, 경력 전환, 연구 발전, 추가 프로젝트 참여 등 긍정적인 영향을 주었습니다. 많은 참가자들이 로봇 개발 경험을 통해 자신감을 얻고 새로운 기회를 발견했습니다. 로봇 공학은 직접 경험하고 실패를 통해 배우는 것이 중요하다고 강조되었습니다. 해커톤은 단순히 기술을 배우는 것을 넘어, 커뮤니티와 함께 성장하는 기회를 제공합니다. 원본 영상: https://www.youtube.com/watch?v=FLxFBU-Kodk

📝 요약 Leloup은 Robot Library를 위한 GUI로 로봇 텔레오퍼레이션, 데이터셋 수집, 모델 학습 및 배포를 지원합니다. 별도의 코드 작성 없이 직관적인 인터페이스로 로봇 설정, 텔레오퍼레이션, 데이터셋 녹화, Hugging Face를 이용한 모델 학습 및 로봇 배포가 가능합니다. 로봇 캘리브레이션 후 텔레오퍼레이션을 통해 연습하고, 데이터셋을 수집하여 AI 모델을 학습시킵니다. Hugging Face Jobs를 통해 강력한 GPU를 활용하여 저렴하게 모델 학습이 가능하며, 학습 중에도 모델 성능을 실시간으로 확인할 수 있습니다. 원본 영상: https://www.youtube.com/watch?v=VqyKUuW9V1g

📝 요약 Gemma 모델은 로보틱스, IoT 장치 등에 활용될 수 있습니다. 이 모델은 노트북, 데스크톱뿐만 아니라 Raspberry Pi, Jetson Orin Nanos 같은 하드웨어에서도 실행 가능합니다. Gemma 모델을 탑재한 Reachy Mini 로봇은 시각, 청각, 감정 표현, 움직임, 대화가 가능합니다. 로컬에서 모델을 실행하면 프라이버시와 속도를 향상시킬 수 있습니다. 로보틱스 분야에서 Gemma 모델은 빠른 반응 속도를 제공하여 실시간 상호작용에 유리합니다. Gemma 모델은 Reachy 로봇을 통해 조명, 온도 조절 장치 제어, 메시지 전송 등 다양한 액션 수행이 가능합니다. 스마트 장치 및 API와 연동하여 캘린더 관리, 실시간 데이터 조회, 자동화 시스템 제어 등 광범위한 활용이 기대됩니다. Gemma 모델은 오프라인 환경에서도 작동하는 개인 비서 역할을 수행할 수 있습니다. Gemma 모델을 로봇이나 IoT 장치에 적용하는 다양한 아이디어를 환영합니다. Gemma 모델은 프라이버시, 속도 향상, 홈 자동화, 환경 모니터링 등에 유용하게 사용될 수 있습니다. 원본 영상: https://www.youtube.com/watch?v=KPx3nRwbldE

📝 요약 L2D(Learning to Drive)는 독일 30개 도시에서 수집된 90TB 이상의 멀티모달 데이터를 포함하는 세계 최대 규모의 자율 주행 데이터셋입니다. 이 데이터셋은 6개의 HD 카메라와 차량 상태 정보를 포함하며, 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계되었습니다. L2D는 운전 강사의 전문가 정책과 연습 운전자의 학생 정책을 모두 포함하며, 이는 다양한 운전 시나리오를 포괄합니다. 이 데이터셋은 LeRobot 파이프라인과의 통합을 지원하여 로보틱스 AI 커뮤니티에서 공간 지능 모델 개발을 촉진합니다. TL;DR of L2D , the world's largest self-driving dataset! 90+ 테라바이트의 멀티모달 데이터 (5000시간 이상 주행) 30개 독일 도시에서 수집 6개의 주변 HD 카메라 및 완전한 차량 상태: 속도/방향/GPS/IMU 연속: 가속/제동/조향 및 이산적 동작: 기어/방향 지시등 환경 상태: 차선 수, 도로 유형 (고속도로 | 주거 지역), 도로 표면 (아스팔트, 자갈, 판석), 최대 속도 제한. 환경 조건: 강수량, 상태 (눈, 맑음, 비), 조명 (새벽, 낮, 황혼) 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계 자연어 지침. F.ex "신호등이 녹색으로 바뀌면, 트램 선로를 넘어 원형 교차로를 통과하세요" 각 에피소드별 미래 웨이포인트 OpenStreetMap 그래프에 스냅, 추가로 조감도 렌더링 전문가 (운전 강사) 및 학생 (연습 운전자) 정책 State-of-the art Vision Language Models 및 Large Language Models는 인터넷에서 수집된 오픈 소스 이미지-텍스트 코퍼스로 훈련되며, 이는 오픈 소스 AI의 최근 가속화를 주도했습니다. 이러한 혁신에도 불구하고, 로보틱스 및 자동차 커뮤니티 내에서 종단간 AI의 채택은 여전히 낮으며,...