RoboSEasy

📝 요약 1년 전, 전 세계 수천 명의 사람들이 로봇 개발에 참여했습니다. 이들은 Hugging Face의 Robot Worldwide Hackathon에서 동일한 오픈 소스 로봇 스택과 48시간이라는 시간 제약 속에서 로봇을 제작했습니다. 참가자들은 t-shirt 접기, LEGO 픽셀 아트 그리기, 걷는 로봇, 휴대폰 제어 로봇 팔 등 다양한 로봇을 개발했습니다. 이 경험은 참가자들에게 로봇 공학에 대한 흥미를 유발하고, 경력 전환, 연구 발전, 추가 프로젝트 참여 등 긍정적인 영향을 주었습니다. 많은 참가자들이 로봇 개발 경험을 통해 자신감을 얻고 새로운 기회를 발견했습니다. 로봇 공학은 직접 경험하고 실패를 통해 배우는 것이 중요하다고 강조되었습니다. 해커톤은 단순히 기술을 배우는 것을 넘어, 커뮤니티와 함께 성장하는 기회를 제공합니다. 원본 영상: https://www.youtube.com/watch?v=FLxFBU-Kodk

📝 요약 Leloup은 Robot Library를 위한 GUI로 로봇 텔레오퍼레이션, 데이터셋 수집, 모델 학습 및 배포를 지원합니다. 별도의 코드 작성 없이 직관적인 인터페이스로 로봇 설정, 텔레오퍼레이션, 데이터셋 녹화, Hugging Face를 이용한 모델 학습 및 로봇 배포가 가능합니다. 로봇 캘리브레이션 후 텔레오퍼레이션을 통해 연습하고, 데이터셋을 수집하여 AI 모델을 학습시킵니다. Hugging Face Jobs를 통해 강력한 GPU를 활용하여 저렴하게 모델 학습이 가능하며, 학습 중에도 모델 성능을 실시간으로 확인할 수 있습니다. 원본 영상: https://www.youtube.com/watch?v=VqyKUuW9V1g

📝 요약 Gemma 모델은 로보틱스, IoT 장치 등에 활용될 수 있습니다. 이 모델은 노트북, 데스크톱뿐만 아니라 Raspberry Pi, Jetson Orin Nanos 같은 하드웨어에서도 실행 가능합니다. Gemma 모델을 탑재한 Reachy Mini 로봇은 시각, 청각, 감정 표현, 움직임, 대화가 가능합니다. 로컬에서 모델을 실행하면 프라이버시와 속도를 향상시킬 수 있습니다. 로보틱스 분야에서 Gemma 모델은 빠른 반응 속도를 제공하여 실시간 상호작용에 유리합니다. Gemma 모델은 Reachy 로봇을 통해 조명, 온도 조절 장치 제어, 메시지 전송 등 다양한 액션 수행이 가능합니다. 스마트 장치 및 API와 연동하여 캘린더 관리, 실시간 데이터 조회, 자동화 시스템 제어 등 광범위한 활용이 기대됩니다. Gemma 모델은 오프라인 환경에서도 작동하는 개인 비서 역할을 수행할 수 있습니다. Gemma 모델을 로봇이나 IoT 장치에 적용하는 다양한 아이디어를 환영합니다. Gemma 모델은 프라이버시, 속도 향상, 홈 자동화, 환경 모니터링 등에 유용하게 사용될 수 있습니다. 원본 영상: https://www.youtube.com/watch?v=KPx3nRwbldE

📝 요약 L2D(Learning to Drive)는 독일 30개 도시에서 수집된 90TB 이상의 멀티모달 데이터를 포함하는 세계 최대 규모의 자율 주행 데이터셋입니다. 이 데이터셋은 6개의 HD 카메라와 차량 상태 정보를 포함하며, 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계되었습니다. L2D는 운전 강사의 전문가 정책과 연습 운전자의 학생 정책을 모두 포함하며, 이는 다양한 운전 시나리오를 포괄합니다. 이 데이터셋은 LeRobot 파이프라인과의 통합을 지원하여 로보틱스 AI 커뮤니티에서 공간 지능 모델 개발을 촉진합니다. TL;DR of L2D , the world's largest self-driving dataset! 90+ 테라바이트의 멀티모달 데이터 (5000시간 이상 주행) 30개 독일 도시에서 수집 6개의 주변 HD 카메라 및 완전한 차량 상태: 속도/방향/GPS/IMU 연속: 가속/제동/조향 및 이산적 동작: 기어/방향 지시등 환경 상태: 차선 수, 도로 유형 (고속도로 | 주거 지역), 도로 표면 (아스팔트, 자갈, 판석), 최대 속도 제한. 환경 조건: 강수량, 상태 (눈, 맑음, 비), 조명 (새벽, 낮, 황혼) 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계 자연어 지침. F.ex "신호등이 녹색으로 바뀌면, 트램 선로를 넘어 원형 교차로를 통과하세요" 각 에피소드별 미래 웨이포인트 OpenStreetMap 그래프에 스냅, 추가로 조감도 렌더링 전문가 (운전 강사) 및 학생 (연습 운전자) 정책 State-of-the art Vision Language Models 및 Large Language Models는 인터넷에서 수집된 오픈 소스 이미지-텍스트 코퍼스로 훈련되며, 이는 오픈 소스 AI의 최근 가속화를 주도했습니다. 이러한 혁신에도 불구하고, 로보틱스 및 자동차 커뮤니티 내에서 종단간 AI의 채택은 여전히 낮으며,...

📝 요약 LeRobot은 대규모 로봇 학습을 위한 데이터셋 인프라를 v3.0으로 대폭 개선하고, 데이터셋 편집 도구를 도입하여 사용자 편의성을 높였습니다. 또한 LIBERO와 Meta-World를 지원하는 시뮬레이션 환경을 확장하고, 데이터 처리를 위한 새로운 Processors 파이프라인과 멀티 GPU 훈련을 위한 Accelerate 통합을 선보였습니다. 최첨단 일반화 정책인 pi0, pi0.5, GR00T N1.5를 통합하고, 플러그인 시스템을 통해 하드웨어 통합을 용이하게 하여 오픈소스 로봇 학습 생태계를 더욱 강화했습니다. LeRobot 전반에 걸쳐 강력하고 확장 가능하며 사용자 친화적인 오픈소스 로봇 학습을 위한 중요한 발전을 발표하게 되어 기쁩니다! 재정비된 데이터셋, 다목적 편집 도구, 새로운 시뮬레이션 환경, 하드웨어를 위한 획기적인 플러그인 시스템에 이르기까지 LeRobot은 최첨단 임베디드 AI의 요구를 충족하기 위해 끊임없이 발전하고 있습니다. 데이터셋: 차세대 대규모 로봇 학습 준비 완료 새로운 청크화된 에피소드 형식과 스트리밍 기능을 갖춘 LeRobotDataset v3.0 으로 데이터셋 인프라를 완전히 재정비했습니다. 이는 OXE (Open X Embodiment) 및 Droid 와 같은 대규모 데이터셋을 처리하는 데 있어 판도를 바꾸는 혁신이며, 탁월한 효율성과 확장성을 제공합니다. 데이터셋 v3.0의 새로운 기능? 대규모 확장을 위한 청크화된 에피소드: 새로운 형식은 OXE 수준 (> 400GB)의 데이터셋을 지원하여 전례 없는 확장성을 제공합니다. 효율적인 비디오 저장 + 스트리밍: 더 빠른 로딩 시간과 원활한 비디오 데이터 스트리밍을 즐기십시오. 통합 Parquet 메타데이터: 흩어진 JSON에 작별을 고하세요! 모든 에피소드 메타데이터는 이제 더 쉬운 관리 및 액세스를 위해 통합된 구조화된 Parquet 파일에 저장됩니다. 더 빠른 로딩 및 더 나은 성능: 데이터셋 초기화 시간의 상당한 감소와 더 효율적...

📝 요약 SmolVLA는 로보틱스를 위한 450M 파라미터의 오픈소스 비전-언어-액션(VLA) 모델로, 일반 소비자용 하드웨어에서 실행 가능하며 기존 VLA 모델보다 뛰어난 성능을 보입니다. 이 모델은 호환 가능한 라이선스의 커뮤니티 공유 데이터셋으로 사전 학습되었으며, 시뮬레이션 및 실제 작업에서 더 큰 모델들을 능가하는 결과를 보여줍니다. 또한, 30% 더 빠른 응답과 2배의 작업 처리량을 제공하는 비동기 추론 기능을 지원합니다. 🧭TL;DR 오늘 우리는 로보틱스를 위한 소형(450M), 오픈소스 비전-언어-액션 모델인 SmolVLA 를 소개하며, 이는 일반 소비자용 하드웨어에서도 실행됩니다. lerobot 태그 아래 호환 가능한 라이선스의 오픈소스 커뮤니티 공유 데이터셋으로만 사전 학습되었습니다. SmolVLA-450M은 시뮬레이션(LIBERO, Meta-World) 및 실제 작업( SO100, SO101 )에서 훨씬 더 큰 VLA 및 ACT 와 같은 강력한 기준선보다 뛰어난 성능을 보입니다. 30% 더 빠른 응답 과 2배의 작업 처리량 을 위한 비동기 추론 을 지원합니다. 유용한 링크 : SO-100/101 학습 및 평가에 사용된 하드웨어: https://github.com/TheRobotStudio/SO-ARM100 기본 모델 https://huggingface.co/lerobot/smolvla_base 논문: https://huggingface.co/papers/2506.01844 📚 목차 🧭 TL;DR 📖 소개 🤖 SmolVLA 소개 🚀 SmolVLA 사용 방법 설치 사전 학습된 모델 파인튜닝 처음부터 학습 🧠 방법 주요 아키텍처 비전-언어 모델 (VLM) 액션 전문가: Flow Matching Transformer 효율성과 강건성을 위한 설계 선택 시각 토큰 축소 레이어 스킵핑을 통한 빠른 추론 교차 및 자기 주의의 인터리빙 비동기 추론 📦 커뮤니티 데이터셋 작업 주석 개...

📝 요약 현재 로봇 정책은 미래 액션 덩어리를 예측하면서 복잡성이 증가하고 있으며, 이는 실행 시 지연과 반응성 저하를 초래합니다. 본문에서는 액션 예측과 실행을 분리하는 비동기 추론 기법을 소개하며, 이를 통해 런타임 지연을 제거하고 더 적응적인 제어를 가능하게 합니다. 비동기 추론은 `PolicyServer`와 `RobotClient`로 구성된 2단계 시스템을 사용하여, 로봇이 추론을 기다리는 시간을 없애고 작업 완료 시간을 약 2배 단축하면서도 작업 성공률은 비슷하게 유지합니다. 이 기법은 로봇 정책의 성능을 향상시키는 간단하지만 효과적인 방법으로, 실제 로봇 응용 분야에서 중요한 이점을 제공합니다. TL;DR 로봇 정책은 점점 더 복잡해지고 있으며, 단일 다음 액션을 예측하는 대신 미래 액션 덩어리를 예측합니다. 이는 로봇이 새로운 액션을 기다리는 동안 유휴 상태가 되어 실행 시 눈에 띄는 지연이 발생하고 반응성이 떨어지는 결과를 초래합니다. 비동기 추론은 제어 루프를 조이고, 액션 예측과 액션 실행을 분리하여 런타임 지연을 제거하고 더 적응적인 제어를 가능하게 합니다. 이 블로그 게시물에서는 비동기 추론의 기본 사항과 실제 로봇 정책의 성능을 개선하는 데 어떻게 사용될 수 있는지 다룹니다. 시작하기 가이드 를 따라 비동기 추론을 시작하십시오. 순차 추론(왼쪽) 대 비동기 추론(오른쪽) . 재계획 및 더 빡빡한 제어 루프를 허용하는 비동기 추론은 (1) 복구 시도를 하고, (2) 작업 완료 시간을 약 2배 단축합니다. 순차 추론은 물체를 잡는 데 실패한 후에도 현재 액션 덩어리를 계속 실행하는 반면, 비동기 추론은 재계획하고 새 액션 덩어리를 실행할 수 있습니다. 두 설정 모두 동일한 정책을 사용합니다! 비동기 추론: 심층 분석 비동기 추론을 사용하면 액션 실행과 액션 예측을 분리합니다. 이는 [ ACT ], [ OpenVLA ], [ PI0 ], [ SmolVLA ]와 같이 현재 인기 있는 모델들이 관찰 \(o t\...

📝 요약 NVIDIA Isaac for Healthcare는 헬스케어 로보틱스 분야의 데이터 격차 문제를 해결하기 위해 시뮬레이션과 실제 하드웨어를 통합하는 새로운 개발자 프레임워크를 출시했습니다. v0.4 릴리스는 SO-ARM 스타터 워크플로와 "자체 수술실 구축" 튜토리얼을 제공하며, 개발자가 시뮬레이션에서 훈련, 배포까지의 전체 워크플로를 경험하고 실제 하드웨어에서 자율 시스템을 구축 및 검증할 수 있도록 지원합니다. 이 워크플로는 실제 데이터 수집, GR00t N1.5 모델 훈련, 하드웨어 배포를 포함하는 3단계 파이프라인을 구현하며, 특히 93% 이상의 훈련 데이터가 시뮬레이션에서 합성적으로 생성되어 Sim2Real 접근 방식의 효과를 강조합니다. 소개 시뮬레이션은 데이터 격차를 해소하기 위해 의료 영상 분야에서 오랫동안 중요한 역할을 해왔습니다. 그러나 지금까지 헬스케어 로보틱스 분야에서는 시뮬레이션이 너무 느리거나, 분리되어 있거나, 실제 시스템으로의 전환이 어려운 경우가 많았습니다. AI 헬스케어 로보틱스를 위한 개발자 프레임워크인 NVIDIA Isaac for Healthcare는 시뮬레이션과 하드웨어 모두에서 작동하는 통합 데이터 수집, 훈련 및 평가 파이프라인을 제공하여 이러한 과제를 해결할 수 있도록 헬스케어 로보틱스 개발자를 지원합니다. 특히 Isaac for Healthcare v0.4 릴리스는 헬스케어 개발자에게 엔드투엔드 SO - ARM 기반 스타터 워크플로 와 자체 수술실 구축 튜토리얼 을 제공합니다. SO-ARM 스타터 워크플로는 MedTech 개발자가 시뮬레이션에서 훈련, 배포에 이르는 전체 워크플로를 경험하고 실제 하드웨어에서 즉시 자율 시스템을 구축 및 검증할 수 있도록 진입 장벽을 낮춥니다. 이 게시물에서는 스타터 워크플로와 해당 기술 구현 세부 사항을 단계별로 살펴보며, 이전과는 비교할 수 없을 정도로 짧은 시간에 수술 보조 로봇을 구축할 수 있도록 돕겠습니다. SO-ARM 스타터 워크플로; ...