LeRobot Community Datasets: The “ImageNet” of Robotics — When and How?

📝 요약

이 블로그 게시물은 로보틱스 분야에서 일반화의 중요성과 이를 달성하기 위한 데이터의 역할을 강조합니다. 기존 로봇 데이터셋의 한계를 지적하고, LeRobot과 같은 커뮤니티 기반 플랫폼을 통해 데이터 수집을 민주화하고 다양성을 높여야 한다고 주장합니다. 또한, 고품질 데이터셋 구축을 위한 구체적인 모범 사례와 체크리스트를 제공하며, 커뮤니티의 적극적인 참여를 독려합니다.

---

🧭 TL;DR — 이 블로그 게시물은 왜 작성되었는가?

이 게시물에서는 다음을 다룹니다:

• 커뮤니티에서 기여한 LeRobot 데이터셋의 영향력 증가 인식
• 로보틱스 데이터 수집 및 큐레이션의 현재 과제 강조
• 이러한 집단적 노력의 영향을 극대화하기 위한 실용적인 단계 및 모범 사례 공유 우리의 목표는 일반화를 데이터 문제로 프레임하고, 개방적이고 다양한 "로보틱스의 ImageNet"을 구축하는 것이 단순히 가능한 것을 넘어 이미 진행 중임을 보여주는 것입니다.

소개

Vision-Language-Action (VLA) 모델의 최근 발전으로 로봇은 "큐브를 잡아라"와 같은 간단한 명령부터 세탁물을 접거나 테이블을 청소하는 것과 같은 더 복잡한 작업까지 광범위한 작업을 수행할 수 있게 되었습니다. 이러한 모델은 일반화, 즉 새로운 환경, 보지 못한 객체, 다양한 조건에서 작업을 수행하는 능력을 달성하는 것을 목표로 합니다.

"로보틱스에서 가장 큰 과제는 민첩성이 아니라 일반화입니다. 물리적, 시각적, 의미론적 수준 전반에 걸쳐." — Physical Intelligence

로봇은 "새로운 환경이나 새로운 객체에서 간단한 작업조차 올바르게 수행하는 방법을 파악해야" 하며, 이를 위해서는 강력한 기술과 세상에 대한 상식적인 이해가 모두 필요합니다. 그러나 이러한 로봇 시스템을 위한 다양한 데이터의 가용성으로 인해 진행이 종종 제한됩니다.

"일반화는 여러 수준에서 발생해야 합니다. 낮은 수준에서는 로봇이 이전에는 이러한 특정 숟가락이나 접시를 본 적이 없더라도, 그리고 더러운 접시 더미에 놓여 있더라도 숟가락(손잡이 쪽)이나 접시(가장자리 쪽)를 집는 방법을 이해해야 합니다. 더 높은 수준에서는 로봇이 각 작업의 의미를 이해해야 합니다. 즉, 옷과 신발을 어디에 두어야 하는지(이상적으로는 침대가 아닌 세탁 바구니나 옷장에) 그리고 엎질러진 것을 닦는 데 적합한 도구 유형은 무엇인지 이해해야 합니다. 이러한 일반화는 강력한 물리적 기술과 환경에 대한 상식적인 이해를 모두 필요로 하므로, 로봇은 물리적, 시각적, 의미론적 수준에 이르기까지 여러 수준에서 동시에 일반화할 수 있습니다. 이는 이러한 로봇 시스템을 위한 다양한 데이터의 가용성이 제한되어 더욱 어려워집니다." — Physical Intelligence

모델에서 데이터로: 관점 전환

간단히 말해, 일반화 정책의 핵심은 간단한 아이디어에 있습니다: 이종 데이터셋에 대한 공동 훈련. VLA 모델을 다양한 환경, 작업 및 로봇 구현에 노출시킴으로써 우리는 모델에게 행동하는 방법뿐만 아니라 왜 그렇게 해야 하는지, 즉 장면을 해석하고, 목표를 이해하고, 맥락에 따라 기술을 조정하는 방법을 가르칠 수 있습니다.

💡 "일반화는 단순한 모델 속성이 아니라 데이터 현상입니다." 이는 훈련 데이터의 다양성, 품질 및 추상화 수준에서 비롯됩니다.

이는 근본적인 질문으로 이어집니다.

현재 데이터셋을 고려할 때, 우리가 기대할 수 있는 일반화의 최대 한계는 무엇입니까?

로봇이 훈련 중에 유사한 것을 전혀 접한 적이 없다면, "서프라이즈 생일 파티를 준비해 줘"와 같은 완전히 새로운 프롬프트에 의미 있게 응답할 수 있을까요? 특히 대부분의 데이터셋이 학술 연구실에서 제한된 수의 사람들이 잘 통제된 설정에서 수집하는 경우 말입니다.

우리는 일반화를 데이터 중심 관점으로 프레임합니다. 데이터를 통해 더 넓은 패턴을 추상화하는 과정, 본질적으로 "줌 아웃"하여 작업에 구애받지 않는 구조와 원리를 드러내는 것으로 취급합니다. 이러한 관점의 전환은 일반화를 주도하는 데 있어 모델 아키텍처뿐만 아니라 데이터셋 다양성의 역할을 강조합니다.

로보틱스가 ImageNet 순간을 맞이하지 못한 이유는 무엇인가?

지금까지 로보틱스 데이터셋의 대부분은 구조화된 학술 환경에서 비롯됩니다. 수백만 개의 시연으로 확장하더라도 종종 하나의 데이터셋이 지배적이 되어 다양성을 제한합니다. 인터넷 규모의 데이터를 집계하고 실제 세계를 더 전체적으로 포착한 ImageNet과 달리, 로보틱스는 비교할 수 없을 만큼 다양하고 커뮤니티 주도의 벤치마크가 부족합니다.

이는 주로 로보틱스 데이터를 수집하려면 물리적 하드웨어와 상당한 노력이 필요하기 때문입니다.

LeRobot 커뮤니티 구축

그렇기 때문에 LeRobot에서는 집, 학교 또는 어디에서든 로보틱스 데이터 수집을 더 쉽게 만들기 위해 노력하고 있습니다. 우리는 다음을 수행합니다.

• 녹음 파이프라인 단순화
• Hugging Face Hub로의 업로드 간소화, 커뮤니티 공유 촉진
• 하드웨어 비용 절감

이미 그 결과를 보고 있습니다. Hub의 커뮤니티 기여 데이터셋 수가 빠르게 증가하고 있습니다.

시간에 따른 Hugging Face Hub의 lerobot 데이터셋 성장.

업로드된 데이터셋을 로봇 유형별로 분석하면 So100과 Koch에 대한 기여가 가장 많아 로봇 팔과 조작 작업이 현재 LeRobot 데이터셋 환경의 주요 초점이 되고 있음을 알 수 있습니다. 그러나 잠재력이 훨씬 더 멀리 확장된다는 것을 기억하는 것이 중요합니다. 자율 주행 차량, 보조 로봇 및 모바일 내비게이션과 같은 도메인은 공유 데이터로부터 똑같이 혜택을 볼 수 있습니다. 이러한 추진력은 데이터셋이 단일 연구실이나 기관의 기여뿐만 아니라 전 세계적인 노력을 반영하는 미래에 더 가깝게 다가오게 합니다.

로봇 유형별 lerobot 데이터셋 분포.

다음은 로보틱스가 얼마나 다양하고 상상력이 풍부할 수 있는지를 보여주는 몇 가지 주목할 만한 커뮤니티 기여 데이터셋입니다.

• lirislab/close_top_drawer_teabox:: 가정용 서랍을 이용한 정밀 조작
• Chojins/chess_game_001_blue_stereo: 스테레오 카메라 설정에서 캡처된 전체 체스 경기
• pierfabre/chicken: 네 — 닭을 포함한 다채로운 동물 피규어와 상호 작용하는 로봇 🐔

Hugging Face Hub의 LeRobot 태그 아래의 추가 창의적인 데이터셋을 탐색하고 LeRobot 데이터셋 시각화 도구에서 대화형으로 확인하세요.

책임감 있는 확장

로보틱스 데이터 수집이 더욱 민주화됨에 따라 큐레이션이 다음 과제가 됩니다. 이러한 데이터셋은 여전히 제한된 설정에서 수집되지만, 저렴하고 범용적인 로봇 정책을 향한 중요한 단계입니다. 모든 사람이 비싼 하드웨어에 접근할 수 있는 것은 아닙니다. 하지만 공유된 인프라와 개방적인 협력을 통해 훨씬 더 큰 것을 구축할 수 있습니다.

🧠 "일반화는 연구실에서 해결되지 않고 세상에 의해 가르쳐집니다." 데이터가 다양할수록 모델은 더 유능해집니다.

---

더 나은 데이터 = 더 나은 모델

데이터 품질이 왜 중요할까요? 품질이 낮은 데이터는 결과적으로 성능이 낮고, 편향된 출력을 생성하며, 일반화에 실패하는 모델을 만듭니다. 따라서 효율적이고 고품질의 데이터 수집은 일반화 로봇 정책을 발전시키는 데 중요한 역할을 합니다.

비전 및 언어 분야의 기반 모델은 대규모 웹 규모 데이터셋에서 번성했지만, 로보틱스는 "로봇의 인터넷" — 방대하고 다양한 실제 상호 작용의 코퍼스 — 이 부족합니다. 대신, 로봇 데이터는 다양한 구현, 센서 설정 및 제어 모드에 걸쳐 파편화되어 고립된 데이터 섬을 형성합니다.

이를 극복하기 위해 Gr00t와 같은 최근 접근 방식은 훈련 데이터를 피라미드로 구성합니다. 여기서:

• 대규모 웹 및 비디오 데이터가 기반을 형성합니다.
• 합성 데이터가 시뮬레이션된 다양성을 추가합니다.
• 최상단의 실제 로봇 상호 작용은 모델을 물리적 실행에 기반을 둡니다.

이 프레임워크 내에서 효율적인 실제 데이터 수집은 필수적입니다. 실제 로봇 하드웨어에 학습된 동작을 기반으로 하고 시뮬레이션에서 실제 환경으로의 간극을 좁혀, 궁극적으로 로보틱스 기반 모델의 일반화, 적응성 및 성능을 향상시킵니다.

실제 데이터셋의 볼륨과 다양성을 확장함으로써 이종 데이터 소스 간의 파편화를 줄입니다. 데이터셋이 환경, 구현 또는 작업 분포 측면에서 분리되면 모델은 도메인 간에 지식을 이전하는 데 어려움을 겪습니다.

🔗 실제 데이터는 연결 조직 역할을 합니다. 추상적인 사전 지식을 기반 액션과 정렬하고 모델이 더 일관되고 이전 가능한 표현을 구축하도록 합니다.

결과적으로, 실제 로봇 상호 작용의 비율을 늘리는 것은 단순히 사실감을 향상시키는 것이 아니라, 피라미드의 모든 계층 간의 링크를 구조적으로 강화하여 더 강력하고 유능한 정책으로 이어집니다.

로봇 기반 모델 훈련을 위한 데이터 피라미드. Gr00t (Yang et al., 2025)에서 각색. 데이터 양은 감소하고 구현별 구체성은 아래에서 위로 증가합니다.

---

현재 커뮤니티 데이터셋의 과제

LeRobot에서는 커뮤니티 데이터셋을 후처리하기 위한 자동 큐레이션 파이프라인을 개발하기 시작했습니다. 후처리 단계에서 우리는 데이터셋 품질을 더욱 향상시키고 향후 보다 효과적인 큐레이션을 촉진할 수 있는 몇 가지 영역을 확인했습니다.

1. 불완전하거나 일관성 없는 작업 주석

많은 데이터셋에 작업 설명이 없거나, 세부 정보가 부족하거나, 수행해야 할 작업이 모호합니다. 의미론은 현재 인지의 핵심이므로, 작업의 맥락과 세부 사항을 이해하는 것이 로봇 성능에 매우 중요합니다. 자세한 설명은 로봇이 무엇을 기대하는지 정확히 이해하도록 보장할 뿐만 아니라 인지 시스템에 더 넓은 지식과 어휘를 제공합니다. 모호성은 잘못된 해석과 결과적으로 잘못된 행동으로 이어질 수 있습니다.

작업 지시는 다음과 같을 수 있습니다.

• 비어 있음
• 너무 짧음 (예: "잡아라", "위")
• 의미가 없음 (예: "작업 설명", "설명")

하위 작업 수준의 주석이 종종 누락되어 복잡한 작업 계층을 모델링하기 어렵습니다. 이는 VLM으로 처리할 수 있지만, 데이터셋 작성자가 제공한 작업 주석을 가지고 있는 것이 여전히 더 좋습니다.

2. 기능 매핑 불일치

images.laptop과 같은 기능은 모호하게 레이블이 지정됩니다.

• 때로는 3인칭 시점입니다.
• 다른 경우에는 그리퍼(손목) 카메라에 더 가깝습니다.

데이터셋 기능을 표준화된 이름으로 수동 매핑하는 것은 시간이 많이 걸리고 오류가 발생하기 쉽습니다. VLMs 또는 컴퓨터 비전 모델을 사용하여 카메라 시점을 분류함으로써 기능 유형 추론을 자동화할 수 있습니다. 그러나 이를 염두에 두는 것은 더 깔끔한 데이터셋을 만드는 데 도움이 됩니다.

3. 저품질 또는 불완전한 에피소드

일부 데이터셋에는 다음이 포함됩니다.

• 1개 또는 매우 적은 프레임만 포함하는 에피소드
• 수동으로 삭제된 데이터 파일(예: 재인덱싱 없이 .parquet 파일 삭제)로 인해 순차적 일관성이 깨짐.

4. 일관성 없는 동작/상태 차원

서로 다른 데이터셋은 동일한 로봇(예: so100)에 대해서도 다른 동작 또는 상태 차원을 사용합니다. 일부 데이터셋은 동작/상태 형식에 불일치를 보입니다.

---

좋은 데이터셋이란 무엇인가?

이제 신뢰할 수 있고 일반화 가능한 로봇 정책을 훈련하기 위해 고품질 데이터셋을 만드는 것이 필수적이라는 것을 알았으므로, 효과적인 데이터를 수집하는 데 도움이 되는 모범 사례 체크리스트를 간략하게 설명했습니다.

이미지 품질

• ✅ 두 개의 카메라 뷰를 사용하는 것이 좋습니다.
• ✅ 안정적인 비디오 캡처(흔들림 없음)를 보장합니다.
• ✅ 중립적이고 안정적인 조명을 유지합니다(지나치게 노란색 또는 파란색 톤 피하기).
• ✅ 일관된 노출 및 선명한 초점을 보장합니다.
• ✅ 리더 팔이 프레임에 나타나지 않아야 합니다.
• ✅ 움직이는 유일한 객체는 팔로워 팔과 조작되는 항목이어야 합니다(인간의 팔/몸 피하기).
• ✅ 정적이고 방해되지 않는 배경을 사용하거나 제어된 변형을 적용합니다.
• ✅ 고해상도(최소 480x640 / 720p)로 녹화합니다.

메타데이터 및 녹음 프로토콜

• ✅ 메타데이터에서 올바른 로봇 유형을 선택합니다. 공식 LeRobot 구성 레지스트리에 나열되지 않은 사용자 정의 로봇을 사용하는 경우, 일관성을 보장하기 위해 LeRobot Hub의 기존 데이터셋에서 유사한 로봇의 명명 방식을 확인하는 것이 좋습니다.
• ✅ 초당 약 30프레임(FPS)으로 비디오를 녹화합니다.
• ✅ 에피소드를 삭제하는 경우 메타데이터 파일을 이에 맞게 업데이트해야 합니다(데이터셋을 편집할 적절한 도구를 제공할 것입니다).

기능 명명 규칙

모든 카메라 뷰 및 관찰에 대해 일관되고 해석 가능한 명명 스키마를 사용합니다.

형식:

<모달리티>.<위치>

예시:

• images.top
• images.front
• images.left
• images.right

장치별 이름 피하기:

• ❌ images.laptop
• ❌ images.phone

손목 장착 카메라의 경우 방향을 지정합니다.

• images.wrist.left
• images.wrist.right
• images.wrist.top
• images.wrist.bottom

일관된 명명은 명확성을 향상시키고 다운스트림 모델이 공간 구성 및 다중 뷰 입력을 더 잘 해석하도록 돕습니다.

작업 주석

• ✅ task 필드를 사용하여 로봇의 목표를 명확하게 설명합니다.
• 예시: 노란색 레고 블록을 집어 상자에 넣으세요
• ✅ 작업 설명을 간결하게 유지합니다( 25–50자 사이).
• ✅ task1, demo2 등과 같이 모호하거나 일반적인 이름을 피하세요.

---

아래에는 데이터셋 녹음을 위한 지침 역할을 하는 체크리스트를 제공하며, 데이터 수집 프로세스 중에 염두에 두어야 할 핵심 사항을 간략하게 설명합니다.

그림 4: 데이터셋 녹음 체크리스트 – 일관되고 고품질의 실제 데이터 수집을 보장하기 위한 단계별 가이드.

어떻게 도울 수 있나요?

차세대 일반화 로봇은 단 한 명의 사람이나 연구실에서 만들어지지 않고 우리 모두에 의해 만들어질 것입니다. 학생, 연구원 또는 단순히 로봇에 관심이 있는 사람이라면 누구나 참여할 수 있습니다.

• 🎥 자체 데이터셋 녹음 — LeRobot 도구를 사용하여 로봇에서 고품질 데이터셋을 캡처하고 업로드합니다.
• 🧠 데이터셋 품질 향상 — 체크리스트를 따르고 녹음을 정리하여 로보틱스 데이터의 새로운 표준을 설정하는 데 도움이 됩니다.
• 📦 Hub에 기여 — 데이터셋을 업로드하고, 예제를 공유하고, 다른 사람들이 구축한 것을 탐색합니다.
• 💬 대화에 참여 — 피드백을 제공하고, 기능을 요청하거나, LeRobot Discord 서버에 참여하여 로드맵을 형성하는 데 도움을 줍니다.
• 🌍 운동 성장 — LeRobot을 동아리, 교실 또는 연구실에 소개하세요. 기여자가 많을수록 일반화가 향상됩니다.

녹음을 시작하고, 기여를 시작하세요. 오늘날 우리가 구축하는 데이터가 일반화 로봇의 미래를 결정합니다.

---

원문 출처: https://huggingface.co/blog/lerobot-datasets