Grabette: an open system to record robot-manipulation data

📝 요약

Grabette는 로봇 학습에 필요한 대규모 조작 데이터셋 구축의 병목 현상을 해결하기 위해 개발된 저비용, 오픈 소스 시스템입니다. 로봇 없이도 휴대용 그리퍼와 카메라를 사용하여 인간의 조작 작업을 녹화하고 이를 로봇 학습에 바로 사용할 수 있는 데이터셋으로 자동 변환할 수 있습니다. 이는 Hugging Face Hub와 같은 개방형 생태계와 통합되어 누구나 쉽게 참여하여 방대하고 다양한 조작 데이터셋을 구축하도록 장려합니다.

---

몇 분 안에 휴대용 그리퍼로 직접 조작 작업을 녹화하고, 이를 로봇에서 즉시 사용 가능한 데이터셋으로 자동 변환하며, 개방형 협업 로봇 학습 데이터셋 구축에 기여하세요.

병목 현상은 모델이 아닙니다. 데이터입니다.

로봇 학습에는 공급 문제가 있습니다. 우리는 유능한 정책 아키텍처(트랜스포머 기반 VLA, 확산 및 흐름 일치 정책, 심지어 월드 모델까지)와 이를 훈련할 GPU를 보유하고 있습니다. 우리가 부족한 것은 대규모의 다양하고 실제적인 조작 데이터입니다.

이를 수집하기 위해 로봇을 원격 조작하는 것은 비용이 많이 들고 까다로울 수 있습니다. 무엇보다도 로봇이 필요합니다. 원격 조작 방식에 따라 데이터 수집은 몇 시간이 걸리고 상당한 하드웨어 및 물류 문제를 포함하므로 사용자에게 지루할 수 있습니다. 이는 요구되는 작업 및 환경의 광범위한 다양성과 함께 확장하기 어렵습니다.

하지만 로봇 데이터를 수집하기 위해 로봇이 필요하지 않습니다. 사람의 손, 그리퍼, 카메라, 그리고 손이 수행한 작업의 6-DoF 궤적을 복구할 방법만 있으면 됩니다. 시연을 캡처하면 로봇이 학습할 수 있는 데이터가 됩니다.

오늘 우리가 출시하는 것은 조작 데이터를 녹화하기 위한 개방형 저비용 시스템인 Grabette입니다. 그것을 집어 들고 자신의 손으로 작업을 녹화하면 깨끗하고 로봇에서 즉시 사용 가능한 데이터셋을 얻을 수 있습니다. 로봇도, 실험실도, 원격 조작 장비도 필요 없습니다.

이것이 더 큰 목표입니다. 시연 녹화가 비디오 촬영만큼 쉽다면 누구나 기여할 수 있습니다. 우리는 Grabette가 크고 개방적이며 협업적인 조작 데이터셋의 씨앗이 되기를 바랍니다. 단일 연구실이 결코 홀로 구축할 수 없는 것입니다.

UMI의 어깨 위에 서서

Grabette는 스탠포드의 Universal Manipulation Interface (UMI)에서 직접적인 영감을 받았습니다. UMI는 "in the wild"에서 시연을 녹화하고, SLAM을 사용하여 카메라 궤적을 복구하며, 이를 통해 시각-운동 정책을 훈련하는 피쉬아이 카메라가 장착된 휴대용 그리퍼입니다.

UMI는 이 방법이 효과적임을 증명했습니다. Agibot의 MEgo 그리퍼, Genrobot의 DAS 그리퍼, Sunday Robotics 스킬 캡처 장갑과 같은 (폐쇄 소스) 다른 장치도 존재합니다. 우리의 목표는 사용하기 쉽게 만들고, "작업이 있습니다"에서 "훈련된 모델이 있습니다"까지의 장벽을 가능한 한 낮추는 것이었습니다.

Grabette는 최신 개방형 생태계에 구축되었습니다. 데이터셋을 위한 LeRobot, 공유를 위한 Hugging Face Hub, 그리고 설치할 것이 전혀 없는 브라우저에서 실행할 수 있는 처리 파이프라인입니다. Grabette는 누구나 작업대에서 구축하고, 현장에서 사용하고, 데이터를 기여할 수 있는 것입니다.

Grabette 만나보기

우리는 Grabette를 수개월 동안 개발해 왔으며, 공유할 수 있을 만큼 사용 가능해졌다고 생각합니다. 지금 여러분과 공유하게 되어 기쁩니다!

Grabette는 조작 시연을 재구성하는 데 필요한 모든 것이 계측된 휴대용 그리퍼입니다.

이것은 두 대의 카메라를 가지고 있으며, 각 카메라는 고유한 역할을 수행합니다. 두 역할을 분리하는 것은 의도적입니다. 저렴한 광각 피쉬아이 카메라는 정책에 컨텍스트가 풍부한 손목 카메라 스타일의 뷰를 제공하고, RGBD 카메라는 견고한 6-DoF 추적의 무거운 작업을 처리합니다.

Grabette는 사용자가 수행하는 작업 중에 데이터를 기록하지만, 훈련 후 학습된 동작을 실행하기 위해 로봇 대응 장치에 의존합니다. 따라서 Grabette의 로봇 팔 종단 장치 트윈인 Gripette를 만나보세요.

이 제품군은 동일한 하드웨어 DNA를 공유합니다.

• Grabette: 휴대용 시연 장치 (카메라 + IMU + 그리퍼, BOM 비용 ~490€)

• Gripette: 모터식 그리퍼 (카메라 + 두 개의 서보 모터, BOM 비용 ~120€) 실제 또는 시뮬레이션 로봇 팔에 연결합니다.

  

Grabette 휴대용 녹화 장치 (왼쪽) 및 Gripette 로봇 그리퍼 (오른쪽)

모두를 위해 제작

모든 것이 오픈 소스입니다.

저장소를 확인하세요!

• 하드웨어: Grabette 및 Gripette의 CAD 및 생산 파일
• 캡처 서비스: 기기 내 Raspberry Pi 소프트웨어
• 처리 파이프라인: 로컬에서 실행하거나 Hugging Face Space를 통해 온라인으로 실행
• 예제 다운스트림 스택: 기본 LeRobot 훈련 + OpenArm 평가, 참조용

구성 요소. 구매할 수 있는 표준 센서, 폐쇄된 파이프라인이나 포크 잠금 없이. Raspberry Pi, 표준 Pi 카메라, 오프더셸 OAK-D 깊이 카메라, 자기 인코더. 전체 요점은 누구나 주문 가능한 부품으로 하나를 구축할 수 있다는 것입니다.

설계상 로봇과 무관합니다. 캡처 또는 데이터 형식에서 특정 팔을 가정하는 것은 없습니다. 시연은 카메라 로컬 6-DoF 직교 위치와 그리퍼 상태로 저장되며, 출력은 Hugging Face Hub의 표준 LeRobot 데이터셋이므로 동일한 데이터를 다른 로봇과 다른 학습 방법으로 구동할 수 있습니다. 그러나 팔에는 일치하는 Gripette 그리퍼가 여전히 필요합니다.

손에서 데이터셋까지, 두 단계

이 릴리스를 통해 누구나 "작업을 시연하고 싶습니다"에서 "훈련 준비가 된 데이터셋을 가지고 있습니다"까지 사전 전문 지식 없이도 빠르게 진행할 수 있습니다.

1. 녹화

버튼을 누르면 관찰 카메라, 추적 카메라(색상, 깊이 및 IMU) 및 그리퍼의 인코더 조인트 값의 데이터가 단일 공유 시계를 사용하여 동시에 기록되어 올바른 동기화를 보장합니다. 다시 버튼을 눌러 에피소드를 중지하면 데이터가 Raspberry Pi에 로컬로 저장됩니다.

2. 브라우저에서 직접 처리

브라우저에서 Grabette 대시보드를 엽니다. 데이터셋에 추가할 에피소드를 선택하고 한 번의 클릭으로 후처리 프로세스를 시작합니다.

• 에피소드가 HF Hub에 업로드됩니다.
• grabette-slam 공간은 RTAB-MAP 라이브러리를 사용하여 SLAM을 수행하고 궤적이 올바른지(점프나 추적 손실 없이) 확인합니다.
• 에피소드가 LeRobot 형식으로 변환됩니다.
• 새 데이터셋이 사용자의 공간에 업로드되며, 여기서 Le Robot 시각화 도구를 사용하여 각 에피소드의 데이터를 볼 수 있습니다.

이제 훈련을 시작할 준비가 되었습니다!

데이터로 무엇을 할 수 있나요? 한 가지 예를 들어보겠습니다.

데이터셋은 무언가를 훈련할 수 있을 때만 흥미롭습니다. 따라서 루프를 처음부터 끝까지 보여주기 위해 완전한 예제를 제공합니다. 하지만 명확히 하자면, 이것은 그것이 가능하게 하는 것의 예제일 뿐이며 제품은 아닙니다. 릴리스는 녹화 시스템입니다. Grabette 데이터는 LeRobot 데이터셋을 소비하는 모든 방법과 작동합니다.

저희 예제는 다음과 같은 200개의 녹화된 시연을 사용합니다.

이 HF Dataset에서 사용 가능한 데이터셋

그리고:

• LeRobot 스택을 사용하여 정책을 훈련합니다. — Diffusion Policy (ResNet18 + SpatialSoftmax 인코더, DDIM 스케줄러, 6-D 회전 동작)로 단일 소비자 GPU에 적합합니다.

• OpenArm 7-DoF 팔에서 gRPC API를 통해 구동되는 Gripette 그리퍼로 평가합니다. 결과는 다음과 같습니다.

  

이 HF Model에서 사용 가능한 정책

이제 당신의 차례입니다

데이터 병목 현상은 한 연구실이 아닌, 어디서든 시연을 녹음하는 커뮤니티에 의해 해결됩니다. 이제 데이터셋 구축에 기여할 수 있습니다. Grabette를 구축하고, 관심 있는 작업을 녹화하고, Hub에 공유하세요. 각 에피소드는 공개 데이터셋을 더 크고 다양하게 만들고, 각 기여자는 로봇 학습을 비싼 하드웨어 뒤에 가려진 상태에서 조금 더 벗어나게 합니다.

향후 계획

이 릴리스는 프로젝트의 시작일 뿐입니다! Grabette는 계속 발전할 것입니다. 우리는 이미 더 많은 것을 준비하고 있으며, Grabette를 보완하는 머리 장착형 POV 장치인 Casquette도 포함되어 있습니다. (아직 작업 중입니다.) 하지만 가장 중요한 다음 단계는 우리만의 것이 아니라 여러분의 것입니다. 녹음을 시작하고 함께 데이터셋을 구축해 봅시다.

👉 Grabette 구축 (GitHub) · 데이터 처리 (HF Space) · 데이터셋에 기여

Pollen Robotics에서 ❤️로 제작되었습니다.

---

원문 출처: https://huggingface.co/blog/grabette