Building a Healthcare Robot from Simulation to Deployment with NVIDIA Isaac

📝 요약

NVIDIA Isaac for Healthcare는 헬스케어 로보틱스 분야의 데이터 격차 문제를 해결하기 위해 시뮬레이션과 실제 하드웨어를 통합하는 새로운 개발자 프레임워크를 출시했습니다. v0.4 릴리스는 SO-ARM 스타터 워크플로와 "자체 수술실 구축" 튜토리얼을 제공하며, 개발자가 시뮬레이션에서 훈련, 배포까지의 전체 워크플로를 경험하고 실제 하드웨어에서 자율 시스템을 구축 및 검증할 수 있도록 지원합니다. 이 워크플로는 실제 데이터 수집, GR00t N1.5 모델 훈련, 하드웨어 배포를 포함하는 3단계 파이프라인을 구현하며, 특히 93% 이상의 훈련 데이터가 시뮬레이션에서 합성적으로 생성되어 Sim2Real 접근 방식의 효과를 강조합니다.

---

소개

시뮬레이션은 데이터 격차를 해소하기 위해 의료 영상 분야에서 오랫동안 중요한 역할을 해왔습니다. 그러나 지금까지 헬스케어 로보틱스 분야에서는 시뮬레이션이 너무 느리거나, 분리되어 있거나, 실제 시스템으로의 전환이 어려운 경우가 많았습니다.

AI 헬스케어 로보틱스를 위한 개발자 프레임워크인 NVIDIA Isaac for Healthcare는 시뮬레이션과 하드웨어 모두에서 작동하는 통합 데이터 수집, 훈련 및 평가 파이프라인을 제공하여 이러한 과제를 해결할 수 있도록 헬스케어 로보틱스 개발자를 지원합니다. 특히 Isaac for Healthcare v0.4 릴리스는 헬스케어 개발자에게 엔드투엔드 SO - ARM 기반 스타터 워크플로와 자체 수술실 구축 튜토리얼을 제공합니다. SO-ARM 스타터 워크플로는 MedTech 개발자가 시뮬레이션에서 훈련, 배포에 이르는 전체 워크플로를 경험하고 실제 하드웨어에서 즉시 자율 시스템을 구축 및 검증할 수 있도록 진입 장벽을 낮춥니다.

이 게시물에서는 스타터 워크플로와 해당 기술 구현 세부 사항을 단계별로 살펴보며, 이전과는 비교할 수 없을 정도로 짧은 시간에 수술 보조 로봇을 구축할 수 있도록 돕겠습니다.

SO-ARM 스타터 워크플로; 체화된 수술 보조 시스템 구축

SO-ARM 스타터 워크플로는 수술 보조 작업을 탐색하는 새로운 방법을 제시하며, 개발자에게 자율 수술 보조를 위한 완전한 엔드투엔드 파이프라인을 제공합니다.

• LeRobot을 사용하여 실제 세계 및 합성 데이터 수집
• GR00t N1.5 미세 조정, IsaacLab에서 평가 후 하드웨어에 배포

이 워크플로는 개발자에게 수술실로 이동하기 전에 보조 기술을 훈련하고 개선할 수 있는 안전하고 반복 가능한 환경을 제공합니다.

기술 구현

워크플로는 시뮬레이션과 실제 하드웨어를 통합하는 3단계 파이프라인을 구현합니다.

1. 데이터 수집: SO101 및 LeRobot을 사용한 시뮬레이션과 실제 세계의 텔레오퍼레이션 시연 혼합
2. 모델 훈련: 듀얼 카메라 비전을 갖춘 통합 데이터셋에서 GR00T N1.5 미세 조정
3. 정책 배포: RTI DDS 통신을 사용한 물리적 하드웨어에서의 실시간 추론

특히, 정책 훈련에 사용된 데이터의 93% 이상이 시뮬레이션에서 합성적으로 생성되어 로봇 데이터 격차를 해소하는 데 있어 시뮬레이션의 강점을 강조합니다.

Sim2Real 혼합 훈련 접근 방식

이 워크플로는 실제 세계에서 로봇을 훈련하는 것이 비싸고 제한적이며, 순수 시뮬레이션은 실제 세계의 복잡성을 포착하지 못하는 근본적인 과제를 해결하기 위해 시뮬레이션과 실제 세계 데이터를 결합합니다. 이 접근 방식은 다양한 시나리오와 환경 변화를 위한 약 70개의 시뮬레이션 에피소드와 진정성 및 기반화를 위한 10-20개의 실제 세계 에피소드를 사용합니다. 이러한 혼합 훈련은 단일 도메인을 넘어 일반화되는 정책을 생성합니다.

하드웨어 요구 사항

워크플로는 다음과 같은 하드웨어를 요구합니다.

• GPU: GR00TN1.5 추론을 위해 ≥30GB VRAM을 갖춘 RT Core 지원 아키텍처(Ampere 이상)
• SO-ARM101 팔로워: 듀얼 카메라 비전(손목 및 방)을 갖춘 6-DOF 정밀 조작기. SO-ARM101은 3D 프린트 어댑터가 장착된 손목 카메라를 포함한 WOWROBO 비전 구성 요소를 특징으로 합니다.
• SO-ARM101 리더: 전문가 시연 수집을 위한 6-DOF 텔레오퍼레이션 인터페이스

특히 개발자는 DGX Spark 하나에서 모든 시뮬레이션, 훈련 및 배포(물리적 AI를 위한 3대의 컴퓨터 필요)를 실행할 수 있습니다.

데이터 수집 구현

LeRobot에서 지원되는 SO-ARM101 하드웨어 또는 기타 버전을 사용한 실제 데이터 수집의 경우:

python lerobot-record \
  --robot.type=so101_follower \
  --robot.port=<follower_port_id> \
  --robot.cameras="{wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, room: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --robot.id=so101_follower_arm \
  --teleop.type=so101_leader \
  --teleop.port=<leader_port_id> \
  --teleop.id=so101_leader_arm \
  --dataset.repo_id=<user>/surgical_assistance/surgical_assistance \
  --dataset.num_episodes=15 \
  --dataset.single_task="Prepare and hand surgical instruments to surgeon"

시뮬레이션 기반 데이터 수집의 경우:

# 키보드 텔레오퍼레이션 사용
python -m simulation.environments.teleoperation_record \
  --enable_cameras \
  --record \
  --dataset_path=/path/to/save/dataset.hdf5 \
  --teleop_device=keyboard

# SO-ARM101 리더 팔 사용
python -m simulation.environments.teleoperation_record \
  --port=<your_leader_arm_port_id> \
  --enable_cameras \
  --record \
  --dataset_path=/path/to/save/dataset.hdf5

시뮬레이션 텔레오퍼레이션 제어

물리적 SO-ARM101 하드웨어가 없는 사용자의 경우, 워크플로는 다음과 같은 조인트 제어를 갖춘 키보드 기반 텔레오퍼레이션을 제공합니다.

• 조인트 1 (어깨 팬): Q (+) / U (-)
• 조인트 2 (어깨 리프트): W (+) / I (-)
• 조인트 3 (팔꿈치 굴곡): E (+) / O (-)
• 조인트 4 (손목 굴곡): A (+) / J (-)
• 조인트 5 (손목 회전): S (+) / K (-)
• 조인트 6 (그리퍼): D (+) / L (-)
• R 키: 녹화 환경 재설정
• N 키: 에피소드를 성공으로 표시

모델 훈련 파이프라인

시뮬레이션 및 실제 세계 데이터를 모두 수집한 후, 훈련을 위해 데이터셋을 변환하고 결합합니다.

# 시뮬레이션 데이터를 LeRobot 형식으로 변환
python -m training.hdf5_to_lerobot \
  --repo_id=surgical_assistance_dataset \
  --hdf5_path=/path/to/your/sim_dataset.hdf5 \
  --task_description="Autonomous surgical instrument handling and preparation"

# 혼합 데이터셋에서 GR00T N1.5 미세 조정
python -m training.gr00t_n1_5.train \
  --dataset_path /path/to/your/surgical_assistance_dataset \
  --output_dir /path/to/surgical_checkpoints \
  --data_config so100_dualcam

훈련된 모델은 "외과 의사를 위해 메스를 준비해줘" 또는 "포셉을 건네줘"와 같은 자연어 지침을 처리하고 해당 로봇 동작을 실행합니다. LeRobot 최신 릴리스(0.4.0)를 사용하면 LeRobot에서 Gr00t N1.5를 네이티브로 미세 조정할 수 있습니다!

엔드투엔드 Sim Collect–Train–Eval 파이프라인

시뮬레이션은 루프의 일부일 때 가장 강력합니다: 수집 → 훈련 → 평가 → 배포.

v0.3부터 IsaacLab은 이 전체 파이프라인을 지원합니다.

시뮬레이션에서 합성 데이터 생성

• 키보드 또는 하드웨어 컨트롤러를 사용하여 로봇 텔레오퍼레이션
• 다중 카메라 관찰, 로봇 상태 및 동작 캡처
• 실제 환경에서 안전하게 수집할 수 없는 엣지 케이스가 있는 다양한 데이터셋 생성

정책 훈련 및 평가

• Isaac Lab의 RL 프레임워크와 PPO 훈련을 위한 심층 통합
• 병렬 환경 (동시에 수천 개의 시뮬레이션)
• 내장된 궤적 분석 및 성공 지표
• 다양한 시나리오에 대한 통계적 검증

모델을 TensorRT로 변환

• 프로덕션 배포를 위한 자동 최적화
• 동적 모양 및 다중 카메라 추론 지원
• 실시간 성능을 확인하기 위한 벤치마킹 도구

이를 통해 실험에서 배포까지의 시간을 단축하고 sim2real을 일상 개발의 실용적인 부분으로 만듭니다.

시작하기

Isaac for Healthcare SO-ARM 스타터 워크플로를 지금 사용할 수 있습니다. 시작하려면 다음을 수행하십시오.

1. 저장소 복제: git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
2. 워크플로 선택: 수술 보조를 위한 SO-ARM 스타터 워크플로로 시작하거나 다른 워크플로 탐색
3. 설정 실행: 각 워크플로에는 자동화된 설정 스크립트가 포함되어 있습니다 (예: tools/env_setup_so_arm_starter.sh).

리소스

• GitHub 저장소: 전체 워크플로 구현
• 문서: 설정 및 사용 가이드
• GR00T 모델: 사전 훈련된 기초 모델
• 하드웨어 가이드: SO-ARM101 설정 지침
• LeRobot 저장소: 엔드투엔드 로보틱스 학습

---

원문 출처: https://huggingface.co/blog/lerobotxnvidia-healthcare