LeRobot goes to driving school: World’s largest open-source self-driving dataset

📝 요약

L2D(Learning to Drive)는 독일 30개 도시에서 수집된 90TB 이상의 멀티모달 데이터를 포함하는 세계 최대 규모의 자율 주행 데이터셋입니다. 이 데이터셋은 6개의 HD 카메라와 차량 상태 정보를 포함하며, 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계되었습니다. L2D는 운전 강사의 전문가 정책과 연습 운전자의 학생 정책을 모두 포함하며, 이는 다양한 운전 시나리오를 포괄합니다. 이 데이터셋은 LeRobot 파이프라인과의 통합을 지원하여 로보틱스 AI 커뮤니티에서 공간 지능 모델 개발을 촉진합니다.

---

TL;DR of L2D, the world's largest self-driving dataset!

• 90+ 테라바이트의 멀티모달 데이터 (5000시간 이상 주행) 30개 독일 도시에서 수집
• 6개의 주변 HD 카메라 및 완전한 차량 상태: 속도/방향/GPS/IMU
• 연속: 가속/제동/조향 및 이산적 동작: 기어/방향 지시등
• 환경 상태: 차선 수, 도로 유형 (고속도로 | 주거 지역), 도로 표면 (아스팔트, 자갈, 판석), 최대 속도 제한.
• 환경 조건: 강수량, 상태 (눈, 맑음, 비), 조명 (새벽, 낮, 황혼)
• 자연어 지침 또는 미래 웨이포인트를 조건으로 하는 종단간 모델 훈련을 위해 설계
• 자연어 지침. F.ex "신호등이 녹색으로 바뀌면, 트램 선로를 넘어 원형 교차로를 통과하세요" 각 에피소드별
• 미래 웨이포인트 OpenStreetMap 그래프에 스냅, 추가로 조감도 렌더링
• 전문가 (운전 강사) 및 학생 (연습 운전자) 정책

State-of-the art Vision Language Models 및 Large Language Models는 인터넷에서 수집된 오픈 소스 이미지-텍스트 코퍼스로 훈련되며, 이는 오픈 소스 AI의 최근 가속화를 주도했습니다. 이러한 혁신에도 불구하고, 로보틱스 및 자동차 커뮤니티 내에서 종단간 AI의 채택은 여전히 낮으며, 주로 OXE와 같은 고품질의 대규모 멀티모달 데이터셋 부족 때문입니다. 로보틱스 AI의 잠재력을 열기 위해 Yaak는 🤗의 LeRobot 팀과 협력하여 로보틱스 AI 커뮤니티에 Learning to Drive (L2D)를 발표하게 되어 기쁩니다. L2D는 자동차 도메인을 위한 오픈 소스 공간 지능 구축을 목표로 하는 세계 최대 규모의 멀티모달 데이터셋이며, 🤗의 LeRobot 훈련 파이프라인 및 모델을 위한 최상의 지원을 제공합니다. 소스 버전 관리의 모범 사례에서 영감을 받아, Yaak는 AI 커뮤니티에 전체 데이터셋 (> 1 페타바이트)에서 새로운 에피소드를 검색하고 발견하고, 검토를 위해 컬렉션을 큐에 넣어 향후 릴리스 (R5+)에 병합하도록 초대합니다.

Dataset	Observation	State	Actions	Task/Instructions	Episodes	Duration (hr)	Size TB
WAYMO	RGB (5x)	—	—	—	2030	11.3	0.5*
NuScenes	RGB (6x)	GPS/IMU	—	—	1000	5.5	0.67*
MAN	RGB (4x)	GPS/IMU	—	—	747	4.15	0.17*
ZOD	RGB (1x)	GPS/IMU/CAN	☑️	—	1473	8.2	0.32*
COMMA	RGB (1x)	GPS/IMU/CAN	☑️	—	2019	33	0.1
L2D (R4)	RGB (6x)	GPS/IMU/CAN	☑️	☑️	1000000	5000+	90+

Table 1: Open source self-driving datasets (*excluding lidar and radar). Source

L2D는 3년 동안 30개 독일 도시에서 운전 학교에서 운영하는 60대의 EV에 설치된 동일한 센서 스위트로 수집되었습니다. L2D의 정책은 두 그룹으로 나뉩니다. 운전 강사가 실행하는 전문가 정책과 연습 운전자가 실행하는 학생 정책입니다. 두 정책 그룹 모두 운전 작업에 대한 자연어 지침을 포함합니다. 예를 들어, "우선권이 있을 때, 원형 교차로를 통과하여 보행자 횡단보도를 조심스럽게 건너세요."

Expert policy — Driving instructor	Student policy — Learner driver

Fig 1: Visualization: Nutron (3 of 6 cameras shown for clarity) Instructions: “When you have the right of way, drive through the roundabout and take the third exit”.

전문가 정책은 운전 실수가 없으며 최적으로 간주되는 반면, 학생 정책은 성능이 저하된 것으로 알려져 있습니다(그림 2).

Fig 2: Student policy with jerky steering to prevent going into lane of the incoming truck

두 그룹 모두 운전 면허 취득을 완료하기 위해 필수적인 모든 운전 시나리오를 다룹니다. EU 내 (독일어 버전), 예를 들어 추월, 원형 교차로 및 기찻길이 있습니다. 릴리스 (아래 R3+ 참조)에서는 성능이 저하된 학생 정책에 대해 성능 저하에 대한 자연어 추론이 포함될 것입니다. F.ex "진입하는 차량 근처에서의 조향 핸들링의 부정확/거친 조작" (그림 2)

Expert: Driving Instructor	Student: Learner Driver
Expert policies are collected when driving instructors are operating the vehicle. The driving instructors have at least 10K+ hours of experience in teaching learner drivers. The expert policies group covers the same driving tasks as the student policies group.	Student policies are collected when learner drivers are operating the vehicle. Learner drivers have varying degrees of experience (10–50 hours). By design, learner drivers cover all EU-mandated driving tasks, from high-speed lane changes on highways to navigating narrow pedestrian zones.

L2D: Learning to Drive

L2D (R2+)는 AI 커뮤니티에 종단간 공간 지능 훈련을 위한 독특하고 다양한 '에피소드'를 제공하는 가장 큰 오픈 소스 자율 주행 데이터셋이 되는 것을 목표로 합니다. 전체 스펙트럼의 운전 정책 (학생 및 전문가)을 포함함으로써 L2D는 차량의 안전한 운행의 복잡성을 포착합니다. 운영 중인 자율 주행 차량을 완벽하게 나타내기 위해 다양한 환경 조건, 센서 오류, 건설 현장 및 작동하지 않는 교통 신호를 포함하는 에피소드를 포함합니다.

전문가 및 학생 정책 그룹 모두 아래 표에 설명된 동일한 센서 설정으로 캡처됩니다. 여섯 개의 RGB 카메라가 차량의 360도 컨텍스트를 캡처하고, 온보드 GPS는 차량 위치와 방향을 캡처합니다. IMU는 차량 동역학을 수집하며, 차량의 CAN 인터페이스에서 속도, 가속/제동 페달, 조향 각도, 방향 지시등 및 기어를 읽습니다. 해당 Unix epoch 타임스탬프를 사용하여 모든 모달리티 유형을 왼쪽 전방 카메라(observation.images.front_left)와 동기화했습니다. 또한 정확도를 향상시키기 위해 가능한 경우 데이터 포인트를 보간했으며(표 2 참조), 최종적으로 샘플링 속도를 10Hz로 줄였습니다.

Fig 3: Multimodal data visualization with Visualization: Nutron (only 3 of 6 cameras shown for clarity)

Modality	LeRobotDataset v3.0 key	Shape	alignment[tol][strategy]
image (x6)	observation.images.front_left[left_forward,..]	N3HW	asof[20ms][nearest]
speed	observation.state.vehicle.speed	N1	interp
heading	observation.state.vehicle.heading[heading_error]	N1	asof[50ms][nearest]
GPS	observation.state.vehicle.latitude[longitude/altitude]	N1	asof[50ms][nearest]
IMU	observation.state.vehicle.acceleration_x[y]	N1	interp
waypoints	observation.state.vehicle.waypoints	N2L	asof[10m][nearest]
timestamp	observation.state.timestamp	N1	observation.images.front_left
gas	action.continous.gas_pedal_normalized	N1	interp
brake	action.continous.brake_pedal_normalized	N1	interp
steering	action.continous.steering_angle_normalized	N1	interp
turn signal	action.discrete.turn_signal	N1	asof[100ms][nearest]
gear	action.discrete.gear	N1	asof[100ms][nearest]
language	task.policy	N1	—
language	task.instructions	N1	—
lane count	observation.state.lanes	N1	asof[500ms][nearest]
road type	observation.state.road	N1	asof[500ms][nearest]
road surface	observation.state.surface	N1	asof[500ms][nearest]
max speed	observation.state.max_speed	N1	asof[500ms][nearest]
precipitation	observation.state.precipitation	N1	asof[1hr][nearest]
conditions	observation.state.conditions	N1	asof[1hr][nearest]
lighting	observation.state.lighting	N1	asof[1hr][nearest]

Table 2: Modality types, LeRobot v3.0 key, shape and interpolation strategy.

L2D는 공식 독일 운전 과제 카탈로그 (자세한 버전)의 운전 과제, 운전 하위 과제 및 과제 정의를 따릅니다. 모든 에피소드에 고유한 과제 ID와 자연어 지침을 할당합니다. LeRobot:task는 모든 에피소드에 대해 "교통 규칙 및 규정을 준수하면서 웨이포인트를 따라가세요"로 설정됩니다. 다음 표는 몇 가지 샘플 에피소드, 해당 자연어 지침, 운전 과제 및 하위 과제를 보여줍니다. 전문가 및 학생 정책 모두 유사한 시나리오에 대해 동일한 과제 ID를 갖지만, 지침은 에피소드에 따라 다릅니다.

Episode	Instructions	Driving task	Driving sub-task	Task Definition	Task ID
Visualization LeRobot Visualization Nutron	Drive straight through going around the parked delivery truck and yield to the incoming traffic	3 Passing, overtaking	3.1 Passing obstacles and narrow spots	This sub-task involves passing obstacles or navigating narrow roads while following priority rules.	3.1.1.3a Priority regulation without traffic signs (standard)
Visualization LeRobot Visualization Nutron	Drive through the unprotected left turn yielding to through traffic	4 Intersections, junctions, entering moving traffic	4.1 Crossing intersections & junctions	This sub-task involves crossing intersections and junctions while following priority rules and observing other traffic.	4.1.1.3a Right before left
Visualization LeRobot Visualization Nutron	Drive straight up to the yield sign and take first exit from the roundabout	5 Roundabouts	5.1 Roundabouts	This sub-task involves safely navigating roundabouts, understanding right-of-way rules, and positioning correctly.	5.1.1.3a With one lane

Table 3: Sample episodes in L2D, their instructions and Task ID derived from EU driving task catalog

차량 위치 (GPS), Open-Source Routing Machine, OpenStreetMap 및 LLM (Large Language Model) (아래 참조)을 사용하여 지침과 웨이포인트의 구성을 자동화합니다. 자연어 쿼리는 대부분의 GPS 내비게이션 장치에서 제공되는 턴바이턴(turn-by-turn) 내비게이션을 면밀히 따르도록 구성됩니다. 웨이포인트(그림 4)는 원시 GPS 추적을 OSM 그래프에 맵 매칭하고 차량의 현재 위치(녹색)에서 100미터 범위의 10개 균일한 간격의 지점(주황색)을 샘플링하여 계산되며, 이는 드라이브 바이 웨이포인트(drive-by-waypoints) 역할을 합니다.

Fig 4: L2D 6x RGB cameras, waypoints (orange) and vehicle location (green) Instructions: drive straight up to the stop stop sign and then when you have right of way, merge with the moving traffic from the left

Search & Curation

Expert policies		Student policies
GPS traces from the expert policies collected from the driving school fleet. Click here to see the full extent of expert policies in L2D.		Student policies cover the same geographical locations as expert policies. Click here to see the full extent of student policies in L2D.

운전 학교 차량 60대로 구성된 차량으로 전문가 및 학생 정책을 수집했으며, 30개 독일 도시에서 동일한 센서 스위트를 사용했습니다. 차량으로 수집된 멀티모달 로그는 비정형화되어 있으며 작업 또는 지침 정보가 없습니다. 에피소드를 검색하고 큐레이션하기 위해 OSRM을 사용하여 GPS 추적을 맵 매칭하여 추출한 정보로 원시 멀티모달 로그를 풍부하게 하고 OSM에서 노드 및 웨이 태그를 할당합니다 (다음 섹션 참조). LLM과 결합된 이 풍부화 단계는 작업에 대한 자연어 설명을 통해 에피소드를 검색할 수 있게 합니다.

OpenStreetMap

관련 에피소드를 효율적으로 검색하기 위해 OSRM을 사용하여 맵 매칭을 통해 얻은 회전 정보를 GPS 추적에 추가합니다. 또한 맵 매칭된 경로를 사용하고 OSM을 사용하여 경로 기능, 경로 제한 및 경로 기동 (총칭하여 경로 작업이라고 함)을 궤적에 할당합니다 (샘플 지도 참조). 부록 A1-A2는 GPS 추적에 할당하는 경로 작업에 대한 자세한 정보를 제공합니다.

Fig 5: Driving tasks assigned to raw GPS trace (View map)

맵 매칭된 경로에 할당되는 경로 작업에는 시작 및 종료 타임스탬프 (Unix epoch)가 할당되며, 이는 차량이 작업에 정의된 지리 공간 라인스트링 또는 지점에 들어가고 나가는 시간을 나타냅니다(그림 6).

Begin: Driving task (Best viewed in a separate tab)	End: Driving task (Best viewed in a separate tab)

Fig 6: Pink: GNSS trace, Blue: Matched route, tasks: Yield, Train crossing and Roundabout (View Map)

Multimodal search

그림 5에 설명된 경로 작업을 사용하여 멀티모달 데이터에 대한 의미론적 시공간 인덱싱을 수행합니다. 이 단계는 멀티모달 데이터에 대한 풍부한 의미론적 개요를 제공합니다. 예를 들어, "원형 교차로까지 운전하고 우선권이 있을 때 우회전하세요"와 같은 지침으로 의미론적 공간 내에서 대표적인 에피소드를 검색하기 위해 LLM 기반의 멀티모달 자연어 검색을 구축하여 모든 주행 데이터 (> 1 페타바이트) 내에서 검색하고 일치하는 에피소드를 검색합니다.

GPS 내비게이션 장치에서 제공되는 턴바이턴 내비게이션과 유사하도록 자연어 쿼리(지침)를 구성했습니다. 지침을 경로 작업으로 변환하기 위해 LLM에 지침을 프롬프트하고 출력을 스티어링하여 경로 기능, 경로 제한 및 경로 기동 목록으로 변환하고 해당 경로 작업에 할당된 에피소드를 검색합니다. pydantic 모델을 사용하여 LLM의 출력에 대한 엄격한 유효성 검사를 수행하여 환각을 최소화합니다. 특히 llama-3.3-70b를 사용하고 pydantic 모델로 정의된 스키마로 출력을 스티어링합니다. 구조화된 출력의 품질을 더욱 향상시키기 위해 인컨텍스트 학습을 위해 약 30쌍의 알려진 자연어 쿼리와 경로 작업을 사용했습니다. 부록 A. 2는 사용한 인컨텍스트 학습 쌍에 대한 자세한 정보를 제공합니다.

Instructions: Drive up to the roundabout and when you have the right of way turn right

LeRobot

🤗의 L2D는 LeRobotDataset v2.1 및 LeRobotDataset v3.0 형식으로 변환되어 LeRobot 내에서 지원되는 현재 및 향후 모델을 최대한 활용할 수 있습니다. AI 커뮤니티는 이제 ACT, Diffusion Policy 및 Pi0와 같은 실제 로봇 공학을 위한 최첨단 모방 학습 및 강화 학습 모델을 활용하여 종단간 자율 주행 모델을 구축할 수 있습니다.

기존의 자율 주행 데이터셋(아래 표)은 2D/3D 객체 감지, 추적, 세분화 및 모션 계획과 같은 중간 인식 및 계획 작업에 초점을 맞추고 있어 고품질 주석이 필요하고 확장하기 어렵습니다. 대신 L2D는 센서 입력(표 1)에서 직접 행동(정책)을 예측하는 방법을 학습하는 종단간 학습 개발에 초점을 맞춥니다. 이러한 모델은 인터넷에서 사전 훈련된 VLM 및 VLAM을 활용합니다.

Releases

로보틱스 AI 모델의 성능은 훈련 세트 내 에피소드의 품질에 의해 제한됩니다. 최고 품질의 에피소드를 보장하기 위해 L2D에 대한 단계적 릴리스를 계획하고 있습니다. 각 새 릴리스마다 에피소드에 대한 추가 정보를 추가합니다. 각 릴리스 R1+는 깨끗한 에피소드 기록을 보장하기 위해 이전 릴리스의 상위 집합입니다.

1. instructions: 운전 작업에 대한 자연어 지침 2. task_id: 에피소드를 EU 의무 운전 과제 Task ID로 매핑 3. observation.state.route : OSM의 차선 수, 회전 차선에 대한 정보 4. suboptimal: 성능이 최적이 아닌 정책의 원인에 대한 자연어 설명

HF	Nutron	Date	Episodes	Duration	Size	instructions	task_id	observation.state.route	suboptimal
R0	R0	March 2025	100	0.5+ hr	9,5 GB	☑️
R1	R1	April 2025	1K	5+ hr	95 GB	☑️
R2	R2	May 2025	10K	50+ hr	0.5 TB	☑️		☑️	☑️
R3	R3	Sept 2025	100K	500+ hr	5 TB	☑️		☑️	☑️
R4	R4	Nov 2025	1M	5000+ hr	90 TB	☑️	☑️	☑️	☑️

Table 5: L2D release dates

운전 학교 차량으로 Yaak가 수집한 전체 멀티모달 데이터셋은 계획된 릴리스보다 5배 더 큽니다. R4를 넘어 L2D의 성장을 더욱 발전시키기 위해, AI 커뮤니티가 전체 데이터 컬렉션 내에서 시나리오를 검색하고 발견하며 커뮤니티 주도 오픈 소스 L2D를 구축하도록 초대합니다. AI 커뮤니티는 이제 자연어 검색을 통해 에피소드를 검색하고 커뮤니티 검토를 위해 컬렉션을 큐에 넣어 다가오는 릴리스에 병합할 수 있습니다. L2D를 통해 공간 지능을 위한 ImageNet 순간을 열기를 바랍니다.

<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/193_l2d/traffic-lights-left-turn-hf-01.gif" alt="Natural language search" style="width: 80%;">

Fig 7: Searching episodes by natural language instructions

Using L2D with HF/LeRobot

R0, R1의 경우 LeRobotDataset을 revision=[R0|R1]과 함께 사용하는 것이 좋습니다. 이는 LeRobot의 pypi 릴리스에서 직접 사용할 수 있습니다. R2+의 경우, R3이 Dataset v3.0 형식이기 때문에 StreamingLeRobotDataset 사용을 권장하며, 여기에 설명된 설치 지침을 따르거나 아래와 같이 메인에서 설치하십시오.

# uv for python deps
curl -LsSf https://astral.sh/uv/install.sh | sh
# install python version and pin it
uv init && uv python install 3.12.4 && uv python pin 3.12.4
# add lerobot to deps for R0, R1
uv add lerobot
# for R2+
GIT_LFS_SKIP_SMUDGE=1 uv add "git+https://github.com/huggingface/lerobot.git@main"
uv run python
>>> from lerobot.datasets.streaming_dataset import StreamingLeRobotDataset
# This will load 3 episodes=[0, 9999, 99999], to load all the episodes please remove it
>>> dataset = StreamingLeRobotDataset("yaak-ai/L2D", episodes=[0, 9999, 99999], streaming=True, buffer_size=1000)
>>> dataset.meta
LeRobotDatasetMetadata({
    Repository ID: 'yaak-ai/L2D',
    Total episodes: '100000',
    Total frames: '19042712',
    Features: '['observation.state.vehicle', 'observation.state.lanes', 'observation.state.road', 'observation.state.surface', 'observation.state.max_speed', 'observation.state.precipitation', 'observation.state.conditions', 'observation.state.lighting', 'observation.state.waypoints', 'observation.state.timestamp', 'task.policy', 'task.instructions', 'action.continuous', 'action.discrete', 'timestamp', 'frame_index', 'episode_index', 'index', 'task_index', 'observation.images.left_forward', 'observation.images.front_left', 'observation.images.right_forward', 'observation.images.left_backward', 'observation.images.rear', 'observation.images.right_backward', 'observation.images.map']',
})',

Closed Loop Testing

LeRobot driver

L2D 및 LeRobot으로 훈련된 AI 모델의 실제 테스트를 위해, 2025년 여름부터 안전 운전자와 함께하는 폐쇄 루프 테스트를 위한 모델 제출을 초대합니다. AI 커뮤니티는 당사 차량에서 폐쇄 루프 테스트를 위해 모델을 큐에 넣고, 모델을 평가할 작업(예: 원형 교차로 탐색 또는 주차)을 선택할 수 있습니다. 모델은 차량 온보드에서 추론 모드(Jetson AGX 또는 유사 제품)로 실행됩니다. 모델은 두 가지 모드에서 LeRobot 드라이버로 차량을 운전합니다.

1. drive-by-waypoints: "observation.state.vehicle.waypoints에 제공된 '운전 규칙 및 규정을 준수하면서 웨이포인트를 따라가세요'".
2. drive-by-language: "직진하고 횡단보도에서 우회전하세요".

Additional Resources

• Driving task catalog (Fahraufgabenkatalog)
• Official German practical driving exam
• Groq

References

@article{yaak2023novel,
    author = {Yaak team},
    title ={A novel test for autonomy},
    journal = {https://www.yaak.ai/blog/a-novel-test-for-autonomy},
    year = {2023},
}
@article{yaak2023actiongpt,
    author = {Yaak team},
    title ={Next action prediction with GPTs},
    journal = {https://www.yaak.ai/blog/next-action-prediction-with-gpts},
    year = {2023},
}
@article{yaak2024si-01,
    author = {Yaak team},
    title ={Building spatial intelligence part - 1},
    journal = {https://www.yaak.ai/blog/buildling-spatial-intelligence-part1},
    year = {2024},
}
@article{yaak2024si-01,
    author = {Yaak team},
    title ={Building spatial intelligence part - 2},
    journal = {https://www.yaak.ai/blog/building-spatial-intelligence-part-2},
    year = {2024},
}

Appendix

A.1 Route tasks

경로 제한 목록. OSM의 경로 태그를 속도 제한, 양보 또는 공사와 같이 정책에 제한을 부과하는 경우 제한으로 간주합니다. 경로 기능은 경사, 터널 및 횡단보도와 같이 경로를 따라 있는 물리적 구조물입니다. 경로 기동은 운전자가 도시 환경에서 차량을 정상적으로 운행하는 동안 발생하는 다양한 시나리오(예: 다차선 좌회전 및 원형 교차로)입니다.

Type	Name	Assignment	Task ID	Release
Route restriction	CONSTRUCTION	VLM		R1
Route restriction	CROSS_TRAFFIC	VLM	4.3.1.3a, 4.3.1.3b, 4.3.1.3d, 4.2.1.3a, 4.2.1.3b, 4.2.1.3d	R2
Route restriction	INCOMING_TRAFFIC	VLM		R2
Route restriction	LIMITED_ACCESS_WAY	OSM		R0
Route restriction	LIVING_STREET	OSM		R0
Route restriction	LOW_SPEED_REGION (5, 10, 20 kph)	OSM		R0
Route restriction	ONE_WAY	OSM	3.2.1.3b	R0
Route restriction	PEDESTRIANS	VLM	7.2.1.3b	R1
Route restriction	PRIORITY_FORWARD_BACKWARD	OSM	3.1.1.3b	R0
Route restriction	ROAD_NARROWS	OSM		R0
Route restriction	STOP	OSM	4.1.1.3b, 4.2.1.3b, 4.3.1.3b	R0
Route restriction	YIELD	OSM	4.1.1.3b, 4.2.1.3b, 4.3.1.3b	R0
Route feature	BRIDGE	OSM		R0
Route feature	CURVED_ROAD	OSM (derived)	2.1.1.3a, 2.1.1.3b	R0
Route feature	BUS_STOP	OSM	7.1.1.3a	R0
Route feature	HILL_DRIVE	OSM		R0
Route feature	LOWERED_KERB	OSM		R0
Route feature	NARROW_ROAD	VLM
Route feature	PARKING	OSM		R0
Route feature	PEDESTRIAN_CROSSING	OSM	7.2.1.3b	R0
Route feature	TRAFFIC_CALMER	OSM		R0
Route feature	TRAIN_CROSSING	OSM	6.1.1.3a, 6.1.1.3b	R0
Route feature	TRAM_TRACKS	OSM	6.2.1.3a	R0
Route feature	TUNNEL	OSM		R0
Route feature	UNCONTROLLED_PEDESTRIAN_CROSSING	OSM	7.2.1.3b	R0
Route maneuver	ENTERING_MOVING_TRAFFIC	OSM (derived)	4.4.1.3a	R0
Route maneuver	CUTIN	VLM		R3
Route maneuver	LANE_CHANGE	VLM	1.3.1.3a, 1.3.1.3b	R3
Route maneuver	MERGE_IN_OUT_ON_HIGHWAY	OSM	1.1.1.3a, 1.1.1.3b, 1.1.1.3c, 1.2.1.3a, 1.2.1.3b, 1.2.1.3c	R0
Route maneuver	MULTILANE_LEFT	OSM (derived)	4.3.1.3b, 4.3.1.3c, 4.3.1.3d	R0
Route maneuver	MULTILANE_RIGHT	OSM (derived)	4.2.1.3b, 4.2.1.3c, 4.2.1.3d	R0
Route maneuver	PROTECTED_LEFT	OSM (derived)	4.3.1.3c, 4.3.1.3d	R0
Route maneuver	PROTECTED_RIGHT_WITH_BIKE	OSM (derived)	4.2.1.3c, 4.2.1.3d	R0
Route maneuver	RIGHT_BEFORE_LEFT	OSM (derived)	4.1.1.3a, 4.2.1.3a, 4.3.1.3a	R0
Route maneuver	RIGHT_TURN_ON_RED	OSM	4.2.1.3c	R0
Route maneuver	ROUNDABOUT	OSM	5.1.1.3a, 5.1.1.3b	R0
Route maneuver	STRAIGHT	OSM (derived)	8.1.1.3a	R0
Route maneuver	OVER_TAKE	VLM	3.2.1.3a, 3.2.1.3b	R4
Route maneuver	UNPROTECTED_LEFT	OSM (derived)	4.3.1.3a, 4.3.1.3b	R0
Route maneuver	UNPROTECTED_RIGHT_WITH_BIKE	OSM	4.2.1.3a, 4.2.1.3b	R0

OSM = Openstreetmap, VLM= Vision Language Model, derived: Hand crafted rules with OSM data

A.2 LLM prompts

groq를 사용하여 LLM을 구성하기 위한 프롬프트 템플릿 및 의사 코드. 경로 기능, 제한 및 기동에 대한 구조화된 예측을 pydantic 모델로 수행합니다. 자연어 쿼리는 대부분의 GPS 내비게이션 장치에서 제공되는 턴바이턴 내비게이션과 유사하게 구성됩니다.

prompt_template: "You are parsing natural language driving instructions into PyDantic Model's output=model_dump_json(exclude_none=True) as JSON. Here are a few example pairs of instructions and structured output: {examples}. Based on these examples parse the instructions. The JSON must use the schema: {schema}"
groq:
model: llama-3.3-70b-versatile
temperature: 0.0
seed: 1334
response_format: json_object
max_sequence_len: 60000

인컨텍스트 학습을 위한 예제 쌍 (30개 중 3개 표시)으로, LLM의 구조화된 예측을 스티어링합니다. 여기서 ParsedInstructionModel은 pydantic 모델입니다.

PROMPT_PAIRS = [
(
            "Its snowing. Go straight through the intersection, following the right before left rule at unmarked intersection",
        ParsedInstructionModel(
               eventSequence=[
                    EventType(speed=FloatValue(value=10.0, operator="LT", unit="kph")),
                EventType(osmRouteManeuver="RIGHT_BEFORE_LEFT"),
                      EventType(speed=FloatValue(value=25.0, operator="LT", unit="kph")),
               ],
            turnSignal="OFF",
            weatherCondition="Snow",
        ),
        ),
(
            "stop at the stop sign, give way to the traffic and then turn right",
        ParsedInstructionModel(
            eventSequence=[
                   EventType(osmRouteRestriction="STOP"),
                EventType(turnSignal="RIGHT"),
                   EventType(speed=FloatValue(value=5.0, operator="LT", unit="kph")),
                EventType(osmRouteManeuver="RIGHT"),
            ],
            ),
    ),
    (
            "parking on a hill in the rain on a two lane road",
        ParsedInstructionModel(
               osmLaneCount=[IntValue(value=2, operator="EQ")],
                osmRouteFeature=["PARKING", "HILL_DRIVE"],
            weatherCondition="Rain",
            ),
    ),
]

EXAMPLES = ""
for idx, (instructions, parsed) in enumerate(PROMPT_PAIRS):
    parsed_json = parsed.model_dump_json(exclude_none=True)
    update = f"instructions: {instructions.lower()} output: {parsed_json}"
    EXAMPLES += update

from groq import Groq
client = Groq(api_key=os.environ.get("GROQ_API_KEY"))

chat_completion = client.chat.completions.create(
                messages=[
                    {
                        "role": "system",
                        "content": prompt_template.format(examples=EXAMPLES, schema=json.dumps(ParsedInstructionModel.model_json_schema(), indent=2))
                    },
                    {
                        "role": "user",
                        "content": f"instructions : its daytime. drive to the traffic lights and when it turns green make a left turn",
                    },
                ],
                model=config["groq"]["model"],
                temperature=config["groq"]['temperature'],
                stream=False,
                seed=config["groq"]['seed'],
                response_format={"type": config['groq']['response_format']},
            )

            parsed_obj = ParsedInstructionModel.model_validate_json(chat_completion.choices[0].message.content)
            parsed_obj = parsed_obj.model_dump(exclude_none=True)

A.2 Data collection hardware

Onboard compute: NVIDIA Jetson AGX Xavier

• 8 cores @ 2/2.2 GHz, 16/64 GB DDR5
• 100 TOPS , 8 lanes MIPI CSI-2 D-PHY 2.1 (up to 20Gbps)
• 8x 1080p30 video encoder (H.265)
• Power: 10-15V DC input, ~90W power consumption
• Storage: SSD M.2 (4gen PCIe 1x4)
• Video input 8 cameras:
• 2x Fakra MATE-AX with 4x GMSL2 with Power-over-Coax support

Onboard compute: Connectivity

• Multi-band, Centimeter-level accuracy RTK module
• 5G connectivity: M.2 USB3 module with maximum downlink rates of 3.5Gbps and uplink rates of 900Mbps, dual SIM

Component	#	Vendor	Specs
RGB: Camera	1	connect-tech	Techspecs
RGB: Rugged Camera	5	connect-tech	Techspecs
GNSS	1	Taoglas	Techspecs
5G antenna	2	2J Antenna	Datasheet
NVIDIA Jetson Orin NX - 64 GB	1	Nvidia	Techspecs

Table 6: Information on hardware kit used for data collection

Complete hardware kit specs available here

---

원문 출처: https://huggingface.co/blog/lerobot-goes-to-driving-school