SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data
๐ ์์ฝ
SmolVLA๋ ๋ก๋ณดํฑ์ค๋ฅผ ์ํ 450M ํ๋ผ๋ฏธํฐ์ ์คํ์์ค ๋น์ -์ธ์ด-์ก์ (VLA) ๋ชจ๋ธ๋ก, ์ผ๋ฐ ์๋น์์ฉ ํ๋์จ์ด์์ ์คํ ๊ฐ๋ฅํ๋ฉฐ ๊ธฐ์กด VLA ๋ชจ๋ธ๋ณด๋ค ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์ ๋๋ค. ์ด ๋ชจ๋ธ์ ํธํ ๊ฐ๋ฅํ ๋ผ์ด์ ์ค์ ์ปค๋ฎค๋ํฐ ๊ณต์ ๋ฐ์ดํฐ์ ์ผ๋ก ์ฌ์ ํ์ต๋์์ผ๋ฉฐ, ์๋ฎฌ๋ ์ด์ ๋ฐ ์ค์ ์์ ์์ ๋ ํฐ ๋ชจ๋ธ๋ค์ ๋ฅ๊ฐํ๋ ๊ฒฐ๊ณผ๋ฅผ ๋ณด์ฌ์ค๋๋ค. ๋ํ, 30% ๋ ๋น ๋ฅธ ์๋ต๊ณผ 2๋ฐฐ์ ์์ ์ฒ๋ฆฌ๋์ ์ ๊ณตํ๋ ๋น๋๊ธฐ ์ถ๋ก ๊ธฐ๋ฅ์ ์ง์ํฉ๋๋ค.
๐งญTL;DR
์ค๋ ์ฐ๋ฆฌ๋ ๋ก๋ณดํฑ์ค๋ฅผ ์ํ ์ํ(450M), ์คํ์์ค ๋น์ -์ธ์ด-์ก์ ๋ชจ๋ธ์ธ SmolVLA๋ฅผ ์๊ฐํ๋ฉฐ, ์ด๋ ์ผ๋ฐ ์๋น์์ฉ ํ๋์จ์ด์์๋ ์คํ๋ฉ๋๋ค.
- lerobot ํ๊ทธ ์๋ ํธํ ๊ฐ๋ฅํ ๋ผ์ด์ ์ค์ ์คํ์์ค ์ปค๋ฎค๋ํฐ ๊ณต์ ๋ฐ์ดํฐ์ ์ผ๋ก๋ง ์ฌ์ ํ์ต๋์์ต๋๋ค.
- SmolVLA-450M์ ์๋ฎฌ๋ ์ด์ (LIBERO, Meta-World) ๋ฐ ์ค์ ์์ (SO100, SO101)์์ ํจ์ฌ ๋ ํฐ VLA ๋ฐ ACT์ ๊ฐ์ ๊ฐ๋ ฅํ ๊ธฐ์ค์ ๋ณด๋ค ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์ ๋๋ค.
- 30% ๋ ๋น ๋ฅธ ์๋ต๊ณผ 2๋ฐฐ์ ์์ ์ฒ๋ฆฌ๋์ ์ํ ๋น๋๊ธฐ ์ถ๋ก ์ ์ง์ํฉ๋๋ค.
์ ์ฉํ ๋งํฌ:
- SO-100/101 ํ์ต ๋ฐ ํ๊ฐ์ ์ฌ์ฉ๋ ํ๋์จ์ด: https://github.com/TheRobotStudio/SO-ARM100
- ๊ธฐ๋ณธ ๋ชจ๋ธ https://huggingface.co/lerobot/smolvla_base
- ๋ ผ๋ฌธ: https://huggingface.co/papers/2506.01844
๐ ๋ชฉ์ฐจ
- ๐งญ TL;DR
- ๐ ์๊ฐ
- ๐ค SmolVLA ์๊ฐ
- ๐ SmolVLA ์ฌ์ฉ ๋ฐฉ๋ฒ
- ์ค์น
- ์ฌ์ ํ์ต๋ ๋ชจ๋ธ ํ์ธํ๋
- ์ฒ์๋ถํฐ ํ์ต
- ๐ง ๋ฐฉ๋ฒ
- ์ฃผ์ ์ํคํ ์ฒ
- ํจ์จ์ฑ๊ณผ ๊ฐ๊ฑด์ฑ์ ์ํ ์ค๊ณ ์ ํ
- ๋น๋๊ธฐ ์ถ๋ก
- ๐ฆ ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์
- ์์ ์ฃผ์ ๊ฐ์
- ์นด๋ฉ๋ผ ๋ทฐ ํ์คํ
- ๐ ๊ฒฐ๊ณผ
- ✅ ๊ฒฐ๋ก
- ๐ฃ ํ๋ ์ด๊ตฌ
์๊ฐ
์ง๋ ๋ช ๋ ๋์ ํธ๋์คํฌ๋จธ๋ ์ธ๊ฐ๊ณผ ์ ์ฌํ ์ถ๋ก ์ด ๊ฐ๋ฅํ ์ธ์ด ๋ชจ๋ธ๋ถํฐ ์ด๋ฏธ์ง์ ํ ์คํธ๋ฅผ ๋ชจ๋ ์ดํดํ๋ ๋ฉํฐ๋ชจ๋ฌ ์์คํ ์ ์ด๋ฅด๊ธฐ๊น์ง AI ๋ถ์ผ์์ ๋๋ผ์ด ๋ฐ์ ์ ์ด๋์์ต๋๋ค. ๊ทธ๋ฌ๋ ์ค์ ๋ก๋ณดํฑ์ค ๋ถ์ผ์์๋ ๋ฐ์ ์ด ํจ์ฌ ๋ ๋๋ ธ์ต๋๋ค. ๋ก๋ด์ ์ฌ์ ํ ๋ค์ํ ๊ฐ์ฒด, ํ๊ฒฝ ๋ฐ ์์ ์ ๋ฐ์ ๊ฑธ์ณ ์ผ๋ฐํํ๋ ๋ฐ ์ด๋ ค์์ ๊ฒช๊ณ ์์ต๋๋ค. ์ด๋ฌํ ์ ํ๋ ๋ฐ์ ์ ๊ณ ํ์ง์ ๋ค์ํ ๋ฐ์ดํฐ ๋ถ์กฑ๊ณผ ๋ฌผ๋ฆฌ์ ์ธ๊ณ์์ ์ธ๊ฐ์ฒ๋ผ ์ถ๋ก ํ๊ณ ํ๋ํ ์ ์๋ ๋ชจ๋ธ์ ๋ถ์ฌ์์ ๋น๋กฏ๋ฉ๋๋ค.
์ด๋ฌํ ๋ฌธ์ ์ ๋ํ ๋์์ผ๋ก, ์ด ๋ถ์ผ๋ ์ต๊ทผ ๋น์ -์ธ์ด-์ก์ (VLA) ๋ชจ๋ธ์ ์ฃผ๋ชฉํ๊ณ ์์ผ๋ฉฐ, ์ด๋ ๋จ์ผ ์ํคํ ์ฒ ๋ด์์ ์ธ์ง, ์ธ์ด ์ดํด ๋ฐ ํ๋ ์์ธก์ ํตํฉํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. VLA๋ ์ผ๋ฐ์ ์ผ๋ก ์์ ์๊ฐ ๊ด์ฐฐ ๋ฐ ์์ฐ์ด ์ง์นจ์ ์ ๋ ฅ์ผ๋ก ๋ฐ๊ณ ํด๋น ๋ก๋ด ํ๋์ ์ถ๋ ฅํฉ๋๋ค. ์ ๋งํ์ง๋ง, VLA ๋ถ์ผ์ ์ต๊ทผ ๋ฐ์ ๋๋ถ๋ถ์ ๋๊ท๋ชจ ๋น๊ณต๊ฐ ๋ฐ์ดํฐ์ ์์ ํ์ต๋ ๋ ์ ๋ชจ๋ธ ๋ค์ ๊ฐํ ์์ผ๋ฉฐ, ์ข ์ข ๋น์ฉ์ด ๋ง์ด ๋๋ ํ๋์จ์ด ์ค์ ๋ฐ ๊ด๋ฒ์ํ ์์ง๋์ด๋ง ๋ฆฌ์์ค๋ฅผ ํ์๋ก ํฉ๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก, ๋ ๋์ ๋ก๋ณดํฑ์ค ์ฐ๊ตฌ ์ปค๋ฎค๋ํฐ๋ ์ด๋ฌํ ๋ชจ๋ธ์ ๋ณต์ ํ๊ณ ๊ตฌ์ถํ๋ ๋ฐ ์๋นํ ์ฅ๋ฒฝ์ ์ง๋ฉดํด ์์ต๋๋ค.
SmolVLA๋ ์ผ๋ฐ ์๋น์ ๋ฑ๊ธ ํ๋์จ์ด์์ ๊ณต๊ฐ์ ์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ ๋ฐ์ดํฐ์ ๋ง์ ์ฌ์ฉํ์ฌ ํ์ตํ ์ ์๋ ์คํ์์ค, ์ํ ๋ฐ ํจ์จ์ ์ธ VLA ๋ชจ๋ธ์ ์ ๊ณตํจ์ผ๋ก์จ ์ด๋ฌํ ๊ฒฉ์ฐจ๋ฅผ ํด์ํฉ๋๋ค. ๋ชจ๋ธ ๊ฐ์ค์น๋ฟ๋ง ์๋๋ผ ๋งค์ฐ ์ ๋ ดํ ์คํ์์ค ํ๋์จ์ด๋ฅผ ์ฌ์ฉํ์ฌ SmolVLA๋ ๋น์ -์ธ์ด-์ก์ ๋ชจ๋ธ์ ๋ํ ์ ๊ทผ์ฑ์ ๋ฏผ์ฃผํํ๊ณ ๋ฒ์ฉ ๋ก๋ด ์์ด์ ํธ๋ฅผ ํฅํ ์ฐ๊ตฌ๋ฅผ ๊ฐ์ํํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
๊ทธ๋ฆผ 1: ์์
๋ณํ ์ ๋ฐ์ ๊ฑธ์น SmolVLA ๋น๊ต. ์ผ์ชฝ์์ ์ค๋ฅธ์ชฝ์ผ๋ก: (1) ๋น๋๊ธฐ์ ํฝ์คํ๋ ์ด์ค ํ๋ธ ์นด์ดํ
, (2) ๋๊ธฐ์ ํฝ์คํ๋ ์ด์ค ํ๋ธ ์นด์ดํ
, (3) ์ญ๋ ํ์์์ ํฝ์คํ๋ ์ด์ค ํ๋ธ ์นด์ดํ
, (4) ์ค์ SO101์์ ๋ ๊ณ ๋ธ๋ก ํฝ์คํ๋ ์ด์ค์ ์ผ๋ฐํ.
SmolVLA ์๊ฐ!
SmolVLA-450M์ ์คํ์์ค, ์ํ์ด์ง๋ง ๊ฐ๋ ฅํ VLA ๋ชจ๋ธ์ ๋๋ค.
- CPU์์ ์คํํ๊ณ , ๋จ์ผ ์๋น์ GPU ๋๋ MacBook์์๋ ํ์ตํ ์ ์์ ๋งํผ ์์ต๋๋ค!
- ๊ณต๊ฐ, ์ปค๋ฎค๋ํฐ ๊ณต์ ๋ก๋ณดํฑ์ค ๋ฐ์ดํฐ๋ก ํ์ต๋์์ต๋๋ค.
- ์์ ํ ํ์ต ๋ฐ ์ถ๋ก ๋ ์ํผ์ ํจ๊ป ์ถ์๋์์ต๋๋ค.
- ๋งค์ฐ ์ ๋ ดํ ํ๋์จ์ด(SO-100, SO-101, LeKiwi ๋ฑ)์์ ํ ์คํธ ๋ฐ ๋ฐฐํฌํ ์ ์์ต๋๋ค.
๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํ์ต ํจ๋ฌ๋ค์์์ ์๊ฐ์ ๋ฐ์ SmolVLA๋ ์ผ๋ฐ ์กฐ์ ๋ฐ์ดํฐ์ ๋ํ ์ฌ์ ํ์ต ๋จ๊ณ๋ฅผ ๊ฑฐ์ณ ์์ ๋ณ ์ฌํ ํ์ต์ ์ํํฉ๋๋ค. ์ํคํ ์ฒ์ ์ผ๋ก๋ ํธ๋์คํฌ๋จธ์ ํ๋ก์ฐ ๋งค์นญ ๋์ฝ๋๋ฅผ ๊ฒฐํฉํ๋ฉฐ, ๋ค์๊ณผ ๊ฐ์ ์ค๊ณ ์ ํ์ ํตํด ์๋์ ์ ์ง์ฐ ์ถ๋ก ์ ์ํด ์ต์ ํ๋์์ต๋๋ค.
- ๋น ๋ฅธ ์ถ๋ก ๋ฐ ๋ ์์ ํฌ๊ธฐ๋ฅผ ์ํด ๋น์ ๋ชจ๋ธ์ ์ ๋ฐ ๋ ์ด์ด๋ฅผ ๊ฑด๋๋๋๋ค.
- ์๊ธฐ ์ฃผ์ ๋ฐ ๊ต์ฐจ ์ฃผ์ ๋ธ๋ก์ ์ธํฐ๋ฆฌ๋นํฉ๋๋ค.
- ๋ ์ ์ ์๊ฐ ํ ํฐ์ ์ฌ์ฉํฉ๋๋ค.
- ๋ ์์ ์ฌ์ ํ์ต๋ VLM์ ํ์ฉํฉ๋๋ค.
๋ค๋ฅธ VLA๋ณด๋ค ํ ์๋ฆฟ์ ์ ์ 30k ํ์ต ์ํผ์๋๋ง ์ฌ์ฉํจ์๋ ๋ถ๊ตฌํ๊ณ , SmolVLA๋ ์๋ฎฌ๋ ์ด์ ๊ณผ ์ค์ ํ๊ฒฝ ๋ชจ๋์์ ํจ์ฌ ๋ ํฐ ๋ชจ๋ธ๊ณผ ๋น๊ตํ์ ๋ ์ฑ๋ฅ์ ๋๋ฑํ๊ฑฐ๋ ์ด๊ณผํฉ๋๋ค.
์ค์๊ฐ ๋ก๋ณดํฑ์ค๋ฅผ ๋ ์ฝ๊ฒ ์ฌ์ฉํ๊ธฐ ์ํด ๋น๋๊ธฐ ์ถ๋ก ์คํ์ ๋์ ํฉ๋๋ค. ์ด ๊ธฐ์ ์ ๋ก๋ด์ด ํ๋์ ์ํํ๋ ๋ฐฉ์๊ณผ ๋ณด๊ณ ๋ฃ๋ ๊ฒ์ ์ดํดํ๋ ๋ฐฉ์์ ๋ถ๋ฆฌํฉ๋๋ค. ์ด ๋ถ๋ฆฌ ๋๋ถ์ ๋ก๋ด์ ๋น ๋ฅด๊ฒ ๋ณํํ๋ ํ๊ฒฝ์์ ๋ ๋น ๋ฅด๊ฒ ์๋ตํ ์ ์์ต๋๋ค.
๊ทธ๋ฆผ 2. SmolVLA๋ ์ฌ๋ฌ ์นด๋ฉ๋ผ์ RGB ์ด๋ฏธ์ง ์ํ์ค, ๋ก๋ด์ ํ์ฌ ์ผ์๋ชจํฐ ์ํ, ์์ฐ์ด ์ง์นจ์ ์
๋ ฅ์ผ๋ก ๋ฐ์ต๋๋ค. VLM์ ์ด๋ฅผ ์ปจํ
์คํธ ํน์ง์ผ๋ก ์ธ์ฝ๋ฉํ์ฌ ์ก์
์ ๋ฌธ๊ฐ์๊ฒ ์กฐ๊ฑด๋ถ๋ก ์์ฉํ์ฌ ์ฐ์์ ์ธ ํ๋ ์ํ์ค๋ฅผ ์์ฑํฉ๋๋ค.
๐ SmolVLA ์ฌ์ฉ ๋ฐฉ๋ฒ?
SmolVLA๋ ์์ฒด ๋ฐ์ดํฐ์ ๋ํ ํ์ธํ๋์ด๋ ๊ธฐ์กด ๋ก๋ณดํฑ์ค ์คํ์ ํตํฉํ๋ ์ฌ์ฉ ๋ฐ ํตํฉ์ด ์ฉ์ดํ๋๋ก ์ค๊ณ๋์์ต๋๋ค.
์ค์น
๋จผ์ ํ์ํ ์ข ์์ฑ์ ์ค์นํฉ๋๋ค.
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[smolvla]"
์ฌ์ ํ์ต๋ ๋ชจ๋ธ ํ์ธํ๋
lerobot ํ์ต ํ๋ ์์ํฌ์ ํจ๊ป ์ฌ์ ํ์ต๋ 450M ๋ชจ๋ธ์ธ smolvla_base๋ฅผ ์ฌ์ฉํ์ธ์.
python lerobot/scripts/train.py \
--policy.path=lerobot/smolvla_base \
--dataset.repo_id=lerobot/svla_so100_stacking \
--batch_size=64 \
--steps=20000 # ํ์ต ์์ฐ์ 10%
์ฒ์๋ถํฐ ํ์ต
์ฌ์ ํ์ต๋ ์ฒดํฌํฌ์ธํธ๊ฐ ์๋ ์ํคํ ์ฒ(์ฌ์ ํ์ต๋ VLM + ์ก์ ์ ๋ฌธ๊ฐ)๋ถํฐ ์์ํ์ฌ ๊ตฌ์ถํ๊ณ ์ถ๋ค๋ฉด ๋ค์๊ณผ ๊ฐ์ด ํ์ธ์.
python lerobot/scripts/train.py \
--policy.type=smolvla \
--dataset.repo_id=lerobot/svla_so100_stacking \
--batch_size=64 \
--steps=200000
SmolVLAPolicy๋ฅผ ์ง์ ๋ก๋ํ ์๋ ์์ต๋๋ค.
from lerobot.common.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained("lerobot/smolvla_base")
๋ฐฉ๋ฒ
SmolVLA๋ ๊ฐ๋ณ๊ณ ์ ๋ฅํ ๋ชจ๋ธ์ผ ๋ฟ๋ง ์๋๋ผ ๋ฒ์ฉ ๋ก๋ณดํฑ์ค ์ ์ฑ ์ ํ์ตํ๊ณ ํ๊ฐํ๋ ๋ฐฉ๋ฒ์ด๊ธฐ๋ ํฉ๋๋ค. ์ด ์น์ ์์๋ SmolVLA ๋ค์ ์๋ ๋ชจ๋ธ ์ํคํ ์ฒ์ ํ๊ฐ์ ์ฌ์ฉ๋ ๋น๋๊ธฐ ์ถ๋ก ์ค์ ์ ์๊ฐํ๋ฉฐ, ์ด๋ ๋ ์ ์์ฑ์ด ๋๊ณ ๋น ๋ฅธ ๋ณต๊ตฌ ๋ฅ๋ ฅ์ ๊ฐ์ถ ๊ฒ์ผ๋ก ์ ์ฆ๋์์ต๋๋ค.
SmolVLA๋ ๋ฉํฐ๋ชจ๋ฌ ์ ๋ ฅ์ ์ฒ๋ฆฌํ๋ ๋น์ -์ธ์ด ๋ชจ๋ธ(VLM)๊ณผ ๋ก๋ด ์ ์ด ๋ช ๋ น์ ์ถ๋ ฅํ๋ ์ก์ ์ ๋ฌธ๊ฐ์ ๋ ๊ฐ์ง ํต์ฌ ๊ตฌ์ฑ ์์๋ก ์ด๋ฃจ์ด์ง๋๋ค. ์๋์์ SmolVLA ์ํคํ ์ฒ์ ์ฃผ์ ๊ตฌ์ฑ ์์ ๋ฐ ๋น๋๊ธฐ ์ถ๋ก ์ ๋ํ ์ธ๋ถ ์ ๋ณด๋ฅผ ๊ณต์ ํฉ๋๋ค. ์์ธํ ๋ด์ฉ์ ๊ธฐ์ ๋ณด๊ณ ์์์ ํ์ธํ ์ ์์ต๋๋ค.
์ฃผ์ ์ํคํ ์ฒ
๋น์ -์ธ์ด ๋ชจ๋ธ (VLM)
VLM ๋ฐฑ๋ณธ์ผ๋ก SmolVLM2๋ฅผ ์ฌ์ฉํฉ๋๋ค. ์ด๋ ๋ค์ค ์ด๋ฏธ์ง ์ ๋ ฅ์ ์ต์ ํ๋์ด ์์ผ๋ฉฐ SigLIP ๋น์ ์ธ์ฝ๋์ SmolLM2 ์ธ์ด ๋์ฝ๋๋ก ๊ตฌ์ฑ๋ฉ๋๋ค.
- ์ด๋ฏธ์ง ํ ํฐ์ ๋น์ ์ธ์ฝ๋๋ฅผ ํตํด ์ถ์ถ๋ฉ๋๋ค.
- ์ธ์ด ์ง์นจ์ ํ ํฐํ๋์ด ๋์ฝ๋์ ์ง์ ์ ๋ฌ๋ฉ๋๋ค.
- ์ผ์๋ชจํฐ ์ํ๋ ์ธ์ด ๋ชจ๋ธ์ ํ ํฐ ์ฐจ์์ ๋ง์ถ๊ธฐ ์ํด ์ ํ ๋ ์ด์ด๋ฅผ ์ฌ์ฉํ์ฌ ๋จ์ผ ํ ํฐ์ผ๋ก ํฌ์๋ฉ๋๋ค.
๋์ฝ๋ ๋ ์ด์ด๋ ์ด๋ฏธ์ง, ์ธ์ด ๋ฐ ์ํ ํ ํฐ์ ์ฐ๊ฒฐ์ ์ฒ๋ฆฌํฉ๋๋ค. ๊ฒฐ๊ณผ ํน์ง์ ์ก์ ์ ๋ฌธ๊ฐ์๊ฒ ์ ๋ฌ๋ฉ๋๋ค.
์ก์ ์ ๋ฌธ๊ฐ: Flow Matching Transformer
SmolVLA์ ์ก์ ์ ๋ฌธ๊ฐ๋ VLM์ ์ถ๋ ฅ์ ์กฐ๊ฑด์ผ๋ก ํ๋ ์ก์ ์ฒญํฌ, ์ฆ ๋ฏธ๋ ๋ก๋ด ํ๋ ์ํ์ค๋ฅผ ์์ฑํ๋ ์ํ ํธ๋์คํฌ๋จธ(~100M ํ๋ผ๋ฏธํฐ)์ ๋๋ค. ์ด๋ ๋ชจ๋ธ์ด ๋ ธ์ด์ฆ ์ํ์ ์ค์ ๊ฐ์ผ๋ก ๋๋๋ฆฌ๋๋ก ์๋ดํ๋ ํ๋ก์ฐ ๋งค์นญ ๋ชฉํ๋ฅผ ์ฌ์ฉํ์ฌ ํ์ต๋ฉ๋๋ค. ๋ฐ๋ฉด, ์ด์ฐ์ ์ธ ํ๋ ํํ(์: ํ ํฐํ๋ฅผ ํตํ)์ ๊ฐ๋ ฅํ์ง๋ง ์ถ๋ก ์ ๋๋ฆฌ๊ณ ๋นํจ์จ์ ์ธ ์๊ธฐ ํ๊ท ๋์ฝ๋ฉ์ ์์ฃผ ํ์๋ก ํฉ๋๋ค. ํ๋ก์ฐ ๋งค์นญ์ ์ฐ์์ ์ธ ํ๋์ ์ง์ ์ ์ด๊ณ ๋น์๊ธฐ ํ๊ท์ ์ธ ์์ธก์ ํ์ฉํ์ฌ ๋์ ์ ๋ฐ๋๋ก ์ค์๊ฐ ์ ์ด๋ฅผ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค.
๋ ์ง๊ด์ ์ผ๋ก, ํ์ต ์ค์๋ ๋ก๋ด์ ์ค์ ํ๋ ์ํ์ค์ ๋ฌด์์ ๋ ธ์ด์ฆ๋ฅผ ์ถ๊ฐํ๊ณ ๋ชจ๋ธ์๊ฒ ์ฌ๋ฐ๋ฅธ ๊ถค์ ์ผ๋ก ๋๋๋ฆฌ๋ "๋ณด์ ๋ฒกํฐ"๋ฅผ ์์ธกํ๋๋ก ์์ฒญํฉ๋๋ค. ์ด๋ ํ๋ ๊ณต๊ฐ์ ๊ฑธ์ณ ๋ถ๋๋ฌ์ด ๋ฒกํฐ ํ๋๋ฅผ ํ์ฑํ์ฌ ๋ชจ๋ธ์ด ์ ํํ๊ณ ์์ ์ ์ธ ์ ์ด ์ ์ฑ ์ ํ์ตํ๋๋ก ๋์ต๋๋ค.
์ด๋ฅผ ์ํด ๊ต์ฐจ ์ฃผ์ ๋ธ๋ก์ ์ธํฐ๋ฆฌ๋นํ๋ ํธ๋์คํฌ๋จธ ์ํคํ ์ฒ๋ฅผ ์ฌ์ฉํ๋ฉฐ(๊ทธ๋ฆผ 2 ์ฐธ์กฐ), VLM์ 75%๋ก ์๋ ํฌ๊ธฐ๋ฅผ ์ค์ฌ ๋ฐฐํฌ๋ฅผ ์ํ ๋ชจ๋ธ์ ๊ฐ๋ณ๊ฒ ์ ์งํฉ๋๋ค.
ํจ์จ์ฑ๊ณผ ๊ฐ๊ฑด์ฑ์ ์ํ ์ค๊ณ ์ ํ
๋น์ -์ธ์ด ๋ชจ๋ธ๊ณผ ํ๋ ์์ธก ๋ชจ๋์ ๊ฒฐํฉํ๋ ๊ฒ์ ์ต๊ทผ VLA ์์คํ (์: Pi0, GR00T, Diffusion Policy)์์ ์ผ๋ฐ์ ์ธ ์ค๊ณ ํจํด์ด์ง๋ง, ๊ฐ๊ฑด์ฑ๊ณผ ์ฑ๋ฅ์ ํฌ๊ฒ ํฅ์์ํค๋ ๋ช ๊ฐ์ง ์ํคํ ์ฒ ์ ํ์ ํ์ธํ์ต๋๋ค. SmolVLA์์๋ ์ธ ๊ฐ์ง ์ฃผ์ ๊ธฐ์ ์ ์ ์ฉํฉ๋๋ค: ์๊ฐ ํ ํฐ ์ ๊ฐ์, VLM์ ์์ ๋ ์ด์ด ๊ฑด๋๋ฐ๊ธฐ, ๊ทธ๋ฆฌ๊ณ ์ก์ ์ ๋ฌธ๊ฐ์์ ๊ต์ฐจ ๋ฐ ์๊ธฐ ์ฃผ์ ๋ ์ด์ด ์ธํฐ๋ฆฌ๋น.
์๊ฐ ํ ํฐ ์ถ์
๊ณ ํด์๋ ์ด๋ฏธ์ง๋ ์ธ์์ ๊ฐ์ ํ์ง๋ง ์ถ๋ก ์๋๋ฅผ ํฌ๊ฒ ๋ฆ์ถ ์ ์์ต๋๋ค. ๊ท ํ์ ๋ง์ถ๊ธฐ ์ํด SmolVLA๋ ํ์ต ๋ฐ ์ถ๋ก ์ค ํ๋ ์๋น ์๊ฐ ํ ํฐ ์๋ฅผ 64๊ฐ๋ก ์ ํํฉ๋๋ค. ์๋ฅผ ๋ค์ด, 512×512 ์ด๋ฏธ์ง๋ 1024๊ฐ ๋์ PixelShuffle์ ํจ์จ์ ์ธ ์ ํ๋ง ๊ธฐ์ ๋ก ์ฌ์ฉํ์ฌ ๋จ 64๊ฐ์ ํ ํฐ์ผ๋ก ์์ถ๋ฉ๋๋ค. ๊ธฐ๋ฐ ๋น์ -์ธ์ด ๋ชจ๋ธ(VLM)์ ์๋ ๋ ๋์ ์ปค๋ฒ๋ฆฌ์ง๋ฅผ ์ํด ์ด๋ฏธ์ง ํ์ผ๋ง์ ์ฌ์ฉํ์ฌ ์ฌ์ ํ์ต๋์์ง๋ง, SmolVLA๋ ์ถ๋ก ์ ๊ฐ๋ณ๊ณ ๋น ๋ฅด๊ฒ ์ ์งํ๊ธฐ ์ํด ๋ฐํ์์ ์ ์ญ ์ด๋ฏธ์ง๋ง ์ฌ์ฉํฉ๋๋ค.
๋ ์ด์ด ์คํตํ์ ํตํ ๋น ๋ฅธ ์ถ๋ก
VLM์ ์ต์ข ๋ ์ด์ด์ ํญ์ ์์กดํ๋ ๊ฒ(๋น์ฉ์ด ๋ง์ด ๋ค๊ณ ๋๋ก๋ ์ต์ ์ด ์๋ ๊ฒฝ์ฐ) ๋์ ์ค๊ฐ ๋ ์ด์ด์ ํน์ง์ ์ฌ์ฉํฉ๋๋ค. ์ด์ ์ฐ๊ตฌ์์๋ ์ด๊ธฐ ๋ ์ด์ด๊ฐ ๋ค์ด์คํธ๋ฆผ ์์ ์ ๋ ๋์ ํํ์ ์ ๊ณตํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค๋ ๊ฒ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค. SmolVLA์์๋ ์ก์ ์ ๋ฌธ๊ฐ๊ฐ ํ์ต ์ค ๊ตฌ์ฑ ๊ฐ๋ฅํ ๋ ์ด์ด NN๊น์ง์ VLM ํน์ง์๋ง ์ฃผ์๋ฅผ ๊ธฐ์ธ์ด๋ฉฐ, ์ด๋ ์ ์ฒด ๋ ์ด์ด์ ์ ๋ฐ์ผ๋ก ์ค์ ๋ฉ๋๋ค. ์ด๋ VLM๊ณผ ์ก์ ์ ๋ฌธ๊ฐ ๋ชจ๋์ ์ปดํจํ ๋น์ฉ์ ์ ๋ฐ์ผ๋ก ์ค์ฌ ์ฑ๋ฅ ์์ค์ ์ต์ํํ๋ฉด์ ์ถ๋ก ์๋๋ฅผ ํฌ๊ฒ ํฅ์์ํต๋๋ค.
๊ต์ฐจ ๋ฐ ์๊ธฐ ์ฃผ์์ ์ธํฐ๋ฆฌ๋น
์ก์ ์ ๋ฌธ๊ฐ ๋ด๋ถ์์ ์ฃผ์ ๋ ์ด์ด๋ ๋ค์๊ณผ ๊ฐ์ด ๋ฒ๊ฐ์ ๋ํ๋ฉ๋๋ค.
- ๊ต์ฐจ ์ฃผ์(CA): ์ก์ ํ ํฐ์ด VLM์ ํน์ง์ ์ฃผ์๋ฅผ ๊ธฐ์ธ์ ๋๋ค.
- ์๊ธฐ ์ฃผ์(SA): ์ก์ ํ ํฐ์ด ์๋ก์๊ฒ ์ฃผ์๋ฅผ ๊ธฐ์ธ์ ๋๋ค(์ธ๊ณผ์ ์ผ๋ก - ๊ณผ๊ฑฐ์๋ง).
์ด๋ฌํ ์ธํฐ๋ฆฌ๋น ์ค๊ณ๋ ์ ์ฒด ์ฃผ์ ๋ธ๋ก์ ์ฌ์ฉํ๋ ๊ฒ๋ณด๋ค ๊ฐ๋ณ๊ณ ๋ ํจ๊ณผ์ ์์ ๋ฐ๊ฒฌํ์ต๋๋ค. CA๋ง ์ฌ์ฉํ๊ฑฐ๋ SA๋ง ์ฌ์ฉํ๋ ๋ชจ๋ธ์ ๋ถ๋๋ฌ์์ด๋ ๊ธฐ๋ฐ์ ํฌ์ํ๋ ๊ฒฝํฅ์ด ์์ต๋๋ค.
SmolVLA์์ CA๋ ํ๋์ด ์ธ์ ๋ฐ ์ง์นจ์ ์ ์กฐ๊ฑด๋ถ๋ก ์์ฉํ๋๋ก ๋ณด์ฅํ๋ ๋ฐ๋ฉด, SA๋ ์๊ฐ์ ๋ถ๋๋ฌ์์ ๊ฐ์ ํฉ๋๋ค. ์ด๋ ๋ถ์์ ํ๊ฑฐ๋ ๋ถ์์ ํ ๋์์ผ๋ก ์ด์ด์ง ์ ์๋ ๋์ปน๊ฑฐ๋ฆฌ๋ ์์ธก์ด ๋ฐ์ํ ์ ์๋ ์ค์ ์ ์ด์ ํนํ ์ค์ํฉ๋๋ค.
๋น๋๊ธฐ ์ถ๋ก
๊ทธ๋ฆผ 3. ๋น๋๊ธฐ ์ถ๋ก . ๋น๋๊ธฐ ์ถ๋ก ์คํ์ ๋ํ ์ค๋ช . ์ ์ฑ ์ GPU๊ฐ ์๋ ์๊ฒฉ ์๋ฒ์์ ์คํ๋ ์ ์์ต๋๋ค.
ํ๋์ ์๊ฐ์ด๋ ์ ์ฑ ์ ์ก์ ์ฒญํฌ๋ฅผ ์ถ๋ ฅํฉ๋๋ค. ์ฆ, ์คํํ ํ๋ ์ํ์ค์ ๋๋ค. ์ด๋ฅผ ๊ด๋ฆฌํ๋ ๋ ๊ฐ์ง ๋ฐฉ๋ฒ์ด ์์ต๋๋ค.
- ๋๊ธฐ์(sync): ๋ก๋ด์ด ์ฒญํฌ๋ฅผ ์คํํ ๋ค์, ๋ค์ ์ฒญํฌ๊ฐ ๊ณ์ฐ๋ ๋๊น์ง ์ผ์ ์ค์งํฉ๋๋ค. ๊ฐ๋จํ์ง๋ง ๋ก๋ด์ด ์๋ก์ด ์ ๋ ฅ์ ๋ฐ์ํ ์ ์๋ ์ง์ฐ์ ์ ๋ฐํฉ๋๋ค.
- ๋น๋๊ธฐ์(async): ํ์ฌ ์ฒญํฌ๋ฅผ ์คํํ๋ ๋์ ๋ก๋ด์ ์ด๋ฏธ ์ต์ ๊ด์ฐฐ์ ์ ์ฑ ์๋ฒ(GPU์์ ํธ์คํ ๋ ์ ์์)๋ก ๋ณด๋ด ๋ค์ ์ฒญํฌ๋ฅผ ์ค๋นํฉ๋๋ค. ์ด๋ ์ ํด ์๊ฐ์ ๋ฐฉ์งํ๊ณ ๋ฐ์์ฑ์ ํฅ์์ํต๋๋ค.
๋น์ฌ์ ๋น๋๊ธฐ ์คํ์ ํ๋ ์คํ๊ณผ ์ฒญํฌ ์์ธก์ ๋ถ๋ฆฌํ์ฌ ๋ ๋์ ์ ์์ฑ๊ณผ ๋ฐํ์ ์ ์คํ ์ง์ฐ์ด ์ ํ ์๋๋ก ํฉ๋๋ค. ์ด๋ ๋ค์์ ํต์ฌ ๋ฉ์ปค๋์ฆ์ ์์กดํฉ๋๋ค.
- 1. ์กฐ๊ธฐ ํธ๋ฆฌ๊ฑฐ: ํ ๊ธธ์ด๊ฐ ์๊ณ๊ฐ(์: 70%) ๋ฏธ๋ง์ผ๋ก ๋จ์ด์ง๋ฉด ๊ด์ฐฐ์ ์ ์ฑ ์๋ฒ๋ก ๋ณด๋ด ์๋ก์ด ์ก์ ์ฒญํฌ๋ฅผ ์์ฒญํฉ๋๋ค.
- 2. ๋ถ๋ฆฌ๋ ์ค๋ ๋: ์ ์ด ๋ฃจํ๋ ๊ณ์ ์คํ๋๊ณ ์ถ๋ก ์ ๋ณ๋ ฌ๋ก(๋ ผ๋ธ๋กํน) ์ํ๋ฉ๋๋ค.
- 3. ์ฒญํฌ ์ตํฉ: ๊ณผ๋ํ ๋์ปน๊ฑฐ๋ฆผ์ ๋ฐฉ์งํ๊ธฐ ์ํด ๊ฐ๋จํ ๋ณํฉ ๊ท์น์ผ๋ก ์ฐ์์ ์ธ ์ฒญํฌ์ ๊ฒน์น๋ ๋์์ ๊ฒฐํฉํฉ๋๋ค.
๋ชจ๋ธ์ ๋ณ๊ฒฝํ์ง ์๊ณ ๋ ๋ ๋์ ์ ์์ฑ๊ณผ ํฅ์๋ ์ฑ๋ฅ์ ๋ณด์ฅํ๊ธฐ ๋๋ฌธ์ ๋น๋๊ธฐ ์ถ๋ก ์ ์ถ์ํ๊ฒ ๋์ด ๋งค์ฐ ๊ธฐ์ฉ๋๋ค. ์์ปจ๋, ๋น๋๊ธฐ ์ถ๋ก ์ ์คํ๊ณผ ์๊ฒฉ ์์ธก์ ๊ฒน์ณ ๋ก๋ด์ ๋ฐ์์ฑ ์๊ฒ ์ ์งํฉ๋๋ค.
์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์
๋น์ ๋ฐ ์ธ์ด ๋ชจ๋ธ์ LAION, ImageNet, Common Crawl๊ณผ ๊ฐ์ ์น ๊ท๋ชจ ๋ฐ์ดํฐ์ ์์ ๋ฒ์ฑํ์ง๋ง, ๋ก๋ณดํฑ์ค๋ ์ด์ ํ์ ํ ๋งํ ๋ฆฌ์์ค๊ฐ ๋ถ์กฑํฉ๋๋ค. "๋ก๋ด์ ์ธํฐ๋ท"์ ์์ต๋๋ค. ๋์ , ๋ฐ์ดํฐ๋ ๋ก๋ด ์ ํ, ์ผ์, ์ ์ด ๋ฐฉ์ ๋ฐ ํ์์ ๊ฑธ์ณ ํํธํ๋์ด ์ฐ๊ฒฐ๋์ง ์์ "๋ฐ์ดํฐ ์ฌ"์ ํ์ฑํฉ๋๋ค. ์ด์ ๊ฒ์๋ฌผ(https://huggingface.co/blog/lerobot-datasets)์์ ์ด๋ฌํ ํํธํ๊ฐ ๊ฐ๋ฐฉ์ ์ด๊ณ ํ๋ ฅ์ ์ธ ๋ ธ๋ ฅ์ ํตํด ์ด๋ป๊ฒ ํด๊ฒฐ๋ ์ ์๋์ง ์ดํด๋ณด์์ต๋๋ค. ImageNet์ด ๋๊ท๋ชจ์ ๋ค์ํ ๋ฒค์น๋งํฌ๋ฅผ ์ ๊ณตํจ์ผ๋ก์จ ์ปดํจํฐ ๋น์ ์ ๋ํ๊ตฌ๋ฅผ ์ด์งํ ๊ฒ์ฒ๋ผ, ์ปค๋ฎค๋ํฐ ๊ธฐ๋ฐ ๋ก๋ณดํฑ์ค ๋ฐ์ดํฐ์ ์ด ๋ฒ์ฉ ๋ก๋ด ์ ์ฑ ์ ๋์ผํ ๊ธฐ๋ฐ ์ญํ ์ ํ ์ ์๋ค๊ณ ๋ฏฟ์ต๋๋ค.
SmolVLA๋ ๊ทธ ๋น์ ์ ๋ํ ์ฒซ ๋ฒ์งธ ๋จ๊ณ์ ๋๋ค: ์ค์ ์ธ๊ณ์ ๋ณํ๋ฅผ ๋ฐ์ํ๋๋ก ์ค๊ณ๋ ๊ณต๊ฐ์ ์ผ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ, ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ ๋ฐ์ดํฐ์ ์ ํ๋ ์ด์ ๋ ํผํฉ๋ฌผ๋ก ์ฌ์ ํ์ต๋์์ต๋๋ค. ๋ฐ์ดํฐ์ ํฌ๊ธฐ๋ง ์ต์ ํํ๋ ๋์ ๋ค์์ฑ์ ์ค์ ์ ๋ก๋๋ค. ๋ค์ํ ๋์, ์นด๋ฉ๋ผ ์์ ๋ฐ ๊ตฌํ์ ํตํด ์ ์ด ๋ฐ ์ผ๋ฐํ๋ฅผ ์ด์งํฉ๋๋ค.
SmolVLA์ ์ฌ์ฉ๋ ๋ชจ๋ ํ์ต ๋ฐ์ดํฐ๋ Hugging Face Hub์ lerobot ํ๊ทธ๋ก ๊ณต์ ๋ ๋ก๋ณดํฑ์ค ๋ฐ์ดํฐ์
์ธ LeRobot Community Datasets ์์ ์ ๊ณต๋ฉ๋๋ค. ์คํ์ค๋ถํฐ ๊ฑฐ์ค๊น์ง ๋ค์ํ ํ๊ฒฝ์์ ์์ง๋ ์ด๋ฌํ ๋ฐ์ดํฐ์
์ ์ค์ ๋ก๋ด ๋ฐ์ดํฐ๋ฅผ ํ์ฅํ๊ธฐ ์ํ ๊ฐ๋ฐฉ์ ์ด๊ณ ๋ถ์ฐ๋ ๋
ธ๋ ฅ์ ๋ํ๋
๋๋ค.
๊ทธ๋ฆผ 4. ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์
์ฟ๋ณด๊ธฐ. ์๊ฐํ ์์ฑ์ ๊ธฐ์ฌํ Ville Kuosmanen์๊ฒ ํน๋ณํ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
ํ์ ๋ฒค์น๋งํฌ์ ๋ฌ๋ฆฌ ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์
์ ์์ฐ์ค๋ฝ๊ฒ ์ง์ ๋ถํ๊ณ ํ์ค์ ์ธ ์ํธ ์์ฉ์ ํฌ์ฐฉํฉ๋๋ค. ๋ค์ํ ์กฐ๋ช
, ์ต์ ์ด ์๋ ์์ฐ, ๋น์ ํต์ ์ธ ๊ฐ์ฒด ๋ฐ ์ด์ง์ ์ธ ์ ์ด ์ฒด๊ณ. ์ด๋ฌํ ๋ค์์ฑ์ ๊ฐ๋ ฅํ๊ณ ๋ฒ์ฉ์ ์ธ ํํ์ ํ์ตํ๋ ๋ฐ ๋งค์ฐ ์ ์ฉํ ๊ฒ์
๋๋ค.
Alexandre Chapin๊ณผ Ville Kuosmanen์ด ๋ง๋ ์ฌ์ฉ์ ์ ์ํํฐ๋ง ๋๊ตฌ๋ฅผ ์ฌ์ฉํ์ฌ ํ๋ ์ ์, ์๊ฐ์ ํ์ง ๋ฐ ์์ ์ปค๋ฒ๋ฆฌ์ง๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋ฐ์ดํฐ์ ์ ์ ํํ์ต๋๋ค. ์ธ์ฌํ ์๋ ๊ฒํ (Marina Barannikov์๊ฒ ํน๋ณํ ๊ฐ์ฌ๋๋ฆฝ๋๋ค) ํ, 30 FPS๋ก ํ์คํ๋ SO100 ๋ก๋ด ํ์ ์ด์ ์ ๋ง์ถ 487๊ฐ์ ๊ณ ํ์ง ๋ฐ์ดํฐ์ ์ปฌ๋ ์ ์ ํ๋ ์ด์ ํ์ต๋๋ค. ์ด๋ ์ฝ 1์ฒ๋ง ํ๋ ์์ ์์ฑํ์ต๋๋ค. ์ด๋ ๋ค๋ฅธ ์ธ๊ธฐ ์๋ ๋ฒค์น๋งํฌ ๋ฐ์ดํฐ์ ๋ณด๋ค ์ ์ด๋ ํ ์๋ฆฟ์ ์์ง๋ง ํจ์ฌ ๋ ๋ค์ํฉ๋๋ค.
์์ ์ฃผ์ ๊ฐ์
์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์ ์ ๋ฐ์ ์ผ๋ฐ์ ์ธ ๋ฌธ์ ๋ ๋ ธ์ด์ฆ๊ฐ ๋ง๊ฑฐ๋ ๋๋ฝ๋ ์์ ์ค๋ช ์ด์์ต๋๋ค. ๋ง์ ์ํผ์๋์๋ ์ฃผ์์ด ์๊ฑฐ๋ "task desc" ๋๋ "Move", "Pick"๊ณผ ๊ฐ์ด ๋ชจํธํ ๋ ์ด๋ธ์ด ํฌํจ๋์์ต๋๋ค. ํ์ง์ ๊ฐ์ ํ๊ณ ๋ฐ์ดํฐ์ ๊ฐ์ ํ ์คํธ ์ ๋ ฅ์ ํ์คํํ๊ธฐ ์ํด Qwen2.5-VL-3B-Instruct๋ฅผ ์ฌ์ฉํ์ฌ ๊ฐ๊ฒฐํ๊ณ ํ๋ ์งํฅ์ ์ธ ์ค๋ช ์ ์์ฑํ์ต๋๋ค.
์ํ ํ๋ ์๊ณผ ์๋ ๋ ์ด๋ธ์ ์ฌ์ฉํ์ฌ ๋ชจ๋ธ์ 30์ ์ด๋ด๋ก ์ง์นจ์ ๋ค์ ์์ฑํ๋๋ก ํ๋กฌํํธ๋์์ผ๋ฉฐ, ํ๋ ๋์ฌ(์: "Pick", "Place", "Open")๋ก ์์ํ์ต๋๋ค.
์ฌ์ฉ๋ ํ๋กฌํํธ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
๋ค์์ ํ์ฌ ์์
์ค๋ช
์
๋๋ค: {current_task}. ๋ก๋ด ํ์ด ์ํํ๋ ๋์์ ์ค๋ช
ํ๋ ๋งค์ฐ ์งง๊ณ ๋ช
ํํ๋ฉฐ ์์ ํ ๋จ์ผ ๋ฌธ์ฅ์ ์์ฑํ์ธ์(์ต๋ 30์). ๋ถํ์ํ ๋จ์ด๋ฅผ ํฌํจํ์ง ๋ง์ธ์.
๊ฐ๊ฒฐํ๊ฒ ์์ฑํ์ธ์.
๋ค์๊ณผ ๊ฐ์ ์์๋ฅผ ์ฐธ๊ณ ํ์ธ์: ์์๋ฅผ ์ง์ด์ ์์์ ๋ฃ์ผ์ธ์, ์๋์ ์ฌ์ธ์ ๋ฑ.
์ ๊ณต๋ ์์์ ์ ์ฌํ๊ฒ, ๋ก๋ด ํ์ด ์ํํ๋ ์ฃผ์ ๋์์ ๋ฌด์์
๋๊น?
์นด๋ฉ๋ผ ๋ทฐ ํ์คํ
๋ ๋ค๋ฅธ ๊ณผ์ ๋ ์ผ๊ด๋์ง ์์ ์นด๋ฉ๋ผ ์ด๋ฆ์ด์์ต๋๋ค. ์ผ๋ถ ๋ฐ์ดํฐ์
์ top ๋๋ wrist.right์ ๊ฐ์ด ๋ช
ํํ ์ด๋ฆ์ ์ฌ์ฉํ ๋ฐ๋ฉด, ๋ค๋ฅธ ๋ฐ์ดํฐ์
์ images.laptop๊ณผ ๊ฐ์ด ์๋ฏธ๊ฐ ๋ค์ํ ๋ชจํธํ ๋ ์ด๋ธ์ ์ฌ์ฉํ์ต๋๋ค.
์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ฐ์ดํฐ์
์ ์๋์ผ๋ก ๊ฒํ ํ๊ณ ๊ฐ ์นด๋ฉ๋ผ ๋ทฐ๋ฅผ ํ์คํ๋ ์ฒด๊ณ์ ๋งคํํ์ต๋๋ค.
OBS_IMAGE_1: ์์์ ๋ด๋ ค๋ค๋ณด๋ ๋ทฐ
OBS_IMAGE_2: ์๋ชฉ ์ฅ์ฐฉ ๋ทฐ
OBS_IMAGE_3+: ์ถ๊ฐ ๋ทฐํฌ์ธํธ
๋ํ ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์ ์ฌ์ ํ์ต๊ณผ ๋ค์ค ์์ ํ์ธํ๋์ ๊ธฐ์ฌ๋๋ฅผ ๋ถ๋ฆฌํฉ๋๋ค. LeRobot ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์ ์ผ๋ก ์ฌ์ ํ์ต ์์ด๋ SmolVLA๊ฐ ์ฒ์์ SO100์์ 51.7%์ ์ฑ๊ณต๋ฅ ์ ๋ฌ์ฑํฉ๋๋ค. ์ปค๋ฎค๋ํฐ ์์ง ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ตํ ํ ์ฑ๋ฅ์ 78.3%๋ก ๊ธ์ฆํ์ฌ +26.6% ์ ๋ ํฅ์๋ฉ๋๋ค. ๋ค์ค ์์ ํ์ธํ๋์ ๋ฎ์ ๋ฐ์ดํฐ ํ๊ฒฝ์์๋ ๊ฐ๋ ฅํ ์์ ์ ์ด ๋ฅ๋ ฅ์ ๋ณด์ฌ์ฃผ๋ฉด์ ์ฑ๋ฅ์ ๋์ฑ ํฅ์์ํต๋๋ค.
ํ 1. ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์ ์์์ ์ฌ์ ํ์ต ๋ฐ ๋ค์ค ์์ ํ์ธํ๋์ ์ํฅ.
๊ฒฐ๊ณผ
SmolVLA๋ฅผ ์๋ฎฌ๋ ์ด์ ๋ฐ ์ค์ ๋ฒค์น๋งํฌ ์ ๋ฐ์ ๊ฑธ์ณ ํ๊ฐํ์ฌ ์ผ๋ฐํ, ํจ์จ์ฑ ๋ฐ ๊ฐ๊ฑด์ฑ์ ํ ์คํธํฉ๋๋ค. ์ํ์์๋ ๋ถ๊ตฌํ๊ณ , ํจ์ฌ ๋ ํฐ ๋ ์ ๋ชจ๋ธ ๋ฐ ๋ ๋์ ๊ท๋ชจ์ ๋ก๋ณดํฑ์ค ๋ฐ์ดํฐ๋ก ์ฌ์ ํ์ต๋ ์ ์ฑ ๋ณด๋ค ์ผ๊ด๋๊ฒ ๋ฐ์ด๋ ์ฑ๋ฅ์ ๋ณด์ด๊ฑฐ๋ ๋๋ฑํ ์ฑ๋ฅ์ ๋ฐํํฉ๋๋ค.
ํ 2. ์๋ฎฌ๋ ์ด์ ๋ฒค์น๋งํฌ์์์ SmolVLA ์ฑ๋ฅ.
ํ 3. ์ค์ ์์ (SO100)์์์ SmolVLA ๋ ๊ธฐ์ค์ .
์ค์ ํ๊ฒฝ์์๋ SmolVLA๊ฐ SO100 ๋ฐ SO101์ ๋ ๊ฐ์ง ๋ค์ํ ์ ํ๊ตฐ์์ ํ๊ฐ๋ฉ๋๋ค. ์ด๋ฌํ ์์ ์๋ ํฝ์คํ๋ ์ด์ค, ์คํํน ๋ฐ ์ ๋ ฌ์ด ํฌํจ๋๋ฉฐ, ๋ถํฌ ๋ด ๋ฐ ๋ถํฌ ์ธ ๊ฐ์ฒด ๊ตฌ์ฑ์ด ๋ชจ๋ ํฌํจ๋ฉ๋๋ค. SO101์์ SmolVLA๋ ์ผ๋ฐํ์์๋ ๋ฐ์ด๋ฉ๋๋ค.
ํ 4. ์๋ก์ด ๊ตฌํ(SO101) ๋ ACT์ ๋ํ SmolVLA์ ์ผ๋ฐํ.
๋ง์ง๋ง์ผ๋ก, ๋๊ธฐ ๋ฐ ๋น๋๊ธฐ ์ถ๋ก ๋ชจ๋์์ SmolVLA๋ฅผ ํ๊ฐํฉ๋๋ค. ๋น๋๊ธฐ ์ถ๋ก ์ ํ๋ ์คํ๊ณผ ๋ชจ๋ธ ์ถ๋ก ์ ๋ถ๋ฆฌํ์ฌ ๋ก๋ด์ด ์์ง์ด๋ ๋์ ์ ์ฑ ์ด ๋ฐ์ํ ์ ์๋๋ก ํฉ๋๋ค.
- ๋ ๋ชจ๋ ๋ชจ๋ ์ ์ฌํ ์์ ์ฑ๊ณต๋ฅ (์ฝ 78%)์ ๋ฌ์ฑํ์ง๋ง, ๋น๋๊ธฐ ์ถ๋ก ์:
- ์์ ์ ์ฝ 30% ๋ ๋น ๋ฅด๊ฒ ์๋ฃํฉ๋๋ค(9.7์ด ๋ 13.75์ด).
- ๊ณ ์ ์๊ฐ ์ค์ ์์ 2๋ฐฐ ๋ ๋ง์ ์๋ฃ๋ฅผ ๊ฐ๋ฅํ๊ฒ ํฉ๋๋ค(19๊ฐ ํ๋ธ ๋ 9๊ฐ ํ๋ธ).
์ด๋ฅผ ํตํด ํนํ ๊ฐ์ฒด๊ฐ ์ด๋ํ๋ ๋์ ํ๊ฒฝ์ด๋ ์ธ๋ถ ๋ฐฉํด ์์ธ์ด ์๋ ํ๊ฒฝ์์ ๋ ๋ฐ์์ ์ด๊ณ ๊ฐ๊ฑดํ ์ค์ ์ฑ๋ฅ์ ์ป์ ์ ์์ต๋๋ค.
๊ทธ๋ฆผ 5. ์ค์ ์์ ์์์ ๋น๋๊ธฐ ๋ ๋๊ธฐ ์ถ๋ก . (a) ์์ ์ฑ๊ณต๋ฅ (%), (b) ํ๊ท ์๋ฃ ์๊ฐ(์ด), (c) ๊ณ ์ ์๊ฐ ์ฐฝ ๋ด์์ ์๋ฃ๋ ์์ ์.
๊ฒฐ๋ก
SmolVLA๋ ๊ฐ๋ฐฉ์ ์ด๊ณ ํจ์จ์ ์ด๋ฉฐ ์ฌํ ๊ฐ๋ฅํ ๋ก๋ณดํฑ์ค ๊ธฐ๋ฐ ๋ชจ๋ธ ๊ตฌ์ถ์ ๊ธฐ์ฌํ๋ ๋ฐ์ ๋๋ค. ์์ ํฌ๊ธฐ์๋ ๋ถ๊ตฌํ๊ณ , ๋ค์ํ ์ค์ ๋ฐ ์๋ฎฌ๋ ์ด์ ์์ ์์ ๋ ํฌ๊ณ ๋ ์ ์ ์ธ ๋ชจ๋ธ๊ณผ ๋๋ฑํ๊ฑฐ๋ ๋ ๋์ ์ฑ๋ฅ์ ๋ฐํํฉ๋๋ค. ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ ๋ฐ์ดํฐ์ ๊ณผ ์ ๋ ดํ ํ๋์จ์ด์๋ง ์์กดํจ์ผ๋ก์จ SmolVLA๋ ์ฐ๊ตฌ์, ๊ต์ก์ ๋ฐ ์ทจ๋ฏธ ํ๋๊ฐ๋ฅผ ์ํ ์ง์ ์ฅ๋ฒฝ์ ๋ฎ์ถฅ๋๋ค. ํ์ง๋ง ์ด๊ฒ์ ์์์ผ ๋ฟ์ ๋๋ค. SmolVLA๋ ํ์ฅ ๊ฐ๋ฅํ๊ณ ํ๋ ฅ์ ์ธ ๋ก๋ณดํฑ์ค๋ฅผ ํฅํ ์ฑ์ฅํ๋ ์คํ์์ค ์ด๋์ ์ผ๋ถ์ผ ๋ฟ์ ๋๋ค.
ํ๋ ์ด๊ตฌ:
- ๐ง ์๋ํด๋ณด์ธ์! ์์ ์ ๋ฐ์ดํฐ๋ก SmolVLA๋ฅผ ํ์ธํ๋ํ๊ณ , ์ ๋ ดํ ํ๋์จ์ด์ ๋ฐฐํฌํ๊ฑฐ๋, ํ์ฌ ์คํ๊ณผ ๋น๊ตํ์ฌ ๋ฒค์น๋งํนํ๊ณ ํธ์ํฐ/๋งํฌ๋์ธ์ ๊ณต์ ํ์ธ์.
- ๐ค ๋ฐ์ดํฐ์ ์ ์ ๋ก๋ํ์ธ์! ๋ก๋ด์ด ์๋์? lerobot ํ์์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์์งํ๊ณ ๊ณต์ ํ์ธ์. SmolVLA์ ๋๋ ฅ์ด ๋๋ ์ปค๋ฎค๋ํฐ ๋ฐ์ดํฐ์ ์ ํ์ฅํ๋ ๋ฐ ๋์์ ์ฃผ์ธ์.
- ๐ฌ ๋ธ๋ก๊ทธ ํ ๋ก ์ ์ฐธ์ฌํ์ธ์. ์๋ ํ ๋ก ์ ์ง๋ฌธ, ์์ด๋์ด ๋๋ ํผ๋๋ฐฑ์ ๋จ๊ฒจ์ฃผ์ธ์. ํตํฉ, ํ์ต ๋๋ ๋ฐฐํฌ์ ๊ธฐ๊บผ์ด ๋์๋๋ฆฌ๊ฒ ์ต๋๋ค.
- ๐ ๊ธฐ์ฌํ์ธ์. ๋ฐ์ดํฐ์ ์ ๊ฐ์ ํ๊ณ , ๋ฌธ์ ๋ฅผ ๋ณด๊ณ ํ๊ณ , ์๋ก์ด ์์ด๋์ด๋ฅผ ์ ์ํ์ธ์. ๋ชจ๋ ๊ธฐ์ฌ๋ ๋์์ด ๋ฉ๋๋ค.
- ๐ ๋๋ฆฌ ์๋ ค์ฃผ์ธ์. ํจ์จ์ ์ธ ์ค์๊ฐ ๋ก๋ด ์ ์ฑ ์ ๊ด์ฌ ์๋ ๋๋ฃ ์ฐ๊ตฌ์, ๊ฐ๋ฐ์ ๋๋ ๊ต์ก์์ SmolVLA๋ฅผ ๊ณต์ ํ์ธ์.
- ๐ซ ์ฐ๋ฝ์ ์ ์งํ์ธ์: ์ ๋ฐ์ดํธ, ํํ ๋ฆฌ์ผ ๋ฐ ์๋ก์ด ๋ฆด๋ฆฌ์ค๋ฅผ ์ํด LeRobot ์กฐ์ง ๋ฐ Discord ์๋ฒ๋ฅผ ํ๋ก์ฐํ์ธ์.
ํจ๊ป, ์ฐ๋ฆฌ๋ ์ค์ ๋ก๋ณดํฑ์ค๋ฅผ ๋ ์ ๋ฅํ๊ณ , ๋ ์ ๋ ดํ๋ฉฐ, ๋ ๊ฐ๋ฐฉ์ ์ผ๋ก ๋ง๋ค ์ ์์ต๋๋ค. ✨
์๋ฌธ ์ถ์ฒ: https://huggingface.co/blog/smolvla
๋๊ธ
๋๊ธ ์ฐ๊ธฐ