SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data

๐Ÿ“ ์š”์•ฝ

SmolVLA๋Š” ๋กœ๋ณดํ‹ฑ์Šค๋ฅผ ์œ„ํ•œ 450M ํŒŒ๋ผ๋ฏธํ„ฐ์˜ ์˜คํ”ˆ์†Œ์Šค ๋น„์ „-์–ธ์–ด-์•ก์…˜(VLA) ๋ชจ๋ธ๋กœ, ์ผ๋ฐ˜ ์†Œ๋น„์ž์šฉ ํ•˜๋“œ์›จ์–ด์—์„œ ์‹คํ–‰ ๊ฐ€๋Šฅํ•˜๋ฉฐ ๊ธฐ์กด VLA ๋ชจ๋ธ๋ณด๋‹ค ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์ž…๋‹ˆ๋‹ค. ์ด ๋ชจ๋ธ์€ ํ˜ธํ™˜ ๊ฐ€๋Šฅํ•œ ๋ผ์ด์„ ์Šค์˜ ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ณต์œ  ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ์‚ฌ์ „ ํ•™์Šต๋˜์—ˆ์œผ๋ฉฐ, ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฐ ์‹ค์ œ ์ž‘์—…์—์„œ ๋” ํฐ ๋ชจ๋ธ๋“ค์„ ๋Šฅ๊ฐ€ํ•˜๋Š” ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค. ๋˜ํ•œ, 30% ๋” ๋น ๋ฅธ ์‘๋‹ต๊ณผ 2๋ฐฐ์˜ ์ž‘์—… ์ฒ˜๋ฆฌ๋Ÿ‰์„ ์ œ๊ณตํ•˜๋Š” ๋น„๋™๊ธฐ ์ถ”๋ก  ๊ธฐ๋Šฅ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.


๐ŸงญTL;DR

์˜ค๋Š˜ ์šฐ๋ฆฌ๋Š” ๋กœ๋ณดํ‹ฑ์Šค๋ฅผ ์œ„ํ•œ ์†Œํ˜•(450M), ์˜คํ”ˆ์†Œ์Šค ๋น„์ „-์–ธ์–ด-์•ก์…˜ ๋ชจ๋ธ์ธ SmolVLA๋ฅผ ์†Œ๊ฐœํ•˜๋ฉฐ, ์ด๋Š” ์ผ๋ฐ˜ ์†Œ๋น„์ž์šฉ ํ•˜๋“œ์›จ์–ด์—์„œ๋„ ์‹คํ–‰๋ฉ๋‹ˆ๋‹ค.

  • lerobot ํƒœ๊ทธ ์•„๋ž˜ ํ˜ธํ™˜ ๊ฐ€๋Šฅํ•œ ๋ผ์ด์„ ์Šค์˜ ์˜คํ”ˆ์†Œ์Šค ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ณต์œ  ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ๋งŒ ์‚ฌ์ „ ํ•™์Šต๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
  • SmolVLA-450M์€ ์‹œ๋ฎฌ๋ ˆ์ด์…˜(LIBERO, Meta-World) ๋ฐ ์‹ค์ œ ์ž‘์—…(SO100, SO101)์—์„œ ํ›จ์”ฌ ๋” ํฐ VLA ๋ฐ ACT์™€ ๊ฐ™์€ ๊ฐ•๋ ฅํ•œ ๊ธฐ์ค€์„ ๋ณด๋‹ค ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์ž…๋‹ˆ๋‹ค.
  • 30% ๋” ๋น ๋ฅธ ์‘๋‹ต๊ณผ 2๋ฐฐ์˜ ์ž‘์—… ์ฒ˜๋ฆฌ๋Ÿ‰์„ ์œ„ํ•œ ๋น„๋™๊ธฐ ์ถ”๋ก ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

์œ ์šฉํ•œ ๋งํฌ:

  • SO-100/101 ํ•™์Šต ๋ฐ ํ‰๊ฐ€์— ์‚ฌ์šฉ๋œ ํ•˜๋“œ์›จ์–ด: https://github.com/TheRobotStudio/SO-ARM100
  • ๊ธฐ๋ณธ ๋ชจ๋ธ https://huggingface.co/lerobot/smolvla_base
  • ๋…ผ๋ฌธ: https://huggingface.co/papers/2506.01844

๐Ÿ“š ๋ชฉ์ฐจ

์†Œ๊ฐœ

์ง€๋‚œ ๋ช‡ ๋…„ ๋™์•ˆ ํŠธ๋žœ์Šคํฌ๋จธ๋Š” ์ธ๊ฐ„๊ณผ ์œ ์‚ฌํ•œ ์ถ”๋ก ์ด ๊ฐ€๋Šฅํ•œ ์–ธ์–ด ๋ชจ๋ธ๋ถ€ํ„ฐ ์ด๋ฏธ์ง€์™€ ํ…์ŠคํŠธ๋ฅผ ๋ชจ๋‘ ์ดํ•ดํ•˜๋Š” ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์‹œ์Šคํ…œ์— ์ด๋ฅด๊ธฐ๊นŒ์ง€ AI ๋ถ„์•ผ์—์„œ ๋†€๋ผ์šด ๋ฐœ์ „์„ ์ด๋Œ์—ˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์‹ค์ œ ๋กœ๋ณดํ‹ฑ์Šค ๋ถ„์•ผ์—์„œ๋Š” ๋ฐœ์ „์ด ํ›จ์”ฌ ๋” ๋А๋ ธ์Šต๋‹ˆ๋‹ค. ๋กœ๋ด‡์€ ์—ฌ์ „ํžˆ ๋‹ค์–‘ํ•œ ๊ฐ์ฒด, ํ™˜๊ฒฝ ๋ฐ ์ž‘์—… ์ „๋ฐ˜์— ๊ฑธ์ณ ์ผ๋ฐ˜ํ™”ํ•˜๋Š” ๋ฐ ์–ด๋ ค์›€์„ ๊ฒช๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์ œํ•œ๋œ ๋ฐœ์ „์€ ๊ณ ํ’ˆ์งˆ์˜ ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ๋ถ€์กฑ๊ณผ ๋ฌผ๋ฆฌ์  ์„ธ๊ณ„์—์„œ ์ธ๊ฐ„์ฒ˜๋Ÿผ ์ถ”๋ก ํ•˜๊ณ  ํ–‰๋™ํ•  ์ˆ˜ ์žˆ๋Š” ๋ชจ๋ธ์˜ ๋ถ€์žฌ์—์„œ ๋น„๋กฏ๋ฉ๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ๋ฌธ์ œ์— ๋Œ€ํ•œ ๋Œ€์‘์œผ๋กœ, ์ด ๋ถ„์•ผ๋Š” ์ตœ๊ทผ ๋น„์ „-์–ธ์–ด-์•ก์…˜(VLA) ๋ชจ๋ธ์— ์ฃผ๋ชฉํ•˜๊ณ  ์žˆ์œผ๋ฉฐ, ์ด๋Š” ๋‹จ์ผ ์•„ํ‚คํ…์ฒ˜ ๋‚ด์—์„œ ์ธ์ง€, ์–ธ์–ด ์ดํ•ด ๋ฐ ํ–‰๋™ ์˜ˆ์ธก์„ ํ†ตํ•ฉํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค. VLA๋Š” ์ผ๋ฐ˜์ ์œผ๋กœ ์›์‹œ ์‹œ๊ฐ ๊ด€์ฐฐ ๋ฐ ์ž์—ฐ์–ด ์ง€์นจ์„ ์ž…๋ ฅ์œผ๋กœ ๋ฐ›๊ณ  ํ•ด๋‹น ๋กœ๋ด‡ ํ–‰๋™์„ ์ถœ๋ ฅํ•ฉ๋‹ˆ๋‹ค. ์œ ๋งํ•˜์ง€๋งŒ, VLA ๋ถ„์•ผ์˜ ์ตœ๊ทผ ๋ฐœ์ „ ๋Œ€๋ถ€๋ถ„์€ ๋Œ€๊ทœ๋ชจ ๋น„๊ณต๊ฐœ ๋ฐ์ดํ„ฐ์…‹์—์„œ ํ•™์Šต๋œ ๋…์  ๋ชจ๋ธ ๋’ค์— ๊ฐ‡ํ˜€ ์žˆ์œผ๋ฉฐ, ์ข…์ข… ๋น„์šฉ์ด ๋งŽ์ด ๋“œ๋Š” ํ•˜๋“œ์›จ์–ด ์„ค์ • ๋ฐ ๊ด‘๋ฒ”์œ„ํ•œ ์—”์ง€๋‹ˆ์–ด๋ง ๋ฆฌ์†Œ์Šค๋ฅผ ํ•„์š”๋กœ ํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ์ ์œผ๋กœ, ๋” ๋„“์€ ๋กœ๋ณดํ‹ฑ์Šค ์—ฐ๊ตฌ ์ปค๋ฎค๋‹ˆํ‹ฐ๋Š” ์ด๋Ÿฌํ•œ ๋ชจ๋ธ์„ ๋ณต์ œํ•˜๊ณ  ๊ตฌ์ถ•ํ•˜๋Š” ๋ฐ ์ƒ๋‹นํ•œ ์žฅ๋ฒฝ์— ์ง๋ฉดํ•ด ์žˆ์Šต๋‹ˆ๋‹ค.

SmolVLA๋Š” ์ผ๋ฐ˜ ์†Œ๋น„์ž ๋“ฑ๊ธ‰ ํ•˜๋“œ์›จ์–ด์—์„œ ๊ณต๊ฐœ์ ์œผ๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ ๋ฐ์ดํ„ฐ์…‹๋งŒ์„ ์‚ฌ์šฉํ•˜์—ฌ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋Š” ์˜คํ”ˆ์†Œ์Šค, ์†Œํ˜• ๋ฐ ํšจ์œจ์ ์ธ VLA ๋ชจ๋ธ์„ ์ œ๊ณตํ•จ์œผ๋กœ์จ ์ด๋Ÿฌํ•œ ๊ฒฉ์ฐจ๋ฅผ ํ•ด์†Œํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋ธ ๊ฐ€์ค‘์น˜๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋งค์šฐ ์ €๋ ดํ•œ ์˜คํ”ˆ์†Œ์Šค ํ•˜๋“œ์›จ์–ด๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ SmolVLA๋Š” ๋น„์ „-์–ธ์–ด-์•ก์…˜ ๋ชจ๋ธ์— ๋Œ€ํ•œ ์ ‘๊ทผ์„ฑ์„ ๋ฏผ์ฃผํ™”ํ•˜๊ณ  ๋ฒ”์šฉ ๋กœ๋ด‡ ์—์ด์ „ํŠธ๋ฅผ ํ–ฅํ•œ ์—ฐ๊ตฌ๋ฅผ ๊ฐ€์†ํ™”ํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค.

์ž‘์—… ๋ณ€ํ˜• ์ „๋ฐ˜์— ๊ฑธ์นœ SmolVLA ๋น„๊ต.
๊ทธ๋ฆผ 1: ์ž‘์—… ๋ณ€ํ˜• ์ „๋ฐ˜์— ๊ฑธ์นœ SmolVLA ๋น„๊ต. ์™ผ์ชฝ์—์„œ ์˜ค๋ฅธ์ชฝ์œผ๋กœ: (1) ๋น„๋™๊ธฐ์‹ ํ”ฝ์•คํ”Œ๋ ˆ์ด์Šค ํ๋ธŒ ์นด์šดํŒ…, (2) ๋™๊ธฐ์‹ ํ”ฝ์•คํ”Œ๋ ˆ์ด์Šค ํ๋ธŒ ์นด์šดํŒ…, (3) ์„ญ๋™ ํ•˜์—์„œ์˜ ํ”ฝ์•คํ”Œ๋ ˆ์ด์Šค ํ๋ธŒ ์นด์šดํŒ…, (4) ์‹ค์ œ SO101์—์„œ ๋ ˆ๊ณ  ๋ธ”๋ก ํ”ฝ์•คํ”Œ๋ ˆ์ด์Šค์˜ ์ผ๋ฐ˜ํ™”.

SmolVLA ์†Œ๊ฐœ!

SmolVLA-450M์€ ์˜คํ”ˆ์†Œ์Šค, ์†Œํ˜•์ด์ง€๋งŒ ๊ฐ•๋ ฅํ•œ VLA ๋ชจ๋ธ์ž…๋‹ˆ๋‹ค.

  • CPU์—์„œ ์‹คํ–‰ํ•˜๊ณ , ๋‹จ์ผ ์†Œ๋น„์ž GPU ๋˜๋Š” MacBook์—์„œ๋„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์„ ๋งŒํผ ์ž‘์Šต๋‹ˆ๋‹ค!
  • ๊ณต๊ฐœ, ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ณต์œ  ๋กœ๋ณดํ‹ฑ์Šค ๋ฐ์ดํ„ฐ๋กœ ํ•™์Šต๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
  • ์™„์ „ํ•œ ํ•™์Šต ๋ฐ ์ถ”๋ก  ๋ ˆ์‹œํ”ผ์™€ ํ•จ๊ป˜ ์ถœ์‹œ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.
  • ๋งค์šฐ ์ €๋ ดํ•œ ํ•˜๋“œ์›จ์–ด(SO-100, SO-101, LeKiwi ๋“ฑ)์—์„œ ํ…Œ์ŠคํŠธ ๋ฐ ๋ฐฐํฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์˜ ํ•™์Šต ํŒจ๋Ÿฌ๋‹ค์ž„์—์„œ ์˜๊ฐ์„ ๋ฐ›์€ SmolVLA๋Š” ์ผ๋ฐ˜ ์กฐ์ž‘ ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ์‚ฌ์ „ ํ•™์Šต ๋‹จ๊ณ„๋ฅผ ๊ฑฐ์ณ ์ž‘์—…๋ณ„ ์‚ฌํ›„ ํ•™์Šต์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์•„ํ‚คํ…์ฒ˜์ ์œผ๋กœ๋Š” ํŠธ๋žœ์Šคํฌ๋จธ์™€ ํ”Œ๋กœ์šฐ ๋งค์นญ ๋””์ฝ”๋”๋ฅผ ๊ฒฐํ•ฉํ•˜๋ฉฐ, ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์„ค๊ณ„ ์„ ํƒ์„ ํ†ตํ•ด ์†๋„์™€ ์ €์ง€์—ฐ ์ถ”๋ก ์„ ์œ„ํ•ด ์ตœ์ ํ™”๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

  • ๋น ๋ฅธ ์ถ”๋ก  ๋ฐ ๋” ์ž‘์€ ํฌ๊ธฐ๋ฅผ ์œ„ํ•ด ๋น„์ „ ๋ชจ๋ธ์˜ ์ ˆ๋ฐ˜ ๋ ˆ์ด์–ด๋ฅผ ๊ฑด๋„ˆ๋œ๋‹ˆ๋‹ค.
  • ์ž๊ธฐ ์ฃผ์˜ ๋ฐ ๊ต์ฐจ ์ฃผ์˜ ๋ธ”๋ก์„ ์ธํ„ฐ๋ฆฌ๋น™ํ•ฉ๋‹ˆ๋‹ค.
  • ๋” ์ ์€ ์‹œ๊ฐ ํ† ํฐ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ๋” ์ž‘์€ ์‚ฌ์ „ ํ•™์Šต๋œ VLM์„ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋‹ค๋ฅธ VLA๋ณด๋‹ค ํ•œ ์ž๋ฆฟ์ˆ˜ ์ ์€ 30k ํ•™์Šต ์—ํ”ผ์†Œ๋“œ๋งŒ ์‚ฌ์šฉํ•จ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , SmolVLA๋Š” ์‹œ๋ฎฌ๋ ˆ์ด์…˜๊ณผ ์‹ค์ œ ํ™˜๊ฒฝ ๋ชจ๋‘์—์„œ ํ›จ์”ฌ ๋” ํฐ ๋ชจ๋ธ๊ณผ ๋น„๊ตํ–ˆ์„ ๋•Œ ์„ฑ๋Šฅ์„ ๋™๋“ฑํ•˜๊ฑฐ๋‚˜ ์ดˆ๊ณผํ•ฉ๋‹ˆ๋‹ค.

์‹ค์‹œ๊ฐ„ ๋กœ๋ณดํ‹ฑ์Šค๋ฅผ ๋” ์‰ฝ๊ฒŒ ์‚ฌ์šฉํ•˜๊ธฐ ์œ„ํ•ด ๋น„๋™๊ธฐ ์ถ”๋ก  ์Šคํƒ์„ ๋„์ž…ํ•ฉ๋‹ˆ๋‹ค. ์ด ๊ธฐ์ˆ ์€ ๋กœ๋ด‡์ด ํ–‰๋™์„ ์ˆ˜ํ–‰ํ•˜๋Š” ๋ฐฉ์‹๊ณผ ๋ณด๊ณ  ๋“ฃ๋Š” ๊ฒƒ์„ ์ดํ•ดํ•˜๋Š” ๋ฐฉ์‹์„ ๋ถ„๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ด ๋ถ„๋ฆฌ ๋•๋ถ„์— ๋กœ๋ด‡์€ ๋น ๋ฅด๊ฒŒ ๋ณ€ํ™”ํ•˜๋Š” ํ™˜๊ฒฝ์—์„œ ๋” ๋น ๋ฅด๊ฒŒ ์‘๋‹ตํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

SmolVLA ์•„ํ‚คํ…์ฒ˜.
๊ทธ๋ฆผ 2. SmolVLA๋Š” ์—ฌ๋Ÿฌ ์นด๋ฉ”๋ผ์˜ RGB ์ด๋ฏธ์ง€ ์‹œํ€€์Šค, ๋กœ๋ด‡์˜ ํ˜„์žฌ ์„ผ์„œ๋ชจํ„ฐ ์ƒํƒœ, ์ž์—ฐ์–ด ์ง€์นจ์„ ์ž…๋ ฅ์œผ๋กœ ๋ฐ›์Šต๋‹ˆ๋‹ค. VLM์€ ์ด๋ฅผ ์ปจํ…์ŠคํŠธ ํŠน์ง•์œผ๋กœ ์ธ์ฝ”๋”ฉํ•˜์—ฌ ์•ก์…˜ ์ „๋ฌธ๊ฐ€์—๊ฒŒ ์กฐ๊ฑด๋ถ€๋กœ ์ž‘์šฉํ•˜์—ฌ ์—ฐ์†์ ์ธ ํ–‰๋™ ์‹œํ€€์Šค๋ฅผ ์ƒ์„ฑํ•ฉ๋‹ˆ๋‹ค.

๐Ÿš€ SmolVLA ์‚ฌ์šฉ ๋ฐฉ๋ฒ•?

SmolVLA๋Š” ์ž์ฒด ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ํŒŒ์ธํŠœ๋‹์ด๋“  ๊ธฐ์กด ๋กœ๋ณดํ‹ฑ์Šค ์Šคํƒ์— ํ†ตํ•ฉํ•˜๋“  ์‚ฌ์šฉ ๋ฐ ํ†ตํ•ฉ์ด ์šฉ์ดํ•˜๋„๋ก ์„ค๊ณ„๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

์„ค์น˜

๋จผ์ € ํ•„์š”ํ•œ ์ข…์†์„ฑ์„ ์„ค์น˜ํ•ฉ๋‹ˆ๋‹ค.

git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[smolvla]"

์‚ฌ์ „ ํ•™์Šต๋œ ๋ชจ๋ธ ํŒŒ์ธํŠœ๋‹

lerobot ํ•™์Šต ํ”„๋ ˆ์ž„์›Œํฌ์™€ ํ•จ๊ป˜ ์‚ฌ์ „ ํ•™์Šต๋œ 450M ๋ชจ๋ธ์ธ smolvla_base๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

python lerobot/scripts/train.py \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=lerobot/svla_so100_stacking \
  --batch_size=64 \
  --steps=20000  # ํ•™์Šต ์˜ˆ์‚ฐ์˜ 10%

์ฒ˜์Œ๋ถ€ํ„ฐ ํ•™์Šต

์‚ฌ์ „ ํ•™์Šต๋œ ์ฒดํฌํฌ์ธํŠธ๊ฐ€ ์•„๋‹Œ ์•„ํ‚คํ…์ฒ˜(์‚ฌ์ „ ํ•™์Šต๋œ VLM + ์•ก์…˜ ์ „๋ฌธ๊ฐ€)๋ถ€ํ„ฐ ์‹œ์ž‘ํ•˜์—ฌ ๊ตฌ์ถ•ํ•˜๊ณ  ์‹ถ๋‹ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์ด ํ•˜์„ธ์š”.

python lerobot/scripts/train.py \
  --policy.type=smolvla \
  --dataset.repo_id=lerobot/svla_so100_stacking \
  --batch_size=64 \
  --steps=200000

SmolVLAPolicy๋ฅผ ์ง์ ‘ ๋กœ๋“œํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

from lerobot.common.policies.smolvla.modeling_smolvla import SmolVLAPolicy
policy = SmolVLAPolicy.from_pretrained("lerobot/smolvla_base")

๋ฐฉ๋ฒ•

SmolVLA๋Š” ๊ฐ€๋ณ๊ณ  ์œ ๋Šฅํ•œ ๋ชจ๋ธ์ผ ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋ฒ”์šฉ ๋กœ๋ณดํ‹ฑ์Šค ์ •์ฑ…์„ ํ•™์Šตํ•˜๊ณ  ํ‰๊ฐ€ํ•˜๋Š” ๋ฐฉ๋ฒ•์ด๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค. ์ด ์„น์…˜์—์„œ๋Š” SmolVLA ๋’ค์— ์žˆ๋Š” ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜์™€ ํ‰๊ฐ€์— ์‚ฌ์šฉ๋œ ๋น„๋™๊ธฐ ์ถ”๋ก  ์„ค์ •์„ ์†Œ๊ฐœํ•˜๋ฉฐ, ์ด๋Š” ๋” ์ ์‘์„ฑ์ด ๋†’๊ณ  ๋น ๋ฅธ ๋ณต๊ตฌ ๋Šฅ๋ ฅ์„ ๊ฐ–์ถ˜ ๊ฒƒ์œผ๋กœ ์ž…์ฆ๋˜์—ˆ์Šต๋‹ˆ๋‹ค.

SmolVLA๋Š” ๋ฉ€ํ‹ฐ๋ชจ๋‹ฌ ์ž…๋ ฅ์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋น„์ „-์–ธ์–ด ๋ชจ๋ธ(VLM)๊ณผ ๋กœ๋ด‡ ์ œ์–ด ๋ช…๋ น์„ ์ถœ๋ ฅํ•˜๋Š” ์•ก์…˜ ์ „๋ฌธ๊ฐ€์˜ ๋‘ ๊ฐ€์ง€ ํ•ต์‹ฌ ๊ตฌ์„ฑ ์š”์†Œ๋กœ ์ด๋ฃจ์–ด์ง‘๋‹ˆ๋‹ค. ์•„๋ž˜์—์„œ SmolVLA ์•„ํ‚คํ…์ฒ˜์˜ ์ฃผ์š” ๊ตฌ์„ฑ ์š”์†Œ ๋ฐ ๋น„๋™๊ธฐ ์ถ”๋ก ์— ๋Œ€ํ•œ ์„ธ๋ถ€ ์ •๋ณด๋ฅผ ๊ณต์œ ํ•ฉ๋‹ˆ๋‹ค. ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๊ธฐ์ˆ  ๋ณด๊ณ ์„œ์—์„œ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฃผ์š” ์•„ํ‚คํ…์ฒ˜

๋น„์ „-์–ธ์–ด ๋ชจ๋ธ (VLM)

VLM ๋ฐฑ๋ณธ์œผ๋กœ SmolVLM2๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋‹ค์ค‘ ์ด๋ฏธ์ง€ ์ž…๋ ฅ์— ์ตœ์ ํ™”๋˜์–ด ์žˆ์œผ๋ฉฐ SigLIP ๋น„์ „ ์ธ์ฝ”๋”์™€ SmolLM2 ์–ธ์–ด ๋””์ฝ”๋”๋กœ ๊ตฌ์„ฑ๋ฉ๋‹ˆ๋‹ค.

  • ์ด๋ฏธ์ง€ ํ† ํฐ์€ ๋น„์ „ ์ธ์ฝ”๋”๋ฅผ ํ†ตํ•ด ์ถ”์ถœ๋ฉ๋‹ˆ๋‹ค.
  • ์–ธ์–ด ์ง€์นจ์€ ํ† ํฐํ™”๋˜์–ด ๋””์ฝ”๋”์— ์ง์ ‘ ์ „๋‹ฌ๋ฉ๋‹ˆ๋‹ค.
  • ์„ผ์„œ๋ชจํ„ฐ ์ƒํƒœ๋Š” ์–ธ์–ด ๋ชจ๋ธ์˜ ํ† ํฐ ์ฐจ์›์— ๋งž์ถ”๊ธฐ ์œ„ํ•ด ์„ ํ˜• ๋ ˆ์ด์–ด๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋‹จ์ผ ํ† ํฐ์œผ๋กœ ํˆฌ์˜๋ฉ๋‹ˆ๋‹ค.

๋””์ฝ”๋” ๋ ˆ์ด์–ด๋Š” ์ด๋ฏธ์ง€, ์–ธ์–ด ๋ฐ ์ƒํƒœ ํ† ํฐ์˜ ์—ฐ๊ฒฐ์„ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ ํŠน์ง•์€ ์•ก์…˜ ์ „๋ฌธ๊ฐ€์—๊ฒŒ ์ „๋‹ฌ๋ฉ๋‹ˆ๋‹ค.

์•ก์…˜ ์ „๋ฌธ๊ฐ€: Flow Matching Transformer

SmolVLA์˜ ์•ก์…˜ ์ „๋ฌธ๊ฐ€๋Š” VLM์˜ ์ถœ๋ ฅ์„ ์กฐ๊ฑด์œผ๋กœ ํ•˜๋Š” ์•ก์…˜ ์ฒญํฌ, ์ฆ‰ ๋ฏธ๋ž˜ ๋กœ๋ด‡ ํ–‰๋™ ์‹œํ€€์Šค๋ฅผ ์ƒ์„ฑํ•˜๋Š” ์†Œํ˜• ํŠธ๋žœ์Šคํฌ๋จธ(~100M ํŒŒ๋ผ๋ฏธํ„ฐ)์ž…๋‹ˆ๋‹ค. ์ด๋Š” ๋ชจ๋ธ์ด ๋…ธ์ด์ฆˆ ์ƒ˜ํ”Œ์„ ์‹ค์ œ ๊ฐ’์œผ๋กœ ๋˜๋Œ๋ฆฌ๋„๋ก ์•ˆ๋‚ดํ•˜๋Š” ํ”Œ๋กœ์šฐ ๋งค์นญ ๋ชฉํ‘œ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ•™์Šต๋ฉ๋‹ˆ๋‹ค. ๋ฐ˜๋ฉด, ์ด์‚ฐ์ ์ธ ํ–‰๋™ ํ‘œํ˜„(์˜ˆ: ํ† ํฐํ™”๋ฅผ ํ†ตํ•œ)์€ ๊ฐ•๋ ฅํ•˜์ง€๋งŒ ์ถ”๋ก  ์‹œ ๋А๋ฆฌ๊ณ  ๋น„ํšจ์œจ์ ์ธ ์ž๊ธฐ ํšŒ๊ท€ ๋””์ฝ”๋”ฉ์„ ์ž์ฃผ ํ•„์š”๋กœ ํ•ฉ๋‹ˆ๋‹ค. ํ”Œ๋กœ์šฐ ๋งค์นญ์€ ์—ฐ์†์ ์ธ ํ–‰๋™์˜ ์ง์ ‘์ ์ด๊ณ  ๋น„์ž๊ธฐ ํšŒ๊ท€์ ์ธ ์˜ˆ์ธก์„ ํ—ˆ์šฉํ•˜์—ฌ ๋†’์€ ์ •๋ฐ€๋„๋กœ ์‹ค์‹œ๊ฐ„ ์ œ์–ด๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.

๋” ์ง๊ด€์ ์œผ๋กœ, ํ•™์Šต ์ค‘์—๋Š” ๋กœ๋ด‡์˜ ์‹ค์ œ ํ–‰๋™ ์‹œํ€€์Šค์— ๋ฌด์ž‘์œ„ ๋…ธ์ด์ฆˆ๋ฅผ ์ถ”๊ฐ€ํ•˜๊ณ  ๋ชจ๋ธ์—๊ฒŒ ์˜ฌ๋ฐ”๋ฅธ ๊ถค์ ์œผ๋กœ ๋˜๋Œ๋ฆฌ๋Š” "๋ณด์ • ๋ฒกํ„ฐ"๋ฅผ ์˜ˆ์ธกํ•˜๋„๋ก ์š”์ฒญํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ํ–‰๋™ ๊ณต๊ฐ„์— ๊ฑธ์ณ ๋ถ€๋“œ๋Ÿฌ์šด ๋ฒกํ„ฐ ํ•„๋“œ๋ฅผ ํ˜•์„ฑํ•˜์—ฌ ๋ชจ๋ธ์ด ์ •ํ™•ํ•˜๊ณ  ์•ˆ์ •์ ์ธ ์ œ์–ด ์ •์ฑ…์„ ํ•™์Šตํ•˜๋„๋ก ๋•์Šต๋‹ˆ๋‹ค.

์ด๋ฅผ ์œ„ํ•ด ๊ต์ฐจ ์ฃผ์˜ ๋ธ”๋ก์„ ์ธํ„ฐ๋ฆฌ๋น™ํ•˜๋Š” ํŠธ๋žœ์Šคํฌ๋จธ ์•„ํ‚คํ…์ฒ˜๋ฅผ ์‚ฌ์šฉํ•˜๋ฉฐ(๊ทธ๋ฆผ 2 ์ฐธ์กฐ), VLM์˜ 75%๋กœ ์€๋‹‰ ํฌ๊ธฐ๋ฅผ ์ค„์—ฌ ๋ฐฐํฌ๋ฅผ ์œ„ํ•œ ๋ชจ๋ธ์„ ๊ฐ€๋ณ๊ฒŒ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

ํšจ์œจ์„ฑ๊ณผ ๊ฐ•๊ฑด์„ฑ์„ ์œ„ํ•œ ์„ค๊ณ„ ์„ ํƒ

๋น„์ „-์–ธ์–ด ๋ชจ๋ธ๊ณผ ํ–‰๋™ ์˜ˆ์ธก ๋ชจ๋“ˆ์„ ๊ฒฐํ•ฉํ•˜๋Š” ๊ฒƒ์€ ์ตœ๊ทผ VLA ์‹œ์Šคํ…œ(์˜ˆ: Pi0, GR00T, Diffusion Policy)์—์„œ ์ผ๋ฐ˜์ ์ธ ์„ค๊ณ„ ํŒจํ„ด์ด์ง€๋งŒ, ๊ฐ•๊ฑด์„ฑ๊ณผ ์„ฑ๋Šฅ์„ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ช‡ ๊ฐ€์ง€ ์•„ํ‚คํ…์ฒ˜ ์„ ํƒ์„ ํ™•์ธํ–ˆ์Šต๋‹ˆ๋‹ค. SmolVLA์—์„œ๋Š” ์„ธ ๊ฐ€์ง€ ์ฃผ์š” ๊ธฐ์ˆ ์„ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค: ์‹œ๊ฐ ํ† ํฐ ์ˆ˜ ๊ฐ์†Œ, VLM์˜ ์ƒ์œ„ ๋ ˆ์ด์–ด ๊ฑด๋„ˆ๋›ฐ๊ธฐ, ๊ทธ๋ฆฌ๊ณ  ์•ก์…˜ ์ „๋ฌธ๊ฐ€์—์„œ ๊ต์ฐจ ๋ฐ ์ž๊ธฐ ์ฃผ์˜ ๋ ˆ์ด์–ด ์ธํ„ฐ๋ฆฌ๋น™.

์‹œ๊ฐ ํ† ํฐ ์ถ•์†Œ

๊ณ ํ•ด์ƒ๋„ ์ด๋ฏธ์ง€๋Š” ์ธ์‹์„ ๊ฐœ์„ ํ•˜์ง€๋งŒ ์ถ”๋ก  ์†๋„๋ฅผ ํฌ๊ฒŒ ๋Šฆ์ถœ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ท ํ˜•์„ ๋งž์ถ”๊ธฐ ์œ„ํ•ด SmolVLA๋Š” ํ•™์Šต ๋ฐ ์ถ”๋ก  ์ค‘ ํ”„๋ ˆ์ž„๋‹น ์‹œ๊ฐ ํ† ํฐ ์ˆ˜๋ฅผ 64๊ฐœ๋กœ ์ œํ•œํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, 512×512 ์ด๋ฏธ์ง€๋Š” 1024๊ฐœ ๋Œ€์‹  PixelShuffle์„ ํšจ์œจ์ ์ธ ์…”ํ”Œ๋ง ๊ธฐ์ˆ ๋กœ ์‚ฌ์šฉํ•˜์—ฌ ๋‹จ 64๊ฐœ์˜ ํ† ํฐ์œผ๋กœ ์••์ถ•๋ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ฐ˜ ๋น„์ „-์–ธ์–ด ๋ชจ๋ธ(VLM)์€ ์›๋ž˜ ๋” ๋„“์€ ์ปค๋ฒ„๋ฆฌ์ง€๋ฅผ ์œ„ํ•ด ์ด๋ฏธ์ง€ ํƒ€์ผ๋ง์„ ์‚ฌ์šฉํ•˜์—ฌ ์‚ฌ์ „ ํ•™์Šต๋˜์—ˆ์ง€๋งŒ, SmolVLA๋Š” ์ถ”๋ก ์„ ๊ฐ€๋ณ๊ณ  ๋น ๋ฅด๊ฒŒ ์œ ์ง€ํ•˜๊ธฐ ์œ„ํ•ด ๋Ÿฐํƒ€์ž„์— ์ „์—ญ ์ด๋ฏธ์ง€๋งŒ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋ ˆ์ด์–ด ์Šคํ‚ตํ•‘์„ ํ†ตํ•œ ๋น ๋ฅธ ์ถ”๋ก 

VLM์˜ ์ตœ์ข… ๋ ˆ์ด์–ด์— ํ•ญ์ƒ ์˜์กดํ•˜๋Š” ๊ฒƒ(๋น„์šฉ์ด ๋งŽ์ด ๋“ค๊ณ  ๋•Œ๋กœ๋Š” ์ตœ์ ์ด ์•„๋‹Œ ๊ฒฝ์šฐ) ๋Œ€์‹  ์ค‘๊ฐ„ ๋ ˆ์ด์–ด์˜ ํŠน์ง•์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ ์—ฐ๊ตฌ์—์„œ๋Š” ์ดˆ๊ธฐ ๋ ˆ์ด์–ด๊ฐ€ ๋‹ค์šด์ŠคํŠธ๋ฆผ ์ž‘์—…์— ๋” ๋‚˜์€ ํ‘œํ˜„์„ ์ œ๊ณตํ•˜๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ๋‹ค๋Š” ๊ฒƒ์„ ๋ณด์—ฌ์ฃผ์—ˆ์Šต๋‹ˆ๋‹ค. SmolVLA์—์„œ๋Š” ์•ก์…˜ ์ „๋ฌธ๊ฐ€๊ฐ€ ํ•™์Šต ์ค‘ ๊ตฌ์„ฑ ๊ฐ€๋Šฅํ•œ ๋ ˆ์ด์–ด NN๊นŒ์ง€์˜ VLM ํŠน์ง•์—๋งŒ ์ฃผ์˜๋ฅผ ๊ธฐ์šธ์ด๋ฉฐ, ์ด๋Š” ์ „์ฒด ๋ ˆ์ด์–ด์˜ ์ ˆ๋ฐ˜์œผ๋กœ ์„ค์ •๋ฉ๋‹ˆ๋‹ค. ์ด๋Š” VLM๊ณผ ์•ก์…˜ ์ „๋ฌธ๊ฐ€ ๋ชจ๋‘์˜ ์ปดํ“จํŒ… ๋น„์šฉ์„ ์ ˆ๋ฐ˜์œผ๋กœ ์ค„์—ฌ ์„ฑ๋Šฅ ์†์‹ค์„ ์ตœ์†Œํ™”ํ•˜๋ฉด์„œ ์ถ”๋ก  ์†๋„๋ฅผ ํฌ๊ฒŒ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.

๊ต์ฐจ ๋ฐ ์ž๊ธฐ ์ฃผ์˜์˜ ์ธํ„ฐ๋ฆฌ๋น™

์•ก์…˜ ์ „๋ฌธ๊ฐ€ ๋‚ด๋ถ€์—์„œ ์ฃผ์˜ ๋ ˆ์ด์–ด๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋ฒˆ๊ฐˆ์•„ ๋‚˜ํƒ€๋‚ฉ๋‹ˆ๋‹ค.

  • ๊ต์ฐจ ์ฃผ์˜(CA): ์•ก์…˜ ํ† ํฐ์ด VLM์˜ ํŠน์ง•์— ์ฃผ์˜๋ฅผ ๊ธฐ์šธ์ž…๋‹ˆ๋‹ค.
  • ์ž๊ธฐ ์ฃผ์˜(SA): ์•ก์…˜ ํ† ํฐ์ด ์„œ๋กœ์—๊ฒŒ ์ฃผ์˜๋ฅผ ๊ธฐ์šธ์ž…๋‹ˆ๋‹ค(์ธ๊ณผ์ ์œผ๋กœ - ๊ณผ๊ฑฐ์—๋งŒ).

์ด๋Ÿฌํ•œ ์ธํ„ฐ๋ฆฌ๋น™ ์„ค๊ณ„๋Š” ์ „์ฒด ์ฃผ์˜ ๋ธ”๋ก์„ ์‚ฌ์šฉํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค ๊ฐ€๋ณ๊ณ  ๋” ํšจ๊ณผ์ ์ž„์„ ๋ฐœ๊ฒฌํ–ˆ์Šต๋‹ˆ๋‹ค. CA๋งŒ ์‚ฌ์šฉํ•˜๊ฑฐ๋‚˜ SA๋งŒ ์‚ฌ์šฉํ•˜๋Š” ๋ชจ๋ธ์€ ๋ถ€๋“œ๋Ÿฌ์›€์ด๋‚˜ ๊ธฐ๋ฐ˜์„ ํฌ์ƒํ•˜๋Š” ๊ฒฝํ–ฅ์ด ์žˆ์Šต๋‹ˆ๋‹ค.

SmolVLA์—์„œ CA๋Š” ํ–‰๋™์ด ์ธ์‹ ๋ฐ ์ง€์นจ์— ์ž˜ ์กฐ๊ฑด๋ถ€๋กœ ์ž‘์šฉํ•˜๋„๋ก ๋ณด์žฅํ•˜๋Š” ๋ฐ˜๋ฉด, SA๋Š” ์‹œ๊ฐ„์  ๋ถ€๋“œ๋Ÿฌ์›€์„ ๊ฐœ์„ ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋ถˆ์•ˆ์ •ํ•˜๊ฑฐ๋‚˜ ๋ถˆ์•ˆ์ •ํ•œ ๋™์ž‘์œผ๋กœ ์ด์–ด์งˆ ์ˆ˜ ์žˆ๋Š” ๋œ์ปน๊ฑฐ๋ฆฌ๋Š” ์˜ˆ์ธก์ด ๋ฐœ์ƒํ•  ์ˆ˜ ์žˆ๋Š” ์‹ค์ œ ์ œ์–ด์— ํŠนํžˆ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

๋น„๋™๊ธฐ ์ถ”๋ก 

๋น„๋™๊ธฐ ์ถ”๋ก 

๊ทธ๋ฆผ 3. ๋น„๋™๊ธฐ ์ถ”๋ก . ๋น„๋™๊ธฐ ์ถ”๋ก  ์Šคํƒ์— ๋Œ€ํ•œ ์„ค๋ช…. ์ •์ฑ…์€ GPU๊ฐ€ ์žˆ๋Š” ์›๊ฒฉ ์„œ๋ฒ„์—์„œ ์‹คํ–‰๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

ํ˜„๋Œ€์˜ ์‹œ๊ฐ์šด๋™ ์ •์ฑ…์€ ์•ก์…˜ ์ฒญํฌ๋ฅผ ์ถœ๋ ฅํ•ฉ๋‹ˆ๋‹ค. ์ฆ‰, ์‹คํ–‰ํ•  ํ–‰๋™ ์‹œํ€€์Šค์ž…๋‹ˆ๋‹ค. ์ด๋ฅผ ๊ด€๋ฆฌํ•˜๋Š” ๋‘ ๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ด ์žˆ์Šต๋‹ˆ๋‹ค.

  • ๋™๊ธฐ์‹(sync): ๋กœ๋ด‡์ด ์ฒญํฌ๋ฅผ ์‹คํ–‰ํ•œ ๋‹ค์Œ, ๋‹ค์Œ ์ฒญํฌ๊ฐ€ ๊ณ„์‚ฐ๋  ๋•Œ๊นŒ์ง€ ์ผ์‹œ ์ค‘์ง€ํ•ฉ๋‹ˆ๋‹ค. ๊ฐ„๋‹จํ•˜์ง€๋งŒ ๋กœ๋ด‡์ด ์ƒˆ๋กœ์šด ์ž…๋ ฅ์— ๋ฐ˜์‘ํ•  ์ˆ˜ ์—†๋Š” ์ง€์—ฐ์„ ์œ ๋ฐœํ•ฉ๋‹ˆ๋‹ค.
  • ๋น„๋™๊ธฐ์‹(async): ํ˜„์žฌ ์ฒญํฌ๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๋™์•ˆ ๋กœ๋ด‡์€ ์ด๋ฏธ ์ตœ์‹  ๊ด€์ฐฐ์„ ์ •์ฑ… ์„œ๋ฒ„(GPU์—์„œ ํ˜ธ์ŠคํŒ…๋  ์ˆ˜ ์žˆ์Œ)๋กœ ๋ณด๋‚ด ๋‹ค์Œ ์ฒญํฌ๋ฅผ ์ค€๋น„ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ์œ ํœด ์‹œ๊ฐ„์„ ๋ฐฉ์ง€ํ•˜๊ณ  ๋ฐ˜์‘์„ฑ์„ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.

๋‹น์‚ฌ์˜ ๋น„๋™๊ธฐ ์Šคํƒ์€ ํ–‰๋™ ์‹คํ–‰๊ณผ ์ฒญํฌ ์˜ˆ์ธก์„ ๋ถ„๋ฆฌํ•˜์—ฌ ๋” ๋†’์€ ์ ์‘์„ฑ๊ณผ ๋Ÿฐํƒ€์ž„ ์‹œ ์‹คํ–‰ ์ง€์—ฐ์ด ์ „ํ˜€ ์—†๋„๋ก ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ๋‹ค์Œ์˜ ํ•ต์‹ฌ ๋ฉ”์ปค๋‹ˆ์ฆ˜์— ์˜์กดํ•ฉ๋‹ˆ๋‹ค.

  • 1. ์กฐ๊ธฐ ํŠธ๋ฆฌ๊ฑฐ: ํ ๊ธธ์ด๊ฐ€ ์ž„๊ณ„๊ฐ’(์˜ˆ: 70%) ๋ฏธ๋งŒ์œผ๋กœ ๋–จ์–ด์ง€๋ฉด ๊ด€์ฐฐ์„ ์ •์ฑ… ์„œ๋ฒ„๋กœ ๋ณด๋‚ด ์ƒˆ๋กœ์šด ์•ก์…˜ ์ฒญํฌ๋ฅผ ์š”์ฒญํ•ฉ๋‹ˆ๋‹ค.
  • 2. ๋ถ„๋ฆฌ๋œ ์Šค๋ ˆ๋“œ: ์ œ์–ด ๋ฃจํ”„๋Š” ๊ณ„์† ์‹คํ–‰๋˜๊ณ  ์ถ”๋ก ์€ ๋ณ‘๋ ฌ๋กœ(๋…ผ๋ธ”๋กœํ‚น) ์ˆ˜ํ–‰๋ฉ๋‹ˆ๋‹ค.
  • 3. ์ฒญํฌ ์œตํ•ฉ: ๊ณผ๋„ํ•œ ๋œ์ปน๊ฑฐ๋ฆผ์„ ๋ฐฉ์ง€ํ•˜๊ธฐ ์œ„ํ•ด ๊ฐ„๋‹จํ•œ ๋ณ‘ํ•ฉ ๊ทœ์น™์œผ๋กœ ์—ฐ์†์ ์ธ ์ฒญํฌ์˜ ๊ฒน์น˜๋Š” ๋™์ž‘์„ ๊ฒฐํ•ฉํ•ฉ๋‹ˆ๋‹ค.

๋ชจ๋ธ์„ ๋ณ€๊ฒฝํ•˜์ง€ ์•Š๊ณ ๋„ ๋” ๋†’์€ ์ ์‘์„ฑ๊ณผ ํ–ฅ์ƒ๋œ ์„ฑ๋Šฅ์„ ๋ณด์žฅํ•˜๊ธฐ ๋•Œ๋ฌธ์— ๋น„๋™๊ธฐ ์ถ”๋ก ์„ ์ถœ์‹œํ•˜๊ฒŒ ๋˜์–ด ๋งค์šฐ ๊ธฐ์ฉ๋‹ˆ๋‹ค. ์š”์ปจ๋Œ€, ๋น„๋™๊ธฐ ์ถ”๋ก ์€ ์‹คํ–‰๊ณผ ์›๊ฒฉ ์˜ˆ์ธก์„ ๊ฒน์ณ ๋กœ๋ด‡์„ ๋ฐ˜์‘์„ฑ ์žˆ๊ฒŒ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.

์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹

๋น„์ „ ๋ฐ ์–ธ์–ด ๋ชจ๋ธ์€ LAION, ImageNet, Common Crawl๊ณผ ๊ฐ™์€ ์›น ๊ทœ๋ชจ ๋ฐ์ดํ„ฐ์…‹์—์„œ ๋ฒˆ์„ฑํ•˜์ง€๋งŒ, ๋กœ๋ณดํ‹ฑ์Šค๋Š” ์ด์— ํ•„์ ํ•  ๋งŒํ•œ ๋ฆฌ์†Œ์Šค๊ฐ€ ๋ถ€์กฑํ•ฉ๋‹ˆ๋‹ค. "๋กœ๋ด‡์˜ ์ธํ„ฐ๋„ท"์€ ์—†์Šต๋‹ˆ๋‹ค. ๋Œ€์‹ , ๋ฐ์ดํ„ฐ๋Š” ๋กœ๋ด‡ ์œ ํ˜•, ์„ผ์„œ, ์ œ์–ด ๋ฐฉ์‹ ๋ฐ ํ˜•์‹์— ๊ฑธ์ณ ํŒŒํŽธํ™”๋˜์–ด ์—ฐ๊ฒฐ๋˜์ง€ ์•Š์€ "๋ฐ์ดํ„ฐ ์„ฌ"์„ ํ˜•์„ฑํ•ฉ๋‹ˆ๋‹ค. ์ด์ „ ๊ฒŒ์‹œ๋ฌผ(https://huggingface.co/blog/lerobot-datasets)์—์„œ ์ด๋Ÿฌํ•œ ํŒŒํŽธํ™”๊ฐ€ ๊ฐœ๋ฐฉ์ ์ด๊ณ  ํ˜‘๋ ฅ์ ์ธ ๋…ธ๋ ฅ์„ ํ†ตํ•ด ์–ด๋–ป๊ฒŒ ํ•ด๊ฒฐ๋  ์ˆ˜ ์žˆ๋Š”์ง€ ์‚ดํŽด๋ณด์•˜์Šต๋‹ˆ๋‹ค. ImageNet์ด ๋Œ€๊ทœ๋ชจ์˜ ๋‹ค์–‘ํ•œ ๋ฒค์น˜๋งˆํฌ๋ฅผ ์ œ๊ณตํ•จ์œผ๋กœ์จ ์ปดํ“จํ„ฐ ๋น„์ „์˜ ๋ŒํŒŒ๊ตฌ๋ฅผ ์ด‰์ง„ํ•œ ๊ฒƒ์ฒ˜๋Ÿผ, ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ๋ฐ˜ ๋กœ๋ณดํ‹ฑ์Šค ๋ฐ์ดํ„ฐ์…‹์ด ๋ฒ”์šฉ ๋กœ๋ด‡ ์ •์ฑ…์— ๋™์ผํ•œ ๊ธฐ๋ฐ˜ ์—ญํ• ์„ ํ•  ์ˆ˜ ์žˆ๋‹ค๊ณ  ๋ฏฟ์Šต๋‹ˆ๋‹ค.

SmolVLA๋Š” ๊ทธ ๋น„์ „์— ๋Œ€ํ•œ ์ฒซ ๋ฒˆ์งธ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค: ์‹ค์ œ ์„ธ๊ณ„์˜ ๋ณ€ํ™”๋ฅผ ๋ฐ˜์˜ํ•˜๋„๋ก ์„ค๊ณ„๋œ ๊ณต๊ฐœ์ ์œผ๋กœ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ, ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ์—ฌ ๋ฐ์ดํ„ฐ์…‹์˜ ํ๋ ˆ์ด์…˜๋œ ํ˜ผํ•ฉ๋ฌผ๋กœ ์‚ฌ์ „ ํ•™์Šต๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ์…‹ ํฌ๊ธฐ๋งŒ ์ตœ์ ํ™”ํ•˜๋Š” ๋Œ€์‹  ๋‹ค์–‘์„ฑ์— ์ค‘์ ์„ ๋‘ก๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ๋™์ž‘, ์นด๋ฉ”๋ผ ์‹œ์  ๋ฐ ๊ตฌํ˜„์„ ํ†ตํ•ด ์ „์ด ๋ฐ ์ผ๋ฐ˜ํ™”๋ฅผ ์ด‰์ง„ํ•ฉ๋‹ˆ๋‹ค.

SmolVLA์— ์‚ฌ์šฉ๋œ ๋ชจ๋“  ํ•™์Šต ๋ฐ์ดํ„ฐ๋Š” Hugging Face Hub์— lerobot ํƒœ๊ทธ๋กœ ๊ณต์œ ๋œ ๋กœ๋ณดํ‹ฑ์Šค ๋ฐ์ดํ„ฐ์…‹์ธ LeRobot Community Datasets ์—์„œ ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค. ์‹คํ—˜์‹ค๋ถ€ํ„ฐ ๊ฑฐ์‹ค๊นŒ์ง€ ๋‹ค์–‘ํ•œ ํ™˜๊ฒฝ์—์„œ ์ˆ˜์ง‘๋œ ์ด๋Ÿฌํ•œ ๋ฐ์ดํ„ฐ์…‹์€ ์‹ค์ œ ๋กœ๋ด‡ ๋ฐ์ดํ„ฐ๋ฅผ ํ™•์žฅํ•˜๊ธฐ ์œ„ํ•œ ๊ฐœ๋ฐฉ์ ์ด๊ณ  ๋ถ„์‚ฐ๋œ ๋…ธ๋ ฅ์„ ๋‚˜ํƒ€๋ƒ…๋‹ˆ๋‹ค.

์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹ ์—ฟ๋ณด๊ธฐ.
๊ทธ๋ฆผ 4. ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹ ์—ฟ๋ณด๊ธฐ. ์‹œ๊ฐํ™” ์ƒ์„ฑ์— ๊ธฐ์—ฌํ•œ Ville Kuosmanen์—๊ฒŒ ํŠน๋ณ„ํžˆ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค. ํ•™์ˆ  ๋ฒค์น˜๋งˆํฌ์™€ ๋‹ฌ๋ฆฌ ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹์€ ์ž์—ฐ์Šค๋Ÿฝ๊ฒŒ ์ง€์ €๋ถ„ํ•˜๊ณ  ํ˜„์‹ค์ ์ธ ์ƒํ˜ธ ์ž‘์šฉ์„ ํฌ์ฐฉํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ์กฐ๋ช…, ์ตœ์ ์ด ์•„๋‹Œ ์‹œ์—ฐ, ๋น„์ „ํ†ต์ ์ธ ๊ฐ์ฒด ๋ฐ ์ด์งˆ์ ์ธ ์ œ์–ด ์ฒด๊ณ„. ์ด๋Ÿฌํ•œ ๋‹ค์–‘์„ฑ์€ ๊ฐ•๋ ฅํ•˜๊ณ  ๋ฒ”์šฉ์ ์ธ ํ‘œํ˜„์„ ํ•™์Šตํ•˜๋Š” ๋ฐ ๋งค์šฐ ์œ ์šฉํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

Alexandre Chapin๊ณผ Ville Kuosmanen์ด ๋งŒ๋“  ์‚ฌ์šฉ์ž ์ •์˜ํ•„ํ„ฐ๋ง ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ํ”„๋ ˆ์ž„ ์ˆ˜, ์‹œ๊ฐ์  ํ’ˆ์งˆ ๋ฐ ์ž‘์—… ์ปค๋ฒ„๋ฆฌ์ง€๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋ฐ์ดํ„ฐ์…‹์„ ์„ ํƒํ–ˆ์Šต๋‹ˆ๋‹ค. ์„ธ์‹ฌํ•œ ์ˆ˜๋™ ๊ฒ€ํ† (Marina Barannikov์—๊ฒŒ ํŠน๋ณ„ํžˆ ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค) ํ›„, 30 FPS๋กœ ํ‘œ์ค€ํ™”๋œ SO100 ๋กœ๋ด‡ ํŒ”์— ์ดˆ์ ์„ ๋งž์ถ˜ 487๊ฐœ์˜ ๊ณ ํ’ˆ์งˆ ๋ฐ์ดํ„ฐ์…‹ ์ปฌ๋ ‰์…˜์„ ํ๋ ˆ์ด์…˜ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ์•ฝ 1์ฒœ๋งŒ ํ”„๋ ˆ์ž„์„ ์ƒ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๋‹ค๋ฅธ ์ธ๊ธฐ ์žˆ๋Š” ๋ฒค์น˜๋งˆํฌ ๋ฐ์ดํ„ฐ์…‹๋ณด๋‹ค ์ ์–ด๋„ ํ•œ ์ž๋ฆฟ์ˆ˜ ์ž‘์ง€๋งŒ ํ›จ์”ฌ ๋” ๋‹ค์–‘ํ•ฉ๋‹ˆ๋‹ค.

์ž‘์—… ์ฃผ์„ ๊ฐœ์„ 

์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹ ์ „๋ฐ˜์˜ ์ผ๋ฐ˜์ ์ธ ๋ฌธ์ œ๋Š” ๋…ธ์ด์ฆˆ๊ฐ€ ๋งŽ๊ฑฐ๋‚˜ ๋ˆ„๋ฝ๋œ ์ž‘์—… ์„ค๋ช…์ด์—ˆ์Šต๋‹ˆ๋‹ค. ๋งŽ์€ ์—ํ”ผ์†Œ๋“œ์—๋Š” ์ฃผ์„์ด ์—†๊ฑฐ๋‚˜ "task desc" ๋˜๋Š” "Move", "Pick"๊ณผ ๊ฐ™์ด ๋ชจํ˜ธํ•œ ๋ ˆ์ด๋ธ”์ด ํฌํ•จ๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ํ’ˆ์งˆ์„ ๊ฐœ์„ ํ•˜๊ณ  ๋ฐ์ดํ„ฐ์…‹ ๊ฐ„์˜ ํ…์ŠคํŠธ ์ž…๋ ฅ์„ ํ‘œ์ค€ํ™”ํ•˜๊ธฐ ์œ„ํ•ด Qwen2.5-VL-3B-Instruct๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๊ฐ„๊ฒฐํ•˜๊ณ  ํ–‰๋™ ์ง€ํ–ฅ์ ์ธ ์„ค๋ช…์„ ์ƒ์„ฑํ–ˆ์Šต๋‹ˆ๋‹ค.

์ƒ˜ํ”Œ ํ”„๋ ˆ์ž„๊ณผ ์›๋ž˜ ๋ ˆ์ด๋ธ”์„ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋ธ์€ 30์ž ์ด๋‚ด๋กœ ์ง€์นจ์„ ๋‹ค์‹œ ์ž‘์„ฑํ•˜๋„๋ก ํ”„๋กฌํ”„ํŠธ๋˜์—ˆ์œผ๋ฉฐ, ํ–‰๋™ ๋™์‚ฌ(์˜ˆ: "Pick", "Place", "Open")๋กœ ์‹œ์ž‘ํ–ˆ์Šต๋‹ˆ๋‹ค.

์‚ฌ์šฉ๋œ ํ”„๋กฌํ”„ํŠธ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ์€ ํ˜„์žฌ ์ž‘์—… ์„ค๋ช…์ž…๋‹ˆ๋‹ค: {current_task}. ๋กœ๋ด‡ ํŒ”์ด ์ˆ˜ํ–‰ํ•˜๋Š” ๋™์ž‘์„ ์„ค๋ช…ํ•˜๋Š” ๋งค์šฐ ์งง๊ณ  ๋ช…ํ™•ํ•˜๋ฉฐ ์™„์ „ํ•œ ๋‹จ์ผ ๋ฌธ์žฅ์„ ์ƒ์„ฑํ•˜์„ธ์š”(์ตœ๋Œ€ 30์ž). ๋ถˆํ•„์š”ํ•œ ๋‹จ์–ด๋ฅผ ํฌํ•จํ•˜์ง€ ๋งˆ์„ธ์š”.
๊ฐ„๊ฒฐํ•˜๊ฒŒ ์ž‘์„ฑํ•˜์„ธ์š”.
๋‹ค์Œ๊ณผ ๊ฐ™์€ ์˜ˆ์‹œ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”: ์ƒ์ž๋ฅผ ์ง‘์–ด์„œ ์ƒ์ž์— ๋„ฃ์œผ์„ธ์š”, ์„œ๋ž์„ ์—ฌ์„ธ์š” ๋“ฑ.
์ œ๊ณต๋œ ์˜ˆ์‹œ์™€ ์œ ์‚ฌํ•˜๊ฒŒ, ๋กœ๋ด‡ ํŒ”์ด ์ˆ˜ํ–‰ํ•˜๋Š” ์ฃผ์š” ๋™์ž‘์€ ๋ฌด์—‡์ž…๋‹ˆ๊นŒ?

์นด๋ฉ”๋ผ ๋ทฐ ํ‘œ์ค€ํ™”

๋˜ ๋‹ค๋ฅธ ๊ณผ์ œ๋Š” ์ผ๊ด€๋˜์ง€ ์•Š์€ ์นด๋ฉ”๋ผ ์ด๋ฆ„์ด์—ˆ์Šต๋‹ˆ๋‹ค. ์ผ๋ถ€ ๋ฐ์ดํ„ฐ์…‹์€ top ๋˜๋Š” wrist.right์™€ ๊ฐ™์ด ๋ช…ํ™•ํ•œ ์ด๋ฆ„์„ ์‚ฌ์šฉํ•œ ๋ฐ˜๋ฉด, ๋‹ค๋ฅธ ๋ฐ์ดํ„ฐ์…‹์€ images.laptop๊ณผ ๊ฐ™์ด ์˜๋ฏธ๊ฐ€ ๋‹ค์–‘ํ•œ ๋ชจํ˜ธํ•œ ๋ ˆ์ด๋ธ”์„ ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๋ฐ์ดํ„ฐ์…‹์„ ์ˆ˜๋™์œผ๋กœ ๊ฒ€ํ† ํ•˜๊ณ  ๊ฐ ์นด๋ฉ”๋ผ ๋ทฐ๋ฅผ ํ‘œ์ค€ํ™”๋œ ์ฒด๊ณ„์— ๋งคํ•‘ํ–ˆ์Šต๋‹ˆ๋‹ค. OBS_IMAGE_1: ์œ„์—์„œ ๋‚ด๋ ค๋‹ค๋ณด๋Š” ๋ทฐ OBS_IMAGE_2: ์†๋ชฉ ์žฅ์ฐฉ ๋ทฐ OBS_IMAGE_3+: ์ถ”๊ฐ€ ๋ทฐํฌ์ธํŠธ

๋˜ํ•œ ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹ ์‚ฌ์ „ ํ•™์Šต๊ณผ ๋‹ค์ค‘ ์ž‘์—… ํŒŒ์ธํŠœ๋‹์˜ ๊ธฐ์—ฌ๋„๋ฅผ ๋ถ„๋ฆฌํ•ฉ๋‹ˆ๋‹ค. LeRobot ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ์‚ฌ์ „ ํ•™์Šต ์—†์ด๋Š” SmolVLA๊ฐ€ ์ฒ˜์Œ์— SO100์—์„œ 51.7%์˜ ์„ฑ๊ณต๋ฅ ์„ ๋‹ฌ์„ฑํ•ฉ๋‹ˆ๋‹ค. ์ปค๋ฎค๋‹ˆํ‹ฐ ์ˆ˜์ง‘ ๋ฐ์ดํ„ฐ๋กœ ์‚ฌ์ „ ํ•™์Šตํ•œ ํ›„ ์„ฑ๋Šฅ์€ 78.3%๋กœ ๊ธ‰์ฆํ•˜์—ฌ +26.6% ์ ˆ๋Œ€ ํ–ฅ์ƒ๋ฉ๋‹ˆ๋‹ค. ๋‹ค์ค‘ ์ž‘์—… ํŒŒ์ธํŠœ๋‹์€ ๋‚ฎ์€ ๋ฐ์ดํ„ฐ ํ™˜๊ฒฝ์—์„œ๋„ ๊ฐ•๋ ฅํ•œ ์ž‘์—… ์ „์ด ๋Šฅ๋ ฅ์„ ๋ณด์—ฌ์ฃผ๋ฉด์„œ ์„ฑ๋Šฅ์„ ๋”์šฑ ํ–ฅ์ƒ์‹œํ‚ต๋‹ˆ๋‹ค.

ํ‘œ 1. ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹์—์„œ์˜ ์‚ฌ์ „ ํ•™์Šต ๋ฐ ๋‹ค์ค‘ ์ž‘์—… ํŒŒ์ธํŠœ๋‹์˜ ์˜ํ–ฅ.

๊ฒฐ๊ณผ

SmolVLA๋ฅผ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฐ ์‹ค์ œ ๋ฒค์น˜๋งˆํฌ ์ „๋ฐ˜์— ๊ฑธ์ณ ํ‰๊ฐ€ํ•˜์—ฌ ์ผ๋ฐ˜ํ™”, ํšจ์œจ์„ฑ ๋ฐ ๊ฐ•๊ฑด์„ฑ์„ ํ…Œ์ŠคํŠธํ•ฉ๋‹ˆ๋‹ค. ์†Œํ˜•์ž„์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , ํ›จ์”ฌ ๋” ํฐ ๋…์  ๋ชจ๋ธ ๋ฐ ๋” ๋†’์€ ๊ทœ๋ชจ์˜ ๋กœ๋ณดํ‹ฑ์Šค ๋ฐ์ดํ„ฐ๋กœ ์‚ฌ์ „ ํ•™์Šต๋œ ์ •์ฑ…๋ณด๋‹ค ์ผ๊ด€๋˜๊ฒŒ ๋›ฐ์–ด๋‚œ ์„ฑ๋Šฅ์„ ๋ณด์ด๊ฑฐ๋‚˜ ๋™๋“ฑํ•œ ์„ฑ๋Šฅ์„ ๋ฐœํœ˜ํ•ฉ๋‹ˆ๋‹ค.

์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฒค์น˜๋งˆํฌ์—์„œ์˜ SmolVLA ์„ฑ๋Šฅ.

ํ‘œ 2. ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋ฒค์น˜๋งˆํฌ์—์„œ์˜ SmolVLA ์„ฑ๋Šฅ.

์‹ค์ œ ์ž‘์—…(SO100)์—์„œ์˜ SmolVLA ๋Œ€ ๊ธฐ์ค€์„ .

ํ‘œ 3. ์‹ค์ œ ์ž‘์—…(SO100)์—์„œ์˜ SmolVLA ๋Œ€ ๊ธฐ์ค€์„ .

์‹ค์ œ ํ™˜๊ฒฝ์—์„œ๋Š” SmolVLA๊ฐ€ SO100 ๋ฐ SO101์˜ ๋‘ ๊ฐ€์ง€ ๋‹ค์–‘ํ•œ ์ œํ’ˆ๊ตฐ์—์„œ ํ‰๊ฐ€๋ฉ๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ์ž‘์—…์—๋Š” ํ”ฝ์•คํ”Œ๋ ˆ์ด์Šค, ์Šคํƒœํ‚น ๋ฐ ์ •๋ ฌ์ด ํฌํ•จ๋˜๋ฉฐ, ๋ถ„ํฌ ๋‚ด ๋ฐ ๋ถ„ํฌ ์™ธ ๊ฐ์ฒด ๊ตฌ์„ฑ์ด ๋ชจ๋‘ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. SO101์—์„œ SmolVLA๋Š” ์ผ๋ฐ˜ํ™”์—์„œ๋„ ๋›ฐ์–ด๋‚ฉ๋‹ˆ๋‹ค.

์ƒˆ๋กœ์šด ๊ตฌํ˜„(SO101) ๋Œ€ ACT์— ๋Œ€ํ•œ SmolVLA์˜ ์ผ๋ฐ˜ํ™”.

ํ‘œ 4. ์ƒˆ๋กœ์šด ๊ตฌํ˜„(SO101) ๋Œ€ ACT์— ๋Œ€ํ•œ SmolVLA์˜ ์ผ๋ฐ˜ํ™”.

๋งˆ์ง€๋ง‰์œผ๋กœ, ๋™๊ธฐ ๋ฐ ๋น„๋™๊ธฐ ์ถ”๋ก  ๋ชจ๋“œ์—์„œ SmolVLA๋ฅผ ํ‰๊ฐ€ํ•ฉ๋‹ˆ๋‹ค. ๋น„๋™๊ธฐ ์ถ”๋ก ์€ ํ–‰๋™ ์‹คํ–‰๊ณผ ๋ชจ๋ธ ์ถ”๋ก ์„ ๋ถ„๋ฆฌํ•˜์—ฌ ๋กœ๋ด‡์ด ์›€์ง์ด๋Š” ๋™์•ˆ ์ •์ฑ…์ด ๋ฐ˜์‘ํ•  ์ˆ˜ ์žˆ๋„๋ก ํ•ฉ๋‹ˆ๋‹ค.

  • ๋‘ ๋ชจ๋“œ ๋ชจ๋‘ ์œ ์‚ฌํ•œ ์ž‘์—… ์„ฑ๊ณต๋ฅ (์•ฝ 78%)์„ ๋‹ฌ์„ฑํ•˜์ง€๋งŒ, ๋น„๋™๊ธฐ ์ถ”๋ก ์€:
  • ์ž‘์—…์„ ์•ฝ 30% ๋” ๋น ๋ฅด๊ฒŒ ์™„๋ฃŒํ•ฉ๋‹ˆ๋‹ค(9.7์ดˆ ๋Œ€ 13.75์ดˆ).
  • ๊ณ ์ • ์‹œ๊ฐ„ ์„ค์ •์—์„œ 2๋ฐฐ ๋” ๋งŽ์€ ์™„๋ฃŒ๋ฅผ ๊ฐ€๋Šฅํ•˜๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค(19๊ฐœ ํ๋ธŒ ๋Œ€ 9๊ฐœ ํ๋ธŒ).

์ด๋ฅผ ํ†ตํ•ด ํŠนํžˆ ๊ฐ์ฒด๊ฐ€ ์ด๋™ํ•˜๋Š” ๋™์  ํ™˜๊ฒฝ์ด๋‚˜ ์™ธ๋ถ€ ๋ฐฉํ•ด ์š”์ธ์ด ์žˆ๋Š” ํ™˜๊ฒฝ์—์„œ ๋” ๋ฐ˜์‘์ ์ด๊ณ  ๊ฐ•๊ฑดํ•œ ์‹ค์ œ ์„ฑ๋Šฅ์„ ์–ป์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์‹ค์ œ ์ž‘์—…์—์„œ์˜ ๋น„๋™๊ธฐ ๋Œ€ ๋™๊ธฐ ์ถ”๋ก .

๊ทธ๋ฆผ 5. ์‹ค์ œ ์ž‘์—…์—์„œ์˜ ๋น„๋™๊ธฐ ๋Œ€ ๋™๊ธฐ ์ถ”๋ก . (a) ์ž‘์—… ์„ฑ๊ณต๋ฅ (%), (b) ํ‰๊ท  ์™„๋ฃŒ ์‹œ๊ฐ„(์ดˆ), (c) ๊ณ ์ • ์‹œ๊ฐ„ ์ฐฝ ๋‚ด์—์„œ ์™„๋ฃŒ๋œ ์ž‘์—… ์ˆ˜.

๊ฒฐ๋ก 

SmolVLA๋Š” ๊ฐœ๋ฐฉ์ ์ด๊ณ  ํšจ์œจ์ ์ด๋ฉฐ ์žฌํ˜„ ๊ฐ€๋Šฅํ•œ ๋กœ๋ณดํ‹ฑ์Šค ๊ธฐ๋ฐ˜ ๋ชจ๋ธ ๊ตฌ์ถ•์— ๊ธฐ์—ฌํ•˜๋Š” ๋ฐ”์ž…๋‹ˆ๋‹ค. ์ž‘์€ ํฌ๊ธฐ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ , ๋‹ค์–‘ํ•œ ์‹ค์ œ ๋ฐ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ์ž‘์—…์—์„œ ๋” ํฌ๊ณ  ๋…์ ์ ์ธ ๋ชจ๋ธ๊ณผ ๋™๋“ฑํ•˜๊ฑฐ๋‚˜ ๋” ๋‚˜์€ ์„ฑ๋Šฅ์„ ๋ฐœํœ˜ํ•ฉ๋‹ˆ๋‹ค. ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ์—ฌ ๋ฐ์ดํ„ฐ์…‹๊ณผ ์ €๋ ดํ•œ ํ•˜๋“œ์›จ์–ด์—๋งŒ ์˜์กดํ•จ์œผ๋กœ์จ SmolVLA๋Š” ์—ฐ๊ตฌ์›, ๊ต์œก์ž ๋ฐ ์ทจ๋ฏธ ํ™œ๋™๊ฐ€๋ฅผ ์œ„ํ•œ ์ง„์ž… ์žฅ๋ฒฝ์„ ๋‚ฎ์ถฅ๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ด๊ฒƒ์€ ์‹œ์ž‘์ผ ๋ฟ์ž…๋‹ˆ๋‹ค. SmolVLA๋Š” ํ™•์žฅ ๊ฐ€๋Šฅํ•˜๊ณ  ํ˜‘๋ ฅ์ ์ธ ๋กœ๋ณดํ‹ฑ์Šค๋ฅผ ํ–ฅํ•œ ์„ฑ์žฅํ•˜๋Š” ์˜คํ”ˆ์†Œ์Šค ์šด๋™์˜ ์ผ๋ถ€์ผ ๋ฟ์ž…๋‹ˆ๋‹ค.

ํ–‰๋™ ์ด‰๊ตฌ:

  • ๐Ÿ”ง ์‹œ๋„ํ•ด๋ณด์„ธ์š”! ์ž์‹ ์˜ ๋ฐ์ดํ„ฐ๋กœ SmolVLA๋ฅผ ํŒŒ์ธํŠœ๋‹ํ•˜๊ณ , ์ €๋ ดํ•œ ํ•˜๋“œ์›จ์–ด์— ๋ฐฐํฌํ•˜๊ฑฐ๋‚˜, ํ˜„์žฌ ์Šคํƒ๊ณผ ๋น„๊ตํ•˜์—ฌ ๋ฒค์น˜๋งˆํ‚นํ•˜๊ณ  ํŠธ์œ„ํ„ฐ/๋งํฌ๋“œ์ธ์— ๊ณต์œ ํ•˜์„ธ์š”.
  • ๐Ÿค– ๋ฐ์ดํ„ฐ์…‹์„ ์—…๋กœ๋“œํ•˜์„ธ์š”! ๋กœ๋ด‡์ด ์žˆ๋‚˜์š”? lerobot ํ˜•์‹์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•˜๊ณ  ๊ณต์œ ํ•˜์„ธ์š”. SmolVLA์˜ ๋™๋ ฅ์ด ๋˜๋Š” ์ปค๋ฎค๋‹ˆํ‹ฐ ๋ฐ์ดํ„ฐ์…‹์„ ํ™•์žฅํ•˜๋Š” ๋ฐ ๋„์›€์„ ์ฃผ์„ธ์š”.
  • ๐Ÿ’ฌ ๋ธ”๋กœ๊ทธ ํ† ๋ก ์— ์ฐธ์—ฌํ•˜์„ธ์š”. ์•„๋ž˜ ํ† ๋ก ์— ์งˆ๋ฌธ, ์•„์ด๋””์–ด ๋˜๋Š” ํ”ผ๋“œ๋ฐฑ์„ ๋‚จ๊ฒจ์ฃผ์„ธ์š”. ํ†ตํ•ฉ, ํ•™์Šต ๋˜๋Š” ๋ฐฐํฌ์— ๊ธฐ๊บผ์ด ๋„์™€๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.
  • ๐Ÿ“Š ๊ธฐ์—ฌํ•˜์„ธ์š”. ๋ฐ์ดํ„ฐ์…‹์„ ๊ฐœ์„ ํ•˜๊ณ , ๋ฌธ์ œ๋ฅผ ๋ณด๊ณ ํ•˜๊ณ , ์ƒˆ๋กœ์šด ์•„์ด๋””์–ด๋ฅผ ์ œ์•ˆํ•˜์„ธ์š”. ๋ชจ๋“  ๊ธฐ์—ฌ๋Š” ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.
  • ๐ŸŒ ๋„๋ฆฌ ์•Œ๋ ค์ฃผ์„ธ์š”. ํšจ์œจ์ ์ธ ์‹ค์‹œ๊ฐ„ ๋กœ๋ด‡ ์ •์ฑ…์— ๊ด€์‹ฌ ์žˆ๋Š” ๋™๋ฃŒ ์—ฐ๊ตฌ์›, ๊ฐœ๋ฐœ์ž ๋˜๋Š” ๊ต์œก์ž์™€ SmolVLA๋ฅผ ๊ณต์œ ํ•˜์„ธ์š”.
  • ๐Ÿ“ซ ์—ฐ๋ฝ์„ ์œ ์ง€ํ•˜์„ธ์š”: ์—…๋ฐ์ดํŠธ, ํŠœํ† ๋ฆฌ์–ผ ๋ฐ ์ƒˆ๋กœ์šด ๋ฆด๋ฆฌ์Šค๋ฅผ ์œ„ํ•ด LeRobot ์กฐ์ง ๋ฐ Discord ์„œ๋ฒ„๋ฅผ ํŒ”๋กœ์šฐํ•˜์„ธ์š”.

ํ•จ๊ป˜, ์šฐ๋ฆฌ๋Š” ์‹ค์ œ ๋กœ๋ณดํ‹ฑ์Šค๋ฅผ ๋” ์œ ๋Šฅํ•˜๊ณ , ๋” ์ €๋ ดํ•˜๋ฉฐ, ๋” ๊ฐœ๋ฐฉ์ ์œผ๋กœ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ✨


์›๋ฌธ ์ถœ์ฒ˜: https://huggingface.co/blog/smolvla

๋Œ“๊ธ€

์ด ๋ธ”๋กœ๊ทธ์˜ ์ธ๊ธฐ ๊ฒŒ์‹œ๋ฌผ

LeRobot v0.4.0: Supercharging OSS Robot Learning

LeRobot goes to driving school: World’s largest open-source self-driving dataset