여러 편을 한 물음으로 꿴 글
로봇을 만드는 회사들이 서로 다른 것을 내놓는 것처럼 보이지만, 답하는 물음은 하나입니다 — 다음 순간 관절을 얼마씩 움직일지를 무엇에서 뽑을 것인가. 이 보고서는 수도리무브 서른다섯 편을 그 물음 하나로 꿰어 정리한 것입니다. 아래 섹션의 카드가 영상 한 편씩을 답한다면, 여기서는 그 답들을 이어 붙입니다.
관절까지 가는 네 가지 길
넷을 가르는 축은 관절 값을 어디서 뽑느냐 하나입니다. 지금 보이는 화면에서 곧바로 뽑으면 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)이고, 다음 장면을 먼저 그린 뒤 그 두 장면의 차이에서 관절 값을 거꾸로 계산하면 비디오 액션모델입니다. 관절을 직접 내지 않고 어떤 행동이 어떻게 끝날지를 미리 보여 주면 월드모델입니다. 무엇을 할지 정하는 층과 그 말을 관절 값으로 만드는 층을 갈라 놓았으면 위계형입니다.
세 이름이 자주 섞여 쓰입니다. VLA는 화면과 말을 받아 행동을 내는 모델이고, LBM(Large Behavior Model, 관찰을 받아 다음 행동을 통째로 생성하는 대형 행동모델)은 언어를 전제로 하지 않습니다. RFM(Robot Foundation Model, 로봇 파운데이션 모델)은 구조 이름이 아니라 쓰임의 이름이라, 어느 구조든 여러 로봇에 얹을 작정이면 그렇게 부릅니다. 「피지컬 AI」도 넓게 받으면 자율주행과 디지털 트윈까지 들어와 10년 전과 구분이 사라집니다. 좁게 받으면 규칙으로 못 하던 일을 통째 학습으로 푸는 경우만 세고, 그 경계선을 2023년 7월 RT-2(구글 딥마인드가 낸 VLA)로 잡습니다.
같은 수렴이 한 번 더 일어난다고 보는 견해가 이 채널의 기초 편에 있습니다. 분류와 검출과 분할마다 따로 있던 비전 모델이 통합 VLM(Vision-Language Model, 이미지와 언어를 함께 이해하는 모델) 하나로 모였듯, 로봇도 과제별 특화형에서 범용형으로 간다는 것입니다. 떠받치는 조건으로 사전학습 VLM 백본(밑바탕으로 깔고 그 위에 얹는 모델), 여러 로봇 몸체에서 모은 교차 임바디먼트(cross-embodiment) 데이터셋, 스케일링 법칙(데이터와 모델을 키울수록 성능이 좋아진다는 경험칙) 셋을 듭니다. Open X-Embodiment 는 로봇 22종 이상에서 과제 527개, 에피소드 100만 건을 넘겼습니다.
자유도는 따로 움직일 수 있는 축을 센 수다
행동 데이터가 오는 네 자리
언어모델은 인터넷에서 재료를 얻었지만 로봇의 재료인 행동 데이터는 인터넷에 없습니다. 어떤 장면에서 관절을 얼마씩 움직였는지가 짝지어져 있어야 하는데, 사람이 찍어 올린 영상에는 그 관절 값이 없습니다. 그래서 회사마다 재료를 다른 자리에서 구하고, 어디서 구하느냐가 그 회사의 방법을 정합니다.
첫째 자리는 사람이 로봇을 직접 조종해 만드는 것입니다. 관절 값이 그대로 기록되니 재료로는 가장 깨끗한데, 사람이 한 건씩 만들어야 해서 양이 안 늘어납니다. Figure AI 가 약 500시간, 1X Technologies 가 로봇 데이터 70시간을 이렇게 모았습니다. 조종이 실패하면 그 시도는 버려집니다 — Sharpa 는 90회를 시도해 31회만 건졌다고 밝혔고, 어려운 구간을 강화학습 정책에 넘긴 뒤 89%로 올렸습니다.
둘째 자리는 로봇 대신 사람 몸에 장비를 달아 만드는 것입니다. Sunday Robotics 는 특허를 낸 장갑을 500가구에 돌려 데이터를 모으고, 1X Technologies 는 머리에 쓴 카메라로 찍은 사람 1인칭 영상 900시간을 씁니다. DYNA Robotics 는 같은 종류의 영상 100만 시간을 쓰는데 상당수를 데이터 벤더에게서 삽니다. 인도와 동남아시아에서 헤드밴드에 휴대폰을 달고 일하며 찍는 방식이고, 벤더 한 곳이 한 달에 1만 시간 안팎을 낸다고 진행자들은 추정합니다. 이런 벤더가 어림잡아 쉰 곳쯤 있다는 것도 진행자들의 추정입니다.
셋째 자리는 인터넷에 이미 올라온 영상입니다. Rhoda AI 는 웹 비디오 300년치로 사전학습했다고 주장합니다. 값은 가장 싸지만 관절 값이 아예 없어서, 장면만 보고 그 사이 움직임을 거꾸로 계산하는 부품을 따로 두어야 합니다. 넷째 자리가 그 연장입니다 — 모델이 장면을 그리고 거기서 관절 값을 뽑아 재료를 스스로 만들어 냅니다. 엔비디아의 DreamGen 이 그렇게 뽑은 의사(疑似) 액션으로 VLA 를 학습시킵니다.
그래서 「누가 데이터를 더 많이 가졌나」는 물을 수가 없습니다. Generalist AI 는 에피소드 1천만 건에 27만 시간이라 말하고 Rhoda AI 는 년으로 세는데, 이 둘을 한 자로 잴 방법이 없습니다. 모은 양이 아니라 버린 비율을 밝힌 곳은 Sharpa 하나뿐이라, 나머지 숫자가 성공한 것만 센 값인지도 확인할 수 없습니다.
왜 지금 로봇인가에 대한 답도 데이터 쪽에 있습니다. 약 300페이지짜리 AI 연간 보고서를 훑은 편은 강화학습으로 수학과 코딩을 정복한 흐름이 다음은 물리 노동이라는 결론으로 이어진다고 읽습니다. 다만 「로봇 데이터 없이 됐다」는 말은 아무 데나 붙지 않습니다. 그 말이 맞는 곳은 Sunday Robotics 와 Generalist AI 두 회사이고, Sunday Robotics 는 로봇 「메모」의 제작 원가를 2만 달러로 밝혔습니다.
Figure AI 는 2022년 San Jose 에서 시작해 로봇과 모델을 다 만드는 회사입니다. 2025년 9월 시리즈 C 로 390억 달러 밸류를 받았고, 2026년 6월 Figure 03 을 BMW 에 인도했습니다 (회사 발표 기준. 진행자들이 다룬 대목은 아닙니다).
Figure AI 의 Helix 가 이 방식의 계보를 보여 줍니다. 2025년 3월 첫 공개 때 그리퍼(집게 손) 7 자유도(DOF, 따로 움직일 수 있는 관절 축의 수)에 머물던 것을 상체 35 자유도로 밀어올렸고, 그해 6월까지도 물류 한 과제에 상체만 썼습니다. 2026년 2월 Helix 02 에서 골반과 다리가 들어왔는데, 균형을 강화학습이 아니라 이미테이션 러닝(사람 시범을 그대로 따라 하도록 학습시키는 방법)으로 풀었다는 점이 이 편의 요지였습니다.
Figure Helix 가 세 판에 걸쳐 늘린 것
열어 놓는 범위도 회사마다 갈립니다. 2024년 서울에서 시작한 RLWRLD 는 누적 조달 4,100만 달러로 여기 나오는 회사 가운데 가장 작습니다. 그 회사가 낸 RLDX-1 은 가중치 세 종과 인퍼런스·학습 코드를 열었지만 어블레이션 실험(부품을 하나씩 빼 보고 성능이 얼마나 떨어지는지 재는 실험)은 열지 않았고, 벤치마크가 자사 강점에 맞춰 설계됐다는 지적이 함께 붙었습니다. 2024년 Mountain View 에서 시작한 Sunday Robotics 는 특허 장갑으로 500가구에서 데이터를 모으고 2026년 3월 밸류 11억 5천만 달러를 받았는데, 데모 대신 처음 보는 집에서 빨래 개기 99.1%를 내놨습니다.
앤트로픽은 아예 다른 자리에 섰습니다. 언어모델을 두 가지로 시켜 봤는데, 둘은 무엇을 출력하느냐가 다릅니다. 하나는 Claude 가 글자로 관절 값 숫자열을 그대로 뱉는 방법입니다. 파인튜닝 없이 그렇게 시켰더니 LIBERO(로봇 조작 과제를 겨루는 시뮬레이션 벤치마크)에서 5%가 나왔습니다. 전용 액션모델은 같은 과제에서 90~95%를 냅니다. 다른 하나는 Claude 가 말로 지시만 하고 관절 값은 액션모델 MolmoAct 가 내게 하는 방법입니다. 이때 Claude 의 몫은 언제 무엇을 시킬지 정하고, 나온 결과를 보고 다시 시킬지 판단하는 것입니다. MolmoAct 가 혼자서 0%를 내던 낯선 과제에서 이 방법이 30~42%까지 올렸습니다.
같은 IDM, 들어가는 장면만 다르다
이 방식은 부품 둘로 섭니다. 비디오 모델이 지금 프레임과 지시를 받아 다음 장면을 그리고, IDM(Inverse Dynamics Model, 역동역학 모델)이 그 장면에서 관절 값을 거꾸로 계산합니다 — 영상에는 픽셀만 있고 관절 각도 숫자가 없으니, 손이 여기서 저기로 갔다는 것에서 「어깨를 몇 도, 팔꿈치를 몇 도 돌렸어야 이렇게 보이나」를 푸는 것입니다. 같은 IDM 이 학습 쪽에도 섭니다. 1X Technologies 는 IDM 자체를 로봇 데이터 400시간으로 학습시킨 뒤, 라벨이 없던 사람 1인칭 영상 900시간에 관절 값을 붙여 학습 재료로 바꿨습니다. 엔비디아의 DreamGen 도 같은 방식으로 뽑은 의사(疑似) 액션으로 VLA 를 학습시킵니다.
약점은 속도입니다. 140억 파라미터 비디오 모델이 5초짜리 영상을 만드는 데 11초가 걸리고 IDM 이 액션을 뽑는 데 1초가 더 붙어, 12초 상상하고 5초 실행하는 방식이 됩니다. Rhoda AI 는 웹 비디오 300년치로 사전학습한 뒤 로봇 데이터를 11시간만 얹었다고 주장하는데 정량 지표를 하나도 내지 않았습니다. 2026년 3월 열여덟 달 스텔스를 끝내며 시리즈 A 4억 5천만 달러를 받은 회사이고, 밸류는 진행자들이 11억 7천만 달러로 말했는데 블룸버그는 17억 달러로 적었습니다 — 어느 쪽인지 회사가 밝히지 않았습니다.
2024년 Redwood City 에서 시작한 DYNA Robotics 는 사람 1인칭 영상 100만 시간, 사람 시간으로 170년만으로 Dyna-2 를 사전학습해 로봇 데이터를 한 번도 안 보고 예측하는 제로샷을 보였다고 주장합니다. 그 뒤 로봇 데이터로 파인튜닝(미세조정)했을 때 성공률이 20%에서 53%까지 올랐는데, 53%는 아직 배포할 수준이 아니라고 진행자들이 선을 긋습니다.
월드모델 — 시켜 보기 전에 결과를 미리 본다
같은 부품이 평가로도 쓰입니다. 실물 로봇을 돌려야 성능을 알 수 있다는 것이 로봇 쪽의 오래된 비용인데, 1X World Model 은 정책이 낸 행동을 받아 미래 1인칭 영상과 상태가치(state value, 그 장면이 과제를 끝낸 쪽에 얼마나 가까운지를 매긴 숫자)를 함께 냅니다. 값이 0 이하면 실패로 치고, 남은 후보만 실물로 확인합니다.
General Intuition 은 같은 종류의 모델을 영상 생성기가 아니라 에이전트 훈련장이라고 부릅니다. 2025년 뉴욕에서 게임 클립 플랫폼 Medal 에서 분사한 회사이고, 2026년 6월 시리즈 A 3억 2천만 달러로 밸류 23억 달러를 받았습니다. 학회 현장 데모에서 MIRA 는 5B(50억) 파라미터로 엔비디아 B200 한 장에서 로켓 리그 4인 시점을 1초에 20장씩 만들었고, 기억하는 길이는 4초였습니다. 큰 모델이 못 내는 속도를 작은 모델이 내는 대신, 그만큼 짧게 기억합니다.
층마다 도는 주기가 다르다
층 사이에 무엇이 오가나
구글 딥마인드가 낸 Gemini Robotics 2 가 이 방식을 한 화면에서 보여 줬습니다. 로봇이 일을 하던 중에 빨간 경고등이 켜지자 스스로 멈추고, 빨간불이 들어와서 멈춰야겠다는 취지로 말까지 합니다. 멈추라고 정한 것은 팔을 움직이던 아래층이 아니라 상황을 보는 위층입니다.
층 셋이 하는 일은 이렇게 갈립니다. 맨 위는 1초에 한 번만 돌면서 「컵을 집어」 같은 말을 아래로 내려보냅니다. 가운데는 그 말을 받아 팔 끝을 어디로 옮길지와 손가락을 얼마나 굽힐지를 숫자로 냅니다. 이 가운데 층은 위에서 다음 말이 올 때까지 그 일만 되풀이하고, 「컵을 들었다」처럼 그 단계가 끝났다는 것이 확인돼야 위층이 다시 판단합니다. 맨 아래는 로봇 몸 안에 들어 있으면서, 위에서 온 숫자대로 팔이 움직여도 넘어지지 않게 다리와 몸통을 잡는 일만 합니다. Figure Helix 02 는 이 균형층을 파라미터 1천만 개짜리 작은 모델로 따로 두고 1초에 1000번 돌립니다.
왜 굳이 나누느냐면 필요한 속도가 다르기 때문입니다. 무엇을 할지 정하는 일은 1초에 한 번이면 되지만 넘어지지 않게 잡는 일은 1초에 천 번이라야 합니다. 한 모델이 둘 다 맡으면 가장 빠른 쪽에 맞춰 전부 돌려야 해서 판단 쪽이 그만큼 얇아집니다.
구글 딥마인드 로보틱스는 로봇을 만들지 않습니다. 모델만 내놓고 몸은 파트너사에서 빌립니다. 가장 어려웠던 과제인 비닐봉지 묶기 성공률을 44%로 그대로 공개했고, 그 시연에는 한 짝에 5만 달러인 Sharpa 손이 쓰였습니다.
쪼갠다는 것만으로는 이 방식이 아닙니다. Physical Intelligence 의 π0.5 도 「방 정리해줘」를 하위 작업으로 쪼개지만 그 일을 한 모델 안에서 하므로 VLA 방식입니다. 가르는 것은 쪼개느냐가 아니라 층이 서로 다른 주기로 따로 도느냐입니다.
Sharpa 는 2024년 싱가포르에서 라이다 회사 Hesai 경영진 셋이 세운 곳이고, 22 자유도 손 SharpaWave 를 2025년 12월부터 양산합니다. 여기 나오는 회사 가운데 하드웨어를 실제로 파는 유일한 곳입니다. 층을 나누는 이유는 데이터 쪽에서 드러납니다. 적당한 힘으로 쥐고 축을 잡아 돌리는 동작은 사람이 원격으로 조종해도 실패가 잦아, 90회를 시도해 31회만 학습에 쓸 수 있었습니다. 그 구간만 강화학습 정책에 넘기는 스위치가 발 페달이고, 페달을 쓰자 89%가 쓸 만해졌습니다. 보스턴 다이내믹스는 반대로 오래된 부품을 남겨 뒀습니다. LBM 이 다리와 상체를 함께 내되, MPC(Model Predictive Control)가 넘어지지 않는 범위를 잡아 줍니다.
방식마다 어느 회사가 서 있나
로봇 한 대를 누가 나눠 대는가
엔비디아가 GTC 2026 키노트를 열흘 앞두고 낸 논문 다섯 편이 이 표를 그대로 보여 줍니다. 월드모델 쪽에 DreamDojo, VLA 쪽에 SONIC 과 EgoScale, 비디오 액션모델 쪽에 DreamZero 와 Cosmos Policy 가 섰습니다. 한 회사가 방식 셋에 동시에 재료를 깔아 둔 셈입니다.
1초에 몇 번 도는지로 방식을 견준다
엔비디아는 모델을 파는 자리에 서지 않습니다. DreamZero 와 Cosmos Policy 처럼 남이 가져다 쓸 재료를 내놓고, 그 재료가 도는 GPU 를 팝니다. 한국 회사들의 자리도 이 표에서 갈립니다. 레인보우로보틱스가 엔비디아 데모에 낸 것은 하드웨어였고 모델은 삼성리서치 몫이었습니다.
하드웨어를 아예 안 만드는 회사도 있습니다. 2024년 샌프란시스코에서 시작한 Physical Intelligence 는 π 시리즈 모델만 팔고, 2025년 11월 밸류 56억 달러로 6억 달러를 받았습니다. 진행자들이 말한 110억 달러는 협상 단계 보도이고 마감 여부가 확인되지 않았습니다. Generalist AI 는 2024년 San Mateo 에서 딥마인드와 보스턴 다이내믹스 출신들이 세운 곳으로, GEN-0 부터 GEN-1.5 까지 아홉 달 만에 세 판을 냈습니다.
Sharpa 의 덱스터러스 손(손가락을 사람처럼 정교하게 움직이는 손)은 한 짝에 5만 달러이고 두 짝이면 1억 5천만 원입니다. 로봇 상체보다 비쌀 때가 있습니다. 값이 문제의 전부도 아닙니다. Figure 03 과 1X 네오가 좋아져도 병뚜껑 하나가 손을 막고, 손은 관절 하나에 액추에이터 하나가 필요한데 그 소형 부품 주문이 밀립니다. 모델을 키우는 것으로는 풀리지 않는 종류의 병목입니다.
로봇 손이 막는 자리 넷
손을 고르는 기준은 셋으로 정리됩니다 — 자유도, 손가락 끝 악력, 센싱입니다. 사람 손이 22 자유도인데 로봇 손에 최소한 권할 만한 값은 12~13이고, 악력은 우지가 15N일 때 알렉스가 40N입니다. 우지는 연속으로 돌리면 40분에 과열로 멈췄습니다. 값과 힘과 내구가 한꺼번에 좋은 손이 아직 없습니다.
케이스케일은 예약을 받고도 투자가 끊겨 무너졌습니다. 1X 가 붙인 2만 달러라는 값은 손해를 감수한 가격이라고 진행자들은 읽습니다. 비상장 회사에 개인이 닿는 통로는 얇습니다. Figure AI 의 경우 로보스트레티지라는 상자 하나를 거쳐야 하는데 그 안에 얼마나 들었는지가 공개돼 있지 않습니다. 신년 잡담에서 진행자들은 VLA 가 산업 표준이 되는 시점을 2028년으로 잡았습니다.
학회와 전시장 기록은 발표 자료가 못 하는 말을 합니다. CoRL 2025 현장에서 강화학습 보행은 학회장을 걸어 다닐 만큼 풀린 것으로 취급됐는데 VLA 조작은 집어서 옮기는 데 머물렀습니다. CES 부스에서 만진 데모는 배속 없이 1배속이었고, AIRK 데모룸의 손은 7자유도에 2kg이라 들어 봐야 아는 무게였습니다. 학부팀 해커톤에서는 색으로 갈라 담는 과제를 1·2학년 팀이 해냈고 행주 접기는 어느 팀도 끝내지 못했습니다. 형태가 매번 달라지는 물건이 여기서도 걸립니다.
데모를 읽는 법도 현장 기록에서 나옵니다. Figure Helix 의 리모컨 데모가 「사람 같다」는 말을 들었을 때, 진행자들은 그 인상이 손가락이 아니라 몸통 움직임에서 났다고 좁혔습니다. 리모컨을 조작하는 손의 자유도는 6 정도로 추정되는데 회사가 공개한 값은 22 입니다. 로보티즈 워크숍에서는 자율주행을 하던 사람이 VLA 를 네 교훈으로 풀었고, 초기 VLA 가 연속된 행동 값을 256개 구간으로 쪼개 토큰처럼 다뤘다는 대목이 그중 하나였습니다.
서울 해커톤 기록은 소프트웨어 밖의 병목을 보여 줍니다. 참가팀의 절반 이상이 모터 펌웨어 버전이 맞지 않아 시간을 썼고, 주어진 시간은 30시간이었습니다. 오픈소스 로봇 르로봇이 집에서 조립하던 실습에서 회사의 데이터 전략으로 굳는 동안에도 이 자리는 그대로였습니다.
첫째는 손입니다. 값도 비싸고 병뚜껑 하나에 막힙니다. 둘째는 평가 비용입니다. 실물 로봇을 돌려야 성능을 알 수 있어 1X Technologies 는 그 시험을 월드모델로 대신하려 합니다. 셋째는 낯선 환경입니다. 익숙한 과제에서 90~95%를 내던 액션모델이 낯선 과제에서 0%까지 떨어졌고, 범용 언어모델이 그 모델을 도구로 불렀을 때 30~42%가 나왔습니다.
마지막으로 이 층의 한계를 밝힙니다. 방식 넷은 우리 분류이고 원문이 그렇게 나눈 것이 아닙니다. 여기 실린 숫자는 진행자들이 말한 것을 옮긴 것이라 따로 검증하지 않았고, 인용은 달지 않았습니다. 출처는 아래 섹션의 각 카드와 그 카드가 링크한 자막 기반 변환본에 있습니다.