수도리무브

Rhoda AI는 VLA(Vision-Language-Action, 시각·언어·행동 통합 모델)로는 범용성에 못 닿는다고 보고, 웹 비디오로 학습한 생성 모델이 다음 프레임을 예측하면 그 프레임을 역산해 관절 명령을 뽑는 방식을 택했다. 같은 주 엔비디아 GTC 부스를 여는 Sharpa는 사과 깎기를 시연 과제로 걸고, 사람이 조종하기 가장 어려운 손안 조작만 강화학습 정책으로 미리 구워 발 페달에 붙였다. 진행자들은 어느 쪽이 맞는지 판정하지 않는다.

핵심 포인트

• Rhoda의 학습량은 한쪽으로 심하게 쏠려 있다. 웹 비디오 300년치로 사전학습한 다음 로봇 데이터는 11시간만 얹었다고 주장한다. 진행자들은 300년이라는 단위 자체가 이상하다고 먼저 짚는다.
• 다음 프레임을 시간 순서대로 하나씩 예측한다. 보통의 비디오 생성은 정해진 길이의 영상을 양방향으로 만드는데, 이쪽은 지나간 프레임을 KV 캐시로 들고 가면서 LLM의 다음 토큰 예측처럼 다음 장면을 잇는다.
• 행동은 그 장면에서 거꾸로 계산해 나온다. 예측한 프레임을 인버스 다이내믹스 모델(상태 변화로부터 그 변화를 만든 행동을 되짚는 모델)에 넣어 관절 명령으로 바꾸고, 비디오 모델과 번갈아 돌린다. 지금 실행하는 행동은 앞서 예측해 둔 것이다.
• 야바위 데모가 시각 기억의 증거로 나온다. 컵 아래 물건을 감추고 섞는 작업은 지금 이미지만 보는 VLA로는 원리상 못 푼다. Rhoda 쪽은 지나간 프레임을 전부 들고 있어 어느 컵인지 기억한다.
• 말을 안 쓰고 영상이 프롬프트 구실을 한다. 사람이 몸으로 한 번 보여 주면 로봇이 따라 한다. LLM의 퓨샷 프롬프팅에서 예시가 하던 일을 영상이 대신하는 셈이다.
• Rhoda는 정량 지표를 하나도 안 냈다. 모델 파라미터도 초당 프레임 수도 밝히지 않았고 데모만 공개했다. 진행자 한 명은 "그냥 정량적인 거는 이게 다였어"라고 말한다.
• Sharpa는 손안 조작만 떼어 강화학습으로 풀었다. PPO로 아이작 랩에서 학습한 정책 둘이 물체를 안정적으로 쥐는 것과 축을 기준으로 돌리는 것을 맡고, 조종자는 발 페달 세 개로 그 스킬을 켠다. 모방학습 단계에서 페달을 누른 시점까지 배워 VLA의 출력 하나가 스킬 켜기가 된다.
• 효과는 성공률보다 데이터 수율에서 크게 드러난다. 순수 텔레오퍼레이션은 90회 중 31회만 학습에 쓸 수 있는데, 강화학습 정책을 켜면 89%가 쓸 만해진다. 사과 깎기 성공률 자체는 30%이고 π0 베이스라인은 0%다.

주요 숫자

이게 정답이 아닐 수도 있죠. 근데 이게 됐다라는 걸 보여줬다는게 나는 굉장히 중요한 거 같아요.

필자는 Physical AI를 "VLA(Vision-Language-Action, 시각·언어·행동 통합) 모델을 end-to-end로 써서 규칙 기반으로는 불가능했던 범용 물리 작업을 해내는 시스템"으로 좁게 잡자고 주장한다. 넓게 잡으면 이미 10년 전부터 있던 것들과 구분이 사라진다.

핵심 포인트

• 용어의 출처는 엔비디아다. 젠슨 황이 GTC 2024에서 꺼냈고 "로보틱스의 ChatGPT 순간이 곧 온다"고 예고했다.
• 경계선은 2023년 7월 RT-2다. 구글 딥마인드가 웹 데이터와 로봇 데이터를 함께 학습하며 로봇의 동작을 언어 토큰처럼 다뤘다. 학습에 없던 물체로의 일반화, 추론을 거친 명령 수행, 다단계 계획이 이때부터 열렸다.
• 증거는 예전엔 안 되던 작업이 된다는 것이다. Physical Intelligence의 π0와 Figure의 Helix가 빨래 개기를 자율로 해냈다. 형태가 매번 달라지는 변형체라 로보틱스의 성배로 불리던 작업이다.
• 고전 로보틱스 진영도 넘어왔다. 모듈형 구조와 MPC(모델 예측 제어)를 쓰던 보스턴 다이내믹스가 디퓨전 트랜스포머 기반 LBM(Large Behavior Model)을 만들고 있다.
• 이름만 바뀐 것이 아니라는 주장이다. LLM·VLM 학습에서 넘어온 세계 지식을 물려받아, 명시적으로 프로그래밍하지 않은 새 물체도 다룬다는 점을 근거로 든다.

고전 로보틱스와 Physical AI

주요 숫자

로보틱스의 ChatGPT 순간이 곧 온다.

LLM에서 VLM으로, 다시 VLA로 이어지는 계보를 한 줄로 세우고 세 용어의 층위를 가른다. 언어에서 LLM이 해낸 범용화를 로봇의 몸에서 되풀이하려는 시도인데, 행동 데이터는 인터넷에 없다는 점이 그 경로를 막는다.

핵심 포인트

• 계보는 한 줄이다. LLM(텍스트)에서 VLM(시각과 언어)으로, 다시 VLA(시각·언어·행동)로 이어진다. 최근에는 촉각을 더한 VTLA까지 나온다.
• 세 용어의 층위가 다르다. VLA는 시각 인지·언어 지시·모터 동작을 한 모델에 넣은 것, LBM은 사실상 같은 것을 행동 출력 쪽에서 부르는 이름, RFM(Robot Foundation Model)은 그보다 위 개념으로 여러 환경과 여러 과제를 한 모델이 감당한다는 뜻이다.
• 특화형이 무너지는 지점이 있다. 물체 형태가 매번 달라지는 빨래 개기, 쥐는 힘과 접촉 방식을 상황마다 조절해야 하는 무른 물건 다루기가 그렇다.
• 범용 로봇이 갖춰야 할 것은 세계 지식이다. 물건은 떨어지고 물은 마르며 사람 말에는 생략된 맥락이 있다는 것을, 로봇이 별도 학습 없이 이미 알고 있어야 한다는 발상이다.
• 병목은 데이터의 존재 자체다. 로봇이 물건을 집고 문을 열고 빨래를 개는 데이터는 인터넷에 없다. 텍스트를 인터넷 규모로 긁어 성공한 LLM의 경로를 그대로 밟을 수 없는 이유다.

주요 숫자

언어의 LLM을 몸에서 되풀이한다.

분류·검출·분할마다 따로 있던 비전 모델이 통합 VLM 하나로 수렴한 경로를 로보틱스가 그대로 밟고 있다고 본다. 그 전환을 떠받치는 조건으로 사전학습 VLM 백본, 교차 embodiment 데이터셋, 스케일링 법칙 셋을 든다.

핵심 포인트

• 특화형과 범용형의 차이가 환경에서 갈린다. 특화형은 통제된 조건에서 성능이 높지만 환경이 조금만 달라져도 무너진다. 범용형은 학습에 없던 상황을 zero-shot(사전 예시 없이)이나 few-shot(예시 몇 개만으로) 처리한다.
• 조건 하나는 사전학습 VLM 백본이다. PaliGemma·Qwen-VL·SmolVLM이 인터넷 규모 학습에서 얻은 상식을 이미 갖고 있어, 로봇이 기초부터 배울 필요가 없어졌다.
• 조건 둘은 교차 embodiment 데이터셋이다. 서로 다른 로봇에서 모은 데이터를 함께 쓴다. Open X-Embodiment는 로봇 22종 이상, 과제 527개, 에피소드 100만 건을 넘는다.
• 조건 셋은 스케일링 법칙이다. 모델이 커지고 데이터가 다양해질수록 일반화가 좋아진다는 LLM의 경험칙이 로봇에도 적용될 것으로 본다.
• 일반화 사례가 이미 나와 있다. π0.5는 학습에 없던 환경에 적응하고, GR00T는 서로 다른 하드웨어를 오가며, SmolVLA는 4.5억 파라미터로 범용 수준의 성능을 낸다.
• 당분간의 절충은 파인튜닝이다. 넓은 기반 모델에 과제별 미세조정을 얹어 특화형의 정밀도와 범용형의 유연성을 같이 가져간다. 웹 데이터·시뮬레이션·로봇 데이터를 함께 학습해 미세조정조차 필요 없게 만드는 것이 지향점이다.

교차 embodiment 데이터셋

주요 숫자

비전 AI가 걸어간 길.

행동 데이터가 인터넷에 없다는 사실, 실물 로봇을 돌려야 하는 평가 비용, 촉각 센싱과 하드웨어 제조의 미완성이 규모 확대를 막는다고 정리한다. 이를 뚫으려는 수집 경로 다섯을 늘어놓되 어느 쪽도 정답으로 판명되지 않았다고 닫는다.

핵심 포인트

• 막는 것 하나는 데이터가 없다는 사실이다. 행동 데이터는 인터넷에 존재하지 않는다. 텍스트처럼 이미 쌓여 있는 것을 긁어오는 방식이 통하지 않고 물리적으로 직접 모아야 한다.
• 막는 것 둘은 평가 비용이다. 실물 로봇을 돌려야 성능을 알 수 있고 하드웨어가 부서질 위험 때문에 자동 벤치마크를 못 돌린다. 개발 반복 속도가 여기서 직접 깎인다.
• 경로 하나는 텔레오퍼레이션이다. 테슬라는 옵티머스 학습용 조종자를 시급 48달러에 뽑았고 키 170~180cm, 하루 7시간 이상 보행, 13kg 운반이라는 신체 조건을 걸었다. VR 장비를 오래 쓰면 피로와 멀미가 와서 조종 시간 자체가 한계다.
• 경로 둘은 UMI다. 로봇 없이 사람이 들고 다니는 집게로 조작 데이터를 모으고, 그 데이터를 다른 로봇 플랫폼으로 옮긴다.
• 경로 셋은 시뮬레이션이다. 엔비디아 Isaac GR00T가 합성 데이터를 만든다. 시뮬레이션과 현실의 차이를 메우는 것이 관건이다.
• 경로 넷은 커뮤니티다. HuggingFace가 하드웨어와 소프트웨어를 오픈소스로 풀고 데이터·모델을 한곳에 모은다. SmolVLA가 그 가능성의 증거로 제시된다.
• 경로 다섯은 월드모델과 역동역학 모델이다. 1X Technologies가 레이블 없는 영상에서 행동을 역으로 뽑아낸다. 인터넷에 쌓인 사람 행동 영상을 데이터원으로 바꾸려는 시도다.
• 결론은 미정이다. 다섯 경로 가운데 어느 것도 규모 문제를 푼다고 입증되지 않았다.

LLM과 VLA의 대조

주요 숫자

인터넷에 없는 데이터.