📃PWTF 리뷰

mpc

vlm

manipulation

digital-twin

gaussian-splatting

real2sim

SAPIEN

world-model

zero-shot

planning

Prompting with the Future: Open-World Model Predictive Control with Interactive Digital Twins

Published

July 25, 2026

Paper Link
Code Link
Project
Chuanruo Ning, Kuan Fang†, Wei-Chiu Ma† (Cornell University, †equal advising)
RSS 2025 (arXiv:2506.13761v1)

💡 VLM은 의미 추론은 잘하지만 접촉·동역학 같은 물리를 못 읽어 저수준 제어에 못 쓴다 — 그래서 VLM에게 물리를 시키지 말고, 실제 장면을 복제한 interactive digital twin에서 후보 행동을 미리 굴려본 뒤 그 미래 관측 이미지를 보여주고 “어느 쪽이 목표에 가깝냐”만 고르게 한다.
⚙️ 핸드헬드 비디오 스캔 → 2D Gaussian Splatting + TSDF로 mesh/Gaussian 하이브리드 트윈을 만들고, 매 계획 스텝마다 CEM으로 90개 행동을 샘플링해 시뮬레이션한 뒤, VLM이 렌더링 시점까지 스스로 골라 결과를 비교·선택하는 MPC를 돈다.
🎯 8개 실세계 태스크(태스크당 10 trial)에서 총 47/80 성공 — VoxPoser* 22/80, MOKA 21/80, OpenVLA 6/80, π₀ 6/80(태스크별 20 demo 파인튜닝해도 5~9/80)을 크게 앞선다(합계는 Table II 수치로부터 계산).

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

“어질러진 신발장을 정리해라”라는 지시를 로봇에게 주면, VLM은 어떤 신발이 짝인지, 최종 배치가 어때야 하는지는 곧잘 안다. 그런데 그 다음이 문제다. 그리퍼를 어느 자세로 몇 센티 내려야 신발이 넘어지지 않고 잡히는지, 지금 각도로 밀면 옆 신발과 충돌하는지 — 이건 이미지 한 장을 보고 답할 수 있는 질문이 아니다. 기존 연구들은 이 간극을 VLM에게 3D value map(VoxPoser), 2D 키포인트(MOKA), 화살표 오버레이(PIVOT) 같은 중간 표현을 출력하게 해서 메우려 했는데, 이건 결국 “이 행동을 하면 무슨 일이 벌어질까”를 VLM 머릿속에서 암묵적으로 시뮬레이션하라는 요구다. VLM은 그걸 못한다.

PWTF의 발상은 그 요구를 아예 없애는 것이다. 물리 추론은 물리 엔진에게 시키고, VLM에게는 결과를 보고 고르는 일만 시킨다. 아이폰으로 작업 공간을 한 번 스캔해 Gaussian splatting + mesh 하이브리드로 재구성하고, 움직일 수 있는 물체를 분리해 물리 시뮬레이터에 얹으면 “아직 일어나지 않은 미래”를 굴려볼 수 있는 interactive digital twin이 된다. 그 트윈에서 후보 행동 90개를 굴려 각각의 결과를 사진처럼 렌더링한 뒤, VLM에게 “이 중 어느 것이 목표에 가장 가깝나?”라고 묻는다. VQA는 VLM이 원래 잘하는 in-distribution 과제다. 로봇 데이터 수집도, 파인튜닝도, in-context 예제도 없다.

티저(Fig. 1) — 왼쪽: 입력은 장면 스캔 관측 + 자유형식 지시. 위: 기존 방법은 현재 관측에 value map / keypoints / arrows를 얹어 프롬프트한다(→ VLM이 물리를 암묵 추론해야 함). 아래: PWTF는 interactive digital twin으로 샘플 행동의 결과를 시뮬레이션해 그 미래 이미지를 프롬프트하고, 비교·선택으로 행동을 최적화한다.

핵심 방법론:

행동 a_t \in \mathbb{R}^7은 6-DoF 그리퍼 자세 + 손가락 개폐(이진)다. 시뮬레이터 S는 mesh 표현 M에 행동 a를 가해 물체·로봇의 변환을 예측하고,

\mathcal{T} = S(M, a)

이 변환을 Gaussian 표현 G에 그대로 적용해 미래 상태 G(\mathcal{T})를 얻는다(각 Gaussian은 중심 간 유클리드 거리로 가장 가까운 movable mesh에 앵커되어 그 mesh의 평행이동·회전을 상속한다). 그리고 카메라 설정 C에서 배경을, URDF U로 로봇을 따로 렌더한 뒤 깊이 기준으로 합성한다.

I_g = \mathrm{Render}(G(\mathcal{T}), C), \qquad I_r = \mathrm{Render}(S(U,a)), \qquad I = \{ I_i \in \mathbb{R}^{W \times H \times 3} \}

즉 물리는 mesh가, 외양은 Gaussian이 담당하는 역할 분담이다. 이렇게 만든 I를 시각 프롬프트로 써서 CEM(Cross-Entropy Method)을 돌린다: 다변량 가우시안에서 90개 행동을 뽑아 트윈에서 굴리고, 결과 관측 o_{t,k}를 5개씩 묶어 VLM에게 각 그룹의 최선을 고르게 하고, 뽑힌 elite로 분포를 갱신 — 3회 반복 후 최종 분포의 평균을 a_t로 실행한다.

전체 파이프라인(Fig. 3) — 왼쪽: 초기 다시점 관측에서 VLM이 서브태스크를 생성하고 현재 진행 단계를 고른다. 가운데: 트윈이 후보 행동들의 미래 상태를 여러 시점에서 렌더한다(세로축=시점, 가로축=행동). 오른쪽: VLM이 “front view로 바꿔라”(적응적 렌더링)와 “두 번째 결과가 낫다”(행동 최적화)를 각각 판정한다.

주요 결과:

성공률(Table II, 태스크당 10 trial = 5 씬 × 2 롤아웃): 8개 태스크에서 PWTF는 5/6/5/6/9/4/7/5 — 합계 47/80. 베이스라인 합계(직접 계산)는 VoxPoser* 22/80, MOKA 21/80, OpenVLA 6/80, π₀ 6/80, OpenVLA-파인튜닝 5/80, π₀-파인튜닝 9/80.
지각 모듈이 필요 없다는 이점: VoxPoser*·MOKA는 open-vocabulary 검출기에 의존해 “키보드의 스페이스바”, “실로폰의 가장 낮은 건반” 같은 부품 단위 지시에서 0/10으로 무너진다. PWTF는 각각 5/10, 4/10.
Ablation(Table III): 시점 고정(top-down) 16/80, 서브태스크 제거 31/80, CEM 제거(선택된 행동의 평균만 사용) 11/80 vs 전체 47/80. CEM 제거의 손실이 가장 크다(합계 기준).
실패 분해(Fig. 6): 샘플링 오류 45.4% ≫ 실행 27.3% > 계획 15.2% > 재구성 12.1%.
비용(Appendix A-C, RTX 4090 1장): COLMAP 약 10분 + Gaussian 재구성 20분 + 물체 분할 약 3분(씬당 1회), 계획 스텝당 약 10초(시뮬 4초 + VLM 프롬프팅 6초).

결론:

새 모델도, 새 학습도 없다. 기여는 “VLM에게 물리 추론을 요구하지 말고, 물리 엔진의 예측 결과를 보여주고 평가만 시켜라”는 역할 분담과, 그 분담을 실기로 성립시키는 real-to-sim 파이프라인(GS+mesh 하이브리드 + Molmo/SAM2 기반 movable object 분리)이다. VLM을 정책이 아니라 MPC의 비용 함수로 쓴다는 재배치가 이 논문의 전부이자 핵심이다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

MPC는 원래 두 부품으로 이루어진다 — 미래를 예측하는 동역학 모델과, 그 미래를 점수 매기는 비용 함수다. 로봇 매니퓰레이션에서 전자는 오래된 난제였고(그래서 최근엔 video generation model을 동역학 모델로 쓰는 시도가 늘었다), 후자는 태스크마다 사람이 손으로 짜야 했다. PWTF는 이 두 자리를 각각 디지털 트윈과 VLM으로 채운다. 트윈은 video generation과 달리 저수준 행동에 정확히 조건화되고 물리적으로 일관되며, VLM은 손으로 짠 비용 함수와 달리 “가장 낮은 음을 쳐라” 같은 자유형식 목표를 그대로 평가할 수 있다. 그러니까 이 논문의 통찰은 새로운 알고리즘이 아니라 “open-world MPC를 성립시키는 두 빈칸에 각각 무엇을 꽂아야 하는가”에 대한 답이고, 그 답은 둘 다 학습 없이(zero-shot) 조달 가능하다는 것이다.

배경: 왜 VLM은 저수준 제어를 못 하는가

논문이 관련 연구에서 정리하는 흐름은 세 갈래다.

(1) VLM을 정책의 백본으로 파인튜닝 — RT-2, OpenVLA, π₀ 계열. 로봇 데이터셋은 VLM을 만든 VQA 데이터셋보다 몇 자릿수 작아서, 새로운 환경·태스크로의 일반화가 그 커버리지에 묶인다. (관련: π₀ 리뷰)

(2) VLM에게 중간 표현을 출력시키기 — VoxPoser(3D value map), MOKA(2D keypoint), PIVOT(화살표 오버레이), ReKep(관계형 키포인트 제약). 학습은 필요 없지만, 이 출력 형식들은 VLM의 학습 분포에서 벗어나 있다. 더 근본적으로, 어떤 표현을 쓰든 “이 value map을 따라가면 컵이 넘어질까?”를 VLM이 머릿속으로 굴려야 한다.

(3) chain-of-thought로 태스크를 미리 정의된 단계로 쪼개기 — EmbodiedGPT, ECoT 등. 그렇게 쪼개지지 않는 태스크에는 안 통하고, 결국 VLM 자체의 물리 이해 한계에 걸린다.

세 갈래 모두 공통 병목이 하나다: VLM이 “행동 → 결과”의 사상을 스스로 계산해야 한다. PWTF는 여기서 갈라져 나온다. 그 사상을 외부(시뮬레이터)로 빼면, VLM에게 남는 일은 “이 사진과 저 사진 중 어느 쪽이 ‘쏟아진 차를 닦는’ 데 가까운가”라는, 원래 잘하는 질문이 된다.

MPC 쪽 배경도 짚고 넘어갈 만하다. 논문이 정리하기로 최근 open-world MPC는 대체로 video generation model이 만든 이미지로 행동별 미래를 예측하려 했는데(VLMPC·ImagineNav 등), 여기에 두 가지를 문제 삼는다 — 생성 영상은 아티팩트가 있고 학습 분포에서 먼 장면에 일반화하지 못하며, 무엇보다 저수준 행동에 정확히 조건화된다는 보장이 없다. 반면 시뮬레이터는 정의상 행동에 조건화된다. 이 대비가 논문의 설계 근거다.

방법 (1): interactive digital twin을 어떻게 만드는가

트윈 구축 파이프라인(Fig. 2) — 비디오 스캔에서 왼쪽 갈래는 mesh(기하·물리), 오른쪽 갈래는 Gaussian(외양·렌더). mesh를 렌더해 분할한 마스크를 unproject해 movable mesh를 얻고, Gaussian은 가장 가까운 movable mesh에 앵커되어 그 운동을 따라간다(motion following). 가운데 시뮬레이터가 robot URDF로 동역학을 계산한다.

핵심은 하나의 표현으로 물리와 외양을 동시에 만족시키려 하지 않았다는 점이다. 네 단계로 나눠 보면:

① Hybrid reconstruction. 아이폰으로 찍은 핸드헬드 비디오에서 약 200장의 프레임을 뽑아 COLMAP으로 상대 카메라 자세를 추정하고, 작업 공간에 놓아둔 체커보드로 그 상대 좌표계를 실세계 좌표계에 정렬한다(이 캘리브레이션이 트윈↔︎실로봇 좌표 일치의 근거다). 그 위에 2D Gaussian Splatting을 학습해 외양 표현 G를 만들고, TSDF volume integration으로 G를 mesh M으로 변환한다(깊이가 임계값보다 큰 점은 버림). 3DGS가 아니라 2DGS를 쓴 이유는 명시되지 않지만, 2DGS가 기하학적으로 정확한 표면 복원을 노린 방법이라는 점에서 TSDF→mesh 경로와 자연스럽게 맞물린다(이 해석은 필자 추정).

② Interactive objects. mesh M을 여러 시점에서 100장 렌더한 뒤, 정면 뷰 한 장을 태스크 지시와 함께 GPT-4o에 넣어 “무엇을 움직여야 하는가”의 이름을 받는다(예: “playing the drum”→drum stick, “press spacebar”→아무것도 없음, 로봇만 움직이면 되므로). 그 이름을 Molmo에 넘겨 2D 포인트를 찍게 하고, 그 포인트를 시드로 SAM2가 모든 렌더 뷰에 걸쳐 마스크를 추적한다. 모든 이미지가 렌더된 것이므로 카메라 자세를 정확히 알고 있어 마스크 안에 투영되는 mesh 정점을 라벨링하면 3D movable mesh가 떨어져 나온다.

③ Realistic rendering. 각 Gaussian을 중심 간 유클리드 거리로 가장 가까운 movable mesh에 붙인다. 시뮬레이션 중 앵커된 Gaussian은 해당 mesh의 평행이동·회전을 그대로 상속하므로, 물체가 움직이면 렌더도 따라 움직인다.

④ Physics. 로봇 URDF를 얹은 물리 시뮬레이터 S로 동역학을 푼다. 논문은 이를 ManiSkill2 인용으로 표기하고(ManiSkill3 리뷰의 SAPIEN 계열), 공개 코드도 pip install mani_skill을 요구한다.

한 가지 실용적인 트릭: 추론 시에는 로봇의 end-effector(그리퍼)만 렌더한다. 팔이 화면을 가려 VLM의 판단을 방해하기 때문이다. 다만 운동 자체는 팔의 관절 제약을 지키고 팔의 충돌도 시뮬레이션한다. Fig. 5·8의 digital twin 행에서 팔 없이 그리퍼만 떠 있는 게 이 때문이다.

또 논문은 후처리(물체를 들어 올렸을 때 테이블에 생기는 구멍을 주변 Gaussian으로 메우기, 체커보드 지우기)를 시각화용으로만 썼고 실험에는 쓰지 않았다고 명시한다 — VLM이 이 정도 아티팩트에는 강건하다는 주장의 근거로.

방법 (2): 미래를 프롬프트로 바꾸는 세 개의 VLM 역할

MPC 루프 안에서 VLM은 서로 다른 네 가지 프롬프트로 호출된다. 이 역할 분해가 방법의 실체다.

(a) 서브태스크 생성 + 행동 공간 결정 (계획 시작 시 1회). 초기 다시점 관측 I_0와 지시 l을 주면 VLM이 서브태스크 집합 \tau = \{\tau_1, \tau_2, \dots\}를 만든다. 동시에 “이 태스크에 손가락 움직임이나 그리퍼 회전이 필요한가”를 판정한다(키보드를 누르는 데는 둘 다 불필요하고 그리퍼는 닫힌 채로 유지). 이 판정이 이후 CEM의 행동 샘플링 공간을 축소한다.

(b) 현재 서브태스크 선택 (매 스텝). 현재 관측 I_t와 \tau를 주고 지금 어느 단계인지 고르게 한다. 목표를 국소화해 샘플 효율과 강건성을 올린다.

(c) 시점 선택 (매 스텝). 행동은 SE(3)에 살지만 VLM은 2D만 본다 — 그래서 어느 시점에서 보여주느냐가 공간 추론의 성패를 가른다. 매 스텝 front/left/right/top-down 네 뷰를 렌더해 VLM이 “지금 서브태스크의 결과 차이를 가장 잘 구별할 수 있는 뷰”를 고르게 한다. 여기에 하드코딩된 제약이 하나 붙는다: 직전 스텝과 같은 뷰는 못 고른다. 강제 시점 다양성으로 공간 지각을 견고하게 만들려는 장치다.

(d) 결과 비교 (CEM 반복마다). 90개 시뮬 결과를 5개씩 묶어 각 그룹에서 최선을 고르게 한다.

방법 (3): CEM — VLM은 점수를 매기지 않고 “고른다”

한 계획 스텝의 행동 최적화(Fig. 4) — 서브태스크 “wipe the spilled tea”. 위(iteration 0): 초기 샘플들이 스펀지를 놓치거나 충돌로 떨어뜨리는 등 다양하게 흩어진다. 아래(iteration N): 최적화된 분포에서는 대부분의 샘플이 스펀지를 쏟아진 차 쪽으로 가져간다. 트윈이 파지에 의한 회전·충돌에 의한 낙하 같은 동역학을 실제로 계산하고 있음을 보여준다.

CEM의 표준 절차 그대로다. 다변량 가우시안 \mathcal{N}(\mu_i, \Sigma_i)에서 후보 \{a_k\}_{k=1}^{90}을 뽑고, 각각을 트윈에서 굴려 미래 관측 o_{t,k}를 얻고, elite 집합으로 분포를 갱신하고, 3회 반복 후 \mu_3를 실행한다. 논문이 수식으로 명시하지는 않았지만 서술을 정리하면 이렇게 쓸 수 있다(정리는 필자):

\mathcal{E}_i \;=\; \bigcup_{g=1}^{m} \Big\{ \arg\max_{a \in \mathcal{G}_g} \; \mathrm{VLM}\big(o_{t}(a) \,\big|\, \tau_i, C_t\big) \Big\}, \qquad (\mu_{i+1}, \Sigma_{i+1}) = \mathrm{Fit}(\mathcal{E}_i)

여기서 \mathcal{G}_g는 5개짜리 그룹이다. 주목할 점은 VLM이 스칼라 점수를 내지 않는다는 것이다. 절대 점수는 LLM/VLM이 잘 못 내지만 “둘 중 어느 쪽”이라는 비교 판단은 잘한다는 경험칙을 그대로 이용한 설계다. 90개를 5개씩 나누면 18개 그룹이므로 반복당 elite는 18개(elite 비율 20%)가 되고, 반복 3회면 계획 스텝 하나에 결과 비교 프롬프트만 54회 발생한다(이 산술은 필자 계산).

직관: 왜 “시점을 고르게” 하는 것이 그렇게 중요한가

Gaussian splatting을 쓴 실질적 이득은 photorealism보다 자유 시점 합성이다. 단일 고정 시점에서는 3D 배치가 근본적으로 모호하다 — top-down 뷰에서 그리퍼가 스페이스바 위 1 cm에 있는지 5 cm에 있는지 구별할 수 없고, 드럼 스틱 머리가 드럼에 닿았는지도 알 수 없다. 이건 VLM이 똑똑해지면 해결되는 문제가 아니라 관측에 정보가 없는 문제다.

Ablation이 이걸 정확히 보여준다. top-down으로 고정하면(w/o Views) 높이 판단이 필수인 태스크들이 무너진다 — press spacebar 5→0, play drum 6→0, water plant 5→1, clean up 5→1. 반면 물체를 바구니에 넣기만 하면 되는 cucumber basket은 9→8로 거의 안 변한다(높이 정밀도가 덜 중요하므로). 즉 시점 선택은 “있으면 좋은 옵션”이 아니라 관측 가능성(observability)을 확보하는 장치다.

같은 이유로, PWTF가 재구성 파이프라인에 GS를 쓴 것은 “예쁜 그림” 때문이 아니라 임의 시점에서 실사 렌더가 공짜로 나온다는 것 때문이다. mesh만으로도 시뮬은 되지만, mesh 렌더는 GPT-4o가 보아온 사진 분포에서 멀다. 트윈의 미래 관측이 실제 사진처럼 보여야 VLM에게 in-distribution 입력이 된다 — 이 논문에서 photorealism은 미학이 아니라 도메인 정합의 문제다.

실험: 셋업

하드웨어. 7-DoF Franka Emika 팔 + Robotiq 2F-85 그리퍼의 테이블탑 환경. 스캔은 아이폰 카메라. 전체 파이프라인은 RTX 4090 1장에서 돈다. 트윈에서 계획한 궤적은 관절 각도 커맨드로 실세계에 그대로 복사되고, 파지는 특정 힘 임계값에서 멈추는 방식으로 제어된다.

태스크(Table I). 8개 — water plant / play drum / clean up / press spacebar / cucumber basket / pair up shoes / unplug charger / lowest tune. 성공 기준은 각각 “컵이 화분 위에서 기울여짐”, “드럼 스틱 머리가 드럼에 접촉”, “스펀지가 쏟아진 차에 접촉”, “스페이스바가 눌림”, “오이가 바구니 안”, “짝 신발이 나란히”, “충전기가 멀티탭에서 빠짐”, “드럼 스틱 머리가 가장 낮은 건반에 접촉”.

씬 무작위화(Fig. 7) — 태스크당 5개 씬을 만들며 물체 배치를 바꾸고 시각적 distractor를 넣는다. 위: press spacebar(VR 헤드셋·마우스·모니터 등이 섞임), 가운데: pair up shoes, 아래: cucumber basket(당근·옥수수·토마토 등 방해 물체).

태스크당 5개 씬 × 2회 롤아웃 = 10 trial. 실패 조건은 되돌릴 수 없는 결과를 만들거나 30 계획 스텝 또는 5분 예산 초과. 재계획도 이 스텝 예산 안에서 센다.

베이스라인. VoxPoser*(3D value map; 논문은 디지털 트윈에서 얻은 정답 분할 물체 포인트클라우드를 제공해 지각 정확도를 크게 올려준 강화판이라고 명시), MOKA(2D 키포인트 + 손목 RealSense D435 RGB-D), OpenVLA(7B, 970k 실세계 시연으로 파인튜닝; 3인칭 D435 RGB), π₀. OpenVLA와 π₀는 zero-shot과 태스크당 20개 전문가 시연 파인튜닝 두 조건 모두 보고. 모든 VLM 호출은 GPT-4o.

실험: 정량 결과

Table II를 그대로 옮기면(태스크 순서: water plant / play drum / press spacebar / pair up shoes / cucumber basket / lowest tune / unplug charger / clean up, 모두 /10):

방법	WP	PD	PS	PUS	CB	LT	UC	CU	합계(계산)
VoxPoser*	6	2	0	2	8	0	4	0	22/80
MOKA	4	5	0	2	5	0	0	5	21/80
OpenVLA	1	0	1	0	4	0	0	0	6/80
π₀	0	0	0	1	3	0	2	0	6/80
OpenVLA-finetuned	0	0	0	0	5	0	0	0	5/80
π₀-finetuned	0	0	0	2	2	0	3	2	9/80
Ours (PWTF)	5	6	5	6	9	4	7	5	47/80

읽어야 할 것 세 가지.

(1) 부품 단위 지시에서의 격차. press spacebar와 lowest tune은 모든 베이스라인이 0/10이다. 논문의 설명은 VoxPoser·MOKA가 open-vocabulary 검출기로 물체를 먼저 잡아야 하는데 “키보드의 스페이스바”, “실로폰의 가장 낮은 건반” 같은 부품을 인식하지 못한다는 것. PWTF는 별도 지각 모듈 없이 시뮬된 결과를 VLM이 직접 보고 판단하므로 이 실패 모드가 없다.

(2) VLA는 파인튜닝해도 안 오른다. OpenVLA는 zero-shot 6/80에서 파인튜닝 후 5/80으로 오히려 내려가고, π₀는 6→9/80이다. 태스크당 20 demo로는 미지 배치에 일반화하지 못한다는 것 — 논문 자신도 “더 많은 데이터가 필요할 것으로 추정한다”고 유보적으로 쓴다.

(3) PWTF가 최고가 아닌 칸도 있다. water plant는 VoxPoser* 6 > PWTF 5, clean up은 MOKA와 5로 동률이다. 논문 제목이 “improves the performance on most of the tasks”인 이유다.

Ablation(Table III). 합계는 필자 계산이다.

설정	WP	PD	PS	PUS	CB	LT	UC	CU	합계(계산)
w/o Views (top-down 고정)	1	0	0	3	8	0	3	1	16/80
w/o Subtasks	5	0	6	3	8	2	7	0	31/80
w/o CEM	0	2	2	2	1	0	4	0	11/80
Full	5	6	5	6	9	4	7	5	47/80

w/o CEM이 가장 치명적(11/80) — 반복 없이 한 번 선택된 행동의 평균만 쓰면 거의 아무것도 못 한다. 즉 성능의 대부분은 “미래를 보여준다”가 아니라 “보여주고 다시 샘플링하기를 반복한다”에서 나온다.
w/o Views(16/80)는 위에서 본 대로 높이 판단이 필요한 태스크를 전멸시킨다.
w/o Subtasks(31/80)는 다단계 태스크에서만 무너진다 — play drum 6→0(스틱을 집지 않고 바로 드럼으로 간다는 논문의 예시), clean up 5→0. 반면 단일 단계인 press spacebar는 5→6으로 오히려 오른다.

재구성 백본·예산에 대한 강건성(부록). Gaussian Splatting을 SVRaster(sparse voxel rasterization)로 갈아끼워도 water plant / clean up / cucumber 각각 4·6·7 vs GS의 5·5·9로 비슷하고, 재구성 시간은 20분 → 10분으로 절반이 된다(Table IV, Fig. 9). 학습량·이미지 수를 줄인 실험(Table V, 성공률 0–1 스케일)에서는 이미지를 절반으로 줄이는 쪽이 학습을 1/3로 줄이는 쪽보다 더 아프다 — 전체 이미지 + 1/3 학습(8분)은 0.5/0.6/0.9로 전체 학습(20분)의 0.5/0.5/0.9와 사실상 같은 반면, 이미지를 절반으로 줄이면 water plant가 0.2–0.3으로 떨어진다.

재구성 품질 vs 시간(Fig. 9) — 위: 이미지 50%만 사용(6/10/16분), 아래: 전체 이미지(8/13/20분). 오른쪽: 백본 비교(GS 20분 vs SVRaster 10분). 잎사귀 경계의 흐림 정도로 품질 차이가 보이지만, Table IV·V의 성공률 차이는 크지 않다.

실험: 정성 결과와 실패 분해

롤아웃 예시(Fig. 5) — 5개 태스크의 digital twin(위)과 real world(아래)를 계획 스텝 기준으로 정렬. 빨간 박스는 VLM이 최적 행동을 교차 검증하려고 렌더 시점을 바꾼 스텝이다(파지·누르기·놓기·치기 정렬 시). 트윈에는 팔 없이 그리퍼만 렌더된다.

Fig. 5에서 눈여겨볼 것은 시점 변경이 어디에서 일어나는가다 — 컵을 잡기 직전, 스페이스바를 누르기 직전, 신발을 내려놓기 직전. 모두 높이·정렬이 성패를 가르는 순간이고, 그때 VLM이 top-down에서 측면으로 바꿔 확인한다.

추가 롤아웃(Fig. 8, 부록) — 6개 태스크. 트윈과 실세계의 물체 배치가 스텝 단위로 대응되며, 트윈 렌더의 시점은 VLM이 매 스텝 고른 것이라 일정하지 않다.

실패 분해(Fig. 6) — 재구성 오류 12.1%(왼쪽 위: 아티팩트로 뭉개진 재구성), 계획 오류 15.2%(오른쪽 위: 스틱을 집지 않고 진행), 실행 오류 27.3%(오른쪽 아래: 파지 실패로 컵을 놓침), 샘플링 오류 45.4%(왼쪽 아래: 예산 안에 목표 행동을 못 뽑음). 퍼센트 수치는 이 그림 안에만 있다.

실패의 45.4%가 샘플링 오류라는 점이 이 프레임워크의 성격을 말해준다. 재구성이나 VLM 자체보다, 유한한 샘플 예산 안에서 좋은 행동이 뽑히느냐가 지배적 병목이다. 90 samples × 3 iterations로 SE(3) + 그리퍼 공간을 훑는 것이 30 스텝 예산 안에서 충분하지 않다는 뜻이고, 이는 곧 예산을 늘리면 성능이 오르지만 그만큼 느려진다는 트레이드오프를 의미한다.

비판적으로 보면

강점

① 문제 재배치가 깔끔하다. “VLM에게 물리를 시키지 말자”는 진단과 “그럼 물리를 밖에서 계산해 사진으로 보여주자”는 처방이 정확히 맞물린다. 부산물로 얻는 것도 많다 — open-vocabulary 검출기가 필요 없어지고(→ “스페이스바”·“가장 낮은 건반” 같은 부품 지시가 풀리고), 태스크별 비용 함수 설계가 사라지며, 로봇 데이터가 0장이다.

② 하이브리드 표현의 역할 분담이 명확하다. mesh=물리, Gaussian=외양, 그리고 Gaussian을 nearest movable mesh에 앵커해 둘을 묶는 것. 단순하지만 “시뮬 가능하면서 실사로 보이는 장면”이라는 두 요구를 동시에 만족시킨다. 이게 없으면 VLM에게 보여줄 미래 관측이 렌더 티가 나는 그림이 되어 도메인 갭이 생긴다.

③ 재구성 백본에 대한 강건성을 스스로 검증했다. GS→SVRaster 교체 실험(Table IV)과 이미지 수/학습량 절감 실험(Table V)은 “이 방법이 특정 3D 재구성 기술에 묶여 있지 않다”는 주장을 실제로 뒷받침한다. 후처리(구멍 메우기·체커보드 제거)를 실험에서는 쓰지 않았다고 밝힌 것도 정직하다.

④ 실패 분해가 유용하다. 45.4% 샘플링 / 27.3% 실행 / 15.2% 계획 / 12.1% 재구성이라는 분해는 다음 연구가 어디를 파야 하는지 알려준다. 직관과 달리 재구성 품질은 가장 작은 요인이다.

약점·한계

① “MPC”라기엔 예측 지평이 1이다. 문제 정의에서는 행동 시퀀스 \{a\}_{t=0}^{T-1}를 출력한다고 써 놓았지만, 실제 CEM은 매 계획 스텝에서 단일 행동 a_t만 최적화한다(90개 후보 각각이 하나의 행동이고, 최종 분포의 평균 하나를 실행). 즉 horizon H=1의 탐욕적 선택이고, 장기 구조는 전부 VLM의 서브태스크 분해가 떠맡는다. MPC의 강점 중 하나인 “여러 스텝 앞을 내다보고 지금의 손해를 감수하는” 능력은 여기에 없다. w/o Subtasks에서 다단계 태스크(play drum 6→0, clean up 5→0)가 붕괴하는 것은 바로 그 취약성의 증거다.

② 실행 중에 실세계를 다시 보지 않는다. 부록 B-A는 “트윈에서 계획한 궤적을 관절 각도로 실세계에 그대로 복사한다”고 쓴다. 재계획은 “VLM이 원할 때 트윈 안에서” 이루어진다고만 되어 있고, 실행 후 실세계를 재관측해 트윈의 물체 상태를 갱신하는 절차는 논문에 기술되어 있지 않다. 그렇다면 트윈의 상태는 초기 스캔 + 시뮬레이션 예측만으로 굴러가고, 실제로 물체가 미끄러지거나 시뮬과 다르게 굴러가면 그 순간부터 트윈과 실세계가 발산한다. 실행 오류가 27.3%를 차지하는 이유가 여기 있을 가능성이 크다. MPC의 본질인 피드백 루프가 시뮬 안에서만 닫혀 있다는 것이 구조적 약점이다.

③ 물리 파라미터를 추정하지 않는다. TSDF로 기하는 복원하지만, 질량·마찰·관성·복원계수 같은 동역학 파라미터를 실세계에서 식별하는 절차가 논문에 없다. 시뮬레이터 기본값을 쓴다면 트윈은 “기하는 맞지만 물리는 대충”인 모델이다. 다행히 태스크 대부분이 준정적(quasi-static)이라 이 갭이 잘 드러나지 않지만, 마찰이 중요한 파지나 관성이 중요한 타격(play drum)에서는 문제가 된다. 변형체·물리 파라미터를 함께 최적화하는 real2sim 연구(PhysTwin 계열)와 대비되는 지점이고, 논문이 스스로 한계로 꼽지도 않았다.

④ 성공 기준이 관대하다. clean up의 기준은 “스펀지가 쏟아진 차에 접촉”이지 실제로 닦였는지가 아니다. water plant는 “컵이 화분 위에서 기울여짐”이고 물이 실제로 들어가는지는 보지 않는다. play drum과 lowest tune도 “스틱 머리가 접촉”이다. 8개 중 5개가 접촉·자세 도달 기준이라, 이 벤치마크가 측정하는 것은 “정확한 6-DoF 자세 도달”에 가깝고 “태스크 완수”와는 거리가 있다. 접촉 이후의 동역학(문지르기, 붓기, 튕기기)은 평가 범위 밖이다.

⑤ 통계적으로 얇다. 셀당 10 trial이다. p=0.5 근방에서 이항 표준오차는 약 0.16(±1.6/10)이므로, 태스크 하나에서의 1~2 차이는 사실상 노이즈다. 개별 셀 비교(예: “press spacebar는 w/o Subtasks 6 > Full 5”)를 근거로 무언가를 주장할 수 없다. 합계(80 trial) 수준의 비교 — 47 vs 22, 47 vs 11 — 만 신뢰할 만하다. 논문이 태스크별 표만 제시하고 신뢰구간이나 합계를 주지 않는 것은 아쉽다(위 표의 합계는 필자가 계산했다).

⑥ 비용·지연이 실용성의 벽이고, 보고도 불완전하다. 논문은 한계 절에서 “씬당 재구성 약 20분”이라고 쓰지만, 부록 A-C를 더하면 COLMAP 10분 + GS 20분 + 분할 3분 ≈ 33분이다(본문 서술과 부록 수치가 어긋난다). 계획 스텝당 10초 × 최대 30스텝이면 태스크 하나에 5분이다. 더 큰 의문은 VLM 호출 수다 — 위에서 계산했듯 스텝당 결과 비교만 54회(18그룹 × 3반복)에 서브태스크·시점 선택 호출이 더 붙는데, 이 전부가 “VLM 프롬프팅 6초” 안에 들어가려면 상당한 병렬 호출이 전제되어야 한다. 논문은 병렬화 여부를 명시하지 않는다. 그리고 GPT-4o API 비용은 어디에도 보고되지 않았다 — 태스크 1회 롤아웃에 수백~수천 회의 GPT-4o 호출이 들어간다면 이것이 실제 배치의 결정적 제약일 텐데, 이 논문에서는 측정 대상이 아니다.

⑦ “hard-coded motion primitive 없음”이라는 주장에 약간의 여백이 있다. 문제 정의에서 하드코딩된 모션 프리미티브를 쓰지 않는다고 선언하지만, 계획 시작 시 VLM이 “손가락 움직임/그리퍼 회전이 필요한가”를 판정해 행동 샘플링 공간의 차원을 마스킹한다. 사람이 손으로 짠 프리미티브는 아니지만, 태스크별로 탐색 공간을 좁히는 구조적 사전지식인 것은 맞다. 이것 없이 7차원 전체를 90샘플로 훑었을 때의 성능은 보고되지 않았다.

⑧ 트윈이 다룰 수 있는 물리가 rigid body에 한정된다. movable object 분리는 mesh 정점 라벨링으로 이루어지고, Gaussian은 대응 mesh의 평행이동·회전을 상속한다. 즉 강체 변환만 표현된다. clean up 태스크의 “쏟아진 차”는 사실 테이블 텍스처의 일부이지 유체가 아니고, 그래서 성공 기준도 “접촉”에 머물 수밖에 없다. 천·줄·액체·관절 물체(서랍·문)는 이 표현으로 들어오지 못한다.

⑨ 셋업 비용이 씬마다 발생한다. 체커보드를 놓고, 아이폰으로 200장 분량을 스캔하고, 30분 재구성하고, 그 동안 장면이 변하면 안 된다. 태스크를 한 번 수행하면 물체가 옮겨지므로 다음 태스크를 위해서는 원칙적으로 재스캔이 필요하다(논문은 이 재사용 문제를 다루지 않는다). “open-world”라는 표현에 비해 실제 운용 절차는 상당히 정적인 셈이다.

요약

PWTF의 기여는 역할 분담이다. open-world MPC의 두 빈칸 — 동역학 모델과 비용 함수 — 에 각각 “핸드헬드 스캔으로 만든 interactive digital twin”과 “frozen VLM”을 꽂으면, 로봇 데이터·파인튜닝·in-context 예제 없이 8개 실세계 태스크에서 47/80을 낸다. 같은 조건의 VoxPoser*(22/80)·MOKA(21/80), 그리고 대규모 로봇 데이터로 학습한 VLA들(5~9/80)을 합계 기준으로 크게 앞선다. 특히 부품 단위 지시(“스페이스바”, “가장 낮은 건반”)처럼 검출기 기반 파이프라인이 원리적으로 실패하는 영역에서 격차가 크다.

동시에 이 결과가 무엇을 측정한 것인지도 분명히 해 둘 필요가 있다. 성공 기준의 다수가 접촉·자세 도달이고, 시행 수는 셀당 10회이며, 예측 지평은 1스텝이고, 실행 중 실세계 재관측은 기술되지 않았고, 물리 파라미터는 식별하지 않으며, 씬당 30여 분의 재구성과 스텝당 수십 회의 GPT-4o 호출(비용 미보고)이 든다. 그러니까 이 논문이 보인 것은 “물리 시뮬을 VLM의 눈앞에 놓아주면 저수준 제어의 문이 열린다”는 원리의 실증이지, 배치 가능한 시스템은 아니다.

그래도 방향은 설득력이 있다. 실패의 45.4%가 샘플링 오류라는 것은 재구성 품질이나 VLM 성능보다 탐색 예산이 병목이라는 뜻이고, 이건 더 빠른 재구성(SVRaster로 20→10분)과 더 싸고 빠른 오픈소스 VLM으로 곧장 완화되는 종류의 병목이다. 저자들이 마지막에 쓴 대로, 이 프레임워크는 학습을 하지 않기 때문에 VLM과 3D 재구성이 발전하는 만큼 그대로 좋아진다. 학습 기반 VLA가 데이터를 더 모아야 하는 것과는 다른 종류의 개선 경로다.