📃ProxyPose 리뷰

ProxyPose: 6-DoF Pose Tracking via Video-to-Video Translation

• Paper Link (arXiv:2607.06555v1): 이 리뷰는 arXiv v1(2026-07-07, cs.CV, 23쪽) 을 정본으로 읽었다. 본문 5절과 부록 A~D 전체가 대상이다. 2026-09-28 기준 v2는 없다.

• Project Page

• Code Link: 추론·평가·합성 데이터 생성 코드와 LoRA 가중치(HF ruihangzhang79/proxypose)가 공개돼 있다(2026-09-28 확인). 레포와 HF 카드 모두 라이선스 표기가 없다. 다만 논문의 LM 시간 평활과 다중 쿼리 번들 조정은 공개 코드에 정의만 있고 호출되지 않는다(아래). 이 블로그는 1.3B 변형으로 데모를 직접 돌려 봤다(재현 노트, 정확도 측정 아님).

• Ruihang Zhang*, Felix Taubner*, Pooja Ravi, Kiriakos N. Kutulakos, David B. Lindell (*동등 기여)

• University of Toronto, Vector Institute

• NeurIPS 2026 (프로젝트 페이지 배지와 README의 BibTeX 표기. arXiv v1은 NeurIPS 2026 스타일의 preprint 모드로 조판돼 있고 채택 문구는 없다)

1. 💡 6-DoF 포즈 추적을 비디오-투-비디오 번역 문제로 다시 쓴다. 입력 비디오와 첫 프레임의 픽셀 하나만 주면, 파인튜닝한 비디오 확산 모델이 “그 픽셀 주변 표면과 같은 강체 운동을 하는 색칠된 큐브”가 검은 배경 위에서 움직이는 프록시 비디오를 생성한다.
2. ⚙️ 프록시 큐브의 기하와 색은 설계상 알려져 있으므로, 포즈 복원은 OpenCV 윤곽 검출 + PnP + Levenberg–Marquardt 평활화라는 학습 요소 없는 고전 파이프라인으로 끝난다. 생성기는 Wan-14B에 rank-64 LoRA를 달아 합성 데이터 35,000쌍만으로 학습했다.
3. 🎯 HO3D에서 3D 모델·깊이·마스크 없이 단일 쿼리로 ATE 15.79 mm / ARE 5.126°. 최강 베이스라인 BundleSDF(깊이+마스크 사용, 23.24 mm / 14.28°) 대비 각각 32%·64% 낮다. 단 YCBInEOAT의 ARE·2D 거리와 자체 합성 벤치마크의 ATE에서는 단일 쿼리 ProxyPose가 일부 베이스라인보다 나쁘다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

물체나 표면의 6-DoF 포즈를 단안 비디오에서 추적하는 기존 방법은 모두 비디오 밖의 무언가를 더 요구했다. CAD 모델(FoundationPose), 깊이(BundleSDF, One2Any), 물체 마스크(Any6D), 혹은 대규모 데이터로 학습된 과제 특화 특징이다. 그리고 이 입력들은 투명·반사·무늬 없는·변형되는 표면에서 공통적으로 무너진다.

ProxyPose의 질문은 이것이다. 수십억 장의 이미지와 수백만 개의 비디오로 학습된 비디오 생성 모델이 이미 “3D 운동이 2D 외형 변화로 어떻게 나타나는지”를 알고 있다면, 그 지식을 포즈로 꺼내는 가장 쉬운 출력 형식은 무엇인가? 저자들의 답은 “포즈를 숫자로 회귀하지 말고, 포즈를 읽기 쉬운 그림으로 다시 그리게 하라”이다. 생성 모델에게는 비디오를 비디오로 바꾸는 일을 시키고, 그 결과물에서 포즈를 읽어 내는 일은 50년 된 기하학에 맡긴다.

개요(Fig. 1): 왼쪽이 첫 프레임과 쿼리 픽셀(빨간 점), 가운데 위가 원본 프레임에 복원한 6-DoF 포즈를 겹친 것, 가운데 아래가 모델이 생성한 프록시 프레임, 오른쪽이 전체 궤적이다. 위부터 휘두르는 야구 방망이 끝, 깨지는 도자기 꽃병의 한 조각, 흑백 만화 〈Steamboat Willie〉의 Pete 선장 손. 강조된 점은 프록시 큐브의 중심이다.

핵심 방법론. 입력은 N 프레임 비디오 \mathbf{v}=\{\mathbf{v}_n\}_{n=1}^N 과 첫 프레임의 쿼리 픽셀 \mathbf{q}\in\mathbb{R}^2 이고, 출력은 프레임별 회전 \mathbf{R}_n\in SO(3) 과 평행이동 \mathbf{t}_n\in\mathbb{R}^3 이다. 전체가 두 단계다(식 1).

\hat{\mathbf{p}} = \mathcal{G}_\theta(\mathbf{v},\mathbf{q}), \qquad \{(\mathbf{R}_n,\mathbf{t}_n)\}_{n=1}^{N} = \mathcal{T}(\hat{\mathbf{p}})

\mathcal{G}_\theta 는 파인튜닝한 비디오 확산 모델이고, \hat{\mathbf{p}} 는 여섯 면이 서로 다른 색인 큐브가 검은 배경 위에서 움직이는 프록시 비디오다. \mathcal{T} 는 학습 요소가 없는 결정론적 트래커다. 카메라 내부 행렬은 \mathrm{diag}(f,f,1) 로 가정하고 초점거리 f 는 알거나 대략 추정할 수 있다고 둔다.

생성 단계에서 소스 비디오 토큰과 프록시 토큰을 토큰 축으로 이어 붙여 DiT의 self-attention이 둘 사이 대응을 직접 보게 한다. 첫 프레임 프록시(쿼리 픽셀에 맞춰 렌더한 초기 큐브)는 조건 역할을 해야 하므로, 전역 timestep t 대신 t_{\text{offset}}=\max(t-\Delta_{\text{offset}},0) 만큼만 노이즈를 준다(식 3, \Delta_{\text{offset}}=500).

\tilde{\mathbf{z}}^{(i)}_{\text{proxy},t} = \begin{cases} \alpha_{t_{\text{offset}}}\,\mathbf{z}^{(i)}_{\text{proxy}} + \sigma_{t_{\text{offset}}}\,\boldsymbol{\epsilon}^{(i)}, & i\in\mathcal{F}_1\\ \alpha_{t}\,\mathbf{z}^{(i)}_{\text{proxy}} + \sigma_{t}\,\boldsymbol{\epsilon}^{(i)}, & i\notin\mathcal{F}_1 \end{cases}

추적 단계는 색 임계값으로 면을 분할하고, 사각형 윤곽의 꼭짓점을 서브픽셀로 잡아 PnP를 풀고, 전체 시퀀스를 재투영 오차 + 시간 평활 항으로 LM 최적화한다. 강체임을 아는 물체라면 쿼리 픽셀을 여러 개 찍어 번들 조정(bundle adjustment)으로 합칠 수 있다.

주요 결과.

• HO3D(손-물체 조작, 13시퀀스): 단일 쿼리 ProxyPose가 ATE / ARE / RPE-t / RPE-r / 2D 거리 5개 지표 모두에서 모든 베이스라인보다 낮다(RPE-t·2D 거리는 전체 1위, 나머지 셋은 자기 다중 쿼리 변형에만 뒤진다). ATE 15.79 mm, ARE 5.126°. 깊이와 마스크를 쓰는 BundleSDF는 23.24 mm / 14.28°, CAD 모델과 깊이를 쓰는 FoundationPose(track)는 25.44 mm / 15.38°다.
• YCBInEOAT(양팔 로봇 조작, 9시퀀스): 단일 쿼리는 ATE 30.07 mm로 1위권이지만 ARE 15.07°로 BundleSDF(13.88°)에 진다. 3-쿼리 번들 조정을 쓰면 ATE 26.32 mm / ARE 6.476°로 두 지표 모두 1위가 된다.
• Ablation(합성 데이터): 첫 프레임 노이즈 오프셋을 끄면(offset 0) ATE가 81.65 → 507.5 mm, 2D 거리가 117.3 → 1009 px로 붕괴한다. 학습 데이터를 35k에서 300개로 줄여도 ATE는 88.71 mm로 8.6%만 나빠진다.
• 정성 결과: 반사(디스코볼), 투명(유리컵), 빠른 회전(카드), 변형(얼굴), 만화, 이벤트 카메라·단일광자 카메라 영상까지 추적한다. 이 범주들에는 정량 지표가 없다.
• 비용: 49프레임 512×512 프록시 비디오 하나를 50 스텝으로 생성하는 데 H100 1장에서 5.5분이 걸린다(쿼리 1개 기준).
• 공개 코드와의 간극: 공개 추론·평가 경로는 PnP와 등속 전파까지만 수행한다. 논문 §3.2–3.3의 LM 평활과 다중 쿼리 번들 조정은 호출되지 않아, Table 1의 다중 쿼리 행은 공개 코드로 재현할 경로가 없다.

결론. ProxyPose가 새로운 점은 모델 구조가 아니라 출력 형식의 설계다. 포즈라는 추상적인 양을, 생성 모델이 가장 잘 만드는 것(비디오)과 고전 기하가 가장 잘 푸는 것(알려진 물체의 PnP) 사이의 접점으로 옮겼다. 벤치마크 수치는 강체 두 데이터셋에서 추가 입력 없이 최고 수준이지만, 이 논문이 가장 크게 주장하는 “어려운 재질과 변형”에 대한 우위는 아직 정성 증거뿐이다. 추론 한 번에 수 분이 걸린다는 점도 실용화의 벽으로 남아 있다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“포즈를 예측하지 말고, 포즈가 뻔히 보이는 비디오를 그려라.” 이 논문은 비디오 확산 모델에게 좌표나 회전 행렬을 내라고 요구하지 않는다. 대신 쿼리 픽셀 주변 표면의 국소 강체 운동을 그대로 따라 움직이는 색칠된 큐브의 영상을 생성하게 한다. 큐브는 모양과 색을 우리가 정했으므로 그 영상에서 포즈를 읽는 일은 교과서적인 PnP 문제로 바뀐다. 인식의 어려운 부분(재질·가림·변형·조명)은 대규모 비디오 사전학습이 흡수하고, 정밀한 기하 부분은 해석적 솔버가 맡는다. 두 도구가 각자 잘하는 일만 하도록 문제를 쪼갠 것이 이 논문의 핵심이다.

배경: 6-DoF 추적은 왜 늘 “비디오 밖의 입력”을 요구했나

서론은 30년 넘는 계보를 세 갈래로 정리한다. 강체 CAD 모델을 영상에 정렬하는 모델 기반 방법(Lowe 1991, Drummond & Cipolla 2002), 얼굴·인체를 위한 변형 템플릿·통계적 형상 모델(Cootes et al. 1998, Blanz & Vetter 1999), 그리고 판별 분류기·CNN을 쓰는 tracking-by-detection(Kehl et al. 2017, PoseCNN)이다. 여기에 2D 특징 추적과 SfM·번들 조정을 결합한 흐름(ORB-SLAM2, OnePose)이 있다. 저자들의 요약은 이렇다. “All these approaches, however, still rely on explicit 3D representations, reference images, and task-specific features.”

최근에는 파운데이션 모델을 조합하는 파이프라인이 주류가 됐다. 분할(SAM, SAM 2), 단안 깊이(Depth Anything, Marigold), 포즈(FoundationPose), 조밀 점 추적(CoTracker, TAPIR), feed-forward 재구성(VGGT, MASt3R)을 이어 붙인다. 이 블로그의 TF-HOT도 SAM2·MMPose 같은 2D 파운데이션 모델의 prior와 미분 가능한 렌더링을 엮어 손-물체 포즈를 뽑는 전형적인 예다. 저자들은 이런 모델들이 “large, specially curated datasets and advanced training curricula” 를 필요로 한다고 지적하고, 한 걸음 물러서 묻는다. 이런 과제 특화 파운데이션 모델이 정말 필요한가? 그리고 답을 “preliminary evidence that suggests the answer may be no” 라고 조심스럽게 표현한다. 이 “preliminary”라는 단어는 뒤에서 결과를 읽을 때 기준점이 된다.

아래 표는 논문 Table 1의 “Addl. Inputs” 열을 옮긴 것이다. ProxyPose 단일 쿼리만 세 칸이 모두 비어 있다.

방법	3D 모델	깊이*	물체 마스크†	비고
FoundationPose (registration / track)	✓	✓		모델 기반. track은 첫 프레임에서 초기화한 프레임간 추적
Oryon		✓		단일 참조 뷰 매칭
Any6D · One2Any		✓	✓	모델 없는 단일 뷰 매칭
ConceptPose		✓	✓	VLM 기반 카테고리 수준 추론
BundleSDF		✓	✓	추적 + 신경 암시 재구성 동시 수행
CoTracker 3 + DA3 / SpatialTrackerV2 (object level)		✓	✓	GT 마스크 안의 모든 추적점으로 강체 변환 복원
CoTracker 3 + DA3 / SpatialTrackerV2 (pixel level)		✓		쿼리 주변 픽셀 이웃으로 강체 변환 복원(CoTracker 변형은 11×11 이웃 + Kabsch로 명시)
ProxyPose (one query)				단안 RGB만
ProxyPose (two / three queries)			✓	모든 쿼리를 같은 물체에 놓기 위해 첫 프레임 마스크 사용

*깊이는 Depth Anything 3(DA3)로 제공했다고 Table 1 각주와 본문은 적는다(단 부록 C.2의 서술과 어긋난다. 아래 약점 절 참조). †마스크는 하나 이상의 프레임에서 필요하다는 뜻이다.

가장 가까운 선행 연구는 Point Prompting(Shrivastava et al. 2026)이다. 사전학습 비디오 확산 모델에 쿼리 점 위치에 색 마커를 찍어 영상을 재생성하게 하면 zero-shot 2D 점 추적이 된다는 결과다. ProxyPose는 “비디오 확산 모델이 강한 운동 prior를 갖는다”는 통찰을 공유하되, 2D 점 궤적이 아니라 6-DoF를 드러내는 구조화된 프록시를 내도록 파인튜닝한다는 점이 다르다. 저자들은 “To our knowledge, recovering 6-DoF pose from video through video-to-video translation with diffusion models has not been previously explored” 라고 쓴다.

방법 (1): 프록시 비디오라는 출력 형식

파이프라인(Fig. 2): (i) 쿼리 픽셀과 초점거리로 첫 프록시 프레임을 렌더하고, (ii) 소스 비디오 잠재와 노이즈 섞인 프록시 잠재를 LoRA 파인튜닝한 비디오 모델에 넣어 프록시 비디오를 생성하고, (iii) 생성된 큐브에서 6-DoF 포즈를 최적화한다. 프로젝트 페이지의 방법 개요 영상.

첫 프레임 큐브의 배치(§3.1). 첫 프록시 프레임 \hat{\mathbf{p}}_1 은 세 가지 조건을 동시에 만족하도록 렌더한다.

1. 큐브의 [1,1,1]^\top 대각선을 쿼리 픽셀 \mathbf{q} 를 지나는 카메라 광선에 정렬한다. 그러면 세 면이 같은 크기로 보이고, 실루엣이 아닌 꼭짓점(정면 모서리)이 정확히 쿼리 픽셀에 투영된다.
2. 큐브 중심을 그 광선 위 단위 깊이에 둔다.
3. 한 변의 길이를 (h/f)\,s_{\text{cube}} 로 둔다(h 는 이미지 높이, s_{\text{cube}}=0.15). 그러면 투영된 큐브가 해상도나 초점거리와 무관하게 이미지의 일정 비율을 차지한다.

학습 때는 이 초기 큐브에 물체의 알려진 상대 포즈 (\mathbf{R}_n,\mathbf{t}_n) 를 적용해 정답 프록시를 렌더한다.

부록 A.2가 밝히는 “왜 큐브인가”. 대각선 정렬 상태에서 큐브는 정확히 세 면이 보이고, 비공면 3D-2D 꼭짓점 대응이 최대 7개 나온다(PnP 최소 요구는 4개). 사면체는 어느 시점에서 봐도 작은 삼각형 한두 면만 보여 대응이 부족하고, 더 복잡한 다면체는 면이 작아 분할이 어렵다. 저자들은 큐브를 “a simple convex solid that reliably presents three large, well-separated quadrilateral faces” 로 정당화한다. 다만 이 비교는 설계 논증이고, 다른 도형으로 실제로 학습해 본 ablation은 없다.

방법 (2): 비디오-투-비디오 번역기

구조와 조건화. \mathcal{G}_\theta 는 사전학습된 Wan 비디오 모델(14B)에 LoRA를 붙인 것이다. LoRA는 self-/cross-attention의 Q·K·V·출력 투영과 FFN의 두 선형층(ffn.0, ffn.2)에 들어간다. 소스 비디오와 프록시 첫 프레임을 각각 사전학습 VAE로 인코딩해 \mathbf{z}_{\text{src}}=\mathcal{E}(\mathbf{v}), \mathbf{z}_{\text{proxy}}=\mathcal{E}(\hat{\mathbf{p}}_1) 를 얻고, 패치화한 두 토큰열을 토큰 축으로 잇는다(식 2).

\mathbf{z}_{\text{joint}} = [\,\mathbf{z}_{\text{src}};\ \mathbf{z}_{\text{proxy}}\,] \in \mathbb{R}^{2T\times D}

채널 축으로 쌓는 ControlNet식 조건화가 아니라 시퀀스를 두 배로 늘리는 방식이다. 그래서 attention이 “소스의 이 위치”와 “프록시의 저 위치” 사이의 장거리 대응을 직접 모델링할 수 있다. 대가는 attention 비용이 토큰 수 제곱으로 네 배가 된다는 것이다(이 계산은 필자의 것이고 논문은 비용 분해를 제시하지 않는다).

두 스트림을 구분하기 위해 본문은 RoPE를 3D에서 4D로 확장해 마지막 축이 스트림 식별자(프록시 −1, 소스 1)를 인코딩한다고 쓴다. 부록 A.1의 구현은 조금 다르게 읽힌다. Wan의 어텐션 헤드 128차원이 시간 44 / 높이 42 / 너비 42로 나뉘는데, 너비 축의 마지막 복소 성분 하나를 재활용해 프록시 토큰에서만 그 주파수 항을 -1=e^{i\pi} 로 덮어쓴다. 새 축을 추가한 것이 아니라 한 주파수 슬롯에 \pi 위상 반전을 넣은 것이다. 추가 파라미터가 거의 없다는 장점이 있다.

고정 텍스트 프롬프트. cross-attention에는 학습과 추론 내내 같은 문장이 들어간다. “A perfectly geometric cube rotating slowly in place against a pure black background. The center of the cube is rigidly attached to the surface of the object it is tracking. …” 로 시작해 여섯 면의 색(red, green, blue, yellow, white, cyan)과 “no texture, no gradients, no reflections, no shadows”를 명시한다. T2V 모델의 텍스트 경로를 과제 지시문으로 재활용한 셈이다.

노이즈 스케줄 오프셋. Ping의 식 3이 이 논문의 유일한 비자명한 학습 트릭이다. 프록시 스트림 전체에 같은 노이즈를 주면 샘플링 초기에 프록시의 정체·크기·방향이 흔들린다. 그래서 첫 프레임 토큰 \mathcal{F}_1 에만 t_{\text{offset}}=\max(t-500,0) 의 낮은 노이즈를 준다. 부록 A.1은 t<500 이면 첫 프레임 토큰이 깨끗한 데이터 그대로(t_{\text{offset}}=0) 들어간다고 덧붙인다. Ablation에서 이 장치를 빼면 지표에 따라 약 3~43배 나빠진다(아래 실험 절).

학습 목표(식 4). 소스 스트림은 깨끗하게 두고 프록시 스트림만 오염시킨 flow-matching 손실이다.

\mathcal{L} = \mathbb{E}_{t,\boldsymbol{\epsilon}}\Big[\,w(t)\,\big\|\boldsymbol{\nu}_\theta(\tilde{\mathbf{z}}_{\text{proxy},t},\,\mathbf{z}_{\text{src}},\,t) - \boldsymbol{\nu}^*\big\|_2^2\Big]

\boldsymbol{\nu}_\theta 는 DiT의 속도 예측, \boldsymbol{\nu}^* 는 flow-matching 목표, w(t) 는 timestep 가중치다. DiffSynth에 구현된 표준 Wan 손실을 그대로 썼다.

Classifier-free guidance. 학습 샘플의 15%에서 조건을 떨어뜨린다. 소스 잠재를 0으로 만들고, 첫 프록시 프레임도 오프셋 없이 전역 timestep으로 노이즈를 준다. 나머지 85%는 정상 조건·스케줄을 따른다. 그런데 추론 때 쓰는 guidance scale 값은 본문과 부록 어디에도 없다.

구현 세부(§3.4, 부록 A).

항목	값
백본	Wan-14B (Team Wan 2025 인용)
LoRA	rank 64, \alpha=r=64, dropout 없음, 약 307M 학습 파라미터(백본의 약 2.2%), 어댑터 행렬 800개
노이즈 오프셋	\Delta_{\text{offset}}=500 스텝
학습률	저해상도 단계 2\times10^{-4}, 고해상도 단계 5\times10^{-5}
1단계	80k iter, 256×256, 29프레임, 약 2.5일
2단계	10k iter, 512×512, 29프레임, 약 1일
3단계	10k iter, 512×512, 49프레임, 약 2일
학습 자원	H100 × 4, 총 약 22 GPU-일 (4 × 5.5일, 검산 일치)
CFG 학습	조건 드롭 확률 0.15
추론	512×512 정사각 크롭(쿼리를 최대한 중앙에), 50 flow-matching 스텝, H100 1장에서 5.5분
초점거리 미지 시	45° 시야각 고정값 또는 DA3로 추정 (Fig. 1은 45° 고정)

방법 (3): 프록시에서 포즈 읽기

생성된 프록시에서 포즈를 읽는 \mathcal{T} 는 전부 OpenCV 원시 연산이다(부록 A.2, Algorithm S1·S2).

1. 면 분할. 각 픽셀과 여섯 면 색의 RGB 유클리드 거리를 재서 임계값 70 미만이면 그 면에 할당한다.
2. 사각형 윤곽. cv2.findContours 후 cv2.approxPolyDP(\varepsilon=0.02\cdot둘레)로 꼭짓점 4개짜리 윤곽만 남긴다. 면적 500 px 미만은 버린다. 이 임계값은 “최대 추적 깊이에서 예상되는 투영 면적보다 작은 윤곽을 거르기 위해” 정했다고 한다.
3. 서브픽셀 꼭짓점. cv2.cornerSubPix(5×5 창, 100회 또는 변화 10^{-3} 미만).
4. 대응 매칭. 여기가 흥미롭다. 논문은 “Face color is not used for correspondence matching, as it is not sufficiently reliable” 라고 쓴다. 대신 직전 프레임에서 등속 외삽한 포즈로 큐브 여섯 면을 재투영하고, 검출된 사각형을 네 가지 순환 순열 중 최대 꼭짓점 오차가 가장 작은 면에 탐욕적으로 붙인다.

d(C,i) = \min_{r\in\{1..4\}}\ \max_{k\in\{1..4\}}\ \big\|\pi(\mathbf{X}_{\mathcal{V}_i[\sigma_r(k)]}) - \mathbf{x}_k\big\|_2

5. PnP. cv2.solvePnP의 IPPE-Square 솔버로 매칭된 모든 대응을 쓴다. 사각형이 하나도 검출되지 않은 프레임은 등속 예측으로 넘기고 다음 프레임에서 검출을 재개한다.

시간 평활화(식 5). 논문에 따르면 프레임별 PnP 해를 초기값으로 두고 첫 프레임 포즈는 고정한 채 다음을 LM으로 최소화한다.

\mathcal{L}_{\text{smooth}} = \sum_{n=1}^{N}\sum_{(\mathbf{x},\mathbf{X})\in\mathcal{C}_n} \big\|\pi(\mathbf{R}_n\mathbf{X}+\mathbf{t}_n)-\mathbf{x}\big\|_2^2 + \sum_{n=1}^{N-1}\Big[w_t\|\mathbf{t}_{n+1}-\mathbf{t}_n\|_2^2 + w_r\big\|\log(\mathbf{R}_{n+1}\mathbf{R}_n^\top)\big\|_F^2\Big]

\pi(\mathbf{u})=(f/u_3)[u_1,u_2]^\top 는 원근 투영이고 가중치는 w_t=200, w_r=40 이다(부록 A.3). 논문은 SciPy의 least_squares LM에 해석적 야코비안을 주고 최대 2000회 반복한다고 쓴다. 쿼리 3개 번들 조정에 약 20초가 걸린다.

⚠️ 공개 코드에서는 이 평활 단계가 실행되지 않는다. 공개 레포(업스트림 72a328b 기준)에 LM 최적화 함수는 정의돼 있지만 어떤 추론·평가 경로도 그 함수를 호출하지 않는다. 공개 파이프라인의 출력은 프레임별 PnP + 등속 전파 결과 그대로다. 호출되지 않는 그 함수도 위 서술과 세 군데가 다르다. 첫 프레임을 고정하지 않고 모든 유효 프레임을 자유 변수로 둔다(6N+(Q-1)). 야코비안을 주지 않아 유한차분으로 푼다. w_t·w_r 를 제곱 노름 앞이 아니라 잔차에 곱하므로 목적함수에서는 w_t^2=40{,}000, w_r^2=1{,}600 으로 들어가고, 평활 항을 첫 프록시만이 아니라 모든 프록시에 건다. 공개 트래커와 논문 부록 A.2 사이의 다른 차이도 공개 코드와 대조해 보면 절에 정리했다.

저자들은 “The appearance and geometry of the proxy are straightforward, so this pipeline is reliable despite the absence of any learned components” 라고 쓴다. 이 문장은 설계의 전제이자 약점의 출발점이다. 프록시가 “깨끗하게” 생성될 때만 참이다(한계 절의 VAE 블러 사례).

방법 (4): 강체라면 쿼리를 여러 개 (번들 조정)

강체임을 미리 아는 표면에는 쿼리 픽셀 Q 개를 찍고 프록시 비디오 Q 개를 따로 생성해 합칠 수 있다(§3.3). 문제는 모든 프록시 큐브가 단위 깊이에 초기화된다는 점이다. 그래서 복원된 평행이동들은 서로의 실제 상대 깊이를 반영하지 못한다. 저자들은 프록시마다 깊이 스칼라 s^{(q)}>0 를 도입해, 첫 프레임에서 큐브 q 의 깊이를 s^{(q)} 로 옮기고 크기도 s^{(q)} 배 키운다. 원근 투영이라 이렇게 해도 첫 프레임 영상은 변하지 않는다. 관례상 s^{(1)}=1 이다.

모든 프록시는 첫 프록시의 포즈에 고정된 강체 변환을 곱한 것으로 매개화한다(식 6).

\mathbf{R}^{(q)}_n = \mathbf{R}^{(1)}_n\,\Delta\mathbf{R}^{(q)}, \qquad \mathbf{t}^{(q)}_n = \mathbf{R}^{(1)}_n\,\Delta\mathbf{t}^{(q)} + \mathbf{t}^{(1)}_n

\Delta\mathbf{R}^{(q)}={\mathbf{R}^{(1)}_1}^\top\mathbf{R}^{(q)}_1, \Delta\mathbf{t}^{(q)}={\mathbf{R}^{(1)}_1}^\top(s^{(q)}\mathbf{t}^{(q)}_1-\mathbf{t}^{(1)}_1) 이다. 자유 변수는 첫 프록시의 프레임 2~N 포즈와 s^{(2..Q)}, 합쳐서 6(N-1)+(Q-1) 개다. 목적함수(부록 식 S1)는 식 5의 재투영 항을 모든 프록시에 대해 합한 것이다. Q=1 이면 식 5로 돌아간다.

저자들은 이 절차가 “not necessary for general in-the-wild tracking” 이라고 선을 긋는다. 실제로 번들 조정은 강체 가정과 첫 프레임 물체 마스크(모든 쿼리를 같은 물체에 놓기 위해)를 끌어들이므로, 그 순간 ProxyPose도 “추가 입력 없음”의 칸을 벗어난다. 그리고 이 번들 조정도 앞 절의 LM 평활과 같은 함수로 구현돼 있어, 공개 코드에서는 호출되지 않는다. 벤치마크 쿼리 샘플러는 시퀀스마다 쿼리 3개를 기록하지만 평가 루프는 첫 번째만 쓴다.

방법 (5): 합성 데이터 35,000쌍

학습 데이터는 전부 Blender로 렌더한 합성이다(§3.4, 부록 B).

항목	값
규모	소스-프록시 쌍 35,000개 (검증 100개, 합성 평가 벤치마크 14개 별도)
3D 자산	Objaverse 기반 Trellis-500K
소스 렌더	Blender 경로추적, 512×512, 64프레임, 픽셀당 64샘플
장면	전경 물체 1~4개(균등), HDR 환경맵(회전·50% 좌우반전·밝기 0.7~1.4배), PBR 바닥 재질(스케일 1.5~2.5)
운동	drop 모드(중력 하 강체 시뮬레이션, 벽으로 시야 유지) / fly 모드(무중력, 오일러 적분)
카메라	핀홀, 시야각 45° 고정(f_x=f_y\approx618 px), 고정 또는 두 포즈 사이 선형 이동(방위 0~360°, 앙각 5~60°)
프록시 렌더	PyTorch3D, 물체별·프레임별 6-DoF 변환 적용. 프록시 하나는 소스의 물체 하나의 운동만 담는다
분할	평가 세트는 학습과 3D 자산·배경·바닥·궤적이 겹치지 않음

두 가지를 짚어 둔다. 첫째, 학습 데이터에는 강체만 있다. 얼굴·파도·깨지는 꽃병 같은 비강체 사례는 전부 이 분포 밖이다. 둘째, 학습 영상의 시야각이 45°로 고정이고, 초점거리를 모를 때 추론 기본값도 45°다. 초점거리 민감도 실험(부록 D.1)이 중요한 이유다.

직관: 왜 “큐브를 그리게 하기”가 통하는가

생성 모델이 가장 잘하는 형식으로 묻는다. 비디오 확산 모델은 픽셀 공간의 시공간 일관성을 학습했다. 회전 행렬 9개 숫자를 회귀하라고 하면 그 지식을 꺼낼 새 헤드가 필요하다. 반면 “같은 운동을 하는 큐브를 그려라”는 여전히 영상을 만드는 일이다. 사전학습의 출력 공간을 그대로 쓰는 셈이고, 그래서 합성 300개만으로도 꽤 작동한다는 ablation 결과(아래)가 덜 놀랍다. 같은 결의 논리는 비디오 모델을 정책으로 바꾼 Cosmos Policy에서도 보였다. 거기서도 행동·가치를 잠재 프레임으로 끼워 넣어 백본이 원래 하던 “다음 프레임 예측”의 형식을 유지했다.

원근 투영의 척도 모호성을 설계에 흡수한다. 큐브를 실제 표면 깊이가 아니라 광선 위 단위 깊이에 두는데 어떻게 “같은 운동”이 성립하는가? 답은 원근 카메라가 카메라 중심 기준의 균일한 척도 변환에 불변이라는 사실이다. 깊이 d 의 표면 조각과 그 운동을 1/d 배로 축소하면 영상은 똑같다. 따라서 프록시는 “축소된 사본”의 운동을 그리고, 회전은 그대로, 평행이동은 미지의 전역 척도까지만 복원된다. 논문이 평가에서 모든 방법의 깊이를 첫 프레임 GT 깊이에 맞춰 척도를 정렬하는 이유이고, 결론에서 “only relative motion can be recovered” 라고 인정하는 이유다. (이 문단의 유도는 필자의 정리다. 논문은 번들 조정 절에서 “perspective depth/scale ambiguity”라고만 언급한다.)

이 기하에서 두 가지 성질이 곧바로 나온다(필자의 유도).

• 큐브 중심의 투영은 추적점의 투영과 항상 일치한다. 척도 변환은 광선을 보존하기 때문이다. 그래서 2D 거리 지표는 사실상 “큐브 중심 2D 점 추적 오차”이고, Fig. 1 캡션도 강조점을 큐브 중심이라고 적는다. 추적점이 화면 가장자리로 가면 큐브도 절반쯤 화면 밖으로 나간다. Fig. 1 꽃병 줄의 마지막 프록시 프레임에서도 큐브가 화면 오른쪽 가장자리에 걸려 잘려 있다.
• 추적점이 카메라에서 멀어지면 큐브가 작아진다. 첫 프레임에서 큐브 한 변의 투영 길이는 0.15h\approx77 px(h=512)이고, 대각선 시점에서 한 면의 투영 면적은 약 77^2\cos 54.7°\approx3{,}400 px²다. 면적이 깊이 제곱에 반비례하므로 추적점이 초기 깊이의 약 2.6배까지 멀어지면 면이 500 px² 임계값 아래로 떨어진다. 대략적인 계산이고 논문이 제시한 수치가 아니다. 다만 “최대 추적 깊이”라는 부록의 표현이 실제로 이런 상한을 뜻한다는 점은 알아 둘 만하다.

면 색은 어디까지 믿는가. 논문은 대응 매칭에 색을 쓰지 않는다고 쓴다(“not sufficiently reliable”). 생성된 프록시에서 색과 면의 대응이 늘 보장되지는 않는다는 뜻으로 읽힌다(필자 해석). 논문 서술대로라면 큐브의 24가지 회전 대칭은 시간 연속성(등속 외삽) 으로만 풀리고, 한 프레임 사이 회전이 45°를 넘을 만큼 빠르면 이론상 면 정체가 뒤바뀔 수 있다.

공개 코드는 이와 다르게 동작한다(대조표의 “대응 매칭에서 색” 행). 코드는 색→면의 고정된 대응표는 쓰지 않는다. 첫 프레임에서는 가장 큰 사각형을 앞면으로 두고 나머지 면을 기하로 배정한다. 대신 직전 프레임에서 정해진 색→면 할당을 다음 프레임 매칭 후보의 잠금으로 이어받는다. 한 번 어떤 면으로 판정된 색의 윤곽은 계속 그 면 후보로만 매칭된다. 따라서 검출이 이어지는 동안 대칭은 기하 외삽과 색의 프레임간 일관성이 함께 푼다. 이 잠금은 큐브 검출이 한 프레임이라도 끊기면(prev_matches=None) 풀리고, 그다음부터는 다시 등속 외삽만으로 면을 고른다. 빠른 운동에서의 면 뒤바뀜 위험은 논문 서술보다 작지만, 검출이 끊겼다 재개되는 순간에는 그대로 남는다(필자의 코드 판독). 빠른 운동이 한계 절에 오르는 것과 같은 축의 문제다.

실험

셋업

• 데이터셋: HO3D_v3(손-물체 조작, YCB 물체 4종 13시퀀스), YCBInEOAT(Azure Kinect로 찍은 양팔 로봇 조작, YCB 물체 5종 9시퀀스), 자체 합성 평가 세트 14시퀀스.
• 윈도 선택: 각 시퀀스에서 첫 프레임과 마지막 프레임 사이 회전 변화가 가장 큰 연속 49프레임을 고른다. 첫 프레임 물체 가시도가 90% 미만인 윈도는 버린다.
• 쿼리 점: 첫 프레임 GT 마스크에서 경계로부터 가장 먼 상위 25% 픽셀 중 무작위로 하나를 고른다. 지표는 GT와 예측 포즈를 그 쿼리 점에서 비교한다.
• 정렬: 모든 포즈는 첫 프레임 기준 상대 포즈이고, 단안 척도 모호성을 풀기 위해 모든 방법의 예측 깊이를 첫 프레임 GT 깊이에 맞춘다.
• 지표: ATE(절대 평행이동 오차, mm), ARE(절대 회전 오차, °), RPE-t·RPE-r(상대 포즈 오차, Sturm et al. 2012), 2D-dist(예측·GT 추적점의 평균 픽셀 거리). 부록에 물체 수준 ADD·ADD-S.

Table 1: HO3D와 YCBInEOAT

논문 Table 1(부록 Table S5가 같은 값에 시퀀스 간 표준편차를 붙인 확장판)을 두 표로 나눠 옮긴다. 모든 지표는 낮을수록 좋다. 굵게는 열 최선, 기울임은 차선이다(논문 표기 기준). “추가 입력” 열의 3D는 3D 모델, D는 깊이, M은 물체 마스크다.

HO3D

방법	추가 입력	ATE (mm)	ARE (°)	RPE-t (mm)	RPE-r (°)	2D-dist (px)
FoundationPose (registration)	3D·D	53.17	74.55	37.09	63.36	37.09
FoundationPose (track)	3D·D	25.44	15.38	6.156	2.874	18.05
Oryon	D	40.42	37.97	23.52	23.70	45.69
Any6D	D·M	64.63	76.18	41.08	48.85	56.23
One2Any	D·M	52.02	88.99	12.86	17.53	55.31
ConceptPose	D·M	34.24	79.95	38.89	94.89	38.14
CoTracker 3 + DA3 (object)	D·M	25.02	19.56	6.630	2.927	14.69
SpatialTrackerV2 (object)	D·M	25.87	24.27	1.867	1.477	25.09
BundleSDF	D·M	23.24	14.28	5.949	2.706	14.92
SpatialTrackerV2 (pixel)	D	26.14	22.16	1.898	3.042	25.89
CoTracker 3 + DA3 (pixel)	D	26.62	17.85	5.596	4.424	12.07
ProxyPose (one query)	없음	15.79	5.126	1.193	0.9768	8.016
ProxyPose (two queries)	M	15.42	3.941	1.220	0.8523	12.31
ProxyPose (three queries)	M	18.55	4.297	1.309	0.8206	14.63

YCBInEOAT

방법	추가 입력	ATE (mm)	ARE (°)	RPE-t (mm)	RPE-r (°)	2D-dist (px)
FoundationPose (registration)	3D·D	95.84	118.3	47.35	71.12	31.19
FoundationPose (track)	3D·D	50.19	18.58	11.17	3.579	10.97
Oryon	D	41.17	41.45	20.88	34.07	25.63
Any6D	D·M	86.26	67.46	35.70	37.38	37.53
One2Any	D·M	35.31	33.99	10.78	10.29	23.33
ConceptPose	D·M	43.04	68.38	37.52	75.67	26.42
CoTracker 3 + DA3 (object)	D·M	44.80	17.12	10.79	4.940	7.836
SpatialTrackerV2 (object)	D·M	32.57	22.35	5.706	3.227	8.411
BundleSDF	D·M	42.06	13.88	10.34	4.255	6.792
SpatialTrackerV2 (pixel)	D	33.01	23.30	6.441	8.496	7.487
CoTracker 3 + DA3 (pixel)	D	47.65	24.56	10.67	6.503	7.003
ProxyPose (one query)	없음	30.07	15.07	4.330	2.630	8.496
ProxyPose (two queries)	M	31.62	7.764	4.820	2.269	7.969
ProxyPose (three queries)	M	26.32	6.476	4.435	2.153	7.770

정성 비교(Fig. 3): 흰 점이 추적점, 좌표축이 추정 방향, 분홍 선이 궤적(시각화를 위해 프레임마다 수평 오프셋을 줌). 초록 윤곽이 GT, 빨간 윤곽이 예측 물체 포즈다. 화살표는 BundleSDF와 CoTracker 3 + DA3(pixel level)의 드리프트·떨림을 가리킨다.

읽는 법 1: HO3D에서는 깨끗하게 이긴다. 단일 쿼리 ProxyPose는 어떤 추가 입력도 없이 5개 지표 모두에서 모든 베이스라인보다 낮다. RPE-t와 2D-dist는 전체 1위이고, ATE·ARE·RPE-r에서는 자기 다중 쿼리 변형에만 뒤진다. 각 지표의 최강 베이스라인 대비 감소율을 계산하면(필자 계산) ATE −32%(vs BundleSDF 23.24), ARE −64%(vs BundleSDF 14.28), RPE-t −36%(vs SpatialTrackerV2 object 1.867), RPE-r −34%(vs SpatialTrackerV2 object 1.477), 2D-dist −34%(vs CoTracker pixel 12.07)이다. 특히 회전 오차의 격차가 크다. 깊이를 받는 방법들이 오히려 회전에서 약하다는 점은, 국소 패치의 3D 점들로 Kabsch를 푸는 방식이 단안 깊이 노이즈에 회전을 크게 흔들린다는 것과 맞아떨어진다.

읽는 법 2: YCBInEOAT에서는 “단일 쿼리”가 모든 칸을 이기지 않는다. §4.1 본문은 “ProxyPose achieves substantially lower rotation and translation errors than all baselines on both benchmarks” 라고 쓰지만, 표를 한 칸씩 보면 단일 쿼리의 ARE 15.07°는 BundleSDF의 13.88°보다 높고, ATE 30.07 mm는 SpatialTrackerV2(object) 32.57 mm보다 겨우 7.7% 낮다. 2D-dist 8.496 px는 BundleSDF(6.792)·CoTracker pixel(7.003)·SpatialTrackerV2 pixel(7.487)·CoTracker object(7.836)에 모두 진다. 본문 문장은 다중 쿼리 변형까지 묶으면 참이다. 3-쿼리 변형은 ATE·ARE·RPE-r에서 1위다. 하지만 다중 쿼리는 첫 프레임 물체 마스크와 강체 가정을 쓰므로, “추가 입력 없이 이긴다”는 서사와 “모든 지표에서 이긴다”는 서사는 서로 다른 행에서 나온다. 게다가 두 쿼리·세 쿼리 행을 만든 번들 조정은 공개 코드에서 호출되지 않으므로, 이 행들은 공개 코드로 재현할 경로가 없다. 단일 쿼리 행도 논문 서술로는 LM 평활을 거친 값인데, 공개 평가 경로에는 그 평활이 없다. 공개된 Table 1 수치가 평활을 거친 값인지는 코드로도 논문으로도 가려지지 않는다.

읽는 법 3: 평균이 한 시퀀스에 끌려간다. 부록 Table S3의 시퀀스별 값을 보면 단일 쿼리의 YCBInEOAT ARE 평균 15.07°는 00006_obj3 한 시퀀스의 79.94° 에 크게 끌려 올라간 값이다. 9개 시퀀스의 중앙값은 6.155°이고, 그 시퀀스를 빼면 평균은 6.96°다(필자 계산). FoundationPose(track)도 00008_obj4에서 90.98°를 내 평균 18.58° / 중앙값 10.17°로 비슷한 구조다. 시퀀스 9개짜리 벤치마크에서 평균 순위는 이상치 하나에 좌우되고, Table S5의 표준편차(단일 쿼리 ATE 30.1 ± 29.9 mm vs SpatialTrackerV2 object 32.6 ± 17.8 mm)를 보면 YCBInEOAT의 ATE 차이는 통계적으로 구분되지 않는다. 그 실패 시퀀스에서 무슨 일이 일어났는지는 논문에 설명이 없다.

부록 Table S1: 물체 수준 ADD / ADD-S

본문 지표가 쿼리 점 하나의 국소 정확도를 재는 데 비해, 부록은 물체 전체 수준의 ADD·ADD-S(%)를 싣는다. 높을수록 좋다.

방법	HO3D ADD	HO3D ADD-S	YCBInEOAT ADD	YCBInEOAT ADD-S
FoundationPose (track)	72.5	88.7	64.1	80.8
BundleSDF	75.2	89.4	64.7	79.3
SpatialTrackerV2 (object)	71.6	89.0	59.7	81.0
CoTracker 3 + DA3 (object)	67.5	85.7	63.5	78.5
ProxyPose (one query)	82.5	91.7	72.4	84.2
ProxyPose (two queries)	83.8	92.4	70.3	84.1
ProxyPose (three queries)	81.5	91.2	73.9	86.9

(상위 베이스라인 4개만 옮겼다. 전체 11개는 논문 Table S1.) 물체 수준으로 바꿔도 순위는 유지된다. 단 ADD·ADD-S를 어떤 임계값(예: 물체 직경의 10%)이나 AUC로 계산했는지는 부록에 적혀 있지 않다.

합성 벤치마크(부록 Table S4): 학습 분포 안에서 ATE는 지는가

자체 합성 평가 세트 14시퀀스의 결과는 서사와 결이 다르다.

방법	ATE (mm)	ARE (°)	RPE-t (mm)	RPE-r (°)	2D-dist (px)
One2Any	261.4	59.10	102.8	20.41	40.08
ConceptPose	269.9	105.2	323.7	115.8	50.25
SpatialTrackerV2 (pixel)	453.2	40.90	50.65	19.58	12.56
SpatialTrackerV2 (object)	538.6	38.48	47.52	7.290	22.00
FoundationPose (track)	892.2	28.87	99.06	5.470	43.82
ProxyPose (one query)	480.3	19.79	29.92	1.920	15.17
ProxyPose (two queries)	435.1	21.53	29.61	2.605	15.03
ProxyPose (three queries)	451.4	22.94	32.08	3.10	17.30

(베이스라인 일부만 발췌. 굵게는 발췌 전 전체 14행 기준 열 최선이다.) 부록 본문은 “ProxyPose achieves the best ARE and RPE-r by a large margin” 이라고 쓰고, 그 두 지표에 대해서는 정확하다. 하지만 같은 표의 ATE에서 단일 쿼리 ProxyPose는 One2Any·ConceptPose·SpatialTrackerV2(pixel)보다 나쁘고, 2D-dist에서도 SpatialTrackerV2(pixel)에 진다. 자기 학습 분포와 같은 생성 과정으로 만든 평가 세트에서 평행이동이 가장 약하다는 점은, 평행이동 쪽 오차가 생성 품질보다 척도·깊이 복원 구조(단위 깊이 초기화, 첫 프레임 척도 정렬)에서 온다는 가설과 맞는다(필자 해석). 또 합성 장면은 물체를 임의로 리스케일하므로 여기서의 “mm” 단위가 실제 물리 크기를 뜻하는지도 불분명하다.

Ablation(Table 2)

기본 설정(Wan-14B, rank 64, 35k 시퀀스, 오프셋 500)에서 한 요소씩 바꿨다. 평가는 합성 데이터의 held-out 세트다.

변형	ATE (mm)	ARE (°)	RPE-t (mm)	RPE-r (°)	2D-dist (px)
LoRA rank 32	94.08	56.15	11.99	6.041	149.9
LoRA rank 128	88.21	44.76	10.44	4.602	141.6
데이터 300개	88.71	46.08	9.079	4.544	138.9
데이터 3k개	87.70	43.88	9.067	5.057	131.4
노이즈 오프셋 0	507.5	98.48	354.5	41.76	1009
Full model	81.65	36.83	8.181	3.178	117.3

• 노이즈 오프셋이 결정적이다. 끄면 지표에 따라 약 3배(ARE)에서 43배(RPE-t)까지 나빠지고, 2D-dist 1009 px는 512 px 이미지의 폭을 넘는다. 추적점이 화면 밖으로 날아간다는 뜻이다. 첫 프레임을 “거의 깨끗한 조건”으로 유지하지 않으면 모델이 어떤 큐브를 그려야 하는지부터 놓친다.
• 데이터 300개로도 꽤 된다. ATE는 +8.6%만 나빠진다. 다만 같은 행의 ARE는 +25%, RPE-r은 +43% 나빠진다(필자 계산). 저자들의 “a dataset size of only 300 samples already achieves compelling performance” 는 ATE 기준으로는 맞지만 회전 지표에서는 격차가 더 크다.
• 단조성이 깨진다. rank 128이 rank 64보다 나쁘고, 데이터 3k의 RPE-r(5.057)이 300개(4.544)보다 나쁘다. 시드 반복이나 오차 막대가 없어 이것이 노이즈인지 실제 경향인지 판단할 수 없다.
• Full model 행이 부록 Table S4와 맞지 않는다. 둘 다 “held-out synthetic” 세트인데, Table 2의 Full model(ATE 81.65 / ARE 36.83 / 2D 117.3)과 Table S4의 단일 쿼리 ProxyPose(ATE 480.3 / ARE 19.79 / 2D 15.17)는 모든 지표가 다르고 방향도 제각각이다(ATE는 Table 2가 6배 낮고, ARE·2D는 Table S4가 낮다). 평가 세트(검증 100개 vs 평가 14개?), 해상도·프레임 수, 체크포인트 단계 중 무엇이 다른지 논문에 설명이 없다. Ablation의 상대 비교 자체는 유효하겠지만 절대값을 다른 표와 이어 읽으면 안 된다.

초점거리 민감도(부록 Table S6)

HO3D 단일 쿼리에서 GT 초점거리 f 를 ½배, 1.5배로 틀리게 줬다.

초점거리	ATE (mm)	ARE (°)	RPE-t (mm)	RPE-r (°)	2D-dist (px)
½ × f	175.2	15.23	11.3	1.876	178.9
f (GT)	15.79	5.126	1.193	0.9768	8.016
1.5 × f	61.55	7.292	3.668	1.668	65.79

저자들의 요약(“Rotation metrics degrade gracefully under ±50% focal-length error”)은 공정하다. 회전은 ½배에서도 15.23°로 대부분 베이스라인보다 낫다. 반면 평행이동과 2D 거리는 11배, 22배 나빠진다. 이 표에서 확인되는 사실이 하나 더 있다. f 행이 Table 1의 단일 쿼리 값과 정확히 같으므로, Table 1의 ProxyPose는 GT 초점거리로 평가됐다. 공개 평가 코드도 벤치마크 장면 메타데이터의 GT 내부 행렬 K 를 읽어 쓰고, 예측 궤적의 깊이 척도와 좌표계를 쿼리 픽셀의 첫 프레임 GT 깊이·GT 포즈에 맞춘다. “단안 RGB만”이라는 표현은 GT 내부 파라미터와 첫 프레임 GT 깊이 척도(평가 프로토콜)를 전제로 한다는 뜻이다. 둘 다 모든 방법에 공통이라 비교는 공정하지만, 인터넷 영상처럼 둘 다 없는 상황의 정량 성능은 이 표가 가리키는 범위(특히 평행이동)에서 크게 나빠질 수 있다.

인터넷 영상과 추가 응용

어려운 인터넷 영상(Fig. 4): 반사(디스코볼), 투명(유리컵), 빠른 회전(카드)에서 CoTracker 3 + DA3는 추적 실패·방향 오류·회전 없음을 보이는 반면 ProxyPose는 그럴듯한 궤적을 낸다. 오른쪽은 수중에서 도는 물개에 쿼리 여러 개를 찍은 예와, 꽃병이 가려졌다 드러나는 동안 추적을 유지하는 예다.

프로젝트 페이지의 인터넷 영상 비교(왼쪽 디스코볼, 오른쪽 유리컵). 각 영상은 왼쪽부터 ProxyPose, CoTracker+DAV3, BundleSDF다(프로젝트 페이지 라벨 기준).

Fig. 1과 Fig. 4는 빠른 운동, 가림, 비강체, 만화, 반사·투명 표면, 여러 변형 영역의 동시 추적을 보여 준다. 이 범주들에는 GT가 없으므로 전부 정성 결과다. 그럼에도 CoTracker 3 + DA3가 “tracking fails / incorrect orientation / no rotation”으로 무너지는 장면을 나란히 놓은 비교는 설득력이 있다. 디스코볼처럼 거울 조각이 조명을 반사하며 도는 표면은 특징점 추적과 단안 깊이가 모두 무너지는 전형적인 경우이기 때문이다.

추가 응용(Fig. 5): 얼굴 추적(얼굴 전용 모델 FlowFace와 비교), 배경이나 구름 위 쿼리 한두 개로 카메라 궤적 추정(구름 장면은 COLMAP 실패), 추가 학습 없이 단일광자 카메라(NeRF 총)와 이벤트 카메라(핸드 스피너) 영상에 적용. 얼굴 추적 영상(프로젝트 페이지). 왼쪽부터 ProxyPose, FlowFace, 3D fit 오버레이.

• 얼굴: 강체만 학습했는데 얼굴 표면의 쿼리 점에서 FlowFace와 “comparable” 한 6-DoF 머리 포즈 궤적이 나온다고 한다. 비교는 그림뿐이고 수치는 없다.
• 카메라 궤적: 정적 배경 표면에 찍은 여러 쿼리의 추정을 모으면 카메라 포즈가 된다. 텍스처가 부족해 COLMAP이 실패한 구름 장면에서 성공한다. 역시 정량 오차는 없다.
• 다른 센서: 이벤트 카메라와 단일광자 카메라 영상에도 zero-shot으로 적용된다. 저자들은 이를 “suggesting that the learned motion priors may transfer across imaging modalities” 로 조심스럽게 해석한다.

한계(Fig. 6)

실패 사례(Fig. 6): 빠른 운동(구슬)은 VAE 블러를 일으켜 포즈 복원을 망친다. 국소 강체 운동이 정의되지 않는 유체 표면(파도)과, 무늬 없고 반사하는 물체(풍선)에서는 드리프트가 생긴다.

프로젝트 페이지의 실패 사례 영상: 빠른 운동(구슬 경주), 정의되지 않는 운동(파도), 반사 표면(풍선).

저자들이 스스로 꼽은 한계는 네 가지다. ① 빠른 운동이 VAE의 인코딩 능력을 넘으면 흐릿한 프록시가 나와 윤곽 검출이 망가진다. ② 유체처럼 국소 강체성이 성립하지 않는 장면에서는 추적 자체가 정의되지 않는다. ③ 무늬 없거나 반사하는 물체가 복잡하게 움직이면 드리프트가 생긴다. ④ 추론에 고성능 GPU로 수 분이 걸린다. 서론은 여기에 두 가지를 더한다. 한 번에 처리할 수 있는 프레임 수가 비디오 모델의 생성 길이로 제한되고, 상대 운동만 복원된다.

③은 흥미롭다. 초록과 서론은 무늬 없는·반사하는 표면을 기존 방법의 약점이자 ProxyPose의 강점으로 내세우는데(디스코볼, 유리컵), 한계 절은 같은 범주에서 드리프트를 인정한다. 둘이 모순은 아니다(단순 운동에서는 되고 복잡한 운동에서는 흔들린다). 하지만 이 경계가 어디인지는 정성 사례 몇 개로만 그려져 있다.

비판적으로 보면

강점

• 문제 재정의 자체가 기여다. 새 네트워크 구조 없이 출력 형식 하나를 바꿔 생성 모델의 사전지식과 고전 기하를 연결했다. 프록시 설계(대각선 정렬로 세 면 노출, 단위 깊이, 해상도 무관한 크기)가 원근 기하의 척도 모호성과 PnP의 요구사항을 정확히 겨냥한다. “생성 모델에게 인식 과제를 시킬 때 무엇을 그리게 할 것인가”라는 질문은 이 논문을 넘어 이식 가능하다. 결론도 관절체 추적, 비강체 재구성, 조밀 scene flow로의 확장을 제안한다.
• 추가 입력 없이 강체 벤치마크 최고 수준. HO3D에서 단일 쿼리 ProxyPose는 CAD 모델+깊이를 받는 FoundationPose와 깊이+마스크를 받는 BundleSDF를 모든 지표에서 앞선다. 특히 회전(ARE −64%)의 격차가 크다. 부록의 물체 수준 ADD·ADD-S에서도 순위가 유지된다.
• 실패가 해석 가능한 파이프라인. 생성 단계와 기하 단계가 분리돼 있어서, 틀렸을 때 프록시 영상을 열어 보면 원인(블러, 큐브 화면 이탈, 면 분할 실패)이 눈에 보인다. 종단간 회귀 모델에는 없는 성질이다.
• 데이터 효율. 합성 300개로도 ATE가 8.6%만 나빠진다는 ablation은, 저자 말대로 특정 과제용으로 손으로 큐레이션한 소규모 데이터셋으로 파인튜닝할 여지를 연다.
• 재현 자산이 충실하다. 부록에 OpenCV 임계값·솔버 설정·RoPE 수정·텍스트 프롬프트·색 코드(BGR)까지 적혀 있고, 코드·LoRA 가중치·평가 윈도 정의가 공개됐다. 이 블로그의 재현 노트에서도 1.3B 변형이 공개 가중치로 끝까지 돌아갔다. 생성 단계의 설정값(큐브 크기, LoRA 스케일, 노이즈 오프셋)은 논문과 코드가 일치한다. 단 뒷단의 LM 평활·번들 조정은 코드에 있어도 호출되지 않는다(약점 절).

약점·한계

• 가장 큰 주장이 가장 약한 증거에 기대고 있다. 초록은 기존 방법이 “struggle with textureless, transparent, reflective, or deformable surfaces” 라고 문제를 세우지만, 정량 평가는 전부 강체 YCB 물체(HO3D, YCBInEOAT)와 강체 합성 데이터뿐이다. 반사·투명·변형·만화·이벤트 카메라에서의 우위는 모두 그림과 영상이다. 얼굴 추적은 FlowFace와 “comparable”이라고만 하고, 카메라 궤적은 COLMAP이 실패한 장면 하나에서 성공했다는 서술뿐이다. 변형 표면의 GT가 있는 데이터(예: 얼굴 랜드마크 기반 머리 포즈, 카메라 GT가 있는 SLAM 벤치마크)로 수치 한 줄만 있었어도 주장의 등급이 달라졌을 것이다. 저자 스스로 서론에서 “preliminary evidence” 라고 쓴 만큼, 리뷰도 그 등급으로 읽어야 한다.
• “모든 베이스라인보다 낮다”는 문장은 행을 섞어 만들어졌다. YCBInEOAT에서 단일 쿼리는 ARE에서 BundleSDF에, 2D-dist에서 네 방법에 진다. 이 칸들을 이기는 것은 첫 프레임 마스크와 강체 가정을 쓰는 다중 쿼리 변형이다. 부록 Table S4(합성)에서도 단일 쿼리는 ATE 4위다. 본문은 “추가 입력 없음”과 “전 지표 우위”를 한 문장에 담았지만, 표 안에서 두 성질을 동시에 가진 행은 HO3D에만 있다.
• 평가 프로토콜이 국소 방법에 유리한 방향으로 설계돼 있다. 쿼리 점은 물체 경계에서 먼 내부 상위 25% 에서 뽑고, 윈도는 회전 변화가 최대인 49프레임이다. 전자는 경계 근처에서 큐브가 배경과 물체 사이의 운동을 섞어 그릴 위험을 피하고, 후자는 회전 오차에서 강한 ProxyPose의 장점을 부각한다. 둘 다 합리적인 선택이지만 어느 쪽도 ablation이 없다. 또 쿼리 점을 시퀀스당 하나만 무작위로 뽑았고 논문에는 시드도 반복도 적혀 있지 않다(공개 코드에는 쿼리 샘플링 시드 123 + 시퀀스 번호가 고정돼 있고, 평가 스크립트에 시퀀스당 반복 추론 옵션 --num_attempts(기본 1, 생성 시드 = 지정 시드 + 시도 번호)도 있다. 하지만 논문은 Table 1을 몇 번의 시도로 계산했는지 보고하지 않는다). 확산 샘플링의 확률성까지 더하면, 시퀀스 9~13개짜리 평균의 차이 중 상당수는 오차 범위 안이다(Table S5의 표준편차가 이를 보여 준다).
• 공개 코드는 논문 파이프라인의 뒷단을 실행하지 않는다. 논문이 방법의 일부로 서술한 LM 시간 평활(식 5)과 다중 쿼리 번들 조정(식 6, S1)은 공개 레포에 정의만 있고 호출되지 않는다. 그래서 Table 1의 두 쿼리·세 쿼리 행은 공개 코드로 재현할 경로가 없고, 단일 쿼리 행도 논문이 서술한 조건(평활 포함)과 공개 경로(평활 없음)가 다르다. 공개된 트래커는 PnP 솔버·첫 프레임 초기화·색 사용 방식에서도 부록 A.2와 다르다(대조 절). “코드 공개”를 “Table 1 재현 가능”으로 읽으면 안 된다.
• 표 사이의 수치가 이어지지 않는다. Ablation Table 2의 Full model과 부록 Table S4의 ProxyPose가 같은 “held-out synthetic” 세트라는데 모든 지표가 다르다(ATE 81.65 vs 480.3, 2D 117.3 vs 15.17). 어느 세트·설정인지 설명이 없어 ablation의 절대값을 해석할 수 없다.
• 베이스라인의 입력 조건이 서술마다 다르다. 본문과 Table 1 각주는 “we provide depth inputs using Depth Anything 3” 라고 쓰는데, 부록 C.2는 FoundationPose 두 모드가 모두 “receive ground-truth depth maps” 라고 쓴다. BundleSDF의 마스크 사용 여부도 Table 1(사용)과 Table S4(미사용)가 다르다. 베이스라인이 GT 깊이를 받았다면 비교는 ProxyPose에 더 불리했던 것이고, DA3 깊이였다면 반대다. 어느 쪽인지가 표의 해석을 바꾼다.
• “파운데이션 모델 없이”라는 표현의 범위. Fig. 1 캡션은 “without employing foundation models or 3D inference pipelines” 라고 쓰지만, 방법 자체가 14B 파라미터 비디오 파운데이션 모델(Wan) 위에 서 있고, 초점거리를 모를 때는 DA3를 쓸 수 있다. 서론의 정확한 주장은 “과제 특화 파운데이션 모델(분할·깊이·점 추적)이 필요한가”다. 캡션의 짧은 표현은 이 한정어를 떨어뜨렸다.
• 비용과 길이. 쿼리 하나에 49프레임(30 fps 기준 약 1.6초 분량)을 생성하는 데 H100에서 5.5분, 3-쿼리 번들 조정이면 16분 이상이다. 49프레임보다 긴 영상을 어떻게 이어 붙이는지(윈도 간 연결, 누적 드리프트)는 논문에 없다. 로봇 조작의 폐루프 상태 추정에 쓰려면 두세 자릿수의 가속이 필요하다. 저자들이 autoregressive 비디오 모델을 향후 과제로 꼽은 것도 이 때문이다.
• 척도·초점거리 의존. 평행이동은 첫 프레임 GT 깊이로 척도를 맞춘 상대값이고, 초점거리 오차 ±50%에서 ATE가 4~11배 나빠진다. 학습 데이터의 시야각이 45° 하나로 고정돼 있다는 점과 함께 보면, 인터넷 영상에서의 평행이동 추정은 회전보다 훨씬 덜 믿을 만하다.
• 서술 정밀도의 작은 어긋남. 본문의 “4D RoPE”는 부록에서 너비 축의 주파수 슬롯 하나를 덮어쓰는 구현이고, 공개 코드도 부록 쪽 구현과 같다. 부록 A.3은 LM을 “an L2 loss” 로 돌린다고 쓴 직후 “except for the robust loss specified in the main text” 라고 쓰는데, 본문에는 robust loss에 대한 서술이 없다. CFG를 학습에 넣었지만 추론 guidance scale은 논문에 없다. 공개 설정 파일의 값은 3.0인데, 같은 코드의 샘플러 docstring은 평가 때 “≈ 1.0”이라고 적는다. ADD·ADD-S의 임계값도 없다. 사소하지만 재현자가 코드를 열어야 하는 지점들이다.

공개 코드와 대조해 보면

이 절은 공개 레포(업스트림 ruihangzhang97/proxypose, 2026-09-28 기준 HEAD 72a328b)의 소스를 읽고 대조한 내용이다. 논문의 주장이 아니다. 설정값과 호출 관계는 이 블로그의 재현 과정에서 확인했고, 필자가 소스에서 다시 확인했다.

생성 단계는 논문과 맞는다. 리뷰 초판에서 “매개화 관례가 다를 수 있다”며 판단을 미뤘던 두 값은 코드로 확인하니 논문과 같다.

• 큐브 크기. 설정 파일의 proxy_scale: 0.3 이 첫 프레임 렌더 호출에서 한 번 더 0.5배가 되고, 렌더러의 큐브 꼭짓점은 \pmsize/2다. 단위 깊이에서 한 변의 길이는 0.3\times0.5\times h/f = 0.15\,h/f 로 논문의 s_{\text{cube}}=0.15 와 같다.
• LoRA 스케일. 공개 체크포인트의 LoRA rank는 64이고 alpha 키가 없다. 로더(DiffSynth)는 W \leftarrow W + \alpha\,BA 로 합칠 뿐 \alpha/r 로 나누지 않으므로, 설정의 lora_alpha: 1.0 은 PEFT 관례의 \alpha/r = 64/64 = 1 과 같다. 논문의 \alpha=r=64 와 동치다.

추적 단계는 논문과 여러 곳에서 다르다.

항목	논문(§3.2–3.3, 부록 A.2–A.3)	공개 코드	판정
큐브 한 변	(h/f)\cdot0.15	proxy_scale 0.3 × 렌더 호출 0.5 = 0.15\,h/f	일치
LoRA	rank 64, \alpha=r=64	rank 64, lora_alpha 1.0(스케일 \alpha/r 미적용 로더)	일치(매개화만 다름)
노이즈 오프셋	500	500	일치
스트림 구분 RoPE	본문 “4D RoPE”, 부록은 너비 축 슬롯 하나를 -1 로	프록시 토큰의 마지막 주파수 채널을 -1 로 덮어씀	부록과 일치
추론 guidance	적혀 있지 않음	cfg_scale 3.0(샘플러 docstring은 “≈ 1.0”)	논문 공백
면 분할	BGR 거리 70 미만, 면적 500 px 이상	같음. 추가로 이미지 경계 5 px 이내에 닿는 윤곽은 버린다	코드에만 있는 필터
PnP 솔버	solvePnP IPPE-Square	cv2.solvePnP 플래그 미지정(기본값 ITERATIVE)	불일치
첫 프레임 포즈	구성상 알려진 (\mathbf{R}_1,\mathbf{t}_1) 에서 시작	가장 큰 사각형을 +z 면으로 가정해 그 면 4점으로 PnP. 큐브 크기는 임의 단위(cube_scale 0.5)	불일치(평행이동 단위가 임의)
대응 매칭에서 색	“Face color is not used for correspondence matching”	고정 색→면 대응표는 없음. 직전 프레임의 색→면 할당으로 다음 프레임 후보 면을 잠그고, 검출이 끊기면 잠금 해제	부분 불일치
등속 전파	\exp(\mathbf{v}_R)\,\mathbf{R}_n (Alg. S2)	회전 벡터에 속도를 더함(rvec + r_velocity)	근사
LM 시간 평활(식 5)	사용	함수는 정의돼 있지만 어디서도 호출되지 않음	미연결
LM/BA 함수 내부(미호출)	첫 프레임 고정, 해석적 야코비안, 식 5·S1의 w_t\|\cdot\|^2 가중, 평활은 첫 프록시만	모든 유효 프레임이 자유 변수(6N+(Q-1)), 유한차분, 가중치를 잔차에 곱해 실효 w_t^2=40{,}000·w_r^2=1{,}600, 평활은 모든 프록시	불일치(실행 경로 밖)
다중 쿼리 번들 조정(식 6, S1)	2·3-쿼리 행에 사용	같은 함수, 호출 없음. 평가 루프는 샘플된 쿼리 3개 중 첫 번째만 사용	미연결
벤치마크 초점거리	명시 없음(Table S6로 역산하면 GT)	장면 메타데이터의 GT K	일치
쿼리 샘플링 시드	적혀 있지 않음	123 + 시퀀스 번호	코드에만
반복 추론	시도 횟수 보고 없음	--num_attempts(기본 1), 생성 시드 = --seed(기본 None) + 시도 번호	코드에만

이 표에서 리뷰의 판단을 바꾸는 것은 두 “미연결” 행(LM 시간 평활, 다중 쿼리 번들 조정)이다. 공개된 추론·평가 경로의 출력은 프레임별 PnP + 등속 전파 결과 그대로다. 논문이 방법의 일부로 서술한 LM 평활과 번들 조정은 코드에 정의만 있다. 따라서 Table 1의 두 쿼리·세 쿼리 행은 공개 코드로 재현할 경로가 없다. 단일 쿼리 행도 논문이 서술한 조건과 공개 경로가 다르다. 나머지 불일치(PnP 솔버, 첫 프레임 초기화, 색 잠금)는 수치에 어느 정도 영향을 주는지 논문으로도 코드로도 알 수 없다. 여기서는 기록만 해 둔다.

재현자에게 필요한 운영 사실도 몇 가지 있다. 공개 레포의 proxypose-track CLI는 추적 함수가 값 5개를 반환하는데 3개로 받아 ValueError 로 멈춘다. proxypose-infer 경로는 영향을 받지 않는다. PyTorch3D는 첫 프록시 프레임을 렌더하는 모듈이 최상위에서 import하므로 필수 의존성이다. 추론 결과 영상을 저장할 때 ffmpeg 실행 파일도 필요하다. 레포에는 논문에 없는 1.3B 변형(Wan2.1-T2V-1.3B + 별도 LoRA)도 함께 배포돼 있는데, 논문에는 이 변형의 수치가 없다.

🔧 재현 노트

🔬 이 절은 논문의 주장이 아니라 이 블로그가 직접 돌려 본 결과다. 먼저 하지 못한 것부터 적는다. ① 논문의 모델은 14B인데 우리는 1.3B 변형만 돌렸다. 14B는 DiT만 bf16으로 약 28 GB인데, 공유 GPU에서 이 작업에 쓸 수 있는 상한이 13 GiB였고 CPU RAM도 부족해 시도하지 않았다. ② HO3D·YCBInEOAT 벤치마크는 돌리지 않았다. 데모 영상에는 GT가 없으므로 정확도(ATE/ARE)는 측정하지 않았다. ③ 따라서 논문의 어떤 수치도 재현하지 않았다. 1.3B 변형은 논문에 비교할 수치가 없다. 아래 수치는 공개 파이프라인이 끝까지 돌아가는지와 결과가 얼마나 안정적인지를 보여 줄 뿐이다.

조건. RTX 5090(32 GB) 한 장을 다른 작업과 나눠 쓰며 상한을 13 GiB로 뒀다. 원본 코드는 수정하지 않고 2단계 래퍼로 감쌌다. 1단계는 텍스트 인코더(T5)만 GPU에 올려 고정 프롬프트 임베딩을 캐시하고(피크 10.83 GiB), 2단계는 DiT와 VAE만 올려 원본 추론 함수를 호출한다(피크 7.53 GiB). 원본 로더는 T5·DiT·VAE를 한꺼번에 GPU에 올려 이 상한을 넘기 때문이다. 입력은 레포에 동봉된 야구 스윙 데모(baseball_swing.mp4, 1080², 49프레임, 쿼리는 배트 끝)이고, 설정은 공개 기본값(50 스텝, CFG 3.0, 노이즈 오프셋 500)이다. 실행 기록과 원시 로그는 실험 레포(비공개)에 있다.

실행	초점거리	시드	추론 시간	큐브 검출 프레임	프레임 0 대비 최대 회전	인접 프레임 회전 중앙값
1.3B	DA3 추정	123	191.9 s	45 / 49	177.0°	4.52°
1.3B	DA3 추정	124	147.3 s	44 / 49	178.3°	4.96°
1.3B	DA3 추정	125	138.1 s	44 / 49	179.6°	4.85°
1.3B	45° 고정	123	151.9 s	44 / 49	179.9°	4.45°

추론 시간은 GPU를 나눠 쓰던 상태의 값이라 논문의 H100 5.5분(14B)과 비교할 수 없다. 모델 크기도 GPU도 다르다.

자체 실행(논문 그림 아님), 1.3B, DA3 초점거리, 시드 123. 위에서 아래로 프레임 0·12·24·36·48이고, 열은 왼쪽부터 원본, 생성된 프록시, 면 검출과 PnP 오버레이, 원본 위 복원 축, 쿼리를 찍은 첫 프레임이다. 마지막 행에서 큐브가 화면 왼쪽 밖으로 나가며 검출이 끊긴다.

관찰 1: 파이프라인은 끝까지 돈다. 생성된 큐브는 배트를 따라 회전·이동하고, 원본 위에 겹친 축도 배트 방향을 따라간다. 네 실행 모두 프레임 0 대비 회전이 177~180°까지 누적된다. 스윙의 크기로 보아 그럴듯하지만, GT가 없으므로 이것은 정성 판단이다.

관찰 2: 검출이 끊기는 곳은 화면 가장자리다. 네 실행 모두 미검출 프레임이 마지막 4~5프레임(44 또는 45부터 48까지)에 몰려 있다. 스윙 끝에서 배트가 크롭 밖으로 나가면 쿼리 광선 위의 큐브도 함께 화면 밖으로 밀려난다. 직관 절에서 기하로 예상한 상황이다. 공개 코드는 경계 5 px 안에 닿는 윤곽을 버리므로, 반쯤 보이는 면은 검출되지 않는다(필자의 코드 판독). 이 구간의 포즈는 등속 외삽값이다.

자체 실행(논문 그림 아님), 네 실행의 비교. 위는 프레임 0 대비 회전각(× 표시는 큐브 미검출 프레임), 가운데는 인접 프레임 사이 회전각, 아래는 프록시 좌표계의 깊이 t_z 다. t_z 는 임의 단위라 서로 다른 초점거리 사이에서는 값이 어긋난다.

관찰 3: 시드 사이의 차이가 작지 않다. 회전 크기의 궤적(위 그래프)은 네 실행이 거의 겹친다. 그러나 각 실행의 프레임 0 기준 상대회전을 프레임마다 측지 거리로 비교하면, 시드 쌍 사이 평균 불일치가 13.9~24.3°(중앙값 5.7~16.8°, 최대 60~120°)다. 불일치는 주로 프레임 17~19 부근의 스파이크(가운데 그래프)와 검출이 끊긴 끝 구간에서 나온다. 평균은 외삽 프레임까지 포함한 49프레임 전체에 대해 계산했다. 반면 시드를 고정하고 초점거리만 DA3 ↔︎ 45°로 바꾸면 평균 불일치는 2.4°다. 이 데모에서는 확산 샘플링의 무작위성이 초점거리 선택보다 훨씬 큰 변동원이라는 뜻이다. 논문의 Table 1이 쿼리당 샘플 하나로 계산됐다면(공개 평가 스크립트의 기본값은 시도 1회이고, 논문은 시도 횟수를 보고하지 않는다), 표의 방법 간 격차 일부는 이 샘플링 분산 안에 들어갈 수 있다. 다만 이것은 1.3B로 데모 한 편에서 본 결과이고, 14B의 분산은 재지 않았다.

정리. 공개 가중치와 코드로 1.3B 변형은 13 GiB 안에서 끝까지 돈다. 생성 단계의 설정은 논문과 일치한다. 추적 단계는 논문보다 단순한 경로(PnP + 등속 전파)만 실행된다. 정확도는 재지 않았고, 논문 수치를 재현했다고 말할 근거는 없다.

관련 연구와의 자리 매김

6-DoF 포즈 추적 계보에서. ProxyPose는 “모델 기반 → 모델 없는(참조 뷰·재구성) → 파운데이션 모델 조합”으로 이어진 흐름에서 입력 요구를 0으로 줄이는 방향의 극단에 선다. 이 블로그에서 다룬 포즈 추적 연구와 비교하면 위치가 분명해진다. NormalFlow는 비전 기반 촉각 센서가 재는 표면 법선 맵을 학습 없이 Gauss-Newton으로 정합해 6-DoF를 추적한다. “학습 요소 없는 고전 최적화가 무늬 없는 물체에서도 강하다”는 점에서 ProxyPose의 기하 단계와 결이 같지만, 접촉과 센서가 있어야 한다. ProxyPose는 그 고전 최적화가 읽을 신호 자체를 생성 모델로 만들어 낸다는 점이 다르다. TF-HOT는 SAM2·MMPose 같은 2D 파운데이션 모델과 미분 렌더링을 엮어 손-물체 포즈를 최적화한다. ProxyPose가 “필요한가?”라고 묻는 바로 그 조합형 파이프라인이다. 로봇 쪽에서는 Push Anything이 BundleSDF로 물체 메시를 재구성하고 FoundationPose로 상태를 추적해 접촉-암시 MPC에 넣는다. ProxyPose가 실시간이 된다면 이런 파이프라인에서 “메시 재구성 + 모델 기반 추적” 두 단계를 대체할 후보가 된다. 지금은 속도 때문에 아니다.

점 추적에서 6-DoF로. CoTracker·TAPIR·SpatialTracker로 이어지는 TAP 계열은 2D 대응을 풀고 깊이로 들어 올린다. 이 블로그의 3D Motion Field도 사람 영상에서 SAM과 CoTracker로 물체의 노이즈 섞인 3D 픽셀 흐름을 뽑은 뒤 별도 추정기로 정제하는 구조였다. ProxyPose의 pixel-level 베이스라인(쿼리 주변 11×11 패치 + DA3 깊이 + Kabsch)은 이 접근을 6-DoF로 확장한 가장 직접적인 경쟁자이고, 표에서 회전 오차가 특히 크게 벌어진다. 국소 패치의 3D 점으로 회전을 푸는 방식이 깊이 노이즈에 약하다는 뜻으로 읽힌다.

비디오 생성 모델의 재활용에서. 비디오 확산 모델을 판별 과제에 쓰는 흐름(Marigold의 깊이, 법선, 광학 흐름, 역렌더링)과, Point Prompting의 zero-shot 2D 점 추적이 직계 선행이다. 이 블로그의 로봇 쪽 리뷰와 나란히 놓으면 방향이 대칭이다. Hydra-0은 픽셀 평면의 운동 궤적(action flow)으로 비디오 생성을 조건화한다. 운동이 입력이고 비디오가 출력이다. ProxyPose는 비디오가 입력이고, 운동을 담은 비디오가 출력이다. Cosmos Policy는 비디오 모델에 행동·가치를 잠재 프레임으로 끼워 넣어 정책으로 만들었다. 두 논문 모두 “백본의 출력 형식을 바꾸지 말고 과제를 그 형식 안으로 가져온다”는 같은 전략을 쓴다. ProxyPose는 그 전략을 지각(perception) 쪽에 적용한 사례다.

요약

ProxyPose는 6-DoF 포즈 추적을 “비디오를 비디오로 번역하는 문제”로 바꾼다. 쿼리 픽셀 하나를 받은 파인튜닝 Wan-14B가 그 표면과 같은 국소 강체 운동을 하는 색 큐브의 영상을 생성하고, 큐브의 포즈는 OpenCV와 PnP, LM 평활화로 읽는다. 설계의 핵심은 첫 프레임 큐브 배치(대각선 정렬·단위 깊이·해상도 무관 크기)와 첫 프레임 토큰에만 낮은 노이즈를 주는 스케줄 오프셋이고, 후자를 빼면 방법 전체가 붕괴한다.

강체 벤치마크에서는 인상적이다. HO3D에서 CAD 모델·깊이·마스크 없이 모든 베이스라인을 앞서고, 회전 오차는 최강 베이스라인의 약 3분의 1이다. 그러나 YCBInEOAT와 합성 세트에서는 단일 쿼리가 모든 칸을 이기지 않으며, 본문의 전면적 우위 서술은 다중 쿼리 변형과 섞여 있다. 이 논문이 문제로 세운 반사·투명·변형 표면에서의 우위는 아직 정성 증거뿐이고, 표 사이의 불일치(ablation vs 합성 벤치마크, 베이스라인 깊이 입력)와 시드 반복 부재가 정량 결론의 해상도를 낮춘다. 쿼리 하나에 H100으로 5.5분이 드는 비용도 로봇 응용의 벽이다.

재현 상태(2026-09-28 기준). 공개 코드의 생성 단계 설정은 논문과 일치한다. 그러나 추적 단계는 논문의 LM 평활과 다중 쿼리 번들 조정을 호출하지 않아, Table 1의 다중 쿼리 행은 공개 코드로 재현할 경로가 없다. 이 블로그는 1.3B 변형으로 데모 영상을 끝까지 돌렸다(피크 7.53 GiB, 큐브 검출 44~45/49프레임, 시드 간 상대회전 불일치 평균 13.9~24.3°). 이 실행은 동작 확인 범위이고 정확도는 재지 않았다. 자세한 내용은 재현 노트에 있다.

그래도 이 논문이 남기는 질문은 오래 갈 것이다. 생성 모델에게 인식 과제를 맡길 때, 답을 숫자로 받지 말고 고전 알고리즘이 읽기 쉬운 그림으로 받으면 어떤가. 큐브는 첫 번째 답일 뿐이고, 관절체·비강체·scene flow로 같은 설계를 옮기는 것은 저자들이 결론에서 직접 예고한 다음 단계다.