📃DPT 리뷰

vision

transformer

ViT

depth

segmentation

dense-prediction

zero-shot

backbone

Intel

Vision Transformers for Dense Prediction

Published

August 6, 2026

Paper Link (arXiv:2103.13413)
Code Link (isl-org/DPT) — MIT, 사전학습 가중치 공개. 단 2024-12를 마지막으로 아카이브(read-only) 되어 유지보수가 멈췄다.
저자: René Ranftl, Alexey Bochkovskiy, Vladlen Koltun
Intel Labs
ICCV 2021

💡 dense prediction(깊이·분할)의 병목은 디코더가 아니라 인코더의 다운샘플링이다 — 한 번 잃은 해상도는 디코더가 복원할 수 없으므로, 저자들은 인코더를 통째로 ViT로 갈아끼운다.
⚙️ ViT가 뱉는 토큰 집합을 Reassemble(Read → Concatenate → Resample)로 4개 층·4개 해상도의 이미지형 특징으로 되돌린 뒤, RefineNet 계열 Fusion 블록으로 단계마다 2배씩 올려 붙인다.
🎯 단안 깊이 zero-shot 전이 6개 벤치마크에서 MiDaS 대비 평균 상대개선 28%(DPT-Large)·23%+(DPT-Hybrid), ADE20K 분할에서 49.02 mIoU로 당시 SOTA.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

깊이 추정이나 시맨틱 분할처럼 픽셀마다 답을 내야 하는 문제에서, 지금까지의 아키텍처는 거의 예외 없이 “ImageNet으로 사전학습한 CNN 인코더 + 특징을 모아 올리는 디코더”였다. 연구의 관심도 대개 디코더의 집계 전략(dilated conv, skip connection, 다중 해상도 병렬 유지)에 쏠려 있었다. 그러나 저자들의 진단은 다르다. 인코더에서 잃은 정보는 디코더에서 복원할 수 없다. CNN 인코더는 수용영역을 넓히고 메모리를 감당하려고 반복적으로 다운샘플링하는데, 그 대가로 깊은 단계의 특징 해상도와 세밀함이 사라진다. 분류에서는 문제가 안 되지만 dense prediction에서는 그것이 곧 성능이다.

DPT(dense prediction transformer)는 이 병목을 우회하지 않고 인코더를 교체한다. ViT는 초기 임베딩 이후로는 명시적 다운샘플링이 없어 토큰 수 = 해상도가 끝까지 일정하고, self-attention은 정의상 전역이므로 모든 단계에서 전역 수용영역을 갖는다. 남은 문제는 “순서 없는 토큰 집합”을 다시 이미지로 되돌리는 일이고, 그것이 이 논문이 제안하는 Reassemble 연산이다. 디코더는 MiDaS와 같은 RefineNet 계열 fusion을 그대로 쓴다 — 즉 바뀐 것은 인코더뿐이고, 비교가 인코더에 잘 통제되어 있다.

DPT 전체 구조(Fig. 1) — 왼쪽: 이미지를 토큰(주황)으로 임베딩하고 readout 토큰(빨강)을 추가해 트랜스포머 단계를 통과시킨 뒤, 서로 다른 단계의 토큰을 Reassemble(녹색)로 여러 해상도의 이미지형 특징으로 되돌리고 Fusion(보라)이 점진적으로 합치며 업샘플한다. 가운데: Reassemble 연산. 오른쪽: RefineNet 계열 Fusion 블록.

핵심 방법론:

H\times W 이미지를 p^2 크기의 겹치지 않는 패치로 나눠 선형 사영하면 N_p = HW/p^2개의 토큰이 나오고, 여기에 분류용 readout 토큰 t_0가 붙는다(t^0=\{t^0_0,\dots,t^0_{N_p}\},\ t^0_n\in\mathbb{R}^D). 논문은 전 실험에서 p=16을 쓴다. L개 트랜스포머 층을 통과한 임의 층 l의 토큰을 이미지로 되돌리는 것이 Reassemble이다:

\textrm{Reassemble}_s^{\hat{D}}(t) = (\textrm{Resample}_s \circ \textrm{Concatenate} \circ \textrm{Read})(t)

여기서 s는 입력 이미지 대비 출력 해상도 비율(작을수록 고해상도), \hat{D}는 출력 채널 수다. 세 단계는 각각

\textrm{Read}:\mathbb{R}^{N_p+1\times D}\to\mathbb{R}^{N_p\times D} — readout 토큰 처리(무시/더하기/사영 세 변형).
\textrm{Concatenate}:\mathbb{R}^{N_p\times D}\to\mathbb{R}^{\frac{H}{p}\times\frac{W}{p}\times D} — 토큰을 원래 패치 위치에 되돌려 놓아 특징 맵을 만든다.
\textrm{Resample}_s:\mathbb{R}^{\frac{H}{p}\times\frac{W}{p}\times D}\to\mathbb{R}^{\frac{H}{s}\times\frac{W}{s}\times\hat{D}} — 1\times1 conv로 \hat{D}로 사영한 뒤, s\ge p면 stride 3\times3 conv, s<p면 stride 3\times3 transpose conv.

기본 설정은 \hat{D}=256, readout은 사영(projection), 그리고 네 단계·네 해상도(s=4,8,16,32)에서 뽑는다. 얕은 층은 고해상도로, 깊은 층은 저해상도로 재조립한 뒤 Fusion 블록이 단계마다 2배씩 올리며 합치고, 최종 특징은 입력의 1/2 해상도다.

주요 결과:

단안 깊이 zero-shot 전이(Table 1, 낮을수록 좋음) — MIX 6(약 140만 장)로 학습한 DPT-Large가 DIW 10.82, ETH3D 0.089, Sintel 0.270, KITTI 8.46, NYU 8.32, TUM 9.97. 원 MiDaS(MIX 5) 대비 각각 −13.2 / −31.2 / −17.5 / −64.6 / −12.9 / −30.3%로, 평균 상대개선 28%(DPT-Hybrid는 23% 이상).
데이터 증가만의 효과가 아님 — 같은 MIX 6로 재학습한 MiDaS(FCN)는 평균 −10.0%에 그친다(6개 값에서 필자 계산). 즉 늘어난 데이터의 이득을 트랜스포머 쪽이 훨씬 잘 받아먹는다.
소규모 데이터 미세조정 — NYUv2에서 \delta{>}1.25 0.904 / RMSE 0.357(BTS 0.885 / 0.392), KITTI Eigen split에서 0.959 / RMSE 2.573(BTS 0.956 / 2.756).
시맨틱 분할 — ADE20K val에서 DPT-Hybrid 83.11 pixAcc / 49.02 mIoU(DeeplabV3+ResNeSt-200 82.45 / 48.36), Pascal Context에서 84.83 / 60.46(ResNeSt-269 83.06 / 58.92).
비용 — 파라미터 MiDaS 105M / DPT-Base 112M / DPT-Hybrid 123M / DPT-Large 343M, 384px 추론 지연 32 / 17 / 38 / 35 ms(RTX 2080, 400회 평균).

결론:

“디코더를 더 정교하게”가 아니라 “인코더가 해상도를 버리지 않게”가 dense prediction의 지렛대라는 것을 실증한 논문이다. 방법 자체는 놀랍도록 단순하다 — ViT를 꽂고, 토큰을 이미지로 되돌리는 3단 연산 하나를 정의하고, 디코더는 기존 것을 그대로 쓴다. 대신 그 단순함의 조건이 분명하다: 데이터가 충분히 클 때만 이득이 크다. 같은 아키텍처가 140만 장 깊이 데이터에서는 28% 개선을 내지만, 2만 장급 ADE20K에서는 DPT-Large가 DPT-Hybrid보다 나빠진다(47.63 vs 49.02). 이 논문이 남긴 실질적 유산은 SOTA 숫자보다도 Reassemble + Fusion이라는 범용 ViT 디코딩 어댑터이며, 이후 촉각 깊이 추정(Sparsh, Neural Feels)처럼 전혀 다른 도메인에서 부품처럼 재사용된다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

dense prediction에서 디코더를 아무리 잘 만들어도 인코더가 버린 것을 되살릴 수는 없다 — 그러니 다운샘플링을 하지 않고 처음부터 끝까지 같은 해상도·전역 수용영역을 유지하는 인코더(ViT)를 쓰고, 대신 “토큰 집합을 이미지로 되돌리는” 문제만 새로 풀자.

배경: 다운샘플링이라는 세금

CNN 백본이 점진적으로 해상도를 줄이는 데에는 세 가지 이유가 있다. ① 수용영역을 키우고, ② 저수준 특징을 고수준으로 묶고, ③ 메모리·연산을 감당 가능한 수준으로 유지한다. 분류에서는 세 가지 모두 이득이고 잃는 것이 거의 없다. 그러나 dense prediction은 이상적으로 입력 해상도에 근접한 수준에서 특징을 해상(resolve) 할 수 있어야 하므로, 깊은 단계의 해상도·세밀도 손실이 그대로 성능 상한이 된다.

이 손실을 완화하려는 시도는 계보를 이룬다 — 더 높은 해상도로 학습하기, dilated convolution(Yu & Koltun)으로 다운샘플 없이 수용영역만 키우기, U-Net(Ronneberger et al.)류의 skip connection, HRNet(Wang et al.)처럼 다중 해상도 표현을 네트워크 전체에서 병렬 유지하기. 논문의 지적은 이 모두가 같은 기본 블록(convolution) 위의 완화책이라는 것이다. 컨볼루션은 정의상 수용영역이 제한된 선형 연산자라, 충분한 문맥과 표현력을 얻으려면 깊게 쌓아야 하고, 깊게 쌓으면 중간 표현이 많아져 메모리가 터지고, 그래서 다시 다운샘플링해야 한다. 순환이다.

트랜스포머는 이 순환의 전제를 바꾼다. 토큰 수가 전 연산에서 보존되므로 초기 임베딩 해상도가 끝까지 유지되고, MHSA는 모든 토큰이 모든 토큰에 영향을 줄 수 있으므로 첫 블록부터 전역이다. CNN이 층을 쌓아 “점진적으로” 얻는 것을 구조적으로 처음부터 갖고 시작하는 셈이다. 물론 공짜는 아니다 — 토큰 수가 N_p = HW/p^2로 고정된다는 것은, 애초에 p=16이라는 한 번의 큰 다운샘플링을 입구에서 지불했다는 뜻이기도 하다(뒤 “비판적으로 보면” 참조).

방법 상세 (1): 인코더가 무엇을 유지하는가

ViT는 이미지를 bag-of-words로 다룬다. 겹치지 않는 p\times p 패치를 평탄화해 선형 사영한 것이 토큰이고, 여기에 학습 가능한 위치 임베딩과 patch에 근거하지 않는 readout 토큰(t_0)이 더해진다. 논문이 쓰는 세 변형은:

변형	임베딩 방식	트랜스포머 층 수	특징 차원 D
ViT-Base	패치 선형 사영	12	768
ViT-Large	패치 선형 사영	24	1024(더 넓음)
ViT-Hybrid	ResNet50 특징 추출	12	—

여기서 저자들이 강조하는 관찰이 하나 있다. Base/Large의 임베딩 차원(D=768,\ 1024)은 패치 안의 픽셀 수보다 크다(16^2=256, 채널 포함해도 768). 즉 임베딩이 원한다면 패치 정보를 손실 없이 보존할 수 있고, 원리적으로는 픽셀 수준 정확도로 특징을 해상할 수 있다. Hybrid는 ResNet50을 거쳐 입력의 \tfrac{1}{16} 해상도에서 특징을 뽑는데, 이는 컨볼루션 백본이 통상 쓰는 최저 해상도보다 2배 높다. (부록에 따르면 hybrid 인코더는 group norm + weight standardization을 쓰는 pre-activation ResNet50이고, DPT-Hybrid는 그 1·2단계 출력 R0,R1에서 skip을 뽑는다.)

방법 상세 (2): Reassemble — 토큰을 이미지로 되돌리기

디코더의 첫 관문은 “순서 없는 집합”을 “격자”로 되돌리는 일이다. 세 단계로 쪼갠 것이 깔끔하다.

Reassemble(왼쪽)과 Fusion(오른쪽) 블록 상세(Fig. 1 가운데·오른쪽 패널) — Read로 readout 토큰(빨강)을 처리하고 Concatenate로 격자를 복원한 뒤 Project(1\times1 conv) + Resample로 목표 해상도·채널을 맞춘다. Fusion은 RefineNet의 residual conv unit 두 개와 ×2 업샘플(Resample_{0.5})로 구성된다.

① Read. readout 토큰은 분류를 위한 장치라 dense prediction에서 쓸모가 분명치 않지만, 전역 정보를 담고 있을 가능성은 있다. 그래서 세 가지를 다 평가한다:

\textrm{Read}_{ignore}(t)=\{t_1,\dots,t_{N_p}\} \textrm{Read}_{add}(t)=\{t_1+t_0,\dots,t_{N_p}+t_0\} \textrm{Read}_{proj}(t)=\{\textrm{mlp}(\textrm{cat}(t_1,t_0)),\dots,\textrm{mlp}(\textrm{cat}(t_{N_p},t_0))\}

\textrm{Read}_{proj}는 readout을 각 토큰에 이어붙인 뒤 선형층 + GELU로 원래 차원 D로 되돌린다. 기본 설정은 이 사영 방식이다.

② Concatenate. 각 토큰을 원래 패치 위치에 놓아 \tfrac{H}{p}\times\tfrac{W}{p}\times D 특징 맵을 만든다. 여기서 “토큰↔︎패치의 일대일 대응”이라는 ViT의 성질이 결정적으로 쓰인다. 위치 임베딩이 학습된 덕분에 이 되돌림이 의미를 갖는다.

③ Resample. 1\times1 conv로 채널을 \hat{D}=256으로 맞추고, 목표 s에 따라 stride conv(축소) 또는 stride transpose conv(확대)를 건다. p=16이므로 s=4,8은 확대, s=16은 그대로, s=32는 축소다.

어느 층에서 뽑을지는 백본마다 다르다 — ViT-Large는 l=\{5,12,18,24\}, ViT-Base는 l=\{3,6,9,12\}, ViT-Hybrid는 \{R0, R1, 9, 12\}(앞의 둘은 ResNet50 임베딩망의 다운샘플 단계). 얕은 층 → 고해상도, 깊은 층 → 저해상도로 배치한다.

방법 상세 (3): Fusion 디코더와 출력 헤드

Fusion은 RefineNet(Lin et al.)의 특징 융합 블록을 거의 그대로 쓴다: residual convolutional unit으로 정제하고, 이전 단계에서 올라온 특징과 더하고, 2배 업샘플한다. 4개 Fusion을 거치면 최종 표현은 입력의 1/2 해상도가 되고, 여기에 태스크별 헤드를 붙인다.

깊이 헤드(3개 conv): 첫 conv가 특징 차원을 절반으로, 둘째 conv의 출력 차원은 32, 마지막 선형층이 픽셀당 비음수 스칼라(역깊이)를 낸다. 첫 conv 직후 bilinear로 입력 해상도까지 올린다.
분할 헤드: 첫 conv 블록은 차원을 유지하고 마지막 선형층이 클래스 수로 사영한다. dropout 0.1, 마지막에 bilinear 업샘플 → 픽셀별 로짓.
디코더의 batch norm은 분할에서는 켜고 깊이 회귀에서는 끈다(회귀 결과를 나쁘게 만든다고 보고).

가변 입력 크기도 FCN처럼 다룰 수 있다. 이미지 크기가 p로 나누어떨어지면 토큰 수 N_p만 달라질 뿐 set-to-set 모델인 트랜스포머는 그대로 처리하고, 위치 임베딩만 ViT 논문의 방식대로 선형 보간한다(이미지마다 즉석에서 가능). 단 디코더의 stride 때문에 입력은 32픽셀 배수로 정렬되어야 한다.

직관: “모든 단계에서 전역”은 무엇을 사는가

전역 수용영역이 사주는 것은 두 가지로 나뉜다.

(a) 전역 정합성. 단안 깊이에서 하늘·벽 같은 큰 균질 영역이나 “이미지 전체에 걸친 상대적 깊이 배치”는 국소 증거만으로는 결정되지 않는다. Fig. 2에서 MiDaS는 두 번째 행 하늘에서 배치가 흔들리는 반면 DPT는 매끄럽다. (b) 세밀도. 마지막 행의 나뭇가지처럼 얇은 구조가 DPT에서 훨씬 잘 살아난다. 저자들의 부록 관찰도 같은 방향이다 — zero-shot 이득이 가장 컸던 데이터셋들이 조밀·고해상도 평가를 쓰는 것들이었다.

다만 여기서 논문 자신이 제공하는 중요한 뉘앙스를 짚어야 한다. 어텐션 맵을 보면 얕은 층의 어텐션은 참조 토큰 주변에 국소적으로 몰려 있고, 깊은 층에서야 이미지 전체로 퍼진다.

DPT-Large 깊이 모델의 어텐션 맵(Fig. A4 상단 예시) — 좌상단/우하단 참조 토큰이 층 6·12·18·24에서 어디를 보는지. 층 6에서는 참조 토큰 근방에만 반응이 있고, 깊은 층으로 갈수록 전 이미지로 퍼진다.

즉 “모든 단계에서 전역 수용영역”은 구조적 허용이지 학습된 행동이 아니다. 모델은 얕은 층에서 스스로 국소성을 선택한다. 그럼에도 CNN과 다른 점이 남는데, CNN에서는 그 국소성이 불변의 제약이라 필요할 때 전역으로 갈 수 없지만 ViT에서는 데이터가 요구하면 언제든 전역으로 갈 수 있다는 것이다. 이 차이가 실제로 측정된 곳이 뒤에 나올 추론 해상도 실험이다. (참고로 부록은 Fig. A4·A5 모두 “12개 어텐션 헤드의 평균”이라 적는데, A4는 24층 ViT-Large 모델이다. ViT-Large의 헤드 수는 이 논문에 적혀 있지 않아 확인할 수 없으나, Base/Hybrid 기준 문구가 그대로 남은 것으로 보인다.)

실험 (1): 단안 깊이 — MIX 6와 zero-shot 전이

셋업. MiDaS(Ranftl et al., TPAMI 2020)의 프로토콜을 거의 그대로 따른다. 역깊이 표현 위에서 scale·shift 불변 trimmed loss + gradient-matching loss로 학습하고, MiDaS의 MIX 5에 5개 데이터셋을 더한 MIX 6(약 140만 장, 논문 시점 최대 규모) 을 쓴다. Adam, 백본 lr 1\mathrm{e}{-5} / 디코더 lr 1\mathrm{e}{-4}, 다목적 최적화, 긴 변 384로 리사이즈 후 384 정사각 크롭, 배치 16, 1 epoch = 72,000 step, 60 epochs. 잘 정제된 부분집합에서 60 epoch 사전학습 후 전체 데이터로 학습한다. (필자 계산: 60\times72{,}000\times16\approx6.9\times10^7 샘플 = MIX 6 기준 약 49회 통과. 학습에 쓴 하드웨어·시간은 논문에 없다.)

결과(Table 1, 모든 지표 낮을수록 좋음). 괄호는 원 MiDaS(MIX 5) 대비 상대 변화다.

모델	학습셋	DIW (WHDR)	ETH3D (AbsRel)	Sintel (AbsRel)	KITTI (\delta{>}1.25)	NYU (\delta{>}1.25)	TUM (\delta{>}1.25)
DPT-Large	MIX 6	10.82 (−13.2%)	0.089 (−31.2%)	0.270 (−17.5%)	8.46 (−64.6%)	8.32 (−12.9%)	9.97 (−30.3%)
DPT-Hybrid	MIX 6	11.06 (−11.2%)	0.093 (−27.6%)	0.274 (−16.2%)	11.56 (−51.6%)	8.69 (−9.0%)	10.89 (−23.2%)
MiDaS(재학습)	MIX 6	12.95 (+3.9%)	0.116 (−10.5%)	0.329 (+0.5%)	16.08 (−32.7%)	8.71 (−8.8%)	12.51 (−12.5%)
MiDaS (원본)	MIX 5	12.46	0.129	0.327	23.90	9.55	14.29

읽어야 할 것은 세 줄의 관계다. ① DPT-Large의 6개 상대개선을 평균하면 정확히 28.3%, DPT-Hybrid는 23.1% — 본문의 “28% / 23% 이상”과 일치한다(직접 검산). ② 같은 MIX 6로 재학습한 FCN(MiDaS)은 평균 −10.0%에 그치고, DIW·Sintel에서는 오히려 나빠진다(+3.9%, +0.5%). 데이터를 늘리면 CNN도 좋아지지만 그 이득을 받아먹는 정도가 다르다는 것이 이 통제 실험의 요지다. ③ 개선폭은 데이터셋별로 크게 갈린다 — KITTI에서 −64.6%인 반면 NYU는 −12.9%다. 초록의 “up to 28%”라는 표현보다 본문의 “평균 28%”가 오히려 더 강한 주장인데, 표를 검산하면 본문 쪽이 맞다.

단안 깊이 정성 비교(Fig. 2) — 왼쪽부터 입력 / MiDaS(MIX 6) / DPT-Hybrid / DPT-Large. 두 번째 행 하늘의 전역 정합성, 마지막 행 나뭇가지의 세밀도에서 차이가 두드러진다. 세 모델 모두 같은 384px 입력이다.

소규모 데이터 미세조정. affine 불변 손실로 학습된 예측은 스케일·시프트가 임의라 그대로 미세조정하면 크기 불일치가 손실을 지배한다. 그래서 학습 샘플별 robust alignment로 스케일·시프트를 구해 평균값을 전체에 적용한 뒤 Eigen et al.의 손실로 미세조정한다(KITTI는 GT가 희소해 gradient-matching loss를 끈다).

NYUv2	\delta{>}1.25	\delta{>}1.25^2	\delta{>}1.25^3	AbsRel	RMSE	log10
DORN	0.828	0.965	0.992	0.115	0.509	0.051
VNL	0.875	0.976	0.994	0.111	0.416	0.048
BTS	0.885	0.978	0.994	0.110	0.392	0.047
DPT-Hybrid	0.904	0.988	0.998	0.110	0.357	0.045

KITTI (Eigen split)	\delta{>}1.25	\delta{>}1.25^2	\delta{>}1.25^3	AbsRel	RMSE	RMSE log
BTS	0.956	0.993	0.998	0.059	2.756	0.096
DPT-Hybrid	0.959	0.995	0.999	0.062	2.573	0.092

여기서 본문은 “두 데이터셋 모든 지표에서 SOTA를 따라잡거나 개선한다”고 적지만, KITTI AbsRel은 BTS 0.059 < DPT 0.062로 DPT가 진다(표에서도 BTS 쪽이 볼드). 사소하지만 “in all metrics”라는 총칭은 자기 표와 어긋난다.

실험 (2): 시맨틱 분할

같은 백본·디코더에 분할 헤드만 붙이고 Zhang et al.(ResNeSt)의 프로토콜을 따른다. cross-entropy + 마지막 직전 fusion 층에 보조 헤드/보조 손실(가중치 0.2), dropout 0.1, SGD(momentum 0.9) + poly 스케줄(decay 0.9), 배치 48, 520 리사이즈 후 480 크롭, 좌우 반전 및 (0.5,2.0) 랜덤 리스케일, lr 0.002, 테스트 시 multi-scale 추론. ADE20K는 240 epoch, Pascal Context 미세조정은 50 epoch이다.

ADE20K val	Backbone	pixAcc [%]	mIoU [%]
OCNet	ResNet101	–	45.45
ACNet	ResNet101	81.96	45.90
DeeplabV3	ResNeSt-101	82.07	46.91
DeeplabV3	ResNeSt-200	82.45	48.36
DPT-Hybrid	ViT-Hybrid	83.11	49.02
DPT-Large	ViT-Large	82.70	47.63

Pascal Context에서는 DPT-Hybrid가 84.83 / 60.46으로 ResNeSt-269(83.06 / 58.92)를 넘는다. 눈여겨볼 것은 DPT-Large가 DPT-Hybrid보다 못하다는 사실이고, 저자들은 이를 “이전 실험 대비 데이터셋이 훨씬 작기 때문”으로 해석한다. 논문의 핵심 조건(데이터가 많아야 트랜스포머가 산다)을 자기 실험이 반증이 아니라 증거로 보여주는 드문 경우다.

시맨틱 분할 정성 비교(Fig. 3) — 위 ResNeSt-200 / 아래 DPT-Hybrid, 1·2열 ADE20K, 3·4열 Pascal Context. 노란 박스 확대에서 보듯 객체 경계(사람 다리, 벌새 부리)에 더 잘 붙고 잡음이 적다.

실험 (3): Ablation — 무엇이 실제로 기여하는가

절제 실험은 모두 단안 깊이로 하되, 고품질 GT를 가진 3개 데이터셋(ReDWeb·HRWSI·BlendedMVS, 약 41,000장)만 쓰고 약 1,000장의 검증셋에서 affine 정렬 후 상대 절대편차를 보고한다. 별도 언급이 없으면 백본은 ViT-Base다.

① Skip connection 위치(Table 6, mean 낮을수록 좋음). Base에서 \{3,6,9,12\} 0.0822 < \{9,10,11,12\} 0.0828 < \{6,8,10,12\} 0.0831 — “얕은 층(저수준)과 깊은 층(고수준)을 섞어 뽑는 것이 좋다”는 결론이다. Hybrid에서는 \{R0,R1,9,12\}가 \{3,6,9,12\}(0.0787)보다 낫다고 보고한다.

⚠️ 표 내부 불일치 하나. Table 6의 Hybrid \{R0,R1,9,12\} 행은 세 열이 0.0742 / 0.0751 / 0.0857인데 Mean이 0.0733으로 적혀 있다. 세 값의 평균은 0.0783이다(다른 네 행은 모두 열 평균과 일치하는 것을 확인했다). 오타로 보이며, 0.0783으로 고쳐도 여전히 \{3,6,9,12\}의 0.0787보다 낮아 결론은 바뀌지 않는다. 다만 차이가 0.0787 vs 0.0783(0.5%)로 줄어든다.

② readout 토큰 처리(Table 7). Ignore 0.0822 / Add 0.0831 / Project 0.0819. 더하는 것은 무시하는 것보다도 나쁘고, 사영이 근소하게 낫다. 채택 근거가 0.0003 차이라는 점은 기억해 둘 만하다.

③ 백본(Table 8).

백본	HRWSI	BlendedMVS	ReDWeb	Mean
ResNet50	0.0890	0.0887	0.1029	0.0935
ResNext101-WSL (= MiDaS)	0.0780	0.0751	0.0886	0.0806
DeiT-Base	0.0798	0.0804	0.0925	0.0842
DeiT-Base-Dist	0.0758	0.0758	0.0871	0.0796
ViT-Base	0.0797	0.0764	0.0895	0.0819
ViT-Large	0.0740	0.0747	0.0846	0.0778
ViT-Hybrid	0.0738	0.0746	0.0864	0.0783

세 가지가 읽힌다. ① ViT-Large가 최고지만 ViT-Base/Hybrid의 약 3배 크기다. ② ViT-Hybrid가 ViT-Base와 비슷한 파라미터로 Large에 근접해 정확도-용량 절충점이다. ③ ViT-Base는 ResNext101-WSL과 비슷한데, 후자는 ImageNet 외에 십억 규모 약지도 데이터로 사전학습된 모델이다 — 즉 훨씬 적은 사전학습으로 동급이라는 뜻이다. 덧붙여 DeiT-Base-Dist(0.0796)가 ViT-Base(0.0819)를 이기는 것은, 분류용 사전학습 절차의 개선이 dense prediction으로 그대로 전이된다는 신호다(구조는 DeiT-Base = ViT-Base로 동일).

④ 추론 해상도(Fig. 4). 학습 해상도 384×384에서 벗어난 해상도로 추론할 때의 상대 성능 저하다. CNN은 입력 근처 층의 수용영역이 국소적이라 해상도가 바뀌면 크게 흔들린다는 가설을 검증한다.

추론 해상도에 따른 상대 성능 저하(Fig. 4, 낮을수록 좋음) — 640px에서 그림으로 읽으면 ResNet-50 약 21.3%, ResNext-101 약 18.3%인 반면 ViT-Hybrid는 약 7.5%, DeiT-Distilled는 약 9.0%다. 트랜스포머 계열이 훨씬 완만하게 나빠진다.

⑤ 추론 속도(Table 9). Intel Xeon Platinum 8280(8코어) + NVIDIA RTX 2080, 384px 정사각, 400회 평균이다.

	MiDaS	DPT-Base	DPT-Hybrid	DPT-Large
파라미터 [M]	105	112	123	343
시간 [ms]	32	17	38	35

DPT-Large는 파라미터가 3.3배인데도 지연은 MiDaS와 비슷하다(35 vs 32 ms). 저자 설명은 “넓고 상대적으로 얕은 구조라 병렬성이 높다”는 것이다. 흥미롭게도 DPT-Hybrid(38 ms)가 DPT-Large(35 ms)보다 느린데 논문은 이 역전을 따로 설명하지 않는다(ResNet50 임베딩망의 순차 깊이 때문으로 추정되지만 근거는 논문에 없다).

비판적으로 보면

강점

변수 통제가 깔끔하다. 디코더(RefineNet 계열 fusion), 손실, 데이터, 프로토콜을 MiDaS와 동일하게 두고 인코더만 바꾼다. 게다가 “데이터가 늘어서 좋아진 것 아니냐”는 가장 자연스러운 반론을 MiDaS를 MIX 6로 재학습해 미리 막았다. 이 한 행(평균 −10.0%)이 논문 주장의 절반을 지탱한다.
방법이 재사용 가능한 부품이다. Reassemble은 “ViT 토큰을 임의 해상도의 특징 맵으로”라는 일반 인터페이스라, 백본이나 태스크가 바뀌어도 그대로 갈아끼울 수 있다. 실제로 이후 연구들이 촉각 이미지에서 젤 표면 깊이·힘장을 뽑는 데 DPT 디코더를 그대로 쓴다(Sparsh의 dense 예측 브랜치, Neural Feels의 21.7M 경량 Dense ViT).
주장과 측정이 대체로 짝을 이룬다. “전역 수용영역이 이롭다”는 정성적 주장에 대해 추론 해상도 실험(Fig. 4)이라는 정량 대리 지표를 제시했고, 어텐션 맵(Fig. A4/A5)으로 층별 국소성→전역성 전이까지 보여준다.
한계를 숨기지 않는다. ADE20K에서 DPT-Large가 DPT-Hybrid에 지는 결과를 그대로 싣고 데이터 규모로 해석한다.

약점·한계

“모든 단계에서 전역 수용영역”은 구조적 가능성이지 성능의 원인으로 분해되지 않았다. 저하 폭 비교(Fig. 4)는 좋은 간접 증거지만, 이 그림에는 DPT 계열 중 ViT-Hybrid 하나만 등장하고 ViT-Large는 빠져 있다. 또한 “전역성” 자체를 끄고 켜는 절제(예: 어텐션 창을 국소로 제한한 대조군)는 없다. 즉 측정된 것은 “트랜스포머 계열이 해상도 변화에 강하다”이지 “전역 수용영역이 그 원인이다”가 아니다.
입구의 다운샘플링은 여전하다. p=16이라는 것은 첫 임베딩에서 16배 축소를 한 번에 지불한다는 뜻이고, 그래서 디코더에는 s=4까지 되돌리는 transpose conv가 필요하다. 논문은 “임베딩 차원이 패치 픽셀 수보다 커서 원리적으로 정보를 보존할 수 있다”고 논증하지만 이는 가능성의 논증이지 측정이 아니다. 패치 크기 절제(p=8 등)는 없다.
절제 실험의 차이가 너무 작고 불확실성이 없다. readout 채택 근거는 0.0822→0.0819(0.4%), skip 위치는 0.0822 vs 0.0831(1%)이다. 검증셋은 약 1,000장이고 시드·표준편차·신뢰구간이 하나도 보고되지 않는다. 이 정도 차이에서 “projection이 낫다”를 단정하기는 어렵다. 여기에 Table 6 Hybrid 행의 Mean 오타(0.0733 vs 재계산 0.0783)까지 겹쳐, 절제 표는 인용할 때 주의가 필요하다.
재현에 결정적인 정보가 빠져 있다. ① 인코더 사전학습이 ImageNet-1k인지 21k인지 논문에 없다(“ImageNet-pretrained weights”라고만 적는다). ViT는 사전학습 코퍼스에 성능이 크게 좌우되므로 이는 사소한 누락이 아니며, 하필 논문의 핵심 주장 중 하나가 “ResNext101-WSL보다 적은 사전학습 데이터로 이긴다”는 것이라 더 그렇다. ② 학습에 쓴 GPU·시간이 어디에도 없다. 보고된 하드웨어는 추론 측정용 RTX 2080 하나뿐인데, 필자 계산으로 깊이 학습만 약 6.9×10⁷ 샘플(MIX 6 기준 ≈49회 통과)에 사전학습 60 epoch이 더 붙는다. 사실상 개인 연구자가 처음부터 재현하기 어려운 규모임을 독자가 스스로 추정해야 한다.
“모든 지표에서 SOTA”라는 총칭이 자기 표와 어긋난다. 위에서 본 KITTI AbsRel(0.062 vs BTS 0.059)이 반례다. 결론을 뒤집는 수준은 아니지만, 총칭 표현을 그대로 인용하면 부정확해진다.
데이터 의존성이 방법의 조건이자 한계다. ADE20K(약 2만 장)에서 DPT-Large가 지는 것은 정직한 보고이지만, 뒤집어 말하면 140만 장을 모을 수 없는 대부분의 dense prediction 문제에서는 이 논문의 이득을 그대로 기대할 수 없다는 뜻이다. 논문은 이 경계가 어디쯤인지(몇 만 장에서 몇 십만 장 사이 어디서 역전되는지)를 재는 실험은 하지 않았다.
효율성 논의가 지연 시간에만 머문다. 메모리 사용량, 학습 비용, 고해상도 입력에서의 어텐션 O(N_p^2) 비용은 다루지 않는다. 384px·p{=}16이면 N_p=576이라 감당되지만, 이 축이 dense prediction에서 곧 병목이 된다는 점은 (이후 Swin류 계층적 트랜스포머가 답한) 열린 문제로 남았다.

🔧 재현 노트

아래는 논문의 주장이 아니라 리뷰 시점(2026-08-05)에 공개 코드를 직접 돌려 본 결과다. 원본 isl-org/DPT(MIT, archived)를 미러링한 private 실험 레포 curieuxjy/DPT의 브랜치 demo/dpt-inference-2026-08-05(PR #1)에 전 과정을 기록했다. 재현 범위는 추론 + NYUv2 정량 평가이고, 학습은 애초에 대상이 될 수 없다(⑤).

① 5년 전 핀은 못 쓰지만, 최신 스택이 거의 그대로 통한다

원본 requirements.txt가 핀한 조합은 쓸 수 없었다. 이 머신의 GPU는 RTX 5090(sm_120, Blackwell) 이라 torch 1.8.1에는 애초에 해당 커널이 없고, timm 0.4.5는 Python 3.11에 설치되지 않는다(upstream issue #94가 정확히 이 문제를 보고, 미해결). 그래서 핀을 버리고 반대쪽 끝으로 갔다.

	원본 핀	실제로 통한 조합
Python / torch	3.7 / `1.8.1`	3.11.15 / 2.11.0+cu128
torchvision / timm	`0.9.1` / `0.4.5`	0.26.0+cu128 / 1.0.28
numpy	(핀 없음)	2.4.4 ← ②의 방아쇠

놀란 대목은 timm이었다. DPT는 patch_embed.backbone.stages[i]·pos_drop·blocks[i] 같은 timm 내부 속성을 직접 만지는 코드인데, 0.4.5 → 1.0.28이라는 30단계 점프에서 dpt/vit.py가 한 줄도 깨지지 않았다. timm이 deprecated 모델명 매핑을 유지해 vit_base_resnet50_384가 vit_base_r50_s16_384.orig_in21k_ft_in1k로 자동 리다이렉트되고, 참조하는 내부 경로도 전부 살아 있었다. 체크포인트도 matched 368/368 | missing 0 | unexpected 0으로 완전 일치했고(조용한 기능 상실 없음), GitHub Release 자산 4종(hybrid/large/ade20k/nyu)은 아카이브된 지금도 전부 살아 있다. “2021년 코드니까 다 깨질 것”이라는 사전 가정이 틀렸다.

② 조용한 실패 — 깨진 것은 torch도 timm도 아니라 numpy였다

원본 소스에 필요한 수정은 단 한 곳(3줄) 이었는데, 그 한 곳이 없으면 스크립트는 에러 없이 exit 0으로 “finished”를 찍으면서 깊이맵 PNG를 전부 0으로 저장한다.

output_monodepth/city.png   (427, 640) uint16 min=0 max=0 mean=0.0 uniq=1   ← 전부 0

범인은 util/io.py의 write_depth()다. run_monodepth.py는 기본값으로 model.half()를 하므로 depth가 float16으로 도착하는데, 저장 직전 스케일링이 max_val = 65535를 곱한다. NumPy 1.x는 value-based casting으로 배열을 float32로 승격시켜 정상 동작했지만, NumPy ≥ 2.0(NEP 50) 에서는 스칼라가 배열 dtype을 바꾸지 못해 계산이 float16으로 남는다. 65535 > float16 max(65504) → inf/nan → .astype("uint16") → 전부 0. 스케일링 전에 float32로 승격하는 3줄로 끝났다.

이 실패의 성질이 고약하다. .pfm 출력은 정상이었고(float32 경로), 파일 개수·크기도 정상이며, 16-bit 깊이 PNG는 뷰어에서 원래도 거의 검게 보인다. 유일한 단서는 RuntimeWarning: overflow encountered in cast 세 줄뿐이었고, 진단은 min/max/mean/uniq 통계 한 줄로 끝났다. 명령 성공 ≠ 결과 성공의 교과서 사례이고, 동시에 “옛 코드의 의존성 조사”에서 torch·CUDA·timm만 보고 numpy를 빼놓으면 안 된다는 교훈이다 — fp16 추론 경로를 쓰는 모든 구코드가 같은 방식으로 조용히 깨질 수 있다.

③ 정성 결과 — 논문 Fig. 2의 인상은 그대로 재현된다

재현 산출물(논문 그림 아님) — 입력 / DPT-Hybrid / DPT-Large 단안 깊이(inferno 컬러맵). 개 털 윤곽·벤치 살·교실 책상 다리 같은 가는 구조가 살아 있고 전역 깊이 순서도 무너지지 않는다. 둘째 행 교실에서 보듯 DPT-Large 쪽이 미세구조가 눈에 띄게 더 선명하다.

재현 산출물(논문 그림 아님) — DPT-Hybrid ADE20K 분할 오버레이 4장. 벤치·책상·건물 경계는 잘 붙지만, ADE20K 분포에서 한참 벗어난 개 사진에서는 라벨이 두 색으로 갈린다.

④ 정량 재현 — NYUv2 654장에서 δ1 0.898 (논문 0.904)

dpt_hybrid_nyu 체크포인트로 --absolute_depth, eigen_crop, max_depth_eval=10, 654장 전부에 대해 저자 EVALUATION.md의 프로토콜(BTS eval_with_pngs.py)을 그대로 돌렸다.

	δ1↑	δ2↑	δ3↑	AbsRel↓	RMSE↓	log10↓
저자 보고(`EVALUATION.md`)	0.904	0.988	0.998	0.109	0.357	0.045
재현 — fp16(기본)	0.898	0.987	0.998	0.112	0.360	0.046
재현 — fp32(`--no-optimize`)	0.899	0.987	0.998	0.112	0.359	0.046

δ1 격차 0.006(상대 0.7%), RMSE 격차 3 mm(0.8%) — 재현 성공으로 판단한다. 남은 격차의 원인은 두 가지로 좁혀진다. ⓐ fp16/fp32 어블레이션에서 δ1 차이가 0.001에 그쳐 정밀도 탓은 배제됐다. ⓑ 그렇다면 가장 유력한 것은 GT 소스 차이다. 저자가 배포한 nyu_eval_dataset.zip(Google Drive)이 HTTP 404라 Marigold(prs-eth)가 미러링한 nyu_depth_v2_labeled.mat 추출본 + 공식 654장 test split을 썼는데, 두 배포본의 depth 추출·정렬 세부가 같다는 보장이 없다. 저자 배포본으로는 검증하지 못했다(미검증 항목). 아카이브된 레포에서 GitHub Release 자산은 살아 있는데 Google Drive 링크만 죽었다는 것도 기록해 둘 만하다 — 배포처마다 수명이 다르다.

(위 표의 저자 값은 EVALUATION.md 기준이다. 논문 Table 2는 AbsRel만 0.110으로 적어 0.001 차이가 있고, 나머지 지표는 동일하다.)

부수적으로 얻은 실측치도 남겨 둔다. 640×480 NYU 654장 추론이 12.2 img/s(fp16) vs 9.0 img/s(fp32) 로 fp16이 1.36배 빠르면서 정확도 손실은 δ1 0.001이다. peak VRAM(batch 1, torch.cuda.max_memory_reserved())은 DPT-Hybrid 깊이 384px 414 MiB, DPT-Large 깊이 848 MiB, DPT-Hybrid 분할 480px 1,134 MiB, DPT-Hybrid-NYU 640×480 1,308 MiB — 논문이 보고한 RTX 2080 지연 시간과 별개로, 추론 자체는 1 GB급 GPU 메모리로 충분하다는 뜻이다.

⑤ 학습은 “환경이 안 돼서”가 아니라 코드가 없어서 범위 밖이다

위 “약점·한계”에서 학습 비용이 보고되지 않았다고 적었는데, 재현 관점에서는 그보다 앞선 사실이 있다. 원본 레포에 학습 코드가 아예 없다. 파일 트리에 train*.py·dataloader·loss·config가 하나도 없고, README 체인지로그도 “Initial release of inference code and models”라고만 적는다. 학습 코드를 요구하는 이슈 #64·#60·#54는 전부 OPEN·미응답이며 레포는 archived다. 즉 논문의 학습 관련 주장(MIX 6 사전학습, 손실 설계, 미세조정 절차)은 제3자가 검증할 수 있는 대상이 아니다 — 공개된 것은 결과물인 가중치뿐이다.

그 밖에 시도하지 않은 것: KITTI 정량 평가(같은 이유로 kitti_eval_dataset.zip 링크가 죽었고 대체 미러 확보 시간을 쓰지 않았다), DPT-Large ADE20K 분할(Hybrid로 목적 달성 판단).

요약

DPT의 기여는 아키텍처적으로 하나로 요약된다: dense prediction의 인코더에서 다운샘플링을 걷어내고, 대신 토큰을 이미지로 되돌리는 잘 정의된 3단 연산(Reassemble)을 준다. 이 단순한 교체가 단안 깊이 zero-shot 전이에서 평균 28%(DPT-Large) 개선, ADE20K 49.02 mIoU라는 당시 최고 수치로 이어졌고, 데이터 증가만의 효과가 아님을 통제 실험으로 보였다.

한계도 그만큼 분명하다. 이득의 전제는 대규모 데이터이며(ADE20K에서 Large가 Hybrid에 진다), “전역 수용영역이 원인”이라는 인과는 절제로 분해되지 않았고, 절제 실험의 차이는 불확실성 보고 없이는 해석하기 어려울 만큼 작다. 사전학습 코퍼스와 학습 비용이 보고되지 않은 것은 재현 관점에서 가장 아쉬운 대목이다.

재현 상태(2026-08-05 기준): 공개된 추론 코드는 핀 버전(torch 1.8.1 / timm 0.4.5)을 버리고 torch 2.11.0+cu128 / timm 1.0.28 / Python 3.11(RTX 5090, sm_120)로 올려도 원본 수정 3줄로 그대로 돌아갔고, NYUv2 654장 정량 평가에서 δ1 0.898 / RMSE 0.360(저자 보고 0.904 / 0.357)으로 재현됐다. 다만 저자 배포 평가셋 링크가 죽어 대체 미러 GT를 썼으므로 남은 0.006의 격차는 GT 소스 차이일 가능성이 크다(fp16/fp32 어블레이션으로 정밀도 원인은 배제). 가장 인상적인 실패는 5년 치 torch·timm 점프가 아니라 NumPy 2.0의 캐스팅 규칙 변경이 깊이 PNG를 조용히 전부 0으로 만든 것이었다. 한편 학습 코드는 공개된 적이 없어 논문의 학습 관련 주장은 애초에 제3자 검증 대상이 아니다. 자세한 내용과 한계는 🔧 재현 노트.

2021년의 시점에서 이 논문의 위치는 “ViT가 분류를 넘어 픽셀 단위 예측에서도 통한다”는 것을 가장 통제된 방식으로 입증한 증거다. 이후 계층적 비전 트랜스포머와 대규모 깊이 파운데이션 모델이 그 위에 쌓였고, Reassemble + Fusion 디코더는 원 논문의 문제(깊이·분할)를 훨씬 넘어 촉각 같은 이질적 도메인에서까지 표준 부품으로 살아남았다.