📃Chronos Policy 리뷰

Chronos Policy: Learning Robot Policies on Physical Time

• Paper Link (arXiv:2610.13929)

• Code Link (GitHub, MIT)

• Project

• Changhao Wang, Jaden Clark, Shuran Song

• Stanford University, arXiv preprint (cs.RO), 2026

1. 💡 모방학습 policy는 관측과 행동을 고정 주기의 시퀀스로 바꾸고 시퀀스 위치를 물리 시간의 대리값으로 쓴다. 센서 주기·관측 지연·추론 지연이 바뀌면 이 가정이 깨지므로, Chronos Policy는 관측이 찍힌 시각 \mathbf{t}_o와 행동을 실행할 시각 \mathbf{t}_a를 policy 입력으로 명시한다.
2. ⚙️ diffusion transformer의 위치 인코딩을 인덱스 대신 물리 시간(초)으로 돌리는 time-aware RoPE를 써서 attention이 경과 시간 t_j-t_i에만 의존하게 하고, 학습 때 센서별 관측 주기·지연과 행동 시작 지연을 무작위로 바꾸는 temporal randomization을 함께 쓴다.
3. 🎯 시뮬레이션 Conveyor에서 0~200 ms 추론 지연 아래 Diffusion Policy가 1.8%로 무너질 때 76.4%를 유지했고(Table 3), 준정적 6과제의 교란 5조건 평균은 59.7%에서 73.4%로 올랐다(Table 4). 실기 3과제에서는 4개 timing 조건 모두에서 DP·DP+RTC보다 높은 점수를 냈다(Fig. 5).

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

컨베이어 위에서 움직이는 물체를 잡는 로봇을 생각해 보자. 두 이미지 사이에서 물체가 같은 거리만큼 움직였어도, 두 이미지가 20 ms 간격으로 찍혔는지 200 ms 간격으로 찍혔는지에 따라 물체 속도는 10배 차이가 난다. 예측한 행동이 언제 실제로 실행되는지에 따라 어디로 손을 뻗어야 하는지도 달라진다. 그런데 대부분의 모방학습 policy는 시연을 고정 주기의 관측-행동 시퀀스로 바꾸고, “몇 번째 토큰인가”를 “몇 초 전인가”의 대리값으로 쓴다. 학습 때와 배포 때 이 대응이 같으면 문제가 없지만, 센서가 느려지거나 추론이 늦어지면 policy는 시간이 얼마나 흘렀는지 알 방법이 없다.

Chronos Policy는 이 대응을 버리고 시간을 입력으로 준다. 각 관측은 찍힌 시각을, 각 행동 토큰은 실행되기를 원하는 시각을 갖는다. 저자들은 이 시각을 토큰 특징에 더하는 방법(AddTime)과 RoPE의 회전 좌표로 쓰는 방법(time-aware RoPE)을 비교했고, 후자가 더 견고하다고 보고한다. 학습 때는 관측 주기·지연과 행동 시작 시점을 무작위로 바꿔 다양한 timing을 보여 준다. 시간이 명시돼 있으므로 이렇게 바꾼 샘플도 모호하지 않다는 것이 핵심 논리다.

timing 문제의 분류(Fig. 1). (a) 실제 로봇에서 생기는 시간 변동 6가지: ① 센서별 샘플링 주기, ② 관측 지연, ③ dropout, ④ 추론 지연, ⑤ 제어 주기, ⑥ 실행 지연. (b) 동적 과제는 관측-행동 사이의 시간이, (c) 다중 감각 과제는 관측-관측 사이의 시간이 중요하다. (d) 준정적 과제도 학습·배포 timing이 다르면 어긋난다.

프로젝트 페이지의 요약 영상(mp4, 약 14 MB)은 자막 기준으로 추론 지연(Dynamic Cup), 관측 지연(Peg Insertion), 센서 주기 변화(Pivoting) 세 장면에서 DP와 Chronos Policy를 2배속으로 나란히 보여 준다. 과제별 롤아웃은 프로젝트 페이지의 실기·시뮬레이션 절에 있다.

핵심 방법론:

시각 t에 policy를 호출하면, 첫 행동까지의 지연 d_t와 행동 간격 \Delta t_a로 H개 행동의 실행 시각을 정한다.

t_{a,j}=t+d_t+j\,\Delta t_a,\qquad j=0,\ldots,H-1,\qquad \mathbf{A}_{\mathbf{t}_a}\sim\pi_\theta\!\left(\cdot\mid \mathbf{O}_{\mathbf{t}_o},\mathbf{t}_o,\mathbf{t}_a\right)

모든 시각을 호출 시각 기준 상대값 \tilde t_i=t_i-t로 바꾼 뒤, 이를 RoPE의 회전 좌표로 쓴다. 관측 토큰은 찍힌 시각을, 노이즈가 섞인 행동 토큰은 실행 시각을 받는다.

\widetilde q_i=R(\tilde t_i)\,q_i,\quad \widetilde k_i=R(\tilde t_i)\,k_i \;\;\Longrightarrow\;\; \widetilde q_i^{\top}\widetilde k_j=q_i^{\top}R(t_j-t_i)\,k_j

attention 점수가 두 토큰의 경과 시간에만 의존하므로, 같은 시퀀스 위치에 있어도 20 ms 간격과 200 ms 간격의 관측은 다르게 취급되고, 모든 시각을 똑같이 밀어도 결과는 같다. 토큰 내용(이미지 패치·고유감각·힘/토크·행동)은 건드리지 않는다.

주요 결과:

• Conveyor(동적, 시뮬레이션): nominal 73.1 → 82.0%, 관측 변동(Small) 15.6 → 77.6%, 0~200 ms 추론 지연 1.8 → 76.4%, 복합 교란 0.0 → 32.7% (DP → Chronos, Table 3).
• Pivoting(다중 감각, 시뮬레이션): 약한 교란에서는 두 방법이 비슷하고, 0~200 ms 지연 51.3 → 60.2%, 복합 교란 19.6 → 38.4%. 다만 학습 seed 3개의 표준편차가 칸에 따라 ±6~18%p로 크다.
• 절제(Fig. 3): timestamp 없이 temporal randomization만 쓰면 Conveyor 교란 평균은 6.3 → 26.9%로 오르지만 Pivoting은 48.4 → 21.6%로 떨어진다. timestamp가 있으면 두 과제 모두 오른다(48.8 → 63.1%, 33.3 → 55.3%). 같은 timestamp를 AddTime으로 넣으면 교란 평균이 Conveyor 51.5%, Pivoting 33.5%에 그친다.
• DexMimicGen 준정적 6과제: nominal 평균 76.4 vs 77.1%로 비슷하고, 교란 5조건 평균은 59.7 → 73.4%.
• 실기(Dynamic Cup, Peg Insertion, Pivoting): 조건당 10~20회, 부분 성공 0.5점. Chronos는 12개 (과제, 조건) 칸 전부에서 최고점이다(예: Dynamic Cup 복합 교란 DP 30, DP+RTC 25, Chronos 55).

결론:

이 논문의 기여는 새 네트워크가 아니라 인터페이스다. 관측 주기, 센서 지연, 모달리티 간 시간차, 추론 지연을 각각 다른 장치로 보정하는 대신 “언제 찍혔고 언제 실행될 것인가”라는 하나의 표현으로 묶고, 이것을 위치 인코딩 한 곳만 바꿔 diffusion transformer에 넣었다. temporal randomization이 시간 정보 없이는 Pivoting에서 오히려 해롭다는 결과가 “시간을 알려 줘야 augmentation이 정보가 된다”는 주장을 가장 잘 뒷받침한다. 반면 시뮬레이션 추론 지연 비교의 베이스라인 처리, 평가 조건과 학습 randomization 범위의 겹침, 3 seed와 실기 10회 규모의 통계적 여유는 따로 따져 봐야 한다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

고정 주기 policy에서 “시간”은 토큰의 순번에 숨어 있다. 순번과 실제 시간의 비율이 학습 때와 같을 때만 그 정보가 맞다. Chronos Policy는 이 비율을 상수로 가정하지 않고, 모든 토큰에 초 단위 시각을 붙여 attention이 그 차이를 직접 읽게 한다. 그렇게 하면 두 가지가 동시에 풀린다. 배포 때 timing이 달라져도 policy가 그 차이를 “본다”. 그리고 학습 때 timing을 일부러 흔들어도 각 샘플이 모호해지지 않으므로, 고정 주기 다운샘플링이 버리던 측정값까지 학습에 쓸 수 있다. 논문의 실험은 이 두 번째 효과가 첫 번째 없이는 성립하지 않는다는 것을 보인다.

배경: 시퀀스 위치는 시간이 아니다 (§1·§2)

Fig. 1(a)이 정리하듯 실제 로봇 시스템의 시간 변동은 여러 곳에서 생긴다. 카메라·고유감각·힘/토크 센서는 서로 다른 주기로 돌고(①), 측정값은 지연돼 도착하며(②), 가끔 끊긴다(③). 추론에는 시간이 걸리고(④), 제어기 주기(⑤)와 실행 지연(⑥)도 변한다. 이 효과가 얼마나 중요한지는 과제마다 다르다. 저자들은 과제를 세 부류로 나눈다.

• 동적 과제(Fig. 1b): 움직이는 목표를 다룬다. 관측이 찍힌 시각과 행동이 실행되는 시각 사이의 간격이 정답 행동을 바꾼다.
• 다중 감각 과제(Fig. 1c): 시각·고유감각·힘/토크를 함께 쓴다. 서로 다른 센서의 측정값이 서로 몇 ms 차이로 찍혔는지가 중요하다.
• 준정적 과제(Fig. 1d): timing 자체는 덜 중요하지만, 학습(고주파·지연 없음)과 배포(저주파·지연 있음) 조건이 다르면 여전히 분포가 어긋난다.

기존 연구는 이 문제를 조각별로 다뤘다(§2). 비동기 다중 감각 쪽에서는 느린 시각 계획과 빠른 촉각 피드백을 별도 모듈로 나눈 Reactive Diffusion Policy(CGP 리뷰의 RDP 비교 참고), 이를 한 네트워크에 넣은 ImplicitRDP, 주파수 인식 임베딩으로 RGB와 F/T를 합친 ManipForce 등이 있다. 추론 지연 쪽에서는 Diffusion Policy의 latency matching(Chi et al., 2024), 추론과 실행을 겹치고 이미 확정된 행동 prefix를 inpainting하는 Real-Time Chunking(RTC, Black et al., 2026), 측정한 지연을 조건으로 받는 Delay-Aware Diffusion Policy가 있다. ARLI처럼 지연 아래에서 RL로 미세조정하는 흐름도 있다. 저자들의 입장은 이렇다. 이들은 timing 변동을 외부에서 보정할 불일치로 다루지만, Chronos는 그것을 policy 입력의 일부로 표현한다.

방법 상세 (§3)

Chronos Policy 개요(Fig. 2). (a) 이미지·힘·고유감각·노이즈 행동 토큰이 각자 다른 시각을 가진 비정형 묶음이다. (b) time-aware RoPE는 물리 시간 t에 비례해 토큰을 회전시키므로 attention이 상대 시간 t_j-t_i에만 의존한다. (c) 모든 토큰이 “지금”을 기준으로 한 하나의 시간축에 놓이고, 행동 질의는 미래(양수) 쪽에 있다.

정책을 물리 시간 위에 다시 쓰기 (§3.1, Eq. 1~3)

일반적인 행동 청크 policy는 \mathbf{A}=f_\theta(\mathbf{O})이고, \mathbf{O}의 k번째 원소가 몇 초 전 것인지는 학습 데이터의 고정 주기에 암묵적으로 들어 있다. Chronos는 이를 다음과 같이 바꾼다.

\mathbf{A}_{\mathbf{t}_a}\sim\pi_\theta\!\left(\cdot\mid\mathbf{O}_{\mathbf{t}_o},\mathbf{t}_o,\mathbf{t}_a\right),\qquad t_{a,j}=t+d_t+j\,\Delta t_a

이 식 하나에 여러 timing 정보가 들어간다.

표현	담는 정보
\mathbf{t}_o 원소 사이 간격	관측 주기(센서별로 다를 수 있음)
\mathbf{t}_o와 호출 시각 t의 차	측정값의 나이(관측 지연)
서로 다른 모달리티의 \mathbf{t}_o 차	모달리티 간 시간차
d_t	추론·실행 지연(첫 행동이 언제 나가는가)
\Delta t_a	원하는 실행 주기

다중 감각 입력은 공통 격자에 정렬하지 않고 각자의 시각을 그대로 유지한다. 이것이 Fig. 2(a)의 “비정형 토큰 묶음”이다.

시간을 어디에 넣을까: AddTime vs time-aware RoPE (§3.2, Eq. 4~6)

timestamp를 네트워크에 넣는 방법은 두 가지다.

• AddTime: 각 timestamp를 Fourier feature(sin 16개 + cos 16개)로 바꾸고 32\to512\to512 MLP(GELU)를 거쳐 토큰 임베딩에 더한다. 행동 토큰에는 매 denoising 스텝마다 더한다(부록 A.2). 시간이 토큰 내용과 섞인다.
• time-aware RoPE: 토큰 임베딩은 그대로 두고, query·key를 상대 시각 \tilde t_i=t_i-t만큼 회전시킨다.

\widetilde q_i=R(\tilde t_i)q_i,\qquad \widetilde k_i=R(\tilde t_i)k_i,\qquad \widetilde q_i^{\top}\widetilde k_j=q_i^{\top}R(t_j-t_i)k_j

RoPE는 원래 언어 모델에서 토큰 인덱스로 회전시키는 장치다. 여기서는 인덱스 자리에 초 단위 시각이 들어간다. 회전 행렬의 곱 성질 때문에 attention 점수는 두 토큰의 절대 시각이 아니라 경과 시간에만 의존하고, 시계의 원점을 어디에 두든 결과가 같다. 이미지 패치는 그 프레임의 촬영 시각을, 고유감각·F/T 토큰은 측정 시각을, 행동 토큰은 질의한 실행 시각을 받는다. 모달리티·공간 임베딩은 그대로 토큰 내용을 나타낸다.

부록 A.2의 구현 값은 다음과 같다. 회전하는 query-key 좌표 쌍은 16개이고, 주기는 0.1 s에서 2 s 사이에 로그 간격으로 놓인다. 백본 폭 512, 헤드 8개이므로 헤드당 차원은 64(32쌍)일 것이다(필자 계산). 그렇다면 16쌍은 절반에 해당하는데, 나머지 좌표를 어떻게 처리하는지는 논문에 적혀 있지 않다. 공개 코드에서는 헤드 차원 64 중 앞 32채널(16쌍)만 회전하고 나머지 32채널은 회전 없이 그대로 통과한다. 따라서 attention의 절반은 시간과 무관한 내용 유사도로 계산된다.

아키텍처와 학습 설정 (부록 A, Fig. 6, Table 1)

아키텍처(Fig. 6). 이미지는 ViT(SigLIP2) 패치 특징으로 cross-attention에, 고유감각·(선택적) wrench·노이즈 행동 토큰은 self-attention에 들어가며, 두 경로 모두 time-aware RoPE가 시각을 넣는다. 토큰 아래 숫자는 각 토큰의 상대 시각(초) 예시다.

논문은 DP와 Chronos가 같은 백본을 쓰고 차이는 위치 인코딩뿐이라고 쓴다(부록 A.1·A.2). 공개 README도 positional_encoding="time"과 "index" 중 하나를 고르는 구조라고 설명한다. 그런데 공개 체크포인트의 config를 보면 위치 인코딩 말고도 다른 점이 있다. diffusion step을 넣는 방식(DP는 별도 토큰, Chronos는 행동 토큰에 덧셈), self-attention 마스크(Chronos만 사용), 그리고 일부 과제의 손실 가중이 다르다(아래 코드 공개 범위).

항목	값 (부록 A.1·A.3, Table 1)
백본	diffusion transformer, 16층, 폭 512, 헤드 8
이미지 인코더	사전학습 SigLIP2 base, 256\times256, 768차원 패치 특징, 학습률 1/10
블록 구조	비이미지 토큰 self-attention + 이미지 패치 cross-attention
관측 이력 (Conveyor·표준 과제)	카메라당 이미지 2장, 고유감각 2개
관측 이력 (시뮬레이션 Pivoting)	이미지 2장, 포즈 3개, 6차원 F/T 32개
행동	16개, 20 Hz. Pivoting은 19차원 adaptive compliance 행동(명목 포즈, 가상 목표 포즈, 강성)
실행 horizon	표준 과제 12, Conveyor·Pivoting 8
diffusion	clean-action 예측, \ell_1 손실, cosine noise schedule. DDIM 학습/추론 스텝: 시뮬레이션 24/8, 실기 50/16
최적화	AdamW, lr 3\times10^{-4}, betas (0.95, 0.999), weight decay 10^{-6}, BF16, cosine lr, 50 epoch
증강	random crop, color jitter(각 확률 0.3)

temporal randomization (§3.3, 부록 B.2)

학습 때 각 시연에서 센서 스트림마다 관측 주기와 전달 지연을 독립적으로 뽑고, 그 호출 시각에 도착해 있었을 측정값만 고른다. 고른 측정값은 원래의 촬영 시각을 그대로 유지한다. 행동 청크의 시작 지연 d_t도 뽑는다. 원 데이터는 100 Hz로 기록돼 있다.

학습 randomization	범위 (부록 B.2)
관측 주기 (모든 센서 스트림)	12.5~33.33 Hz
전달 지연	0~50 ms
Pivoting F/T	1~100 Hz, 지연 0~100 ms
행동 시작 지연 d_t	절반은 0, 나머지 절반은 최대 100 ms

위 표는 논문이 서술한 범위다. 공개 체크포인트(Hugging Face)의 학습 config에 적힌 값은 일부 다르다. 아래는 seed 0 체크포인트 config에서 직접 읽은 값이다.

항목	논문 (부록 B.2)	공개 체크포인트 config (seed 0)
관측 주기·지연 (Conveyor, Threading)	12.5~33.33 Hz, 0~50 ms	12.5~33.33 Hz, 0~50 ms (일치)
관측 주기·지연 (Pivoting)	12.5~33.33 Hz, 0~50 ms. F/T만 1~100 Hz, 0~100 ms	카메라 1~30 Hz, 포즈 1~50 Hz, F/T 10~100 Hz, 0~100 ms. 샘플의 20%에만 적용(nominal 확률 0.8)
행동 시작 지연 (Conveyor, Threading)	절반은 0, 나머지는 최대 100 ms	절반은 0, 나머지는 최대 200 ms
행동 시작 지연 (Pivoting)	위와 같음	80%는 0, 나머지는 최대 200 ms

이 config 값이 미공개 내부 학습 프레임워크에서 실제로 그대로 쓰였는지는 확인할 수 없다. 확인되는 것은 “체크포인트에 저장된 config에 그렇게 적혀 있다”까지다. 공개 레포의 데이터 export 스크립트도 행동 시작 지연을 {0, 50, 100, 150, 200} ms에서 균등하게 뽑으므로, 최대 200 ms 쪽이 공개 자료 전체와는 일관된다.

이것이 두 가지 효과를 낸다. 배포 때 만날 timing을 미리 보여 주고, 고정 주기 다운샘플링이 버렸을 측정값을 학습에 쓰게 한다. 문제는 timestamp가 없으면 이렇게 만든 샘플이 모호하다는 점이다. 같은 토큰 위치가 샘플마다 다른 물리 간격에 대응하게 된다. Chronos에서는 관측 값 \mathbf{O}_{\mathbf{t}_o}가 토큰 내용으로, \mathbf{t}_o와 \mathbf{t}_a가 RoPE 좌표로 들어가므로 이 모호성이 사라진다는 것이 저자들의 논리다.

학습 목표는 표준 diffusion 손실이다.

\mathbf{A}^{(k)}=\alpha_k\mathbf{A}^{*}_{\mathbf{t}_a}+\sigma_k\boldsymbol\epsilon,\qquad \mathcal{L}(\theta)=\mathbb{E}\!\left[\ell\!\left(D_\theta(\mathbf{A}^{(k)},k,\mathbf{O}_{\mathbf{t}_o},\mathbf{t}_o,\mathbf{t}_a),\mathbf{y}^{(k)}\right)\right]

\mathbf{y}^{(k)}는 clean action이고 \ell은 \ell_1이다.

배포 (§3.4)

배포에서도 같은 인터페이스를 쓴다. 행동 청크는 비동기로 실행된다. 다음 청크를 예측하는 동안 로봇은 이전 청크를 계속 실행한다. d_t는 시뮬레이션에서는 주입한 추론 지연 값으로 정하고, 실기에서는 미리 알 수 없으므로 이전에 완료된 요청들로 추정한다. 새 예측이 도착하면 실행 시각이 이미 지난 행동은 버리고 나머지를 \mathbf{t}_a에 따라 실행한다.

직관: 시간을 알려 줘야 augmentation이 정보가 된다

temporal randomization을 데이터 augmentation으로 보면 이 논문의 핵심 결과가 쉽게 읽힌다. 이미지 augmentation(crop, color jitter)은 “이 변화는 정답과 무관하다”고 policy에게 가르친다. 그런데 timing은 정답과 무관하지 않다. 컨베이어 위 물체 두 장면의 간격이 50 ms인지 80 ms인지는 속도 추정을 바꾸고, F/T 측정이 이미지보다 30 ms 앞선 것인지 뒤인지는 접촉 상태 해석을 바꾼다. timestamp 없이 timing을 흔들면 policy는 “이 차이를 무시하라”는 신호를 받는데, 무시하면 안 되는 차이이므로 학습이 오히려 망가진다. Pivoting에서 DP + randomization이 nominal 61.6%에서 29.8%로 떨어진 결과(Table 3)가 정확히 이 상황이다. 반대로 timestamp가 있으면 같은 randomization이 “이 간격일 때는 이렇게 행동하라”는 조건부 데이터가 된다.

Conveyor에서 timestamp 없는 randomization이 그래도 도움이 된 것(교란 평균 6.3 → 26.9%)은 저자들 설명대로 timing 구조가 단순하기 때문일 것이다. 한 물체의 등속 운동이면 간격 오차가 속도 오차로만 번지지만, 세 모달리티가 각자 다른 주기로 들어오는 Pivoting에서는 모달리티 간 정렬 자체가 깨진다.

RoPE가 AddTime보다 나은 이유에 대해서는 저자들이 “We hypothesize”라고 쓴다. 가설은 두 가지다. 내용과 시간이 분리돼 있어 단순하다는 점, 그리고 경과 시간이 attention을 직접 조절하므로 덧셈 특징에서 추론할 필요가 없다는 점이다. 둘 다 그럴듯하지만 논문 안에서 검증된 메커니즘은 아니다. 직관적으로 보충하면, AddTime은 호출 시각 기준 상대시각(\tilde t_i)을 토큰마다 따로 인코딩하므로 두 토큰 사이 간격을 알려면 네트워크가 두 임베딩의 차를 스스로 계산해야 한다. RoPE는 그 차를 내적 구조에 미리 넣어 둔다. Conveyor에서 학습 분포 밖인 Wide sensors와 Combined에서 격차가 가장 크게 벌어진 것은 이 해석과 맞는다(필자 해석). 다만 시뮬레이션 Pivoting의 Wide sensors는 공개 체크포인트 config 기준으로 학습 범위 안이므로(코드 공개 범위), Pivoting의 격차까지 같은 근거로 읽을 수는 없다.

실험 (§4)

셋업과 평가 조건 (§4.1, 부록 B)

• Conveyor: 벨트 속도가 무작위인 동적 pick-and-place(시뮬레이션).
• Pivoting: 시각·고유감각·F/T를 서로 다른 주기로 받는 접촉 과제(시뮬레이션). 공개 README에 따르면 이 둘은 저자들이 만든 MuJoCo 과제다.
• DexMimicGen 6과제: Threading, Assembly, Transport, Coffee, Drawer Cleanup, Pouring. timing이 덜 중요한 준정적 과제다(DexMimicGen 리뷰).

평가 조건은 nominal(학습과 같은 timing), 관측 timing 변동 두 단계, 추론 지연 두 단계, 그리고 둘을 합친 combined다.

시뮬레이션 조건	이미지 (Hz)	포즈 (Hz)	F/T (Hz)	전달 지연 (ms)	추론 지연 (ms)
Nominal	20	20	100	0	0
Small obs.	12.5–33.33	12.5–33.33	75–100	0–50	0
Large obs. (Wide sensors)	1–50	1–50	1–100	0–100	0
Delay 0–100 ms	20	20	100	0	0–100
Delay 0–200 ms	20	20	100	0	0–200
Combined	1–50	1–50	1–100	0–100	0–200

표는 부록 Table 2와 B.2의 서술(“Combined uses the large-observation setting and the large inference distribution”)을 합친 것이다. Delay 조건의 관측 timing은 nominal로 두었다고 읽었다(논문이 표로 명시하지는 않는다). Table 2는 “Small/Large”라 부르고 Table 3·4는 “Small obs./Wide sensors”라 부르는데 같은 조건이다.

다만 공개 평가 코드의 Pivoting 조건은 Table 2와 다르다. 공개 코드와 레포의 시뮬레이션 README는 둘 다 같은 값을 적고 있다. Pivoting Small은 카메라·포즈 15~20 Hz, F/T 75~100 Hz에 전달 지연이 없다(Table 2: 12.5~33.33 Hz, 0~50 ms). Pivoting Large는 카메라 1~30 Hz, 포즈 1~50 Hz, F/T 10~100 Hz에 0~100 ms다(Table 2: 1~50 / 1~50 / 1~100 Hz). Conveyor와 DexMimicGen의 조건은 Table 2와 같다. 또 공개 코드의 시뮬레이션 추론 지연은 연속 분포가 아니라 50 ms 단위 균등 분포({0, 50, 100} 또는 {0, 50, …, 200} ms)이고 첫 호출은 지연이 없다. 실기의 discrete 지연({0, 50, …, 200} ms, 부록 C.2)과 달리 시뮬레이션 쪽은 논문에 이 점이 적혀 있지 않다.

통계 처리는 명시돼 있다. 정책마다 학습 seed 3개를 쓰고, 5 epoch마다 nominal 검증 성공률로 체크포인트를 고른다. Conveyor·Pivoting은 학습 seed마다 평가 seed 3개 × 50 에피소드를 돌려 조건당 450 에피소드, DexMimicGen은 학습 seed마다 50 에피소드(조건당 150 에피소드)다. 표의 ±는 학습 seed 3개에 대한 표본표준편차다.

동적·다중 감각 과제 (§4.2, Fig. 4a·b)

시뮬레이션 평가(Fig. 4). (a) Conveyor, (b) Pivoting, (c) DexMimicGen 6과제 평균. 주황이 Diffusion Policy, 파랑이 Chronos Policy다. 막대 위 숫자는 성공률(%).

Conveyor에서는 차이가 분명하다. nominal 73.1 → 82.0%이고, 관측 변동(Small)에서 DP가 15.6%로 떨어질 때 Chronos는 77.6%를 유지한다. 0~200 ms 추론 지연에서 DP 1.8%, Chronos 76.4%이고, combined에서도 Chronos는 32.7%를 남기지만 DP는 0%다. 저자들의 해석은 관측 간격이 변하면 순번만으로 물체 운동을 알 수 없고, 실행이 늦어지면 얼마나 앞을 보고 행동해야 하는지 알 수 없다는 것이다.

Pivoting은 패턴이 다르다. 약한 교란(Small 64.0 vs 64.9%, Delay ≤100 63.8 vs 65.1%)에서는 둘이 비슷하고(공개 코드의 Pivoting Small은 15~20 Hz에 지연이 없어 Table 2의 Small보다 약한 교란이다), 교란이 커질수록 격차가 커진다(Delay ≤200 51.3 → 60.2%, combined 19.6 → 38.4%). 움직이는 목표를 예측할 필요는 없지만, 시각·고유감각·F/T의 상대 시각이 크게 흔들려 순번이 측정 시각을 더 이상 반영하지 못할 때 timestamp가 쓸모 있어진다는 해석이다.

무엇이 시간 인식을 만드는가: 절제 (§4.3, Fig. 3, Table 3)

설계 절제(Fig. 3). DP, DP + 학습 시 randomization, Chronos + AddTime, Chronos + RoPE(randomization 없음), Chronos + RoPE(전체). 위: Conveyor, 아래: Pivoting. 오차 막대는 학습 seed 3개의 표본표준편차.

부록 Table 3 전체를 옮긴다(성공률 %, 평균 ± 학습 seed 3개 표본표준편차). 마지막 열은 교란 5조건의 평균이며 본문 §4.3이 인용하는 값과 반올림 범위 안에서 일치한다(필자 재계산).

과제	방법	Nominal	Small obs.	Wide	Delay ≤100	Delay ≤200	Combined	교란 평균
Conveyor	DP	73.1 ± 7.2	15.6 ± 1.0	0.0 ± 0.0	14.2 ± 2.8	1.8 ± 1.5	0.0 ± 0.0	6.3
	DP + rand.	53.6 ± 2.3	60.9 ± 3.9	6.4 ± 2.1	47.3 ± 2.4	19.6 ± 2.7	0.2 ± 0.4	26.9
	RoPE w/o rand.	79.8 ± 4.2	67.1 ± 3.4	20.2 ± 0.8	76.4 ± 8.6	69.3 ± 3.1	10.7 ± 0.7	48.7
	AddTime	85.8 ± 7.6	74.9 ± 4.5	24.0 ± 1.3	78.9 ± 4.4	71.8 ± 3.4	7.8 ± 2.0	51.5
	RoPE (Chronos)	82.0 ± 3.5	77.6 ± 3.0	45.6 ± 10.2	83.1 ± 2.8	76.4 ± 3.4	32.7 ± 5.7	63.1
Pivoting	DP	61.6 ± 11.3	64.0 ± 9.3	43.6 ± 10.1	63.8 ± 6.0	51.3 ± 11.4	19.6 ± 15.2	48.5
	DP + rand.	29.8 ± 14.5	30.0 ± 10.6	18.0 ± 9.3	29.1 ± 9.1	22.0 ± 14.0	8.9 ± 5.4	21.6
	RoPE w/o rand.	60.9 ± 5.0	54.0 ± 10.0	9.1 ± 8.1	53.1 ± 7.5	46.2 ± 11.0	4.2 ± 4.3	33.3
	AddTime	50.4 ± 19.9	46.2 ± 24.2	23.6 ± 15.7	40.9 ± 23.8	40.0 ± 25.1	16.7 ± 12.2	33.5
	RoPE (Chronos)	69.3 ± 6.4	64.9 ± 10.0	48.0 ± 15.8	65.1 ± 7.3	60.2 ± 9.1	38.4 ± 17.8	55.3

교란 평균 열은 반올림된 칸으로 다시 계산한 값이라 본문 수치와 0.1%p 다를 수 있다(Conveyor RoPE w/o rand. 48.7 vs 본문 48.8, Pivoting DP 48.5 vs 본문 48.4). 칸마다 ±0.05의 반올림 오차를 허용하면 두 본문 값 모두 가능한 범위 안에 있으므로 오기는 아니다.

이 표에서 읽히는 것은 세 가지다.

1. randomization만으로는 모호성이 풀리지 않는다. Conveyor에서는 DP + rand.가 Small obs.(15.6 → 60.9%)와 Delay ≤100(14.2 → 47.3%)을 크게 올리지만, Wide sensors(6.4%)와 Combined(0.2%)에서는 여전히 거의 0이고 nominal은 73.1에서 53.6%로 떨어진다. Pivoting에서는 6조건 모두 떨어진다.
2. timestamp와 randomization은 보완적이다. RoPE w/o rand.는 추론 지연에는 이미 강하다(Delay ≤100 76.4%, ≤200 69.3%). 하지만 관측 timing이 크게 변하면 무너진다(Conveyor Wide 20.2%, Combined 10.7%; Pivoting 9.1%, 4.2%). randomization을 더하면 Conveyor 45.6%·32.7%, Pivoting 48.0%·38.4%로 오른다. “timestamp는 특정 schedule을 해석 가능하게 하고, randomization은 더 넓은 schedule을 보여 준다”는 저자들의 요약 그대로다.
3. 표현 방식도 중요하다. AddTime과 RoPE는 데이터·토큰 배치·diffusion 조건·randomization이 모두 같고 시간을 넣는 방식만 다르다. AddTime은 Conveyor nominal에서 더 높지만(85.8 vs 82.0%) 교란 조건에서는 모두 RoPE가 높고, 특히 Wide(24.0 vs 45.6%)와 Combined(7.8 vs 32.7%)에서 차이가 크다.

준정적 과제: 시간을 넣으면 손해인가 (§4.4, Table 4)

부록 Table 4를 과제별 교란 평균으로 줄여 옮긴다. nominal과 combined는 원 표의 값이고, “교란 평균”은 교란 5조건의 평균으로 필자가 계산했다.

과제	DP nominal	Chronos nominal	DP combined	Chronos combined	DP 교란 평균	Chronos 교란 평균	차이
Threading	89.3 ± 8.3	88.7 ± 3.1	77.3 ± 8.1	63.3 ± 3.1	82.8	80.4	−2.4
Assembly	75.3 ± 7.0	68.7 ± 1.2	0.0 ± 0.0	57.3 ± 7.6	46.4	66.9	+20.5
Transport	84.0 ± 5.3	87.3 ± 7.0	73.3 ± 8.1	70.0 ± 10.4	80.9	79.6	−1.3
Coffee	47.3 ± 6.1	51.3 ± 14.0	2.7 ± 3.1	60.0 ± 5.3	24.1	57.1	+32.9
Drawer Cleanup	83.3 ± 6.1	87.3 ± 6.4	79.3 ± 9.0	78.7 ± 8.1	80.0	82.0	+2.0
Pouring	79.3 ± 29.1	79.3 ± 6.4	2.7 ± 1.2	77.3 ± 5.0	43.7	74.1	+30.4
6과제 평균	76.4	77.1	39.2	67.8	59.7	73.4	+13.7

6과제 평균(nominal 76.4 vs 77.1, 교란 평균 59.7 vs 73.4)은 Fig. 4(c)의 막대 값·본문 §4.4와 정확히 맞는다. nominal에서 손해가 없다는 주장도 평균으로는 성립한다. 다만 평균 이득 13.7%p는 세 과제에서 나온다. Assembly·Coffee·Pouring을 빼면 나머지 세 과제의 교란 평균은 DP 81.2%, Chronos 80.7%로 차이가 없다(필자 계산). 저자들도 부록 B.4에서 “clearest gains on Assembly, Coffee, and Pouring”이라고 적었다. 이득이 큰 세 과제는 모두 DP가 Wide sensors와 Combined에서 붕괴하는 과제다(Assembly 13.3%·0.0%, Coffee 14.7%·2.7%, Pouring 2.0%·2.7%). 즉 준정적 과제에서 Chronos의 이점은 “1 Hz까지 떨어지는 관측 주기”에서 무너지지 않는다는 데 집중돼 있다.

실기 (§4.5, Fig. 5, 부록 C)

실기 평가(Fig. 5). (a) 과제, (b) 시행마다 무작위로 바꾼 조건, (c) 채점 기준(완전 성공 1.0, 부분 성공 0.5), (d) 점수. 회색 DP, 주황 DP + RTC, 파랑 Chronos Policy. 막대의 옅은 윗부분이 부분 성공 몫이다.

세 과제는 시뮬레이션의 두 부류를 따라 골랐다. Dynamic Cup은 회전하는 받침 접시 위에 컵을 놓는 동적 과제이고, Peg Insertion과 Pivoting은 시각·고유감각·F/T를 쓰는 접촉 과제다. 모든 과제가 RGB 2장과 상대 포즈·그리퍼 폭 이력(명목 20 Hz)을 쓰고, 두 접촉 과제는 손가락마다 6차원 F/T 32개를 더 쓴다. F/T는 약 360 Hz로 기록해 stride 4로 뽑으므로 명목 이력 주기는 약 90 Hz다.

과제	시연 (학습 / 검증)	완전 성공	부분 성공	평가
Dynamic Cup	252 / 13	컵이 움직이는 접시 위에 똑바로 놓임	컵이 옆으로 누운 채 접시 위에 놓임	회전 방향 2 × 5회 = 10회
Peg Insertion	220 / 11	30 s 안에 삽입	30 s 이후 삽입	구멍 방향 2 × 5회 = 10회
Pivoting	322 / 17	물체를 세워 안정	세웠다가 쓰러짐	물체 4종 × 5회 = 20회

실기 교란은 관측 주기(RGB 12.5~33.33 Hz, 포즈·그리퍼 8.33~33.33 Hz, F/T 37.5~150 Hz)와 스트림별 0~100 ms 지연, 그리고 {0, 50, 100, 150, 200} ms에서 뽑은 추가 추론 지연이다(Table 6). nominal에도 시스템의 자연스러운 감지·추론 지연은 남아 있다. 베이스라인은 비동기 DP와 DP + RTC이고, RTC와 Chronos 모두 완료된 요청으로 추론 지연을 추정한다.

과제	방법	Nominal	Observation	Inference	Combined
Dynamic Cup	DP	50.0	35.0	40.0	30.0
	DP + RTC	60.0	40.0	50.0	25.0
	Chronos	80.0	65.0	65.0	55.0
Peg Insertion	DP	95.0	65.0	45.0	45.0
	DP + RTC	85.0	40.0	55.0	35.0
	Chronos	100.0	75.0	75.0	65.0
Pivoting	DP	52.5	45.0	40.0	52.5
	DP + RTC	57.5	52.5	65.0	47.5
	Chronos	75.0	75.0	77.5	75.0

점수는 100(F+0.5P)/N이다. 부록 Table 7~9의 132개 칸을 모두 (완전/부분/실패) 횟수로 재계산했고, 시나리오별 횟수를 더하면 Overall 행과 정확히 맞았다(필자 검산). 칸 단위 기입 오류는 없다.

RTC에 대한 저자들의 관찰도 표에서 확인된다. RTC는 Inference 조건에서 세 과제 모두 DP보다 높지만(40 → 50, 45 → 55, 40 → 65), 관측 timing 교란에서는 오히려 낮아지기도 한다(Peg Observation 65 → 40). RTC는 행동 청크의 연속성을 다루고 관측이 언제 찍혔는지는 모르기 때문이다.

비판적으로 보면

강점

• 문제 정식화가 깔끔하다. 센서 주기, 관측 지연, 모달리티 간 시간차, 추론 지연은 그동안 각자 다른 장치(slow-fast 모듈, 주파수 임베딩, latency matching, inpainting)로 다뤄졌다. 이 논문은 이를 (\mathbf{t}_o,\mathbf{t}_a) 한 쌍으로 묶는다. 구현 변경도 위치 인코딩 한 곳뿐이라 기존 transformer policy에 바로 붙일 수 있다.
• 절제가 기여를 정확히 겨눈다. “randomization 유무 × timestamp 유무”와 “AddTime vs RoPE”는 논문 서술상 각각 한 변수만 바꾼 통제 비교다. 단 공개 체크포인트 config로 보면 DP와 Chronos 사이에는 diffusion step 조건화·attention 마스크·손실 가중의 차이도 섞여 있다(코드 공개 범위). 그래서 “timestamp 유무” 축은 순수한 한 변수 비교가 아니다. AddTime·DP + rand.·RoPE w/o rand. 체크포인트는 공개되지 않아 같은 확인을 할 수 없다. 특히 randomization이 timestamp 없이는 해롭다는 Pivoting 결과(nominal 61.6 → 29.8%)는 저자들 방법의 한 요소가 단독으로는 역효과를 낸다는 보고다. 이 결과가 “시간 정보가 있어야 augmentation이 정보가 된다”는 주장을 가장 강하게 뒷받침한다.
• 자기에게 불리한 결과도 그대로 적었다. AddTime이 Conveyor nominal에서 RoPE보다 높고(85.8 vs 82.0%), 준정적 과제 일부 칸에서 DP가 더 높다는 사실이 표에 그대로 있다. AddTime의 nominal 우위는 본문 §4.3도 직접 언급한다.
• 보고가 투명하고 산술이 정확하다. 학습 seed 수, 평가 에피소드 수(조건당 450/150), 체크포인트 선택 규칙, 실기의 칸별 완전/부분/실패 횟수까지 공개했다. 본문이 인용한 파생 평균(교란 조건 평균 등)과 실기 132칸이 모두 반올림 범위 안에서 검산된다.
• 재현 자료가 공개돼 있다. 코드(MIT), 체크포인트, 데이터셋이 README에 링크돼 있다(아래 코드 공개 범위 참고).

약점·한계

• 시뮬레이션 추론 지연 비교의 베이스라인 처리가 서술돼 있지 않다. Chronos는 시뮬레이션에서 주입한 지연값을 그대로 d_t로 받는다(§3.4). 반면 DP가 지연 동안 이미 지나간 행동을 어떻게 처리하는지(그대로 실행하는지, 인덱스를 밀어 건너뛰는지)는 논문에 없다. 이 차이는 결과에 크게 작용한다. randomization 없는 RoPE도 Delay ≤100에서 76.4%로 DP(14.2%)를 크게 앞서는데, 추론 지연 조건에서 timestamp가 policy에 주는 정보는 사실상 d_t, 즉 “얼마나 앞을 내다봐야 하나”뿐이다. 고정 주기 DP도 지연만큼 행동 인덱스를 밀어 실행하는 단순 보정(논문이 인용한 Chi et al. 2024의 latency matching 계열)이 가능하다. 그런 베이스라인이 시뮬레이션에 없으므로 Delay 조건 격차 중 얼마가 “시간 표현” 덕이고 얼마가 “지연을 아는 것” 덕인지 분리되지 않는다. RTC 비교는 실기에만 있다. 공개 평가 코드를 보면 이 의문에 답이 나온다. 지연이 D 스텝이면 이전 계획을 D 스텝 더 실행한 뒤 새 계획의 첫 행동부터 실행한다. Chronos는 새 계획을 D + 0.05j 초 시각으로 질의하므로 맞는 시점의 행동이 나온다. DP는 시각을 받지 않으므로 “지금” 기준 계획이 D 스텝 늦게 실행되고, 앞의 D개를 건너뛰는 보정도 없다. 따라서 표의 “DP, 0~200 ms 지연 1.8%”는 지연 보정이 전혀 없는 DP의 수치다.

• 평가 조건의 상당수가 학습 randomization 범위 안에 있다. 논문 서술(부록 B.2)만 보면 학습 randomization은 관측 12.5~33.33 Hz·지연 0~50 ms, 행동 시작 지연 최대 100 ms이고, 평가의 Small obs.와 Delay 0~100 ms가 이 범위와 같다. 공개 체크포인트 config(seed 0)는 범위를 더 넓게 적고 있어서, 분포 안에 드는 조건이 더 많아진다.

  평가 조건	논문 서술 기준	공개 체크포인트 config 기준 (seed 0)
  Small obs.	범위 안	범위 안 (Pivoting은 평가 쪽이 15~20 Hz·지연 없음이라 더 안쪽)
  Wide sensors	범위 밖	Conveyor·Threading은 범위 밖, Pivoting은 범위와 정확히 같음
  Delay 0~100 ms	범위 안	범위 안
  Delay 0~200 ms	절반이 범위 밖	범위 안 (최대 200 ms)
  Combined	범위 밖	Conveyor·Threading은 관측 성분이 범위 밖. Pivoting은 두 성분 모두 범위 안이지만, 학습에서 각 randomization이 샘플의 20%에만 적용되므로 둘이 동시에 걸리는 경우는 드물다

  따라서 Chronos(와 DP + rand.)에게 학습 분포 밖이라고 확실히 말할 수 있는 것은 Conveyor·DexMimicGen의 Wide sensors와 Combined의 관측 성분뿐이다. randomization 없는 DP에게는 모든 교란 조건이 분포 밖이다. Conveyor의 “0~200 ms 지연에서 DP 1.8%, Chronos 76.4%”도 Chronos 쪽에서는 외삽이 아니라 학습한 범위 안의 결과로 읽어야 한다. Conveyor·Pivoting은 DP + rand. 행이 있어 이 효과가 어느 정도 분리되지만, DP + rand. 체크포인트는 공개되지 않아 그 변형이 몇 ms까지의 지연으로 학습됐는지는 알 수 없다. 준정적 6과제(Fig. 4c, Table 4)에는 DP + rand.가 아예 없다. 59.7 → 73.4%의 이득이 시간 표현에서 왔는지 timing augmentation에서 왔는지는 그 과제들에서 알 수 없다. config는 학습 seed 0의 6개(Conveyor·Threading·Pivoting × Chronos·DP)만 읽었으므로, 나머지 seed와 나머지 DexMimicGen 5과제가 같은 설정인지는 확인하지 않았다.

• 3 seed로는 Pivoting의 격차가 통계적으로 확정되지 않는다. 보고된 평균 ± 표준편차로 Welch t-검정을 하면(n=3, 필자 계산), Pivoting에서 Chronos vs DP의 nominal·Delay ≤200·Combined 격차는 p = 0.38, 0.35, 0.24이고, Chronos vs AddTime의 Wide·Combined 격차도 p = 0.13, 0.17이다. AddTime의 Pivoting 표준편차는 ±12~25%p다. 저자들이 RoPE의 우위를 “consistent with”라는 조심스러운 표현으로 적은 것은 적절하지만, 본문의 “outperforms Chronos-AddTime in every condition”은 평균의 순위일 뿐이다. 반면 Conveyor Combined(32.7 ± 5.7 vs 7.8 ± 2.0, p = 0.01)처럼 표준편차가 작은 칸의 격차는 뚜렷하다.

• 실기 Pivoting의 이득은 timing 견고성보다 수준 차이에 가깝다. DP 자신의 점수가 교란에 거의 반응하지 않는다(nominal 52.5, Observation 45.0, Inference 40.0, Combined 52.5). Combined가 nominal과 같으므로 이 과제에서는 주입한 timing 교란이 DP를 크게 해치지 않았다. Chronos의 우위는 nominal부터 있는 일정한 격차다. 물체별로 나누면 그 격차의 상당 부분이 OOD 물체에서 나온다. 4조건 평균으로 in-distribution(큰·작은 지우개)은 DP 77.5 vs Chronos 97.5, OOD(상자·옆으로 놓인 지우개)는 17.5 vs 53.8이다(필자 계산). 즉 실기 Pivoting은 “Chronos가 이 과제에서 더 나은 policy이고 물체 일반화도 낫다”는 증거로는 강하지만 “timing 변화에 견고하다”는 증거로는 약하다. 그 수준 차이가 어디서 오는지(multi-rate F/T 사용, randomization 자체, 학습 차이)는 논문이 다루지 않는다. Dynamic Cup의 nominal 격차(50 vs 80)도 마찬가지로 nominal에 남은 자연 지연 덕분일 수 있지만 분해되지 않았다.

• 실기 표본이 작다. 조건당 10회(Pivoting 20회)다. 조건 하나만 보면 Dynamic Cup nominal 완전 성공 8/10 vs 5/10도 Fisher p = 0.35다. 4조건의 완전 성공을 합치면 Chronos vs DP가 Dynamic Cup 25/40 vs 15/40(p = 0.04), Peg 30/40 vs 21/40(p = 0.06), Pivoting 57/80 vs 36/80(p = 0.001)이다(필자 계산, 부분 성공은 실패로 셈). 실기 seed나 체크포인트 수는 적혀 있지 않다.

• 평균에 가려진 칸이 있다. Threading Combined에서 Chronos는 DP보다 14%p 낮다(77.3 → 63.3%). 본문은 이 칸을 언급하지 않는다. 반대로 Coffee에서는 Chronos가 nominal(51.3%)보다 Combined(60.0%)·Small obs.(58.0%)에서 더 높다. 체크포인트를 nominal 검증 성공률로 골랐는데도 교란 조건이 더 높은 이유는 설명되지 않는다. DP Pouring의 표준편차 ±29~38%p는 seed 하나가 크게 실패한 이봉 분포로 보인다(필자 해석). 이 경우 과제 평균은 seed 하나에 좌우된다.

• Fig. 1이 제시한 6가지 변동 중 실험한 것은 일부다. 실험은 ① 샘플링 주기, ② 관측 지연, ④ 추론 지연을 교란한다. 1 Hz까지 떨어지는 Large 조건이 ③ dropout을 부분적으로 흉내 낼 뿐이다. ⑤ 제어 주기와 ⑥ 실행 지연은 평가되지 않았고, 행동은 모든 과제에서 20 Hz 16개로 고정이다. 저자들도 가변 제어 주기와 시간 스케일링을 향후 과제로 남겼다. 식 (2)의 \Delta t_a는 원리상 바꿀 수 있지만, 바꿨을 때 작동하는지는 이 논문이 보이지 않는다.

• RoPE 주기 범위 밖의 시간차는 검증되지 않았다. 회전 주기는 0.1~2 s다. Large 조건에서 이미지 주기가 1 Hz까지 내려가면, 두 번째로 최근 이미지의 나이는 1 s를 넘고 거기에 지연(최대 0.1 s)과 청크 끝 행동의 미래 시각(최대 약 0.2 + 15 × 0.05 = 0.95 s)이 더해진다. 그러면 관측-행동 시간차가 2 s를 넘는 경우가 생길 수 있다(필자 계산, 샘플링 위상에 따라 다름). 공개 Conveyor 평가 코드도 “1 Hz 센서에는 약 3 s의 이력이 필요하다”는 주석과 함께 400프레임(100 Hz 기준 4 s)의 원천 이력을 보관한다. 이 영역에서 표현이 어떻게 동작하는지, 주기 범위를 바꾸면 결과가 어떻게 달라지는지에 대한 절제는 없다.

• 재현에 필요한 정보 일부가 빠져 있다. 실기 로봇 기종과 F/T 센서 종류는 본문에 없다(그림으로만 짐작할 수 있다). 실제 추론 시간과 계산 자원, 실기에서 d_t를 “이전 요청으로 추정”하는 구체적 규칙(평균인지 최댓값인지)도 없고, 이 부분은 공개 코드에도 없다. 부록 B.2의 randomization 범위는 시뮬레이션 기준이고, 실기 policy의 학습 randomization 범위는 따로 적혀 있지 않다. 시뮬레이터 이름도 본문에는 없고 공개 README에서만 확인된다.

코드 공개 범위

공개 레포(changhaowang/chronos_policy, MIT)의 README에 따르면 정책·transformer·attention 구현(chronos/), 학습·평가·논문 표 재생성 스크립트(scripts/), 그리고 시뮬레이션 8과제 환경(simulation/: DexMimicGen 6과제, MuJoCo Conveyor·Pivoting)이 들어 있다. 체크포인트와 데이터셋은 Hugging Face에 따로 올라가 있다. 구현은 Gated Memory Policy의 diffusion transformer(원래 RDT에서 가져온 것)를 바탕으로 했다. README는 “MSE 대신 L1, 6D 회전 좌표 비정규화가 DT 베이스라인 성능을 올린다”고 덧붙이는데, 이것은 논문 부록 A.3의 설정과 같다.

아래는 정적 확인이다. 공개 코드를 읽고, Hugging Face 체크포인트 파일에서 학습 config 부분만 읽었다(학습 seed 0의 Conveyor·Threading·Pivoting × Chronos·DP, 6개). 코드·학습·평가는 실행하지 않았다. 논문 수치는 모두 “논문이 보고한 값”이며 이 블로그가 재현한 값이 아니다.

논문과 일치하는 것. 16층·폭 512·헤드 8의 diffusion transformer, SigLIP2 base, RoPE 16쌍·주기 0.1~2 s·초 단위, DDIM 24/8 스텝·cosine schedule·clean-action \ell_1, 실행 horizon 12/8/8, Pivoting 19차원 adaptive compliance 행동이 코드·config와 맞다. 논문 Eq. 4는 호출 시각을 원점으로 쓰지만 코드는 첫 행동 시각을 원점으로 뺀다. Eq. 6에 따라 attention 점수는 원점 이동에 불변이므로 동치다.

논문 서술과 다른 것.

항목	논문	공개 코드·체크포인트 config
학습 행동 시작 지연	절반은 0, 나머지는 최대 100 ms (B.2)	최대 200 ms. 지연 없는 비율은 Conveyor·Threading 50%, Pivoting 80%
Pivoting 학습 관측 randomization	12.5~33.33 Hz·0~50 ms (F/T만 1~100 Hz)	카메라 1~30 / 포즈 1~50 / F/T 10~100 Hz·0~100 ms, 샘플의 20%에만 적용
Pivoting 평가 조건	Table 2 (전 과제 공통)	Small 15~20 / 15~20 / 75~100 Hz·지연 없음, Large 1~30 / 1~50 / 10~100 Hz
DP와 Chronos의 구조	같은 백본, 시간 정보만 다름	diffusion step을 DP는 별도 토큰, Chronos는 행동 토큰에 덧셈. self-attention 마스크는 Chronos만 사용. 시간 validity 마스크는 Conveyor·Threading DP에 없고 Pivoting DP에는 있음
손실 가중	\ell_1만 언급	Chronos는 앞 8개 행동에 2배 가중. DP는 Conveyor·Threading에서 균등, Pivoting에서 Chronos와 같은 2배 가중
시뮬레이션 지연 아래 DP 실행	서술 없음	지연 D 스텝 뒤 새 계획의 첫 행동부터 실행. 앞 D개를 건너뛰는 보정 없음
시뮬레이션 추론 지연 분포	“0~100 / 0~200 ms에서 샘플”	50 ms 단위 균등 분포, 첫 호출은 지연 없음

이 중 손실 가중 차이는 Conveyor·DexMimicGen 비교에서 Chronos만 앞쪽 행동 가중을 받았다는 뜻이고, 구조 차이와 함께 “timestamp 유무” 비교에 섞이는 변수다. 효과의 크기는 정적으로는 알 수 없다.

공개 학습 경로는 논문 레시피와 다르다. 레포의 scripts/train.py는 SigLIP 특징을 고정(frozen)하고, 이미지 augmentation·lr schedule·BF16이 없으며, AdamW의 beta·weight decay를 기본값으로 두고, 기본 100 epoch에 검증 손실 최소 체크포인트를 고른다. 레포 문서도 이 trainer로 다시 학습한 성공률은 “comparable … but not identical”이라고 밝힌다. 그리고 데이터 export의 기본값이 --timing randomized이므로, README대로 DP(--method dt)를 학습하면 논문의 plain DP가 아니라 DP + rand. 변형이 된다. plain DP를 원하면 --timing nominal로 export해야 한다. 논문 수치와 직접 연결되는 것은 내부 프레임워크로 학습한 공개 체크포인트다.

레포에 없는 것. 실기 코드(Dynamic Cup·Peg Insertion·실기 Pivoting, 비동기 실행기, 이전 요청으로 d_t를 추정하는 규칙), RTC 베이스라인, AddTime 변형이 없다. 공개 체크포인트와 평가 작업 목록에는 Chronos와 DP 두 방법만 있고, Fig. 3의 AddTime·DP + rand.·RoPE w/o rand. 체크포인트는 없다. 따라서 절제 결과는 공개 자료로 다시 평가할 수 없다.

관련 연구와의 자리 매김

추론 지연과 청크 연속성. RTC는 이미 확정된 행동 prefix를 inpainting해 비동기 실행의 청크 경계를 잇고, ARLI는 같은 지연 상황에서 중간 행동과 중간 상태를 입력으로 받는 작은 RL policy를 붙여 미세조정한다. Long-WAM은 반대로 예측이 연속적이면 guidance 없이 갈아 끼워도 된다는 쪽이다. 이들은 모두 행동 쪽 연속성을 다룬다. Chronos는 관측이 언제 찍혔는지까지 같은 표현에 넣는다는 점에서 축이 다르다. 실기 결과(RTC는 Inference에서만 이득)도 두 축이 보완적이라는 저자들의 해석과 맞는다. 다만 Chronos는 RTC식 prefix 제약을 쓰지 않고 지나간 행동을 버리기만 하므로, 청크 경계의 매끄러움은 이 논문에서 측정되지 않았다. 둘을 결합한 실험도 없다.

다중 감각 비동기 학습. slow-fast 구조의 Reactive Diffusion Policy나 주파수 인식 임베딩의 ManipForce는 모달리티마다 다른 주기를 구조로 처리한다. Chronos는 모달리티별 구조 없이 시각만으로 처리한다. 시뮬레이션 Pivoting의 행동 표현은 Hou et al.의 Adaptive Compliance Policy를 따르는데, 같은 계열의 힘 기반 행동 표현은 DexForce 리뷰에서도 다뤘다. 힘/촉각을 고주파로 받는 policy가 늘수록 이 논문의 인터페이스가 유용해질 것이다.

연속 시간 attention. 불규칙 시계열의 mTAN·ContiFormer, 비디오 생성에서 가변 프레임레이트를 다루는 VideoRoPE류, 연속 world-time 좌표로 RoPE를 돌리는 BulletTime이 직접적인 선행이다. Chronos는 이 아이디어를 로봇 모방학습으로 옮기면서, 관측 시각과 행동 질의 시각을 같은 축에 둔 것이 차이다. 행동 토큰의 시각을 바꾸면 다른 미래 시점의 행동을 질의할 수 있다는 점은 비디오 쪽에는 없는 로봇 고유의 쓰임새다.

시간을 명시하는 제어. 남은 시간이나 시간 비율로 조건화하는 연구, 행동 지속 시간을 함께 예측해 제어 주기를 바꾸는 TARC 같은 연구는 시간을 행동의 속도·길이를 조절하는 변수로 쓴다. Chronos는 시간을 관측과 실행의 타임스탬프로 쓴다. 저자들이 향후 과제로 꼽은 가변 제어 주기와 시간 스케일링이 이 두 흐름이 만나는 지점이다.

요약

Chronos Policy는 모방학습 policy의 암묵적 가정, 즉 “토큰 순번 = 시간”을 버리고 관측 촬영 시각과 행동 실행 시각을 명시적 입력으로 준다. 시각은 time-aware RoPE로 attention에만 들어가 토큰 내용과 분리되며, 학습 때 관측 주기·지연과 행동 시작 지연을 흔드는 temporal randomization과 짝을 이룬다. 시뮬레이션 절제는 두 요소가 보완적이라는 것, 특히 timestamp 없는 randomization은 다중 감각 과제에서 해롭다는 것을 보인다. 동적 과제와 큰 관측 교란에서 이득이 가장 크고, 준정적 과제에서는 nominal 성능을 잃지 않는다.

한계는 비교의 분해와 표본 규모에 있다. 시뮬레이션 추론 지연 비교의 DP는 공개 코드상 지연 보정이 전혀 없는 베이스라인이다. 공개 체크포인트 config 기준으로는 0~200 ms 지연과 Pivoting의 Wide sensors까지 학습 randomization 범위 안에 있어, 분포 밖 일반화로 읽을 수 있는 조건이 논문 서술보다 적다. 준정적 과제에는 randomization만 쓴 대조군이 없다. Pivoting은 시뮬레이션·실기 모두 격차가 seed와 시행 수에 비해 크지 않거나, 실기에서는 timing과 무관한 수준 차이로 보인다. 그래도 “언제 찍혔고 언제 실행할 것인가”를 policy에 알려 주는 일이 위치 인코딩 하나로 가능하고, 그것이 temporal augmentation을 쓸모 있게 만든다는 메시지는 이식성이 높다. 시뮬레이션 코드·체크포인트·데이터가 공개돼 있으므로 빠진 대조군(지연 보정 DP, 준정적 과제의 DP + rand.)을 추가해 볼 수 있다. 지연 보정 DP는 공개 DP 체크포인트에 실행 규칙만 바꾸면 된다. 반면 새로 학습해야 하는 대조군은 공개 trainer가 논문 레시피와 달라 논문 수치와 직접 비교하기 어렵다.

이 글에 대해

• 읽은 범위: arXiv v1(2026-10-09 제출) 본문과 부록 A~C를 HTML로 읽었고, 인용한 Table 3 값은 PDF와 대조했다. 그림 6장은 arXiv HTML에서 받아 모두 열어 캡션과 대조했다. 프로젝트 페이지는 본문 구성, 영상 목록, 요약 영상 자막 파일(vtt)을 확인했다. 영상은 링크만 두었다.
• 코드 대조 출처: 공개 레포(changhaowang/chronos_policy, 2026-10-22 생성, MIT) 업스트림 커밋 e7c4074 기준. 같은 루프의 코드 정적 분석 노트(논문↔︎코드 차이 목록)를 받아, 인용한 항목은 원 파일(평가 조건·지연 처리·RoPE 회전·export·trainer)과 체크포인트 config 발췌를 직접 다시 열어 확인했다. 체크포인트 config는 Hugging Face changhaowang/chronos-policy(revision d18161c)의 .ckpt에서 HTTP Range 요청으로 config 부분만 읽은 것이고, 학습 seed 0의 6개(Conveyor·Threading·Pivoting × Chronos·DP)에 한정된다. 실행 확인은 없다.
• 표기: “필자 계산”은 논문 표의 값으로 직접 계산한 것(파생 평균, Welch t-검정, Fisher 검정, 물체별 분해)이고 “필자 해석”은 논문이 말하지 않은 추론이다. Welch 검정은 표에 보고된 평균·표본표준편차와 n = 3을 그대로 쓴 근사다.
• 조회 시점: 논문·프로젝트 페이지 2026-10-28, 코드·체크포인트 config 대조 2026-10-28.