📃Rubik Quadruped 리뷰

Solving a Giant Rubik’s Cube with a Quadruped Robot

• Paper Link (arXiv:2610.24610)

• Project

• Video (YouTube)

• Lukas Amiet*, Gabriel Sánchez-Blanco Repgen*, Mayank Mittal, Victor Klemm, Andrei Cramariuc, Marco Hutter, Cesar Cadena (*공동 1저자)

• ETH Zürich (Mittal은 NVIDIA 겸직), arXiv preprint (cs.RO), 2026

1. 💡 사족 로봇이 팔 없이 앞발만으로 한 변 0.4 m, 4.6 kg짜리 대형 루빅스 큐브를 푼다. 핵심 난제는 바닥에 그냥 놓인 articulated object를 다루면서 큐브 전체를 뒤집을 때는 층 배치를 보존하고, 층을 돌릴 때는 한 발로 큐브를 고정한 채 다른 발로 미는 것이다.
2. ⚙️ 스킬 사이에는 onboard RGB-D 인식(SAM 3 분할 → RANSAC+ICP 포즈 → CIE-LAB k-NN 색 분류 → 다중 시점 집계)이 큐브 포즈와 색 상태를 복원하고, Kociemba 솔버의 수순을 flip·reposition·rotate 스킬 열로 컴파일한다. 스킬 자체는 privileged teacher(PPO)를 depth+고유수용 감각 student로 distill한 joint-space policy이며, Rotate CW는 CCW policy를 좌우 대칭으로 뒤집어 얻는다.
3. 🎯 실기에서 스캔·계획·실행을 사람 개입 없이 이어 시도한 3회 모두 완주했다(회당 약 30스텝, 8~9분). 시뮬레이션 student 성공률은 97.4~99.7%이고, 실기 단독 시행은 flip 15/15, Rotate CCW 13/15, Rotate CW 10/15였다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

사족 로봇의 다리로 물건을 다루는 일을 pedipulation이라 부른다. 지금까지의 시연은 버튼 누르기, 공 드리블, 문 열기처럼 한 발로 한 번 하는 접촉이 대부분이었다. 이 논문은 난도를 두 축에서 올린다. 첫째, 대상이 바닥에 그냥 놓인(freestanding) articulated object다. 큐브 전체의 포즈와 내부 층 배치를 동시에 신경 써야 한다. 둘째, 그 조작을 수십 번 연속으로 해야 한다. 큐브를 뒤집다가 층 하나가 조금 돌아가면 계획해 둔 큐브 상태가 깨지고 이후 수순이 전부 무의미해진다. 저자들은 이 조건을 “대형 루빅스 큐브를 발로 푸는 과제”로 구체화했다.

시스템은 큐브 상태 추정과 스킬 실행을 분리한다. 스킬과 스킬 사이에는 머리의 ZED X Mini RGB-D 카메라로 큐브의 기하 포즈와 색 상태(cube net)를 추정하고, 스킬이 도는 동안에는 학습된 policy가 앞쪽 RealSense depth 두 장과 고유수용 감각만으로 관절 목표를 낸다. policy는 큐브의 색을 전혀 보지 않는다.

전체 흐름(Fig. 1). Scanning: 로봇이 큐브 주위를 270° 호로 돌고 한 번 뒤집어 여섯 면을 모두 본다. 말풍선은 각 시점까지 집계된 색 상태다. Planning: 기성 솔버가 수순을 계산하고 이를 로봇 스킬로 변환한다. Solving: 계산된 순서대로 스킬을 실행한다(그림의 해는 25스텝).

공식 영상(ETH Robotic Systems Lab YouTube). 완주 전 과정은 이 영상과 프로젝트 페이지의 “Full autonomous solve” 클립에서 볼 수 있다.

핵심 방법론:

로봇이 쓰는 동작은 다섯 가지다. 보행 policy로 큐브 주위 90° 호를 도는 Repositioning, 큐브 전체를 로봇에서 멀어지는/가까워지는 쪽으로 90° 굴리는 Flip Forward / Flip Backward, 아래층을 한 발로 누른 채 위 두 층을 90° 돌리는 Rotate CCW / CW다. Kociemba 솔버가 낸 면 회전 수순은 “목표 면을 flip과 reposition으로 바닥에 가져온 뒤 rotate”하는 스킬 열로 컴파일된다.

각 pedipulation policy는 50 Hz로 12차원 행동 \mathbf{a}_t\in[-10,10]^{12}를 내고, 이것이 관절 위치 목표가 된다.

\mathbf{q}_t^{\mathrm{des}}=\mathbf{q}^{\mathrm{nom}}+0.5\,\mathbf{a}_t

\mathbf{q}^{\mathrm{nom}}은 기본 자세(라디안)다. foot 위치 같은 중간 명령 없이 관절 공간을 직접 제어한다는 점이 이 논문 결과 해석의 열쇠다. 학습은 privileged 관측(큐브 상태, 물리 파라미터, Rotate는 발·정강이 접촉력까지)을 받는 teacher를 PPO로 학습하고, 이를 depth 이미지 2장(30×53, 10 Hz)과 45차원 고유수용 감각을 받는 CNN+LSTM student로 distill한다. Rotate CW는 따로 학습하지 않고 CCW student의 관측과 행동을 시상면(sagittal plane) 기준으로 뒤집어 얻는다.

(\tilde{\mathbf{a}}_t,\mathbf{h}_t)=\pi_{\mathrm{CCW}}\big(\mathcal{M}_o(\mathbf{o}_t),\mathbf{h}_{t-1}\big),\qquad \mathbf{a}_t=\mathcal{M}_a(\tilde{\mathbf{a}}_t)

주요 결과:

• 큐브 인식: 2 m 이내에서 포즈 오차 중앙값 약 0.02 m, 3° 미만. 색 분류 정확도 실내 100%, 실외 98.7%. 스캔은 실내 5/5, 실외 3/5에서 완전하고 정확한 cube net을 복원했다(실외 실패 2건은 미끄러운 지면에서의 실행 문제).
• 스킬(시뮬레이션, 1000 에피소드): student 성공률 Flip Bwd 99.7%, Flip Fwd 99.7%, Rotate CCW 99.0%, Rotate CW 97.4%. teacher와 거의 같다.
• 절제(시뮬레이션): depth를 모두 빼면 성공률이 77.8 / 87.5 / 76.8%로 떨어지고, foot-target 계층 제어로 바꾸면 Rotate가 70.0%로 떨어진다(joint-space teacher 99.7%).
• 실기 단독 시행: flip 각 15/15, Rotate CCW 13/15, Rotate CW 10/15. 회전 실패는 1건을 빼고 모두 15° 넘는 과회전이었다.
• 완주: 시도한 3회 모두 사람 개입 없이 완주, 회당 약 30스텝, 8~9분.

결론:

“루빅스 큐브를 푼다”는 헤드라인의 실체는 퍼즐 풀이가 아니라(풀이는 Kociemba 솔버가 한다) articulated object를 상태를 깨뜨리지 않고 반복 조작하는 다리 기반 whole-body skill이다. 특히 한 발로 고정하고 다른 발로 미는 two-foot 협응을 joint-space policy로 직접 학습해야 한다는 근거(계층 제어 대비 Rotate 99.7 vs 70.0%)와, 이를 학습시키는 wrench-assisted curriculum이 이식성 있는 기여다. 반면 완주 시연은 3회뿐이고, 섞은 정도(scramble 깊이)가 밝혀지지 않았으며, 그림에서 세어 보면 해의 길이가 무작위 상태 풀이보다 짧아 보인다. 또 퍼즐 상태를 실행 중에 다시 확인하는 루프가 없다. “긴 multi-step 과제”라는 주장은 이 범위 안에서 읽어야 한다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

이 논문의 진짜 질문은 “로봇 다리로 바닥에 놓인 물체의 포즈와 내부 관절 상태를 선택적으로 바꿀 수 있는가”다. 큐브를 굴릴 때는 내부 상태(층 배치)를 그대로 둬야 하고, 층을 돌릴 때는 포즈(아래층)를 붙잡아 둬야 한다. 이 두 요구는 서로 반대 방향의 제약이다. 저자들은 이를 세 층으로 나눠 푼다. 상태는 스킬 사이에만 보는 RGB-D 인식이 맡고, 순서는 기성 솔버와 컴파일러가 맡고, 접촉은 색을 모르는 depth 기반 joint-space policy가 맡는다. 가장 흥미로운 결과는 “두 발이 동시에 서로 다른 역할을 해야 하는 접촉”에서 foot-target 계층 제어가 무너진다는 절제(Table III)다.

배경: 한 발 pedipulation에서 articulated object로 (§I·§II)

Pedipulation의 기존 범위. 논문이 정리하는 선행 연구는 두 갈래다. 하나는 과제 전용 joint-space policy(DribbleBot이 대표적이며, 별도 인식 모듈이 추정한 공 위치를 조건으로 받는다)다. 다른 하나는 whole-body controller가 균형을 잡고 상위 계층이 발 하나의 목표 위치나 파라미터화된 궤적을 주는 계층형 구조다(Pedipulate, Stolle et al.의 장애물 회피 pedipulation 등). 상위 계층은 원격조작, behavior tree, 궤적 계획기, 학습된 시각 policy 등 다양하다. 공통점은 한 번에 한 발의 목표를 추종한다는 것이다.

왜 큐브는 다른가. 저자들은 두 가지를 짚는다. 큐브를 뒤집는 동안 층 배치가 보존돼야 하고, 층을 돌리려면 큐브를 안정시키는 접촉과 수동 관절을 구동하는 접촉이 동시에 있어야 한다. 그래서 “발 하나의 목표 추종”을 넘어서 여러 접촉의 협응, 균형 유지, 물체 상태 보존이 함께 요구된다고 주장한다.

큐브 인식 쪽의 공백. 기존 루빅스 큐브 인식은 단일 이미지에서 보이는 최대 3면을 읽거나(Kasprzak et al.), 기계 장치로 면을 차례로 카메라에 보여 주거나(Chalise et al.), 외부 카메라 3대로 포즈와 층 각도를 추정하되 알려진 퍼즐 배치에서 출발했다(OpenAI 2019, 논문의 서술). 이 논문은 고정 촬영 장치 없이, 로봇이 움직이며 얻는 부분 시점들에서 미터 단위 포즈와 완전한 색 상태를 함께 복원해야 한다. OpenAI의 in-hand 큐브 풀이와 그 이후 손 기반 회전 연구의 흐름은 AnyRotate 리뷰의 비교 절에서 정리한 적이 있다.

시스템 개요 (§III)

시스템 구조(Fig. 2). 초록 화살표는 증거(evidence), 검은 화살표는 명령이다. 계획은 풀이당 한 번, 실행 계층은 초 단위, 모션 스킬은 밀리초 단위로 돈다. 스킬 사이에는 큐브 인식(ZED front, RGB+depth)이 포즈와 cube net을 주고, 스킬 중에는 pedipulation policy가 고유수용 감각과 앞쪽 RealSense(upper+lower) depth만 쓴다.

문제 설정. 평평한 바닥 위, 한 변 L=0.4 m, 질량 4.6 kg의 섞인 3×3×3 큐브. 로봇은 ANYmal-D다. 큐브는 26개 cubelet, 54개 facelet으로 이뤄지고, 상태는 “모든 facelet 색을 적은 cube net + 포즈”로 표현한다.

두 종류의 포즈. 기하만으로는 포즈가 큐브의 24개 회전 대칭만큼 모호하다(geometric pose). 각 면의 중앙 facelet 색은 고정돼 있으므로 이 색으로 축에 이름을 붙이면 모호성이 풀린다(semantic pose). 계획기는 cube net과 semantic pose로 수순을 정하고, 실행 계층은 geometric pose로 다음 스킬 직전에 로봇 위치를 잡는다. 이 구분이 뒤의 인식 파이프라인 구조를 결정한다.

풀이 3단계.

1. Scanning: 큐브 주위를 reposition 3회로 돌고(Fig. 1의 270° 호) 한 번 뒤집어 여섯 번째 면을 본다. 보이지 않은 facelet은 다른 facelet에서 추론할 수 없으므로 모든 facelet이 관측될 때까지 색 투표를 모은다.
2. Planning: Kociemba 솔버가 완전한 cube net을 면 회전 수순으로 바꾼다. 솔버는 로봇의 스킬과 작업 공간을 모르므로, 각 면 회전을 “flip·reposition으로 목표 면을 바닥에 가져온 뒤 rotate”하는 스킬 열로 컴파일한다. flip 한 번마다 큐브가 약 L만큼 이동하므로, 여러 스킬 열 후보 중 큐브가 5L\times5L 정사각형(2 m × 2 m) 안에 머무는 것을 고른다.
3. Solving: 스킬 열을 실행한다.

스킬 목록.

스킬	동작	구현
Repositioning	큐브 주위 90° 호 이동	기존 지각 보행 policy(Miki et al. 2022) + 포즈 컨트롤러
Flip Forward	큐브 전체를 로봇에서 멀어지는 쪽으로 90°	학습 policy
Flip Backward	큐브 전체를 로봇 쪽으로 90°	학습 policy
Rotate CCW	위에서 볼 때 위 두 층을 반시계 90°, 아래층 고정	학습 policy
Rotate CW	위 두 층을 시계 90°	Rotate CCW를 좌우 대칭으로 재사용(추가 학습 없음)

방향마다 스킬을 둔 이유는 실행 수순을 줄이기 위해서라고 논문은 밝힌다. 왼발(LF)과 오른발(RF)은 앞발 두 개다.

방법 상세 1: 큐브 인식 (§IV)

큐브 인식 파이프라인(Fig. 3). (a) RGB-D 한 프레임에서 (b) 큐브를 분할하고 (c) masked depth에 큐브를 맞춰 geometric pose를 얻은 뒤 (d) facelet 색을 분류한다. 출력은 geometric pose (c), semantic pose (e), partial cube net (f)이며 검은 칸은 보이지 않은 facelet이다.

파이프라인은 feed-forward이고, 각 단계가 이름 붙은 gate를 통해 판단을 보류(abstain)할 수 있다. 잘못된 예측이 큐브 상태에 섞이지 않게 하려는 설계다. 카메라 내부 파라미터와 변 길이 L은 알려져 있다고 가정하고, Jetson AGX Orin 32 GB에서 돈다. 큐브는 층이 거의 정렬된 정지 상태라고 가정한다.

1. 분할: open-vocabulary 분할 모델 SAM 3에 텍스트 프롬프트 “rubik’s cube”를 주고 파인튜닝 없이 쓴다. confidence 25% 이상 마스크 중 가장 큰 것을 \mathcal{M}으로 고르고, 없으면 프레임을 건너뛴다. SAM 3 자체는 SAM 3 리뷰에서 다뤘다.
2. 기하 포즈 맞춤: 마스크 안 depth를 point cloud로 역투영하고 sequential RANSAC으로 최대 3면을 찾는다. 면 법선 하나가 큐브 축 하나이고, 중심은 각 면 뒤 L/2에 있다. 3면이면 방향과 중심이 모두 정해지고, 2면이면 방향은 정해진다(세 번째 축은 두 법선에 수직). 1면이면 법선 주위 회전을 마스크 윤곽의 변 방향을 90° 모듈로 평균해 얻는다. 면이 3개 미만이면 제약되지 않는 방향의 중심은 cloud 중심으로 채운다. 이후 ICP로 변 길이 L의 큐브 모델을 정합한다.
3. Silhouette gate: ICP 잔차는 맞춤에 쓴 같은 점들로 계산되므로 낮다고 포즈가 맞다는 보장이 없다. 그래서 MaskVal을 따라 맞춘 큐브를 이미지에 투영한 \hat{\mathcal{M}}과 분할 마스크 \mathcal{M}의 픽셀 IoU가 0.90 이상일 때만 포즈를 받아들인다.
4. Facelet 분류: visibility gate는 이미지의 1% 이상을 차지하고 시선각이 82° 미만인 면만 남긴다. 남은 면을 정사각형으로 정류(rectify)해 3×3으로 나누고, 포즈 오차로 인한 이웃 색 오염을 줄이려 각 facelet을 10% 침식한다. 이미지 경계에 잘린 면은 validity gate가 유효 영역 20% 이상인 facelet만 남긴다. 각 facelet의 평균 CIE-LAB 색을 k=5 k-NN으로 6색 중 하나로 분류한다. 분류기는 파이프라인이 실내 녹화에서 뽑은 5819개 수작업 라벨 패치로 학습했다.
5. Net 조립과 semantic pose: 중앙 facelet 하나를 잘못 읽으면 그 면 전체의 라벨과 축 배정이 같이 틀린다. center color gate는 보이는 중앙 색이 알려진 색 배치와 맞는지 확인한다. 중앙이 2개 이상 보여야 하고, 반복 색이 없어야 하며, 반대 면 색이 함께 나오면 안 된다. 3면이 보이면 중앙 색이 배정한 축 순서대로 법선이 오른손 좌표계를 이뤄야 한다(아니면 거울상 큐브에서만 가능한 배정이다). 통과하면 중앙-축 배정이 semantic pose가 되고, 각 면의 4방향 모호성은 공유 변의 방향을 맞춰 푼다.

설계의 일관된 원칙은 “틀릴 바에는 말하지 않는다”이다. 한 프레임이 놓친 facelet은 다른 시점이 채우면 되지만, 잘못 들어간 facelet 하나는 풀이 전체를 망친다. 그래서 단계마다 보수적인 gate를 둔다. 다만 여러 시점의 partial net을 합치는 aggregator의 투표 규칙(충돌 시 처리, 가중치)은 본문에 “color votes를 모은다” 이상으로 적혀 있지 않다.

방법 상세 2: 학습된 지각 pedipulation 스킬 (§V)

학습하는 policy는 셋. Flip Forward, Flip Backward, Rotate CCW다. 각 policy는 50 Hz로 돌고 위의 식대로 관절 목표를 낸다. Isaac Lab에서 물리 200 Hz로 학습하고, ANYdrive 액추에이터는 actuator network로 모델링한다(Hwangbo et al. 2019 계열. ANYmal의 actuator net 활용은 Robust Recovery Controller 리뷰에도 나온다).

물체 모델. 스킬에 맞춘 단순화 모델이다. 9개 cubelet씩 3층이 쌓임 축을 따라 수동 회전 관절 2개로 이어진다. 층 회전과 접촉·정렬에 필요한 외형만 담는다. 관절 마찰은 실제 큐브에서 0.2 m 레버와 스프링 저울로 쟀다. 층 배치에 걸쳐 평균하면 회전을 시작하는 토크 6.0 Nm, 유지하는 토크 4.0 Nm이고, 점성 마찰 계수는 명목값 0.15 Nms/rad로 뒀다.

Teacher-student 구성.

항목	Teacher	Student
학습	PPO(하이퍼파라미터는 Pedipulate를 따름)	teacher distillation(Rudin et al. 2026, Parkour in the Wild의 구조·방식)
관측	노이즈 없는 고유수용 감각, 큐브 상태, 랜덤화한 물리 파라미터. Rotate CCW는 양 앞발·정강이 접촉력 추가	45차원 고유수용 감각 + 앞쪽 depth 2장(30×53 px, 10 Hz)
네트워크	actor·critic 모두 MLP(512, 256, 128), ELU	공유 CNN이 depth 각 장을 64차원으로 인코딩 → 고유수용 감각과 연결 → 2층 LSTM(256) → MLP
출력	관절 목표(\mathbf{a}_t\in[-10,10]^{12})	동일

발 배치 목표(Fig. 4). 와이어프레임 상자 \mathcal{B}^j가 오른앞발(RF, 초록)과 왼앞발(LF, 파랑)의 목표 영역이다. (a) Flip Backward는 윗면, (b) Flip Forward는 옆면에 RF 목표가 있고, (c) Rotate CCW는 RF(고정)와 LF(밂) 목표가 함께 있다.

보상 구조(Table I). 보상은 발 배치, 큐브 상호작용, 로봇 목표 상태, 로봇 정규화의 네 묶음이다. 논문은 각 묶음의 직관과 적용 범위만 제시하고 정확한 식과 가중치는 “출판 시 공개될 코드”로 미룬다고 명시한다. 아래는 Table I을 옮긴 것이다(⊕ 보상, ⊖ 페널티, B = Flip Backward, F = Flip Forward, R = Rotate CCW).

묶음	항	유형	B	F	R
발 배치	목표 영역 \mathcal{B}^j 접근	⊕	●	●	●
	유효한 cubelet 접촉 성립	⊕	●	●	●
	첫 접촉을 높고 중앙에	⊕		●
	접촉 순서·배치 준수	⊖			●
큐브 상호작용	진행도 개선(스텝당 상한)	⊕	●	●	●
	1회성 성공 보너스	⊕	●	●	●
	목표 층 각도 근접	⊕			●
	LF 회전 토크 유지	⊕			●
	과도한 큐브 접촉력	⊖	●	●	●
	의도치 않은 회전·정렬 어긋남	⊖	●	●	●
	과도한 큐브·층 속도	⊖	●	●	●
	큐브 평행 이동	⊖	●	●	●
로봇 목표 상태(성공 후에만)	기본 자세 복귀	⊕	●	●	●
	성공 후 큐브 접촉	⊖	●	●	●
	목표 층 각도 유지	⊕			●
	base 포즈 복원	⊕			●
	잔여 발·base 움직임	⊖			●
로봇 정규화	관절 속도·노력, action rate	⊖	●	●	●
	관절 위치 한계 위반	⊖	●	●	●
	base 움직임·몸체 가속	⊖	●	●	●
	발 미끄러짐·원치 않는 접촉	⊖	●	●	●
	지지 발 접지 유지	⊕	●	●

몇 가지 설계가 눈에 띈다.

• 진행도 보상은 “최고 기록 갱신”에만 준다. 이전 최고값을 넘을 때만 보상하므로 왔다 갔다 하는 동작으로 보상을 쌓을 수 없고, 스텝당 상한이 급격한 동작을 억제한다.
• Rotate의 접촉 순서를 보상으로 강제한다. RF가 자리를 잡기 전의 LF 접촉을 페널티로 줘서 “먼저 고정하고 나중에 민다”를 유도한다. 거기에 LF의 회전 토크를 지속하는 보상을 더해 층을 “차는” 대신 “끌고 가게” 한다.
• 성공 이후 보상이 따로 있다. 목표 조건이 정해진 연속 스텝 동안 유지되면 성공으로 기록하고, 그때부터 기본 자세 복귀와 큐브에서 손(발) 떼기 보상이 켜진다. 다음 보행 스킬로 넘어가기 위한 장치다.

Wrench-assisted curriculum. Rotate CCW는 상보적인 두 접촉이 필요하다. RF는 큐브를 고정하고 LF는 층을 민다. 고정이 없으면 올바르게 민 접촉도 큐브 전체를 밀어 버리므로, 두 접촉을 동시에 처음부터 배우기 어렵다. 저자들은 학습 초기에 큐브 뿌리(root)에 힘·토크 상한이 있는 spring-damper wrench를 걸어 RF 고정의 역할을 대신하게 한다. 층은 자유롭게 돌 수 있다. policy가 먼저 “돌리는 법”을 찾고, 성공률이 오르면 보조를 줄여 고정 역할을 RF로 넘긴다. 추가로 모든 스킬에서 의도치 않은 큐브·층 움직임 페널티는 0에서 시작해 점점 키워 초기 접촉 탐색을 허용한다.

Domain randomization.

대상	범위
base 위치	±0.10 m
base yaw	±5°
관절 오프셋	±20°
로봇·큐브 질량, 발·정강이·cubelet 마찰	랜덤화(범위 미기재)
외부 push	적용(크기 미기재)
층 마찰	에피소드 간 랜덤화, Rotate CCW는 에피소드 안에서도 변화
카메라 외부 파라미터(student)	축마다 ±0.01 m, ±2.5°
depth 노이즈(student)	D435 스테레오 노이즈 모델(Rudin et al. 2026 기반)

큐브 초기 포즈는 고정하고 로봇 쪽을 흔든다. base 포즈·관절 오프셋·층 마찰은 커리큘럼으로 점점 전체 범위까지 넓힌다. 에피소드 안에서 층 마찰을 바꾸는 이유는 “한 번 세게 차서 돌리는” 전략에 기대지 못하게 하려는 것이다.

대칭 재사용과 그 한계. Rotate CW는 CCW student의 관측·행동을 반사 연산자 \mathcal{M}_o,\mathcal{M}_a로 뒤집어 얻는다. LSTM 상태 \mathbf{h}_t는 뒤집힌 관측으로부터 그대로 진화하므로 별도 변환이 필요 없다. 그런데 로봇 형태는 좌우 대칭이어도 두 depth 카메라가 시상면에서 0.025 m 벗어나 있어 시각 대칭은 정확하지 않다. 논문이 직접 적은 이 비대칭이 뒤의 CW 성능 저하 해석에 쓰인다.

프로젝트 페이지 “Skill demonstrations” 클립(각 4.8~6.0 MB, 원 URL 참조). 왼쪽 위부터 Flip Backward, Flip Forward, Rotate CCW, Rotate CW. 페이지 표기상 0.5배속이다.

직관: 고정하는 발과 미는 발은 같은 몸이다

Rotate가 왜 어려운지는 손으로 큐브를 돌려 보면 바로 안다. 한 손이 아래층을 꽉 쥐고 다른 손이 위층을 돌린다. 쥐는 힘이 약해지면 위층을 미는 힘이 큐브 전체를 돌린다. 사족 로봇에서는 이 “쥐는 손”이 바닥 마찰과 RF의 누르는 힘이다. 그리고 RF가 누르는 힘은 몸통이 어떻게 기울어 있는지, LF가 얼마나 세게 미는지와 같은 몸 안에서 얽혀 있다. LF가 밀면 반작용이 몸통을 거쳐 RF의 하중을 바꾼다.

계층 제어는 이 얽힘을 끊는 인터페이스다. 상위 policy는 “어느 발을 어디로”만 말하고, 하위 컨트롤러는 그 발 하나를 추종하면서 나머지로 균형을 잡는다. 저자들의 실험이 보여 주는 실패 모드가 정확히 이것이다. 한 번에 한 발만 추종하니 LF가 밀 때 RF가 하중을 잃고 미끄러지고, 큐브를 붙잡는 일이 바닥 마찰에만 맡겨진다. 그래서 바닥이 미끄러울수록 무너진다. joint-space policy는 RF의 누름과 LF의 밂을 한 행동 벡터 안에서 함께 정하므로 이 협응을 직접 배울 수 있다.

같은 관점으로 wrench-assisted curriculum도 읽힌다. “고정”과 “밂”이 서로의 전제 조건이라 동시에 처음부터 배우기 어렵다면, 한쪽(고정)을 외부 힘으로 잠시 대신해 다른 쪽(밂)이 먼저 의미 있는 보상을 받게 한다. 보조가 사라지는 동안 policy는 이미 아는 “미는 법”을 유지하려고 고정을 RF로 옮기게 된다.

인식 쪽의 직관은 “보류할 수 있는 파이프라인”이다. 퍼즐 상태는 discrete하고 한 칸만 틀려도 쓸모가 없다. 반면 시점은 얼마든지 더 얻을 수 있다. 따라서 각 프레임에서 확신 없는 것을 버리는 쪽이 이득이다. 실험이 이를 그대로 보여 준다. 단일 시점 partial net의 일부는 틀리지만, 여러 시점을 합친 net에는 틀린 라벨이 없었다(아래 실험 절).

실험: 큐브 인식 (§VI-A)

셋업. 실기에서 거리 sweep과 실내·실외 스캔 시퀀스로 평가한다. 카메라 노출과 게인은 실내·실외에 따로 맞췄다. 기준 포즈는 모든 RGB 이미지에 손으로 그린 큐브 와이어프레임에서 얻는다. 분류·스캔 평가는 실내 5개, 실외 5개 시퀀스(각 22~32 프레임, 시퀀스마다 다른 scramble)이고, 보이는 facelet을 전부 라벨링해 실내 2354개, 실외 2264개 라벨을 얻었다. 이 시퀀스들은 분류기 학습 패치에 쓰이지 않았다.

카메라 거리별 기하 포즈 오차(Fig. 5). (a) 위치 오차, (b) 회전 오차의 0.5 m 구간별 중앙값과 사분위 범위. 파랑은 silhouette gate(IoU ≥ 0.90)가 받아들인 포즈, 빨강은 거부한 포즈다.

포즈 맞춤. 2 m까지는 위치 오차 중앙값 약 0.02 m, 회전 오차 중앙값 3° 미만으로, 스킬이 견디는 범위(§VI-B) 안이다. 그 너머에서 오차가 빠르게 커져 3.5 m에서는 약 0.10 m, 20° 이상이 된다. 저자들은 분할 마스크가 모든 프레임에서 윤곽을 잘 따랐으므로 원인이 분할 이후 단계에 있다고 보지만, “원인을 분리하지 못했다”고 명시하고 거리에 따라 커지는 depth 노이즈와 경계 오염(큐브가 작아질수록 배경 점 비중 증가)을 그럴듯한 원인으로만 든다.

그림을 직접 읽으면 silhouette gate의 성격이 분명해진다. 1.5 m 이후 모든 구간에서 거부된 포즈의 회전 오차가 받아들인 포즈보다 크다(예: 2.0~2.5 m 구간에서 약 8° vs 14°). 반면 위치 오차는 그렇지 않다. 3.0~3.5 m 구간에서는 받아들인 포즈의 위치 오차(약 0.098 m)가 거부한 포즈(약 0.073 m)보다 크다(그림에서 읽은 근사치). 저자들도 이 gate가 위치 오차에 덜 민감하다고 쓰고, 위치 오차는 비슷한 투영 윤곽을 만들 수 있기 때문이라고 설명한다. 실행 관점에서는 큰 방향 오차가 접촉 면 자체를 틀리게 만들고 위치 오차는 스킬이 어느 정도 견디므로, 이 비대칭은 받아들일 만하다는 것이 저자들의 논리다.

Facelet 색 혼동 행렬(Fig. 6). 각 칸의 왼쪽 위가 실내, 오른쪽 아래가 실외 개수다.

색 분류. 실내 100%, 실외 98.7%다. 혼동 행렬로 검산하면 실내 대각합은 2354로 라벨 수와 같고, 실외는 대각합 2235, 오분류 29건으로 2235/2264 = 98.7%가 맞다(필자 계산). 실외 오분류 29건의 내역은 주황→노랑 8, 주황→빨강 6, 빨강→주황 5, 파랑→흰색 5, 흰색→파랑 3, 노랑→초록 1, 빨강→흰색 1이다. 저자 설명대로 반사광, 국소 과노출, 짙은 그림자에서 인접 색상끼리, 또는 포화색과 흰색 사이에서 생긴다. 분류기가 실내 패치만으로 학습됐다는 점을 생각하면 실외 98.7%는 좋은 수치다. 다만 실외 노출·게인을 따로 맞췄다는 조건이 붙는다.

스캔 프레임 예시(Fig. 7). 실내 (a, b), 실외 (c–f). 점선(분홍)은 오분류다: (c) 주황을 노랑으로, (d) 빨강을 주황으로, (e) 노랑을 초록으로. (f)는 윗면이 visibility gate를 통과하지 못해 그 면의 net을 내지 않은 경우다.

스캔. 완전하고 정확한 cube net을 실내 5/5, 실외 3/5에서 복원했고, 모든 스캔 프레임에서 기하 포즈가 받아들여졌다. 실외 실패 2건은 인식이 아니라 미끄러운 지면에서의 실행 문제다. 한 번은 큐브가 미끄러져 멀어져서 여섯 번째 면이 너무 작게 보여 visibility gate를 통과하지 못했고(Fig. 7f), 다른 한 번은 flip이 실패해 그 면을 보지 못했다. 처리 시간은 프레임당 1.3 s, 걷기·뒤집기를 포함한 전체 스캔은 약 33 s다.

집계 전 신뢰도를 보기 위해 저자들은 두 지표를 나눈다. sound partial net은 틀린 라벨이 하나도 없는 것이고, exact partial net은 보이는 상태와 완전히 일치하는 것이다(sound이지만 exact가 아닌 net은 gate가 보류한 facelet이 있는 경우).

지표	실내	실외
sound partial net 비율	100%	92.6%
exact partial net 비율	77.6%	69.7%
center color gate가 net을 낸 프레임 비율	98.4%	85.4%
visibility gate가 남긴 카메라 방향 면 비율	92.4% (전체)
validity gate가 남긴 facelet 비율	97.0% (전체)
집계된 net의 틀린 라벨	0	0

단일 시점 일관성 검사가 모든 오류를 막지는 못한다. 특히 틀린 중앙 facelet이 알려진 색 배치와 여전히 모순되지 않을 수 있다(Fig. 7c–e). 시점을 합치면 빠진 관측이 채워지고 이런 모호성이 풀려, 집계된 net에는 틀린 라벨이 없었다고 논문은 보고한다. 실외 partial net의 7.4%가 틀린 라벨을 포함했는데도 최종 net이 깨끗했다는 것은 집계가 실질적인 오류 정정 역할을 했다는 뜻이다. 다만 그 결론의 표본은 완전 복원에 성공한 8개 시퀀스다.

실험: pedipulation 스킬 (§VI-B)

평가 프로토콜. 시뮬레이션 실험마다 1000 에피소드, §V와 같은 domain randomization을 쓴다. 성공 조건은 다음과 같다.

• 넘어짐, 과도한 접촉력, 큐브의 작업 공간 이탈이 없을 것
• 최종 큐브 yaw가 초기 방향의 ±10° 이내
• Flip: 원하는 면으로 착지하고 모든 층이 ±5° 이내로 정렬
• Rotate: 돌린 두 층이 90° 목표와 서로에 대해 ±5° 이내, 큐브 변위 0.15 m 미만

Table II: 시뮬레이션 스킬 성능. 연속 지표는 종료되지 않은 에피소드의 중앙값 [p95]다. Layer error는 flip 동안 어떤 층의 최대 각 편차, rotate는 돌린 층의 최종 각 오차다. Force는 접촉 중 발-큐브 평균 접촉력, Drift는 스킬 후 큐브 변위다.

Agent, Skill	Success (%) ↑	Layer error (°) ↓	Force RF / LF (N) ↓	Drift (cm) ↓
Teacher, Flip Bwd.	99.8	0.34 [0.70]	47 [71] / –	1.3 [6.6]
Student, Flip Bwd.	99.7	0.35 [0.76]	46 [71] / –	1.5 [6.5]
Teacher, Flip Fwd.	99.8	0.35 [0.90]	27 [34] / –	1.5 [6.2]
Student, Flip Fwd.	99.7	0.36 [0.79]	27 [33] / –	1.5 [6.7]
Teacher, Rot. CCW	99.7	0.51 [1.58]	32 [53] / 55 [72]	1.0 [3.4]
Student, Rot. CCW	99.0	1.21 [3.47]	33 [55] / 54 [71]	0.9 [3.4]
Student, Rot. CW	97.4	1.37 [4.22]	55 [72] / 31 [54]	0.9 [3.8]

Teacher → student 전이. flip student는 성공률·층 오차·힘·drift 모두 teacher와 거의 같다. Rotate student도 힘과 drift는 같지만 층 오차가 두 배 넘게 커진다(0.51 → 1.21°). 허용 오차를 ±2.5°로 좁히면 성공률이 teacher 98%, CCW student 85%, CW student 78%로 벌어진다. student 실패는 주로 과회전이다. CW의 추가 저하에 대해 저자들은 로봇이 그 외에는 대칭이므로 앞서 말한 카메라 오프셋 때문일 수 있다(may reflect)고 쓴다. 측정이 아니라 가설이다. CW 행에서 RF/LF 힘이 CCW와 정확히 뒤바뀐 것(55/31 vs 33/54)은 대칭 재사용이 의도대로 발 역할을 바꿨음을 보여 준다.

실기 단독 시행. 시뮬레이션과 순서가 같다.

스킬	시뮬레이션 student	실기 성공	실기 95% Wilson 구간(필자 계산)
Flip Backward	99.7%	15/15	79.6~100%
Flip Forward	99.7%	15/15	79.6~100%
Rotate CCW	99.0%	13/15	62.1~96.3%
Rotate CW	97.4%	10/15	41.7~84.8%

회전 실패는 1건(로봇이 회전 중 실행을 멈춘 CW 시행)을 빼고 모두 15° 넘는 과회전이었다. 이 15회 시행의 초기 배치 조건은 본문에 적혀 있지 않다. 프로젝트 페이지의 “Repeatability” 클립 설명(훈련 범위 안의 다양한 초기 배치에서 연속 시행)이 같은 시행인지도 확인할 수 없다.

Table III: 절제와 비교(시뮬레이션 성공률 %). 절제한 student는 모두 같은 teacher에서 distill했고, 계층형 변형은 teacher의 privileged 관측을 쓴다.

Agent	Flip Bwd.	Flip Fwd.	Rotate CCW
Teacher (joint-space)	99.8	99.8	99.7
Hierarchical foot-target control	90.3	96.1	70.0
Student (both cameras)	99.7	99.7	99.0
w/o lower depth camera	99.1	99.4	96.2
w/o upper depth camera	99.4	99.8	98.0
w/o any depth cameras	77.8	87.5	76.8
w/o memory	97.6	92.5	89.3

• Depth. depth를 모두 빼는 것이 student 절제 중 가장 큰 하락이다. blind student는 거의 넘어지지 않지만 flip 중 층을 비틀거나 rotate 후 층을 어긋난 채 둔다. 큐브 상대 위치를 보지 못해 발 배치가 부정확해진 결과와 들어맞는다. 카메라 하나만 있어도 flip은 거의 유지되고, rotate에서는 아래 카메라만 남긴 쪽(98.0)이 두 카메라 student에 더 가깝다. 저자들은 아래 카메라가 회전 중 가운데층과 아래층을 함께 보기 때문일 것이라고(plausibly) 해석한다.
• Memory. 순환 구조를 빼면 모든 스킬에서 떨어지고 Rotate(89.3)와 Flip Fwd(92.5)에서 크게 떨어진다. 흥미로운 것은 memoryless student도 스킬을 마치면 멈춘다는 점이다. depth 이미지만으로는 어느 면이 보이는지 알 수 없는데도 그렇다. 저자들은 성공 후 로봇이나 큐브를 하나씩 따로 리셋해 보는 실험으로 “최종 로봇-큐브 배치(depth와 관절 상태로 관측됨)”가 지속적인 종료 신호 역할을 한다고 추정한다. 즉 memory는 종료 판단보다 실행 신뢰도에 기여한다.
• Action space. 계층형 변형은 상위 policy가 base 좌표계의 3D 발 목표를 내고, Pedipulate 방식으로 학습한 하위 policy가 RF로 이를 추종한다. rotate에는 어느 발이 추종할지 고르는 one-hot 입력을 하위 policy에 추가했다. 상위 policy는 같은 환경에서 보상과 하이퍼파라미터를 다시 튜닝해 학습했다. flip은 대부분 해내지만 실패한 시도는 원하는 면에 도달하고도 층이나 yaw 허용 오차를 넘는다. 격차는 Rotate에서 가장 크고(70.0 vs 99.7), 실패의 대부분이 큐브 drift다. 앞의 직관 절에서 말한 RF 하중 상실과 미끄러짐이 원인이며, 저마찰 지면에서 성공률이 급락한다고 논문은 쓴다.

base 배치에 대한 student 견고성(Fig. 8). 축은 큐브 중심 기준 로봇 base 위치, 각 칸 안에서 균일하게 spawn했다. 빨간 사각형이 학습 범위(±0.10 m), 색이 성공률이다.

상대 배치. 세 student 모두 학습 범위 안에서 안정적이고 그 바깥으로도 일반화한다. 하락은 큐브 쪽으로 가깝거나 멀어지는 종방향 오프셋이 지배하고, 특히 가까이서 시작할 때 심하다. Flip Backward와 Rotate는 큐브와 충돌하고 Flip Forward는 발을 앞면에 잘못 놓는다. 횡방향 오프셋은 훨씬 잘 견딘다. 실기에서는 각 flip이 학습 범위보다 ±0.10 m 바깥에서 15/15 성공했고, Flip Forward는 +0.35 m에서도 성공할 수 있었다(Fig. 10f). 처음 뻗은 발이 모자라면 다시 뻗어 flip을 마치거나 안정 자세로 돌아간다. 반면 rotate는 학습 범위보다 0.10 m 바깥에서 과회전하거나 RF 고정을 잃는 경우가 잦았다.

초기 층 어긋남. 모든 스킬이 정렬된 층으로만 학습됐지만, 움직이는 두 층을 최대 ±35°까지 어긋나게 놓고 시험했다. 이때 flip의 층 정렬·기울기 허용 오차와 rotate의 가운데-위층 정렬 허용 오차는 빼고 yaw 허용 오차만 남겼다. 이 완화된 기준에서 flip은 ±30°까지, rotate는 ±20°까지 성공한다. 실기에서 flip은 약 30°까지 성공했고, rotate는 돌리는 방향으로 15° 어긋난 경우는 성공했지만 반대 방향 15°에서는 LF가 층에 닿지 못해 실패했다.

지면 마찰에 대한 견고성(Fig. 9). 지면 마찰 계수만 바꾸고 나머지 접촉은 명목값이다. Imprecise pedipulation은 명령한 변환은 했지만 허용 오차를 어긴 경우다. 가로 막대는 큐브-지면, 발-지면 마찰의 학습 범위다.

지면 마찰. 세 student 모두 학습 범위 안에서는 안정적이지만 마찰이 낮아지면 조작과 균형이 함께 무너진다. 그림에서 읽으면 마찰 계수 0.2 이하에서 Flip Forward의 성공은 사실상 0이고 실패는 거의 전부 “failed pedipulation”이다. 수직 면을 밀기 때문에 큐브가 넘어가지 않고 미끄러진다. Flip Backward는 위에서 누르는 동작이라 더 완만하게 나빠진다. Rotate는 가장 민감하고 넘어짐 비율이 가장 높다(0.1에서 약 37%, 그림에서 읽은 근사치). 실기에서는 아스팔트, 자갈길(cobblestone), 저마찰 석재 바닥에서도 시험했다. flip은 아스팔트와 자갈길에서 성공했다. 저마찰 석재에서는 Flip Backward와 Rotate가 유효했지만 Flip Forward는 시뮬레이션과 같은 이유로 큐브를 미끄러뜨렸다.

실기 견고성 시험(Fig. 10). (a) 막대로 큐브를 밀어냄, (b) 무거운 상자로 큐브를 막음, (c) 밧줄로 다리를 당김, (d) 저마찰 석재 바닥, (e) 자갈길, (f) 큐브를 멀리 둠.

외부 교란. 큐브를 밀어내면 flip policy는 다시 뻗는다(Fig. 10a). 조작하는 다리를 당기면 세 policy 모두 발을 다시 놓고 실행을 이어 간다(Fig. 10c). 무거운 장애물로 Flip Forward를 막으면 2~3번 더 시도한 뒤 flip을 마치거나 안정 자세로 돌아간다(Fig. 10b). 한계도 적혀 있다. policy가 누르기에 들어간 뒤의 늦은 교란은 불완전한 flip이나 넘어짐을 낳을 수 있다. 이 절의 결과는 정성적 시연이며 시행 수나 성공률은 보고되지 않았다.

프로젝트 페이지 견고성 클립(1.4~2.5 MB, 원 URL 참조). 왼쪽부터 “Flip blocked by a heavy box”(Flip Forward), “Leg pulled with a rope”(Rotate CCW), “Low-friction floor”(Rotate CCW, Example 1).

프로젝트 페이지에는 작은 상자(Flip Backward)와 원통형 용기(Flip Forward)를 뒤집는 “Different objects” 클립도 있다. 그러나 큐브가 아닌 물체는 논문 본문 어디에도 평가로 등장하지 않는다. 성공률이 없는 시연으로만 봐야 한다.

실험: 자율 큐브 풀이 (§VI-C)

자율 풀이 25스텝 중 마지막 17스텝(Fig. 11). (a)~(q) 각 스텝의 스킬과 (r) 완성 상태. RF가 아래층을 고정하고 LF가 위 두 층을 민다. flip과 reposition으로 어떤 면이든 바닥에 놓을 수 있다.

로봇은 시도한 3회 풀이를 모두 사람 개입 없이 완주했다. 회당 약 30번의 pedipulation·reposition 스텝, 8~9분이 걸렸다. 매번 스캔이 성공했고 큐브는 지정된 5L\times5L 작업 공간 안에 머물렀다. 실행 오차도 어느 정도 흡수됐다. rotate 후 남은 층 어긋남은 대개 다음 flip에서 큐브가 착지하며 바로잡혔고, rotate가 연달아 나올 때는 두 번째가 작은 오프셋에도 성공했다.

몇 가지를 필자가 그림과 수치로 계산해 보면 다음과 같다.

• 스텝당 시간: 8~9분 / 약 30스텝 ≈ 스텝당 16~18 s(필자 계산).
• “약 30스텝”과 “25스텝”: Fig. 11의 해는 25스텝인데 본문은 회당 “약 30스텝”이라고 쓴다. 스캔 단계(reposition 3회 + flip 1회 = 4스텝)를 더하면 29스텝이라 맞아 보이지만, 논문은 30이 스캔을 포함하는지 밝히지 않는다(필자 해석).
• 해의 길이: Fig. 11의 마지막 17스텝에서 rotate는 9번이다. 연속된 rotate는 같은 바닥 면을 돌리므로 (a, b), (e, f), (i), (l, m), (p, q)의 5번의 면 회전(그중 4번은 CCW 두 번으로 만든 반 바퀴)에 해당한다. 앞 8스텝까지 비슷한 밀도라면 25스텝 해 전체의 면 회전은 대략 7~8번이다(필자 추정). 이 구간에 Rotate CW는 한 번도 나오지 않는다.

비판적으로 보면

강점

• 접촉 협응에 대한 깔끔한 통제 비교. Table III의 계층형 변형은 teacher와 같은 privileged 관측을 쓰고 행동 공간만 바꾼다. Rotate에서 99.7 → 70.0의 격차와 “RF가 하중을 잃고 미끄러진다”는 실패 메커니즘, 저마찰 지면에서의 급락이 한 이야기로 맞물린다. “whole-body joint-space 제어가 동시 접촉 협응에 유리하다”는 결론이 인상이 아니라 측정에 기대고 있다.
• 인식 파이프라인의 보수적 설계와 정직한 평가. gate마다 무엇을 보류하는지가 명확하고, sound/exact를 구분해 “틀리지 않음”과 “다 읽음”을 따로 보고한다. 실외 오분류 29건의 원인, 3 m 이상에서의 포즈 오차 급증, silhouette gate가 위치 오차에 둔감하다는 점처럼 불리한 결과도 그대로 싣는다. 분류기 학습 데이터(실내)와 평가 시퀀스를 분리했다.
• 원인을 모르는 곳에서 단정하지 않는다. 포즈 오차 증가는 “원인을 분리하지 못했다”, 아래 카메라의 이점은 “plausibly”, CW 저하는 “may reflect”로 쓴다. 근거의 강도와 표현이 일치한다.
• 시뮬레이션 지표가 풍부하다. 성공률만이 아니라 층 오차, 접촉력, drift를 중앙값과 p95로 주고, ±2.5° 허용 오차에서의 재평가로 student의 정밀도 격차를 드러낸다. 배치·층 어긋남·마찰 sweep을 시뮬레이션과 실기에서 함께 본다.
• wrench-assisted curriculum은 이식성 있는 아이디어다. “고정”과 “구동”이 서로의 전제인 두 접촉 문제에서 한쪽을 외부 wrench로 잠시 대신한다는 발상은 저자들이 결론에서 든 공구함 뚜껑 닫기, 접이식 상자처럼 큐브 밖의 과제로도 그대로 옮겨진다.

약점·한계

• 완주 주장의 근거가 얇다. 완주는 3회뿐이고, “시도한 3회 모두 성공”이라는 표현은 사전 시도나 제외된 시도가 있었는지 말하지 않는다. 3/3의 95% Wilson 구간은 43.8~100%다(필자 계산). 더 중요한 것은 scramble 방법과 깊이가 논문 어디에도 없다는 점이다. 위 계산대로 Fig. 11의 해에는 면 회전이 대략 7~8번 들어 있는 것으로 보인다. 무작위로 섞은 큐브라면 Kociemba류 솔버의 해는 보통 20수 안팎(필자의 일반 지식, 논문 밖 정보)이므로 시연된 풀이는 얕게 섞은 큐브였을 가능성이 높다. 필자의 같은 스텝 밀도(면 회전당 약 3.4스텝, 스텝당 16~18 s)로 외삽하면 20수 풀이는 약 70스텝, 20분 안팎이 된다(필자 외삽). 이 길이에서도 시스템이 견디는지는 이 논문이 보여 주지 않는다. 초록의 “extended multi-step physical tasks”는 이 범위로 읽어야 한다.
• 스킬 신뢰도와 완주 성공 사이에 설명되지 않은 간극이 있다. 실기 Rotate CCW는 13/15이고 실패는 모두 15° 넘는 과회전이었다. 회전이 독립이라고 단순 가정하면 rotate 10번을 연속으로 성공할 확률은 (13/15)^{10}\approx0.24다(필자 계산). 그런데 완주는 3/3이었다. 다음 flip이 작은 어긋남을 바로잡는다는 관찰이 일부를 설명하겠지만, 15° 넘는 과회전까지 흡수되는지는 알 수 없다. 단독 시행의 조건이 풀이 중 조건보다 어려웠을 수도 있다. 단독 시행의 초기 배치 조건이 적혀 있지 않아 어느 쪽인지 판단할 수 없다.
• 퍼즐 상태는 open-loop로 관리된다. Fig. 2와 §III을 보면 cube net은 스캔 단계에서 한 번 만들어 계획에 쓰이고, 실행 중 인식은 다음 스킬을 위한 geometric pose만 준다. 층이 한 칸 잘못 돌아가도 그것을 감지하거나 다시 계획하는 장치가 서술돼 있지 않다. 서론이 스스로 “의도치 않은 층 움직임이 계획한 상태를 망가뜨린다”를 핵심 난제로 꼽은 만큼, 상태 재확인이나 재계획의 부재는 짚어야 할 공백이다. 완주 3회는 그런 오류가 일어나지 않았거나 다음 flip에서 바로잡혔다는 뜻이지, 오류에서 복구할 수 있다는 뜻이 아니다.
• 계층형 비교가 보여 주는 범위. 계층형 변형의 하위 컨트롤러는 한 번에 한 발만 추종한다(rotate는 one-hot으로 발을 고른다). 따라서 Table III이 보여 주는 것은 “foot-target 인터페이스 일반”의 열세라기보다 “한 번에 한 발 추종 인터페이스로는 동시 고정-밂을 표현할 수 없다”에 가깝다. 두 발 목표를 동시에 받는 하위 컨트롤러나 힘·임피던스 목표 인터페이스는 비교되지 않았다. 또 상위 policy의 보상·하이퍼파라미터를 “다시 튜닝했다”고만 하고 튜닝 노력은 밝히지 않는다. 결론 절의 “within the evaluated tasks” 한정은 이 점에서 적절하다.
• 핵심 설계 두 개가 절제되지 않았다. 본문은 wrench-assisted curriculum 없이는 두 접촉을 함께 배우기 어렵다고 쓰지만, curriculum을 뺀 학습 결과(성공률, 학습 곡선)는 없다. 대칭 재사용도 따로 학습한 CW policy와 비교하지 않았다. CW의 저하(시뮬레이션 97.4 vs 99.0, 실기 10/15 vs 13/15)가 카메라 0.025 m 오프셋 때문인지, 대칭 재사용 자체의 비용인지는 가설로 남는다. 실기 Rotate CW는 다섯 스킬 중 가장 약한데, 풀이 중에 CW가 얼마나 쓰였는지도 보고되지 않았다(Fig. 11 구간에서는 0회).
• 재현에 필요한 정보가 빠져 있다. Table I은 보상 항의 존재와 적용 범위만 주고, 식과 가중치는 출판 시 코드로 미룬다고 명시한다. 질량·마찰·push의 랜덤화 범위, 커리큘럼 일정, 성공 판정의 “정해진 연속 스텝 수”, wrench의 힘·토크 상한과 감쇠 규칙도 수치가 없다. 시뮬레이션 결과는 1000 에피소드지만 학습 seed 수와 seed 간 분산은 보고되지 않았다(본문에 seed 언급 0회). 99%대 성공률끼리의 차이(예: w/o upper 98.0 vs both 99.0)가 seed 분산보다 큰지 알 수 없다.
• 실기 표본이 작다. 스킬당 15회는 위 표의 Wilson 구간처럼 Rotate CCW와 CW의 구간이 겹칠 만큼 넓다. 외부 교란과 다른 물체 시연은 시행 수 없이 정성적으로만 제시된다.
• 인식 평가의 범위. 스캔은 실내 5, 실외 5 시퀀스이고 “집계된 net의 틀린 라벨 0”은 완전 복원된 8개 시퀀스에 대한 결과다. aggregator의 투표 규칙이 적혀 있지 않아, 같은 facelet에 서로 다른 색 투표가 들어올 때 무엇이 결정하는지 알 수 없다. 노출·게인을 실내·실외에 따로 맞췄다는 조건도 자동 배포에서는 별도 처리가 필요하다.
• 사소한 표기. arXiv HTML 판은 평가 시퀀스 길이를 “2232 frames”로 보여 주지만 PDF는 “22 to 32 frames”다. HTML 변환에서 범위 표기가 사라진 것이다. HTML로 읽는 독자는 주의할 필요가 있다.

코드 공개 범위

2026-10-29 확인 시점에 코드는 공개되지 않았다. 프로젝트 페이지의 Code 버튼은 비활성 상태이고 툴팁은 “Link coming soon”이다. GitHub leggedrobotics 조직에서도 해당 레포를 찾지 못했다. 논문 §V는 보상의 정확한 정의와 구현 세부를 “출판 시 함께 공개할 코드”로 제공하겠다고 적는다. 따라서 이 리뷰의 모든 수치는 논문이 보고한 값이며, 코드 대조나 재현 확인은 하지 않았다.

관련 연구와의 자리 매김

같은 그룹의 사족 조작 계보. 이 논문은 ETH RSL의 Pedipulate(단일 발 목표 추종, 이 논문 PPO 하이퍼파라미터와 계층형 베이스라인의 출처), 지각 pedipulation(Stolle et al.), Parkour in the Wild(Rudin et al., student 구조와 depth 노이즈 모델의 출처)를 부품으로 쓴다. 같은 그룹이 참여한 Contact-Guided Exploration 리뷰는 팔 달린 사족 로봇이 의자를 잡지 않고 밀고 끄는 non-prehensile 과제에서 “접촉을 아예 안 하는” 국소 최소를 탐색 보상과 multi-critic으로 푼다. 두 논문은 접촉 탐색이 학습의 병목이라는 진단을 공유하지만 처방이 다르다. 그쪽은 후보 접촉점 보상을 별도 critic으로 감쇠시키고, 이쪽은 발 배치 상자 보상 + 접촉 순서 페널티 + 고정 역할을 대신하는 wrench curriculum을 쓴다.

루빅스 큐브를 로봇이 푸는 다른 방식. OpenAI(2019)는 손 안에서 큐브를 다뤘고, 논문 서술로는 알려진 배치에서 출발해 외부 카메라 3대로 포즈와 층 각도를 추정했다. ASPIRE 리뷰의 루빅스 큐브 과제는 LLM 코딩 에이전트가 시각 관찰로 색 배치를 읽고 같은 Kociemba 솔버로 수순을 얻은 뒤 면 돌리기 요령을 텍스트 스킬로 쌓는다. 세 연구 모두 퍼즐 풀이 자체는 솔버에 맡기고, 난도는 “그 수순을 물리적으로 깨뜨리지 않고 실행하는 것”에 있다. 이 논문의 차별점은 로봇이 바닥에 놓인 0.4 m 큐브를 다리로 다루며 이동과 조작이 번갈아 나온다는 것, 그리고 고정 촬영 장치 없이 상태를 복원한다는 것이다.

인식 부품. 분할은 파인튜닝 없는 SAM 3(텍스트 프롬프트 하나)이고, 포즈 검증은 MaskVal의 silhouette IoU 아이디어를 가져왔다. 범용 open-vocabulary 분할이 로봇 시스템의 전처리로 그대로 쓰이는 사례로, 이 블로그의 SAM 3 리뷰와 이어진다.

Loco-manipulation에서의 행동 공간 논쟁. 시각 whole-body 제어(Liu et al. 2024)는 분할 depth로 상위 명령(gripper·base)을 만들어 사전학습된 하위 컨트롤러에 넘긴다. 이 논문의 Table III은 그 반대편, 즉 상위 명령 없이 관절 공간을 직접 내는 쪽의 근거를 하나 더한다. 다만 위 약점 절에서 말했듯 비교된 상위 명령은 “한 번에 한 발”이었다는 점을 함께 기억해야 한다.

요약

이 논문은 사족 로봇이 앞발만으로 0.4 m 루빅스 큐브를 스캔하고, 계획하고, 풀어내는 시스템을 보인다. 기여는 세 층에 있다. (1) 고정 촬영 장치 없이 움직이는 로봇의 부분 시점들에서 미터 단위 포즈와 완전한 색 상태를 복원하는, 보류 gate 중심의 RGB-D 인식. (2) 큐브 층 배치를 보존하는 flip과, 한 발로 고정하고 다른 발로 미는 two-foot rotate를 depth+고유수용 감각만으로 수행하는 joint-space student policy. 이를 가능하게 한 wrench-assisted curriculum과 대칭 재사용도 여기에 속한다. (3) 이들을 Kociemba 솔버와 엮어 완주까지 간 통합 시스템이다. 가장 설득력 있는 결과는 동시 고정-밂 협응에서 한 발 추종 계층 제어가 70.0%로 무너지고 joint-space teacher가 99.7%를 유지한 통제 비교다.

한계는 “긴 multi-step 과제”라는 헤드라인의 범위에 있다. 완주는 3회이고 scramble 깊이가 보고되지 않았으며, 그림에서 세면 시연된 해는 무작위 상태 풀이보다 훨씬 짧아 보인다. 퍼즐 상태는 스캔 후 open-loop로 관리돼 실행 중 오류를 감지하거나 재계획하지 않는다. curriculum과 대칭 재사용은 절제되지 않았고, 보상 식·가중치와 여러 랜덤화 범위는 코드 공개로 미뤄져 있다. 그럼에도 “물체의 포즈와 내부 상태를 선택적으로 바꾸는 다리 기반 조작”이라는 문제 정의와, 두 발에 고정과 구동을 나눠 맡기는 학습 레시피는 공구함이나 접이식 상자처럼 큐브 밖의 articulated object로 확장할 만한 출발점이다. 코드가 공개되면 보상 설계와 curriculum의 실제 기여를 검증해 볼 수 있을 것이다.

이 글에 대해

• 읽은 범위: arXiv v1(2026-10-17 제출, CC BY 4.0, 8쪽)을 HTML로 읽었고, 인용한 Table II·III과 평가 시퀀스 길이는 PDF와 대조했다(시퀀스 길이는 HTML “2232”가 아니라 PDF의 “22 to 32 frames”를 따랐다). 학회·저널 게재 표기는 arXiv에 없다. 그림 11장은 arXiv HTML에서 받아 모두 열어 캡션과 대조했다. 원본이 투명 배경 PNG여서 흰 배경으로 평탄화했다.
• 프로젝트 페이지: 본문 구성, 영상 목록, Code 버튼 상태를 확인했다. 임베드한 mp4는 프로젝트 페이지의 원 URL을 그대로 참조한다(용량·CORS 허용 확인). 파일명에 빌드 해시가 붙어 있어 페이지가 다시 빌드되면 링크가 바뀔 수 있다. 전체 풀이 클립(약 20 MB)은 임베드하지 않고 YouTube 영상으로 대신했다.
• 코드: 미공개(위 “코드 공개 범위” 절). 이 리뷰에는 코드 대조나 실행 확인이 없다.
• 표기: “필자 계산”은 논문 수치로 직접 계산한 값(Wilson 구간, 혼동 행렬 검산, 스텝당 시간, 독립 가정 확률)이고, “필자 추정·해석”은 논문이 말하지 않은 추론(Fig. 11에서 센 면 회전 수, 30스텝의 구성, scramble 깊이)이다. “그림에서 읽은 근사치”는 Fig. 5·9에서 눈으로 읽은 값이다. Kociemba 해의 통상 길이(20수 안팎)는 논문 밖의 일반 지식이다.
• 조회 시점: 논문·프로젝트 페이지·GitHub 2026-10-29.