📃Koala Gripper 리뷰

Koala Gripper: Co-designing Robotic Grippers and Data-Capture Devices for Scaling Dexterous Manipulation Learning

• Paper Link (arXiv:2608.20546) — v1 (2026-08-20, cs.RO) 기준으로 읽었다.

• Project Page

• Video (YouTube)

• Code / CAD / BOM / 데이터셋 공개 없음 — 프로젝트 페이지와 논문 어디에도 코드·도면·데이터 링크가 없다. 페이지에 있는 것은 논문·arXiv·영상 버튼과 두 장치의 3D 뷰어뿐이다(2026-08-27 확인). 하드웨어 논문으로서 이건 꽤 큰 제약이고, 아래 비판 절에서 다시 다룬다.

• Amar Hajj-Ahmad*, Zubin Kremer Guha*, Tim Fofonoff, Zhi Ern Teoh, Ciarán T. O’Neill, Ben Thacher, Igor Fala, Vidullan Surendran, Murphy Wonsick, Peter Whitney, David Watkins (* 공동 1저자)

• Robotics and AI Institute (RAI) — Capture Team, 2026 (arXiv preprint)

1. 💡 핸드헬드 데이터 수집 장치(CD)와 로봇 그리퍼(RD)를 따로 만든 뒤 억지로 맞추는 기존 관행 대신, 둘의 제약을 처음부터 함께 엮어 설계하는 co-design 프레임워크를 제안하고 그 산물로 Koala 그리퍼를 만든다.
2. ⚙️ 형태는 비인간형 — 1-DoF 언더액추에이티드 프리셰이핑 손가락 2개 + 1-DoF 피벗하는 일체형 “듀얼 썸”, 합쳐 사용자 제어 DoF는 셋뿐이다. 손가락은 9절 링크, CD 쪽은 사람 손끝 궤적을 모사하는 4절 트리거, RD 쪽은 4 mm 피치 볼스크류 + 프레임리스 모터로 역구동 가능한 저관성 구동을 만든다.
3. 🎯 RD 손끝의 유효질량은 수십 g 수준(닫힘 방향 약 3–9 g, 열림 방향 약 18–32 g)이고, CD↔︎RD 파지력은 10–40 mm 두께에서 −3.2 % ~ +10.2 % 이내로 일치하며, 파워 그립 직경 7–115 mm를 커버한다. 수집한 데이터로 diffusion policy를 학습해 파스타 건지기·컵 디스택을 실행한다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

핸드헬드 데이터 수집은 UMI 계열이 열어둔 길이다. 로봇 없이 사람이 그리퍼를 들고 돌아다니며 데모를 모으면, 텔레오퍼레이션보다 훨씬 싸고 빠르며 사람의 직관을 그대로 쓸 수 있다. 문제는 무엇을 손에 쥐게 할 것인가다. 지금까지의 관행은 “이미 있는 로봇 그리퍼(대개 평행 조)의 형태를 그대로 손에 들리는 것”이었다. 이 논문의 출발점은 그 관행이 두 번 손해라는 지적이다 — 평행 조 형태는 애초에 덱스터리티가 낮은데, 그걸 손잡이로 만들면 인간공학까지 나빠진다.

Koala의 처방은 순서를 바꾸는 것이다. 로봇 그리퍼를 먼저 정하고 캡처 장치를 맞추는 게 아니라, CD(capture device)와 RD(robot device)의 제약을 동시에 테이블 위에 올려놓고 공통 요소를 함께 굴린다. CD 쪽에서 오는 제약은 인간공학·기계적 이득·사용자가 감당할 DoF 수이고, RD 쪽에서 오는 제약은 액추에이터 성능과 패키징이다. 이 둘이 공통 요소(손가락 링크, 썸 형상, 파지 표면, 워크스페이스)를 밀고 당기며 반복 수렴한다.

개요(Fig. 1) — 공동설계된 Koala 캡처 장치(a)와 로봇 장치(b)가 같은 전동 드릴로 볼트를 조인다. 두 장치는 손가락·썸·패드 형상을 공유한다.

논문 영상 — 캡처 장치·로봇 장치의 실제 파지와 데이터 수집 데모.
Co-design 루프(Fig. 2) — 태스크 요구사항 + CD 제약 + RD 제약이 공통 요소로 모이고, 공통 요소가 다시 각 장치로 전파되는 반복 사이클.

핵심 방법론:

형태론적 결정은 “사용자 인지 부하를 줄이려면 DoF를 줄여야 하는데, 그러면 잡을 수 있는 것도 줄어든다”는 상충을 어떻게 우회하느냐로 요약된다. Koala의 답은 인간형을 포기하는 것이다. 엄지 내전(adduction)이 필요한 lateral 그립은 강한 핀치로 대체하고, 대신 두 손가락을 마주 보는 일체형 듀얼 썸을 1-DoF 피벗으로 넣어 핀치 자세와 파워 자세를 오간다. 최종 형태는 1-DoF 언더액추에이티드 손가락 × 2 + 1-DoF 듀얼 썸 = 제어 DoF 3이다.

기구적으로 가장 재미있는 부분은 기계적 이득의 합성이다. 손가락 링크는 스트로크 끝에서 특이점 때문에 이득이 떨어지고(Fig. 6 위, 약 0.14 → 0.10), 트리거 링크는 반대로 스트로크 끝에서 이득이 올라간다(Fig. 6 가운데, 약 2.1 → 4.6). 둘을 직렬로 물리면 곡선이 서로를 상쇄해 전 구간에서 평평한 합성 이득이 나온다(Fig. 6 아래). 사용자는 스트로크 어디에서든 비슷한 손맛을 느낀다.

역구동성은 손끝 유효질량으로 정량화한다. 닫힌 운동 사슬이라 해석이 까다로워 MuJoCo의 equality constraint로 모델링하고 유한차분으로 축소 자코비안 J_{red}와 축소 질량행렬 M_{red}를 구한 뒤,

\lambda_{tip}=\left(J_{red}^{T} M_{red}^{-1} J_{red}\right)^{-1},\qquad m_{eff}=\frac{1}{\hat{d}^{\top}\lambda_{tip}^{-1}\hat{d}}

로 방향 \hat d에 대한 유효질량을 얻는다. 여기서 나오는 비대칭이 설계 의도의 핵심이다 — 닫는 방향은 언더액추에이션 스프링이 순응해 m_{eff}가 낮고(부드럽게 접촉), 여는 방향은 스프링이 하드스톱에 접지돼 1-DoF가 되면서 m_{eff}가 높다(파지 시 뻣뻣함).

주요 결과:

• 손끝 유효질량: 닫힘 방향 약 3 g(10 % 스트로크) → 9.4 g(100 %), 열림 방향 약 17.5 g → 32 g (Fig. 10b에서 읽은 값). 논문 본문 표현으로는 “수십 g 수준”.
• CD↔︎RD 파지력 파리티(Table I, 두께별 10회, Biometrics P200 로드셀): 10 mm에서 −3.17 % ± 4.25 %, 40 mm에서 +10.15 % ± 7.50 %. CD 트리거 입력은 설계 상한인 100 N.
• 파지 범위: 핀치 0 mm부터 파워 그립 7 mm(연필) – 115 mm(2 L 병). 금속 손톱으로 못·카드 같은 두께 0에 가까운 물체 싱귤레이션.
• RD 손가락 구동: 4 mm 피치 볼스크류 + TQ ILM25x08 프레임리스 모터, 사이클당 10 J. 썸은 18.8:1 유성 감속기.
• 정책: diffusion policy(카메라 스트림 공유 비전 인코더, 상태·행동에 3-DoF 엔드이펙터 추가). 파스타 건지기 250개 핸드헬드 데모, 컵 디스택 100개 텔레오퍼레이션 데모. Franka Emika FR3(7-DoF) 임피던스 제어로 롤아웃.

결론:

“수집 장치와 실행 장치를 함께 설계한다”는 명제 자체는 새롭지 않지만, 이 논문은 그것을 구체적인 기구 설계 결정의 연쇄로 끝까지 밀고 갔다는 점에서 읽을 값이 있다. 다만 검증의 무게중심은 명백히 하드웨어 특성화 쪽에 있고, 학습 파트는 “데이터가 쓸 만하다”는 존재 증명 수준에 머문다 — 성공률 숫자가 한 개도 나오지 않는다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“손에 들 물건”과 “로봇에 달 물건”을 같은 CAD 마스터 모델에서 동시에 키우면, 리타게팅 없이 상태·행동 스트림이 호환되는 그리퍼 쌍이 나온다 — 그리고 그 과정에서 평행 조가 못 하는 파지들을 DoF 3개로 되찾을 수 있다.

배경: 왜 핸드헬드가, 그리고 왜 어려운가

논문은 데이터 수집 방식을 셋으로 갈라 놓는다.

방식	강점	약점
시뮬레이션	하드웨어·수집 시간 불필요, 대규모 합성 데이터(MimicGen, DexMimicGen)	장면·에셋 제작 노동, sim-to-real 갭(특히 접촉 풍부 태스크)
텔레오퍼레이션	실행 로봇과 동일 임베디먼트 → 임베디먼트 갭 최소	로봇 대수만큼 비용, 고유수용감각·햅틱 부재로 조작자 숙련 요구
핸드헬드 캡처	극도로 이동성 높고 싸다, 인간↔︎로봇 갭이 작다	학습↔︎실행 갭이 텔레오퍼레이션보다 크다

그리고 현재 핸드헬드 장치들이 갇혀 있는 세 가지 한계를 지목한다. ① 평행 조에 국한된 것들(UMI, FastUMI, ViTaMIn, LEGATO), ② 미리 정해진 로봇 장치에 종속된 캡처 장치들(DexUMI, DexEXO, WHED), ③ 사람 손이 그리퍼 워크스페이스 안에 들어가는 구현들(Wearable Robotic Hand, Sunday Robotics, DexUMI). 특히 ③은 사람 손이 물체·환경과 부딪히면서 조작 가능 영역을 스스로 깎아먹는다. 외골격 기반 수집 장치들은 저자들 스스로 인간공학·사용자 간 일반화의 한계를 보고해 왔다는 점도 함께 인용된다.

관련해 이 블로그에는 같은 문제의식을 다른 각도로 푼 리뷰들이 있다. DEXOP은 수동형 손 외골격으로 접촉 피드백까지 사람 손에 되돌려주는 “perioperation” 노선이고(이 논문의 참고문헌 [12]와 같은 연구다), DexEXO는 착용성을 1순위로 놓은 외골격이다(참고문헌 [18]). Koala는 이 스펙트럼에서 정반대 끝 — 손을 그리퍼 안에 넣지 않고, 손은 트리거만 당기며, 대신 그리퍼 자체를 비인간형으로 새로 설계한다.

방법 1: Co-design 프레임워크 — 무엇을 공유하고 무엇을 갈라놓는가

프로세스는 태스크 요구사항에서 출발한다(최대 파지 크기, 필요한 파지 유형, 그리퍼 상태를 잡아낼 멀티모달 센싱 패키지 등). 여기에 워크스페이스 정의가 더해져 두 장치의 공통 요소를 씨앗으로 만든다.

그다음 각 장치 고유의 제약이 들어온다.

• CD 제약: ① 인간공학 — 장시간 수집에서 피로를 최소화하고 무겁거나 다루기 힘든 물체를 지지해야 한다. ② 기계적 이득 — CD 손가락의 출력 스트로크가 사용자 입력보다 크면 사용자가 디레버리지된다. ③ DoF 수와 종류 — 인지 부하와 성능 사이의 균형, 그리고 장치를 안정적으로 쥘 수 있어야 한다는 제약.
• RD 제약: 대부분 액추에이터와 그 패키징에서 온다. 저관성 액추에이터가 핵심인데, RD가 저관성 CD와 비슷하게 반응해야 접촉이 안전하고 순응적이기 때문이다.

이 제약들이 공통 요소와 상호작용하며 Fig. 2의 피드백 루프를 만든다. 실무적으로는 마스터 모델링(두 장치가 같은 요소를 직접 참조) 방식과 잘 맞는다고 적혀 있다. 이 문장은 사소해 보이지만 실은 이 논문 전체의 엔지니어링 주장을 지탱한다 — CD와 RD의 파지 형상이 동일한 마스터에서 파생되므로 상태·행동 스트림이 리타게팅 없이 호환된다.

방법 2: 액티브 워크스페이스 — 형태를 먼저 자르는 방법

액티브 워크스페이스 분할(Fig. 3) — bottom·top·back·tips·keep-out 영역이 각각 다른 설계 함의를 갖는다.

형태 결정 이전에 그리퍼 주변 공간을 영역별로 자른다.

• bottom을 비워두면 테이블 위 물체를 집을 수 있다.
• top·back의 경계는 MIL-STD-1472H의 접근 개구부 치수를 따른다(사람 손이 들어가도록 설계된 공간에 로봇이 들어갈 수 있어야 한다는 뜻).
• 카메라·손가락 같은 부착물은 일반적인 수공구 형상과 간섭하지 않도록 배치한다.
• tips를 비워두면 버튼 누르기·프로빙이 가능하다.
• keep-out은 CD 사용자의 가동 범위를 침범하지 않기 위한 영역이다.

여기서 이미 하나의 굵은 결정이 나온다: 액티브 워크스페이스에서 사용자의 손을 배제한다. 위의 ③ 한계(손이 그리퍼 안에 들어가는 설계)를 정면으로 피하는 선택이고, 동시에 센서를 붙일 표면을 확보한다.

방법 3: 형태론 — DoF 3개로 어디까지 되찾는가

목표 행동은 토크 안정성이 필요한 강한 도구 사용, 트리거 작동, 약간의 재배향이다. 사람 손이라면 여러 DoF를 쓰는 일들인데, Koala는 이를 비인간형 형태 + 다른 파지 전략으로 대체한다.

1. 엄지 내전 대신 강한 핀치. Feix의 파지 분류에서 lateral 계열이 달성하는 성공 지표를 강한 핀치로 흉내낼 수 있으면, 내전하는 엄지를 없애고 DoF를 아낄 수 있다. 실제로 Fig. 11(b)의 열쇠 파지가 이 주장의 증거로 제시된다.
2. 손가락은 썸을 만나기도, 지나치기도 해야 한다. 손끝 파지에서는 썸과 만나야 하고, 작은 물체 랩 그립에서는 썸을 우회해야 한다. 2-DoF 손가락 + 고정 썸으로도 되지만, Koala는 1-DoF 손가락 + 재구성 가능한 썸을 택했다 — 사용자가 조작할 DoF가 줄어든다.
3. 비대향(non-opposed) 독립 구동 손가락 2개. 트리거 달린 공구(드릴·분무기)를 쓰려면 최소 둘이 독립적으로 움직여야 한다. 프리셰이핑은 후킹 파지를 돕고, 물체가 튀어나가지 않게 감싸는 파지를 유도한다. 언더액추에이션은 불규칙한 물체 순응, 다양한 손잡이 굵기에서의 안정적 랩 그립, 트리거 작동을 가능하게 한다.
4. 듀얼 썸. 1-DoF 썸을 두 손가락 모두에 대향하도록 확장하면 모멘트 균형이 잡혀 강한 파워 그립이 안정된다 — 평행 조가 못 하는 부분이다. 이 일체형 “듀얼 썸”(코알라라는 이름의 유래)은 prismatic 파지도 달성해 쓰기, 미세 공구 지지, 다물체 싱귤레이션, 테이블탑 핀치, 코너/손바닥 파지를 가능하게 한다.

결과: 1-DoF 프리셰이핑 언더액추에이티드 손가락 2개 + 1-DoF 피벗 듀얼 썸 = 제어 DoF 3.

방법 4: 손가락 링크 — 9절 기구

손가락 링크 기구(Fig. 4) — 공통 손가락 링크(i)에 RD 구동부(ii)와 CD 트리거부(iii)가 각각 결합한다. 같은 손가락 부품을 두 장치가 공유한다는 것이 co-design의 물리적 실체다.

핸드헬드와 전동 그리퍼를 동시에 만족시켜야 하니 후보가 빨리 줄어든다. 직렬 완전구동 손가락은 DoF가 많아 캡처 장치에 넣기 어렵고, 텐던 구동은 조립·장력 조정이 복잡해 대량 제조·정비가 곤란하다. 남는 것이 링크 기반이다.

• 9절 링크, 구동 DoF 1 + 언더액추에이션 DoF 1. 기존 7절 기구(참고문헌 [28], 저자들의 선행 연구)를 교차 4절 손끝과 결합하고 링크 (F)를 수정해 만들었다.
• 원위 링크 (A) 는 교차 4절 (B, C) 를 통해 근위 링크 (D) 에 연결되며, 닫힐수록 손가락이 말린다. 링크 (E) 와 (F) 의 길이 차가 이 말림을 증폭한다.
• 언더액추에이션 관절 (8) 은 손가락 근위부의 프리즈매틱 스테이지에 연결되고, 이 스테이지가 최종 장치 하우징 안에 들어간다 → 스프링이 접지되고 노출 기구가 단순해진다.
• 근위 링크 (D)가 접촉하거나 하드스톱에 닿으면, 언더액추에이션 덕분에 원위 링크 (A)가 계속 닫힌다.
• 구동은 링크 (G) 의 관절 11에 붙는 푸시로드.
• 부수 효과로 “손바닥” 영역 침범이 적다.

썸 링크는 훨씬 단순하다. 일체형 듀얼 썸이 하나의 관절을 중심으로 피벗해 손끝 파지 자세와 파워 파지 자세를 오간다. CD·RD 모두 단순 4절로 구동한다. 여기서 영리한 부분은 양 끝단의 처리다 — 핀치 자세는 링크의 특이점으로, 파워 자세는 하드스톱으로 잡는다. 두 경우 모두 하중 경로가 사용자를 우회하므로, 사용자는 위치를 정밀하게 맞출 필요도, 힘을 계속 줄 필요도 없다.

방법 5: 구동 — 사람에게서 에너지를 뽑는 법 vs 모터를 숨기는 법

CD 구동. 기계적 동력을 사람에게서 얻는 장치는 사용자의 편안함과 근력이 상한이다. 스트로크당 일을 늘리는 가장 단순한 방법은 트리거 스트로크를 길게 하는 것인데, 선형 트리거로 길게 만들면 불편하거나 아예 못 쓰게 된다. Koala는 4절 트리거를 쓰고 관절 (14)에 프리즈매틱 조인트를 넣어, 단일 회전 조인트보다 곡률이 낮은 경로를 그리게 했다. 이 경로가 사람 손끝의 자연스러운 굽힘 궤적과 거의 겹친다.

트리거 궤적(Fig. 5) — 제안 기구가 그리는 경로가 사람 손끝의 닫힘 궤적과 유사해 에너지 수확 효율이 좋아진다.
CD 손가락·트리거 실물 동작 — 바이스에 물린 CD 손가락 하나를 손으로 당겨 닫는 장면. 손가락이 말리며(프리셰이핑) 마지막 프레임에서 마커를 손끝 핀치로 잡는다. (프로젝트 페이지 Handheld Trigger 절 trigger.mp4에서 3프레임 추출)

그리고 앞서 언급한 이득 합성이 여기서 완성된다.

기계적 이득(Fig. 6) — 손가락 기구(위)는 스트로크가 진행될수록 이득이 떨어지고, 트리거 기구(가운데)는 올라간다. 둘을 합치면(아래) 전 구간에서 평평한 곡선이 된다. 세로축은 mechanical advantage ratio, 가로축은 기구 스트로크 %.

Fig. 6 아래 곡선의 평균이 대략 0.25 근방인데, 이는 Table I과도 앞뒤가 맞는다 — 트리거에 100 N을 넣었을 때 손끝에서 25 N 안팎이 나온다(이 대조는 논문이 명시적으로 한 것이 아니라 내가 두 그림·표를 맞춰본 것이다).

RD 구동은 “CD의 힘 출력과 저관성을 유지하면서 그리퍼 안에 컴팩트하게 넣기”가 목표다. 액추에이터는 공유 손가락 부품에 인터페이스해 고유 부품 수를 줄인다. 유성 감속기와 볼스크류를 후보로 놓고(둘 다 효율·역구동성이 좋다) 최종 선택은 4 mm 피치 볼스크류 + 리니어 가이드 + TQ ILM25x08 프레임리스 모터 — 사이클당 에너지(10 J/cycle)와 패키징에서 유리했다. 이 액추에이터가 Fig. 4(i)의 4절을 구동하며, 트리거당 최대 100 N이라는 사람의 최대 입력을 가정해 피크 출력을 맞췄다. 썸은 토크 요구가 커서 같은 모터에 18.8:1 유성 감속기를 붙였다.

RD 손가락의 역구동성 실물 확인 — 모터·볼스크류가 붙은 RD 손가락을 사람이 손가락 하나로 밀어 뒤로 젖히는 장면. 유효질량 수십 g이라는 해석 결과의 정성적 대응물이다. (프로젝트 페이지 Robotic Actuator 절 motor.mp4에서 3프레임 추출)

방법 6: 액티브 표면 — 패드, 손톱, 그리고 2–3 mm의 순응

썸·손가락·손바닥의 곡면은 Dreyfuss의 Designing for People의 손 치수·공구 설계 지표를 크게 참조했다. 썸은 사람 엄지의 대향 패드를 닮은 비대칭 형상이다.

패드가 커버해야 하는 파지 범위는 구체적이다 — 폭 100 mm의 큰 물체 파워 그립, 44 mm 손잡이 랩 그립(사람용으로 설계된 손잡이의 평균 굵기), 7 mm 소형 공구 파워 그립(연필 정도).

Koala 워크스페이스(Fig. 7) — 0 mm 핀치부터 7–100 mm 직경 파워 그립까지. 패드 형상은 44 mm 표준 손잡이 파워 그립을 표적으로 삼는다.

이 범위의 원통들을 모두 잡으려면 2–3 mm의 순응이 필요하다는 것을 경험적으로 확인했다고 한다. 문제는 순응을 얻겠다고 재료 경도를 낮추면 내구성이 죽는다는 것. 그래서 패드 표면에 캔틸레버형 경사 피처를 넣어, 경도를 낮추지 않고 형상으로 순응을 만든다. 물체에 눌리면 이 피처가 휘면서 재밍 힘을 만들고 불규칙 표면과의 접촉 면적을 넓힌다. 재료는 Shore 30A 폴리우레탄(내구성·순응·마찰의 균형, 특히 마찰은 크고 넓은 물체의 손바닥 파지에 결정적), ABS 계열 강성 구조물에 진공 성형한 뒤 금속 손가락 링크에 체결한다.

마지막으로 금속 손톱. 얇고 평평한 물체를 평면에서 집기, 작은 물체 싱귤레이션, 책장 넘기기 — 요컨대 “두께 0 픽”을 위한 것이다.

방법 7: 인간공학 — 30명 설문에서 나온 세 가지 사이즈

인간공학 피처(Fig. 8) — 썸(1)·검지(2)·중지(3) 트리거가 사람의 작동을 그리퍼 썸·손가락에 매핑한다. 등쪽 쿠션(A), 배쪽 쿠션(B), 썸 트리거 측면 하중 지지(C).

잠재 사용자 30명의 손·손가락 치수를 설문으로 수집해 분포를 파악하고, 이를 근거로 세 가지 그립 사이즈를 정의했다. 사이즈를 가르는 파라미터는 셋이다: ① 그립에서 장치 손끝까지 거리, ② 그립에서 세 트리거까지 거리, ③ 사용자 손을 고정하는 폼 인서트 두께. 트리거는 손가락 윤곽을 따르는 유기적 곡면으로 만들었다.

세부 하나가 눈에 띈다 — 썸 DoF 트리거를 옆으로 기울여(canted) 사용자의 손바닥이 그립에 밀착되도록 유도하고, 등/배쪽 폼 인서트의 꽉 끼는 맞춤과 합쳐 약지·새끼손가락(가장 약한 두 손가락)으로 장치를 쥐어야 하는 부담을 없앤다. 설계 목표는 손 크기 전반에서의 사용성, 손목·그립 지지, 그리고 단수/양수 모두에서 도움 없이 착용하는 것이었다.

방법 8: 센서 시스템 — 상태를 무엇으로 정의했는가

그리퍼 상태는 셋으로 정의된다: 6-DoF 자세, 제어 가능한 3 DoF의 위치, 그리퍼-물체 상호작용과 주변 장면의 카메라 뷰. 언더액추에이티드 DoF는 직접 제어 대상이 아니므로 상태에서 제외했다(이 선택은 나중에 비판 절에서 다시 볼 만하다).

RD에서는 자세와 DoF를 로봇 팔과 그리퍼 액추에이터가 직접 측정하지만, CD에서는 명시적으로 재야 한다.

• 자기 엔코더가 손가락·썸 링크 위치를 재고, 커스텀 멀티센서 인터페이스 보드를 거쳐 룩업 테이블로 RD 액추에이터 위치로 변환된다.
• 6-DoF 자세는 Xvisio SeerSense DS80(비주얼 오도메트리 기반 트래킹 카메라)로 측정한다.

카메라 배치(Fig. 9) — 광각 카메라 3대(측면 2 + 중앙 1)가 손가락과 장면을 최소 가림으로 관측한다.

그리퍼 장착 카메라가 주 시각 입력이므로, 물체와 장면이 파지 유형과 무관하게 최대한 보여야 하고, 손끝 같은 핵심 조작 지점은 여러 뷰에서 동시에 보여 깊이 지각을 도와야 한다. 최종 구성은 Luxonis OV9782 글로벌 셔터 광각 카메라 3대(측면 2, 중앙 1)다.

방법 9: 두 가지 수집 모드

co-design의 실질적 배당금이 여기서 나온다. 같은 아키텍처를 공유하므로 두 수집 모드가 리타게팅 없이 호환된다.

• 핸드헬드 in-the-wild 수집(CD) — 데모당 한계비용이 낮고 태스크·장면 다양성을 극대화한다.
• 텔레오퍼레이션 수집(RD, CD를 입력 장치로) — 양은 적지만 정책이 실제로 실행될 로봇의 실세계 동역학을 따르는 고충실도 데이터다.

수집 편의 기능도 붙어 있다. CD의 상태 LED와 버튼으로 세션을 장치를 내려놓지 않고 시작·정지·모니터링할 수 있고, 호스트 컴퓨터의 라이브 카메라 스트림으로 관련 물체가 시야에 남아 있는지 확인한다.

핸드헬드 수집 모드 — 양손 CD로 분무기와 걸레를 각각 들고 화이트보드를 지우는 데모(1× Handheld). 양손 착용이 설계 목표였다는 서술의 실물 근거다. (프로젝트 페이지 Bimodal Data Collection 절 wipe_collect_web.mp4에서 3프레임 추출)
텔레오퍼레이션 수집 모드 — 조작자가 손에 든 CD로 로봇 팔에 달린 RD를 원격 조종해 엔진에 드릴 작업을 한다(1× Teleoperated). 같은 CD가 핸드헬드 수집기이자 텔레오퍼레이션 입력기라는 점이 핵심. (프로젝트 페이지 Drill_web.mp4에서 3프레임 추출)

직관: 언더액추에이션이 방향에 따라 다른 관성을 만든다

Koala에서 가장 우아한 아이디어를 하나 꼽으라면 나는 방향 의존 유효질량을 고른다.

로봇 손이 접촉이 많은 환경에서 안전하려면 반사 관성이 작아야 한다. 그런데 물체를 꽉 쥐려면 반대로 뻣뻣해야 한다. 보통은 이 둘을 임피던스 제어로 절충한다. Koala는 기구 자체가 방향에 따라 다른 관성을 갖게 만들어 제어 이전 단계에서 해결한다.

• 닫는 방향: 언더액추에이션 스프링이 압축될 수 있으므로 시스템이 실질 2-DoF다 → 순응 → m_{eff} 낮음(약 3–9 g).
• 여는 방향: 스프링이 하드스톱에 접지돼 1-DoF로 축소된다 → 뻣뻣 → m_{eff} 높음(약 18–32 g).

유효질량(Fig. 10) — (a) 스트로크별 손끝 유효질량 벨트 타원체. 라벨된 최대치는 10 % 스트로크에서 150.0 g, 30 %에서 77.6 g, 50 %에서 46.6 g, 70 %에서 40.9 g, 100 %에서 89.9 g. (b) 경로 정렬 표현 — 닫힘 방향(초록)은 약 3 g→9.4 g, 열림 방향(파랑)은 약 17.5 g→32 g.

타원체(Fig. 10a)의 비대칭도 그냥 부산물이 아니다. 링크 특이점에서 오는 큰 관성 방향이 대체로 파지 물체의 반력 방향과 정렬돼 파지 안정성을 높인다. 예외가 하나 있는데, 스트로크 초입의 −z 방향 큰 질량(150.0 g)이다. 이건 손가락으로 누르고 미는 작업에 쓸 수 있다고 설명한다 — 즉 “약점”이 아니라 배치된 특성이다.

실험 1: 시스템 특성화

유효질량 계산은 앞서 본 대로 MuJoCo equality constraint로 닫힌 사슬을 모델링하고, 기구가 설계상 평면이므로 x–z 평면에서 해석한다. 축소 자코비안은 능동 DoF(손가락 액추에이터)와 수동 DoF(언더액추에이션 스프링)가 손끝에 유도하는 속도를 담은 2×2 행렬이고,

J_{red}=\begin{bmatrix} v_{tip_{1x}} & v_{tip_{2x}} \\ v_{tip_{1y}} & v_{tip_{2y}} \end{bmatrix}, \qquad m_{ij}=\dot q_i^{\top} M_{full}\, \dot q_j

여기서 \dot q_1, \dot q_2는 액추에이터·스프링 섭동에 대응하는 rank-10 제약 정합 속도 벡터다(10개 관절 운동을 두 섭동에 사상). 결론: RD 액추에이터를 포함한 손끝 유효질량이 손가락 궤적 전반에서 수십 g 수준이며, 이는 역구동이 쉽다는 뜻이다.

힘 파리티. RD가 CD에서 수집된 힘을 재현할 수 있어야 한다. 두께 10/20/30/40 mm 물체에 핀치 파지를 각 10회 수행하고 Biometrics P200 코인 로드셀로 파지력을 측정했다. CD 트리거에는 설계 상한인 100 N을 실었다.

Table I — CD vs RD 손끝 파지력

두께	CD	RD	차이
10 mm	25.88 ± 0.64 N	25.06 ± 0.45 N	−3.17 % ± 4.25 %
20 mm	23.84 ± 0.73 N	24.88 ± 0.91 N	+4.36 % ± 6.73 %
30 mm	24.41 ± 0.65 N	26.39 ± 0.88 N	+8.11 % ± 6.00 %
40 mm	24.34 ± 0.77 N	26.81 ± 1.16 N	+10.15 % ± 7.50 %

논문은 “모든 두께에서 RD가 CD를 성공적으로 힘 매칭했다”고 정리한다. 다만 표를 그대로 읽으면 두께가 커질수록 차이가 단조 증가한다(−3.17 → +4.36 → +8.11 → +10.15 %). CD는 두께 전 구간에서 거의 평평한데(23.8–25.9 N) RD는 25.1 → 26.8 N으로 올라간다. 40 mm를 넘어가면 어떻게 될지는 데이터가 없다.

실험 2: 파지 실행 — 정성 평가

파지 갤러리(Fig. 11) — (a) 못†, (b) 열쇠†, (c) 연필(핀치), (d) 카드, (e) 접시†, (f) 그릇†, (g) 머그†, (h) 물병†, (i) 상자, (j) 25 lb 모래주머니, (k) 연필(파워), (l) 커피 캔†, (m) 2 L 병, (n) 사과†, (o) 공†, (p) 숟가락†, (q) 망치†, (r) 분무기†, (s) 드릴†. († 는 YCB 물체 세트)

CD로 다양한 물체·공구를 잡고 조작해 정성적으로 능력을 평가했다. 논문이 강조하는 항목들:

• 크고 다루기 힘든 물체(상자, 커피 캔, 2 L 병, 공)와 무게중심이 치우친 물체(머그, 망치).
• 기능이 복잡한 물체(분무기, 드릴) — 트리거를 실제로 당긴다.
• 손톱으로 못까지 핀치로 싱귤레이션하고, 평면에서 신용카드(Fig. 11d) 같은 얇은 물체를 집는다.
• 최대 파워 그립 직경 115 mm(2 L 병), 최소 7 mm(연필).
• 강한 핀치가 열쇠 파지 같은 엄지 내전 파지의 효과를 흉내낼 수 있음을 확인 — 단순화된 형태론이 시사하는 것 이상의 능력.

프로젝트 페이지는 이 정성 평가에 대응하는 클립들을 모아 두었다. 논문 Fig. 11의 정지 사진만으로는 “잡았다”까지만 보이지만, 클립에서는 잡고 나서 무엇을 하는지가 보인다 — 톱질, 라쳇 돌리기, 드라이버 조이기, 스티커 떼기, 필기, 열쇠로 자물쇠 열기 같은 것들이다.

확장된 안정 파지 몽타주 — 프로젝트 페이지의 12개 데모 클립에서 각 1프레임씩 추출해 합성했다(상자 쌓기, 캔, 주사위, 망치, 자물쇠·열쇠, 너트/볼트, 라쳇, 톱, 드라이버, 나사 집기, 스티커, 필기). 원본 클립은 프로젝트 페이지 상단 캐러셀에서 볼 수 있다.

특히 페이지는 파스타 건지기를 Koala CD와 다른 핸드헬드 장치의 나란한 비교로 보여준다. 오른쪽 클립의 파일명이 Euc_pasta_fail이고 화면 속 장치는 Koala가 아닌 흰/주황색 평행 조 계열 장치다 — 같은 냄비를 들어올리려다 놓친다. 다만 페이지에도 논문에도 그 장치의 이름이나 실험 조건은 적혀 있지 않다. 정량 비교로 볼 수는 없고, 데모 수준의 대조로 읽어야 한다.

위: Koala CD가 파스타 냄비를 들어 물을 따르는 핸드헬드 수집 장면(Pasta_collect_web.mp4). 아래: 프로젝트 페이지가 나란히 배치한 비교 클립 — 이름이 밝혀지지 않은 다른 핸드헬드 장치가 같은 태스크에서 냄비를 놓친다(Euc_pasta_fail_web.mp4). 각각 3프레임 추출.

실험 3: 정책 실행 — 존재 증명

수집 데이터가 모방학습에 쓸 만한지 확인하기 위해 diffusion policy를 학습했다. 구성은 두 가지가 원 논문과 다르다.

1. 모든 카메라 스트림에 걸쳐 비전 인코더를 공유한다.
2. 상태·행동 차원을 3-DoF 엔드이펙터를 포함하도록 확장한다(손가락 2 + 썸 1).

태스크는 둘이다.

태스크	데모 수	수집 모드
파스타 건지기 (pasta straining)	250	핸드헬드
컵 디스택 (cup destacking)	100	텔레오퍼레이션

롤아웃은 7-DoF Franka Emika FR3에서 임피던스 제어로 순응적으로 실행했다. 그리고 논문의 결과 서술은 여기서 끝난다 — “Supplemental videos show representative successful completions, including behaviors enabled by the non-parallel jaw Koala gripper.” 성공률도, 베이스라인 비교도, 시행 횟수도 없다.

파스타 건지기 정책 롤아웃(1.5× Autonomous) — 냄비를 잡고 들어 그릇 위로 옮겨 기울여 따르는 자율 실행. 핸드헬드 데모 250개로 학습했다. (pasta_rollout_web.mp4에서 4프레임 추출)
컵 디스택 정책 롤아웃(1× Autonomous) — 쌓인 컵을 하나씩 벗겨 옆에 내려놓는다. 텔레오퍼레이션 데모 100개로 학습했다. (cup-destack_web.mp4에서 4프레임 추출)

비판적으로 보면

강점

• Co-design 논지를 구호로 끝내지 않았다. “함께 설계하자”는 말은 쉽지만, 이 논문은 그것이 어떤 구체적 결정으로 이어지는지 끝까지 추적한다 — 액티브 워크스페이스에서 사용자 손을 배제 → 센서 부착면 확보, 마스터 모델 공유 → 리타게팅 불필요, 같은 손가락 부품을 CD/RD가 공유 → 고유 부품 수 감소. 하드웨어 논문에서 이 정도의 인과 사슬이 문서화된 경우는 드물다.
• 기계적 이득 합성은 진짜 통찰이다. 손가락 링크의 디레버리징을 트리거 링크의 역방향 곡선으로 상쇄해 평평한 합성 곡선을 만든다(Fig. 6). “두 기구를 직렬로 붙일 때 이득 곡선을 함께 설계한다”는 건 co-design의 가장 순수한 사례이고, 재사용 가능한 아이디어다.
• 방향 의존 유효질량을 언더액추에이션의 부작용이 아니라 설계 변수로 다룬다. 닫힘=순응/열림=강성이라는 비대칭을 제어가 아니라 기구로 얻은 것은 우아하다. 게다가 타원체의 큰 축이 파지 반력 방향과 정렬된다는 관찰까지 붙는다.
• 힘 파리티를 실제로 쟀다. 두께 4종 × 10회, 로드셀 명기, 표준편차 포함. 핸드헬드-로봇 쌍 논문에서 “CD와 RD가 같은 힘을 낸다”를 정량으로 보인 사례는 흔치 않다.
• DoF 3개라는 예산 안에서의 선택이 설득력 있다. 엄지 내전을 포기하고 강한 핀치로 대체, 손가락 DoF를 줄이고 썸을 재구성 가능하게 — 각각이 “사용자 인지 부하”라는 비용 함수에 명시적으로 연결돼 있다.

약점·한계

• 학습 결과에 숫자가 없다. 이게 가장 큰 문제다. 두 태스크에 대해 데모 수와 로봇 기종만 있고 성공률·시행 횟수·실패 모드가 전무하다. 논문 전체가 “평행 조보다 낫다”를 주장하는데, 정작 정책 수준에서 평행 조 베이스라인과 비교한 실험이 하나도 없다. Fig. 11의 파지 갤러리도 정성 평가라고 명시돼 있다. 결과적으로 “Koala로 모은 데이터로 정책이 돌아간다”는 존재 증명 이상은 아니다.
• 인간공학 주장에 사용자 연구가 없다. 30명 손 치수 설문은 치수 분포 조사이지 사용성 평가가 아니다. “피로를 줄인다”, “약지·새끼손가락 부담을 없앤다”는 주장은 기구적 논거만 있고 측정이 없다. 저자들도 결론에서 사용자 연구가 필요하다고 인정하며, 데이터 수집 속도의 제한 요인이 조작자 피로라고 스스로 밝힌다 — 즉 인간공학 목표가 아직 달성되지 않았다는 자백에 가깝다.
• 유효질량은 시뮬레이션 결과다. MuJoCo 모델에서 유한차분으로 얻은 값이고, 실물에서 임팩트 실험이나 어드미턴스 측정으로 검증한 흔적이 없다. 마찰·백래시·볼스크류 효율 같은 실제 손실이 반영됐는지 알 수 없다. 영상의 “손가락 하나로 밀린다”는 정성적 방증일 뿐이다.
• 힘 파리티의 추세가 무시됐다. 차이가 −3.17 %에서 +10.15 %로 단조 증가하는데 논문은 “모두 성공적으로 매칭”으로 넘어간다. 40 mm 이상, 그리고 핀치가 아닌 파워 그립·측면 하중에서의 파리티는 검증되지 않았다.
• 힘 상태가 데이터에 없다 — 저자들도 인정하는 한계다. 100 N 트리거 입력을 받아내는 강한 그리퍼를 만들어 놓고, 정작 수집 데이터에는 렌치·파지력 정보가 없어 정책이 그 힘 능력을 쓸 수 없다. 게다가 상태 정의에서 언더액추에이션 DoF를 제외했는데, 언더액추에이션은 바로 물체 형상에 순응하는 자유도다. “제어 불가라서 뺐다”는 논리는 맞지만, 관측으로서의 가치까지 없는 건 아니다 — 이 DoF의 값은 물체 형상·접촉 상태에 대한 거의 공짜의 프로프리오셉티브 신호인데 버려졌다.
• 핸드헬드↔︎텔레오퍼레이션 임베디먼트 갭이 측정되지 않았다. 두 모드를 다 지원하는 것이 이 플랫폼의 셀링 포인트인데, 정작 같은 태스크를 두 모드로 모아 비교한 실험이 없다(파스타=핸드헬드 250, 컵=텔레오퍼레이션 100으로 태스크와 모드가 교락돼 있다). 저자들도 이를 future work로 남긴다.
• 하드웨어가 하나도 공개되지 않았다. 이 논문의 기여는 압도적으로 기구 설계인데, CAD·BOM·STL·도면·펌웨어·데이터 어느 것도 공개되지 않았다. 프로젝트 페이지의 3D 뷰어는 보기만 가능하다. 비교 대상인 UMI 계열이 CAD와 조립 가이드를 공개해 커뮤니티 확산을 이룬 것과 대조된다. TQ ILM25x08 같은 부품 선정과 링크 파라미터는 적혀 있지만, 9절 링크의 링크 길이·조인트 좌표 같은 재현에 필수적인 수치는 없다 — 즉 논문만으로는 이 손가락을 다시 만들 수 없다. “scaling”을 제목에 건 논문으로서는 아이러니한 지점이다.
• 정책 아키텍처 서술이 얇다. 비전 인코더 종류, 관측 히스토리 길이, action horizon, 학습 스텝, 제어 주파수 — diffusion policy 재현에 필요한 하이퍼파라미터가 전무하다. 하드웨어 논문이라는 성격을 감안해도 IV-C 절은 한 문단으로 지나치게 짧다.

관련 연구와의 자리 매김

핸드헬드 데이터 수집 장치의 설계 공간을 축으로 놓고 보면 Koala의 위치가 분명해진다.

축	대표 사례	Koala의 선택
그리퍼 형태	UMI·FastUMI·ViTaMIn·LEGATO = 평행 조	비인간형 3-DoF(언더액추에이티드 손가락 2 + 듀얼 썸)
사람 손의 위치	DexUMI·Sunday Robotics·Wearable Robotic Hand = 그리퍼 워크스페이스 안	워크스페이스 밖, 트리거로만 결합
CD↔︎RD 관계	DexUMI·DexEXO·WHED = 기존 로봇 손에 맞춰 캡처 장치를 설계	동시 설계(마스터 모델 공유, 리타게팅 불필요)
손↔︎장치 결합	DEXOP·DexEXO·WHED·MILE·Exo-ViHa = 외골격	핸드헬드 트리거(외골격의 인간공학·사용자 일반화 문제 회피)

• UMI 계열과의 관계가 가장 직접적이다. UMI는 “로봇 없이 in-the-wild 데이터”를 대중화했지만 그리퍼가 평행 조로 고정돼 도구 사용·큰 물체 파지가 막힌다. Koala는 그 상한을 기구 설계로 올린다.
• DEXOP(참고문헌 [12])은 반대 전략이다 — 사람 손에 수동형 로봇 손을 직결해 접촉 피드백을 되돌려주고 사람의 손가락 자유도를 최대한 살린다. 표현력은 높지만 착용·일반화 비용을 진다. Koala는 표현력을 3-DoF로 깎는 대신 한 손에 쥐고 도구를 쓰는 시나리오를 얻는다.
• DexEXO(참고문헌 [18])는 착용성을 1순위로 둔 외골격이고, 논문은 이 계열(WHED, Exo-ViHa, MILE, DexWild)이 스스로 보고한 인간공학·사용자 간 일반화 한계를 근거로 외골격 노선을 피한다.
• 선행 그리퍼 연구로는 저자 그룹의 7절 언더액추에이티드 그리퍼(Wang et al., ICRA 2025, 참고문헌 [28])가 Koala 손가락의 직계 조상이다. Koala는 여기에 교차 4절 손끝을 더해 9절로 확장했다.
• 정책 쪽은 Diffusion Policy를 거의 그대로 쓴다(카메라 인코더 공유와 3-DoF 확장만 추가). 즉 이 논문의 학습 기여는 0에 가깝고, 실제로 그럴 의도도 아니다.

요약

Koala는 “데이터 수집 장치와 로봇 그리퍼를 하나의 설계 문제로 본다”는 명제를 기구 설계의 끝까지 밀어붙인 하드웨어 논문이다. 산물은 제어 DoF 3개짜리 비인간형 그리퍼 쌍으로, 9절 언더액추에이티드 손가락 두 개가 일체형 듀얼 썸을 마주 본다. CD 쪽은 손끝 궤적을 모사하는 4절 트리거로 사람에게서 힘을 효율적으로 뽑고, RD 쪽은 4 mm 피치 볼스크류와 프레임리스 모터로 손끝 유효질량을 수십 g에 묶는다. 그 결과 두께 10–40 mm에서 CD와 RD의 파지력이 10 % 이내로 맞고, 7–115 mm 파워 그립과 두께 0에 가까운 픽이 같은 장치에서 나온다.

읽을 값은 기구 쪽에 몰려 있다. 이득 곡선을 상쇄시키는 트리거-손가락 합성, 방향에 따라 관성이 갈리는 언더액추에이션, 특이점과 하드스톱으로 사용자를 하중 경로에서 빼내는 썸 링크 — 이 셋은 다른 그리퍼 설계에도 옮겨 쓸 수 있는 아이디어다.

반대로 학습 쪽은 아직 비어 있다. 성공률 하나 없고, 평행 조 대비 정책 성능 비교도 없으며, 이 플랫폼의 셀링 포인트인 두 수집 모드의 갭도 측정되지 않았다. 여기에 CAD·BOM 미공개가 겹치면, “scaling dexterous manipulation learning”이라는 제목의 후반부는 아직 청구서 상태다. 저자들이 예고한 렌치·파지력 센싱이 붙고 힘 반응형 정책이 나오면 그때 다시 볼 논문이다.