📃FISH 리뷰

dexterity

Teach a Robot to FISH - Versatile Imitation from One Minute of Demonstrations

Published

December 15, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

❓ FISH는 1분 미만의 시연으로 로봇이 다양한 환경 변형에 강건한 시각적 기술을 빠르게 모방하도록 돕는 새로운 Imitation Learning 방법론입니다.
🤖 이 방법은 오프라인에서 약한 base policy를 학습한 후, Optimal Transport (OT) 기반의 시각적 매칭 점수를 보상으로 사용하여 online residual policy를 훈련합니다.
✨ FISH는 3가지 로봇 플랫폼에서 9가지 태스크를 통해 평균 93%의 성공률을 달성하며 기존 최첨단 방법들을 크게 능가하고 새로운 물체 구성에도 효과적으로 일반화됩니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

“Teach a Robot to FISH: Versatile Imitation from One Minute of Demonstrations” 논문은 제한된 수의 시연(최소 1분 분량, 1~3개 궤적)만으로 로봇이 다양한 환경 변화에 강건한 시각 기반 기술을 학습할 수 있는 FISH(Fast Imitation of Skills from Humans)라는 새로운 모방 학습 방법론을 제안합니다. 기존 모방 학습(IL)은 방대한 양의 시연 데이터나 수작업으로 정의된 보상 함수에 의존하여 확장성이 부족했습니다. FISH는 이러한 한계를 극복하고, 온라인 상호작용 학습을 통해 새로운 객체 배치에도 적응하는 능력을 보여줍니다.

FISH는 크게 두 가지 단계로 구성됩니다:

Phase 1: 비모수적 베이스 정책(\pi_b) 학습 (Non-parametric base policy) 이 단계에서는 소수의 시연 데이터로부터 불완전한 베이스 정책 \pi_b를 학습합니다. 저자들은 데이터가 적은 환경에서 뛰어난 강건성을 보여주는 비모수적(non-parametric) 베이스 정책을 사용하는데, 여기에는 개방 루프(open-loop) 정책과 VINN(Visual Imitation through Nearest Neighbors) [43]이 포함됩니다.
- 시각적 표현 학습 (Visual representation learning): 시각적 관측값(o)을 저차원 표현(z)으로 인코딩하기 위해 행동 복제(Behavior Cloning, BC) 정책이 전문가 시연을 통해 학습되며, 이 BC 정책의 인코더(f_{enc})를 사용합니다. 이 인코딩된 표현 z는 베이스 정책 \pi_b와 잔여 정책 \pi_r 모두의 입력으로 사용됩니다.
Phase 2: 잔여 오프셋 학습과 최적 수송(Optimal Transport, OT) 기반 보상 (Online offset learning with IRL) 베이스 정책 \pi_b가 주어진 상태에서, 환경 상호작용을 통해 잔여 정책 \pi_r을 학습합니다. 이 단계의 핵심은 명시적인 작업 보상 함수 없이 OT 기반 궤적 매칭을 통해 보상을 획득하는 것입니다.
- 잔여 학습 (Residual learning): 최종 정책 \pi_{FISH}의 행동 a는 베이스 정책의 행동 a_b \sim \pi_b(z)와 잔여 정책의 오프셋 a_r \sim \pi_r(z, a_b)의 합으로 결정됩니다 (a = a_b + a_r). 잔여 정책 \pi_r은 온라인 학습 중에만 업데이트되며, 베이스 정책은 고정된 상태로 쿼리됩니다.
- OT 기반 보상 최대화 (OT-based reward maximization): 로봇의 궤적(T^b = \{o^b_1, ..., o^b_n\})과 전문가 시연 궤적(T^e = \{o^e_1, ..., o^e_n\}) 간의 시각적 일치도를 측정하여 보상을 계산합니다. 이 매칭 점수는 OT를 통해 얻어지며, 이는 RL 알고리즘의 보상 신호로 사용됩니다. 최적 수송은 한 분포를 다른 분포로 변환하는 가장 효율적인 방법을 찾으며, 여기서는 인코딩된 시각적 표현들 사이의 코사인 거리를 비용 함수로 사용합니다. OT는 두 궤적 간의 최적의 전송 계획(\mu^*)을 계산하며, 이를 통해 시점별(per-timestep) 보상이 다음과 같이 정의됩니다: r_{OT}(o^b_t) = -\sum_{t'=1}^T C_{t,t'} \mu^*_{t,t'} 여기서 C_{t,t'}는 로봇 궤적의 t번째 관측값 o^b_t와 전문가 궤적의 t'번째 관측값 o^e_{t'}의 인코딩된 표현 간의 비용(코사인 거리)이며, \mu^*_{t,t'}는 최적의 전송 계획의 요소입니다. 이 보상을 최대화하는 것은 모방 에이전트가 시연 궤적과 더 유사한 궤적을 생성하도록 유도합니다.
- 안정적인 OT 보상을 위한 표현 학습 (Stabilizing OT with representation learning): 학습 중 인코더가 변경되면 보상이 비정상적으로 변하여 학습이 불안정해질 수 있습니다. 이를 방지하기 위해, BC 사전 학습 단계에서 얻은 인코더는 온라인 학습 중 고정됩니다.
- 잔여 정책을 위한 유도된 탐색 (Guided exploration for residual policy): 잔여 정책은 행동 공간의 특정 부분집합에 대해서만 오프셋을 학습하도록 제한될 수 있습니다. 이는 효율적인 샘플링과 더불어 로봇이 원치 않는 위험한 자세로 이동하는 것을 방지하여 안전한 탐색을 가능하게 합니다.

FISH는 xArm, Allegro Hand, Hello Robot Stretch 등 세 가지 다른 로봇 플랫폼에서 9가지 다양한 태스크에 대해 평가되었으며, 평균 성공률 93%를 달성하여 기존 SOTA 방법론인 ROT 및 RDAC를 크게 능가했습니다. 특히, FISH는 온라인 학습에 20분 미만의 상호작용만으로 시연에서 보지 못한 객체 구성에도 일반화되고 적응하는 능력을 입증했습니다. 또한, 자세한 어블레이션 연구를 통해 고정된 인코더의 중요성, 잔여 정책의 유도된 탐색의 이점, 그리고 저데이터 환경에서 비모수적 베이스 정책의 우수성을 보여주었습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

🐟 FISH: 1분의 시연만으로 로봇에게 기술을 가르치다 RSS 2023 Best Student Paper Award 수상작 심층 분석

서론: 로봇 학습의 근본적 딜레마

로봇공학에서 모방 학습(Imitation Learning)은 복잡한 기술을 로봇에게 전수하는 가장 효율적인 도구 중 하나로 자리잡았습니다. 그러나 현재의 모방 학습 기법들은 하나의 근본적인 딜레마에 직면해 있습니다. 환경 변화에 강건한 정책(robust policy)을 학습하려면 수백 개의 시연 데이터가 필요하거나, 정교하게 설계된 보상 함수가 필요하다는 점입니다.

MIME은 태스크당 400개의 시연을, robomimic은 200개의 시연을 필요로 합니다. 이러한 대규모 데이터 수집은 현실적으로 매우 어렵습니다. 텔레오퍼레이션 프레임워크의 특성상 인간 시연자에게 신체적, 인지적 부담이 크기 때문입니다. 그렇다면 과연 소량의 시연만으로도 환경 변화에 강건한 로봇 기술을 학습시킬 수 있을까요?

본 논문에서 NYU의 연구팀은 이 질문에 대한 획기적인 해답을 제시합니다. FISH(Fast Imitation of Skills from Humans)는 단 1분 이내의 시연(1~3개 궤적)만으로 시각 기반 기술을 학습하고, 시연에서 보지 못한 새로운 객체 구성에도 일반화할 수 있는 혁신적인 모방 학습 프레임워크입니다.

연구 배경: 왜 기존 방법들은 대량의 데이터를 필요로 하는가?

오프라인 모방 학습의 한계

기존 모방 학습의 대표적인 패러다임인 오프라인 모방(Offline Imitation)을 살펴봅시다. Behavior Cloning(BC)이나 Nearest Neighbor(NN) 검색과 같은 방법들은 지도 학습 목적함수를 사용하여 주어진 관측에서 시연된 행동의 우도를 최대화합니다.

문제는 배포 시 다양한 환경 요인(객체 위치 등)에 대해 정책이 일반화되려면, 학습에 사용된 시연 데이터셋이 이러한 변동 요인들을 충분히 포괄해야 한다는 점입니다. 충분한 커버리지 없이 학습된 정책은 배포 시 분포 이동(distribution shift) 문제를 겪게 됩니다. 로봇이 학습 데이터에서 본 적 없는 상황에 처하면 성능이 급격히 저하되는 것입니다.

온라인 강화학습의 딜레마

오프라인 모방의 대규모 데이터 요구량을 해결하기 위한 유망한 방향은 오프라인으로 학습된 정책을 온라인 강화학습(RL)으로 적응시키는 것입니다. 소량의 시연으로 학습된 오프라인 정책이 배포 시 실패하더라도, 온라인 RL을 통해 정책을 개선하고 배포 시나리오에 적응시킬 수 있다는 아이디어입니다.

그러나 여기서 핵심적인 질문이 등장합니다. 적응에 필요한 보상을 어떻게 얻을 것인가?

태스크별 보상 함수를 구성하는 것이 하나의 가능성이지만, 이는 실제 환경에서 객체 상태 추정이 어렵거나 보상 함수 설계 자체가 난해한 경우 적용하기 어렵습니다. 결국 확장 가능하고 범용적인 해결책이 필요합니다.

FISH의 핵심 아이디어: 2단계 학습 프레임워크

FISH는 두 단계로 구성된 우아한 프레임워크를 제안합니다.

Phase 1: 비모수적 기반 정책(Non-parametric Base Policy) 학습

첫 번째 단계에서는 소량의 시연 데이터를 사용하여 약한(weak) 기반 정책을 오프라인으로 학습합니다. 이 기반 정책은 일반화 능력이 부족할 수 있지만, 이후 적응을 위한 유용한 사전 지식(prior)으로 작용합니다.

저자들이 비모수적 기반 정책을 선택한 이유는 명확합니다. 저데이터 환경에서 비모수적 방법이 BC와 같은 모수적 대안보다 더 강건하다는 것이 선행 연구들에서 입증되었기 때문입니다. 본 논문에서는 두 가지 변형을 사용합니다.

Open-loop Policy: 시연이 하나일 때 사용되며, 전문가가 각 시간 단계에서 수행한 행동을 그대로 복사합니다. 객체와 로봇의 위치가 시연과 정확히 일치할 때는 강건한 성능을 보이지만, 변동이 있으면 성능이 저하됩니다.

VINN (Visual Imitation through Nearest Neighbors): 시연의 각 시각 관측을 표현(representation)으로 인코딩합니다. 롤아웃 시 k-최근접 이웃(kNN) 알고리즘을 사용하여 가장 가까운 k개의 관측과 매칭하고, Locally Weighted Regression(LWR)을 사용하여 매칭된 관측들의 행동을 기반으로 행동을 계산합니다.

Phase 2: 잔차 정책(Residual Policy)을 통한 온라인 오프셋 학습

두 번째 단계에서는 기반 정책 위에 잔차 정책을 학습하여 교정 오프셋(corrective offsets)을 생성합니다. 온라인 시행착오 학습 동안 기반 정책은 블랙박스 모델로 조회되고, 오직 잔차 정책만 업데이트됩니다.

이 설계의 핵심적 이점은 다음과 같습니다.

첫째, 비모수적 기반 정책 활용 가능: 기반 정책을 고정하고 잔차만 학습함으로써, 저데이터 환경에서 우수하고 강건한 비모수적 정책을 기반으로 사용할 수 있습니다.

둘째, 안정적인 학습: 기반 정책 자체를 파인튜닝하면 “망각 문제(forgetting problem)”가 발생할 수 있습니다. 잔차 학습은 기반 정책의 지식을 보존하면서 적응합니다.

셋째, 유도된 탐색(Guided Exploration): 전체 행동 공간 대신 필요한 부분 공간에서만 잔차를 학습하도록 제한할 수 있어, 탐색 효율성과 안전성이 향상됩니다.

최적 운송(Optimal Transport) 기반 보상 계산

FISH의 또 다른 핵심 혁신은 태스크별 보상 함수 없이 시각 데이터로부터 보상을 추론하는 방법입니다. 이를 위해 최적 운송(Optimal Transport, OT) 기반 궤적 매칭을 사용합니다.

최적 운송의 직관적 이해

최적 운송은 하나의 확률 분포를 다른 분포로 변환하는 최적의 방법을 찾는 수학적 프레임워크입니다. 이 맥락에서는 전문가 궤적 T^e = \{o^e_1, ..., o^e_n\}과 로봇 롤아웃 궤적 T^b = \{o^b_1, ..., o^b_n\} 사이의 유사도를 계산하는 데 사용됩니다.

각 시각 관측 o^j_i는 인코더를 통해 저차원 표현 z^j_i로 변환됩니다. 비용 함수는 두 궤적의 표현들 사이의 코사인 거리로 계산되며, 비용 행렬 C는 서로 다른 표현 쌍들에 대한 비용을 포함합니다.

운송 계획과 보상 계산

OT는 T^e와 T^b 사이의 최적 매칭을 찾는 운송 계획 \mu^*를 계산합니다. 여기서 \mu^*_{i,j}는 전문가 궤적의 i번째 표현과 롤아웃 궤적의 j번째 표현 사이의 매칭 강도를 나타냅니다.

보상은 다음 방정식으로 계산됩니다:

r_{OT}(T^b) = -\sum_{t,t'=1}^{T} C_{t,t'} \mu^*_{t,t'}

직관적으로, 이 보상을 최대화하면 모방 에이전트가 시연된 궤적에 더 가까운 궤적을 생성하도록 유도됩니다. 실제 계산에서는 효율성을 위해 Sinkhorn 알고리즘을 사용한 근사 해를 구합니다.

표현 학습을 통한 OT 안정화

OT 보상은 인코딩된 표현을 사용하여 계산되므로, 학습 중 인코더가 변하면 보상이 비정상적(non-stationary)이 되어 학습 불안정성을 초래합니다. FISH는 이 문제를 해결하기 위해 시연 데이터로 학습된 BC 인코더를 고정하고, 이 고정된 인코더의 표현을 사용하여 OT 보상을 계산합니다.

유도된 탐색: 고차원 행동 공간에서의 효율적 학습

FISH의 또 다른 중요한 기여는 유도된 탐색(Guided Exploration) 개념입니다. 기반 정책을 파인튜닝하는 방식과 달리, 잔차 정책을 통한 오프셋 적용은 탐색 과정에 도메인 지식을 주입할 수 있게 합니다.

예를 들어, Allegro Hand와 같은 16차원 관절 공간을 가진 다지 로봇 핸드에서 모든 차원에 대해 탐색하면 온라인 학습이 비효율적이 됩니다. FISH는 기반 정책 성능에 따라 일부 차원에서만 잔차를 적용하고 나머지 차원에서는 기반 정책을 그대로 유지할 수 있습니다.

저자들은 세 가지 수준의 유도를 실험했습니다.

Guided: 오직 Z축을 따라서만 탐색
Semi-guided: XYZ 세 축을 따라 탐색
Unguided: XYZ 축과 roll-pitch-yaw 모두에서 탐색

실험 결과, 유도된 탐색이 제약 없는 대안보다 훨씬 더 빠르게 수렴하고 높은 성능을 달성했습니다. 또한 성능 향상뿐 아니라, 잔차를 제한함으로써 로봇이 바람직하지 않은 위치로 가는 것을 방지하여 온라인 학습 중 더 안전한 탐색이 가능해집니다.

다양한 로봇 플랫폼에서의 실험 검증

FISH의 범용성을 입증하기 위해 저자들은 세 가지 서로 다른 로봇 형태(morphology), 카메라 구성, 그리퍼 유형에 걸쳐 9개의 태스크에서 광범위한 실험을 수행했습니다.

실험 플랫폼

Ufactory xArm 7: 두 손가락 그리퍼를 장착한 7자유도 로봇 팔. 고정된 외부 카메라에서 RGB 이미지를 관측으로 사용. VINN을 기반 정책으로 사용.

수행 태스크: - Key Insertion (열쇠 삽입): 1개 시연 - Bagel Flipping (베이글 뒤집기): 2개 시연
- Peg in a Cup (컵에 막대 삽입): 3개 시연

Allegro Hand: 16차원 관절 공간을 가진 4손가락 로봇 핸드. 고정된 외부 카메라 사용. VR 프레임워크로 시연 수집. Open-loop 정책을 기반으로 사용.

수행 태스크: - Cube Flipping (큐브 뒤집기): 1개 시연 - Bottle Cap Spinning (병뚜껑 돌리기): 1개 시연 - Dollar Bill Picking (지폐 집기): 1개 시연

Hello Robot Stretch: 이동형 모바일 로봇. 로봇 그리퍼에 부착된 자기중심적(egocentric) 카메라 사용 (로봇 이동에 따라 시점 변화). Open-loop 정책을 기반으로 사용.

수행 태스크: - Door Opening (문 열기): 1개 시연 - Drawer Opening (서랍 열기): 1개 시연 - Light Switching (조명 스위치): 1개 시연

비교 알고리즘

저자들은 FISH를 다음 기준선들과 비교했습니다.

오프라인 방법들: - Open-loop: 전문가 행동을 직접 복사 - BC: Behavior Cloning으로 학습된 정책 - VINN: k-NN 기반 시각 모방

온라인 방법들: - ROT: BC 사전학습 정책을 OT 기반 온라인 학습으로 파인튜닝 - RDAC: 적대적 모방 학습 방법인 DAC에 ROT 스타일 정규화 적용

주요 결과

FISH는 모든 9개 태스크에서 93%의 평균 성공률을 달성하여, 기존 최신 방법들 대비 3.8배 높은 성능을 보였습니다.

방법	Door	Drawer	Light	Cube	Cap	Bill	Peg	Bagel	Key	평균
Open-loop	0.2	0.2	0.2	0.1	0.0	0.2	0.1	0.1	0.3	0.16
VINN BC	0.2	0.2	0.2	0.1	0.0	0.1	0.3	0.3	0.3	0.19
BC	0.2	0.0	0.0	0.0	0.0	0.0	0.5	0.3	0.3	0.14
ROT	0.0	0.0	0.6	0.0	0.0	0.0	0.5	0.5	0.6	0.24
RDAC	0.0	0.0	0.0	0.0	0.0	0.0	0.4	0.0	0.0	0.04
FISH	1.0	1.0	1.0	1.0	1.0	0.8	0.9	0.9	0.8	0.93

특히 주목할 점은 다음과 같습니다.

첫째, BC의 저데이터 환경 취약성: Allegro Hand에서 BC가 완전히 실패(0%)한 것은 고차원 행동 공간과 제한된 시연의 조합이 모수적 방법에 치명적임을 보여줍니다. 이는 저데이터 환경에서 비모수적 기반 정책 사용의 정당성을 뒷받침합니다.

둘째, ROT 대비 우수성: FISH는 BC 정책을 파인튜닝하는 ROT를 크게 능가했습니다. 이는 기반 정책을 고정하는 것이 온라인 파인튜닝 중 수정하는 것보다 우월함을 시사합니다. BC 성능 저하가 ROT에도 영향을 미치는 반면, FISH는 비모수적 기반 정책을 활용하여 이 문제를 회피합니다.

일반화 능력 분석

새로운 객체 구성에 대한 일반화

FISH의 핵심 강점 중 하나는 시연에서 보지 못한 객체 위치와 로봇 초기화에 대한 일반화 능력입니다. 저자들은 각 태스크에서 시연이 수집된 위치(×로 표시)와 FISH가 성공(녹색) 또는 실패(빨간색)한 위치를 시각화했습니다.

결과는 FISH가 시연 위치를 넘어 상당히 넓은 영역에서 성공적으로 작동함을 보여줍니다. 이는 단순히 시연을 암기하는 것이 아니라, OT 기반 매칭이 의미 있는 행동 적응을 가능하게 함을 의미합니다.

새로운 객체에 대한 일반화

더 놀라운 것은 FISH가 시각적, 동적 속성이 다른 새로운 객체에도 일반화된다는 점입니다.

Bagel Flipping 태스크: 베이글로 시연했지만, 다른 종류의 빵(plain bagel, everything bagel, croissant 등)에서도 높은 성공률을 보였습니다. 그러나 flatbread처럼 베이글보다 훨씬 부드러워 다른 뒤집기 전략이 필요한 경우에는 실패했습니다.

Dollar Bill Picking 태스크: 1달러 지폐로 시연했지만, 다른 화폐(5달러, 10달러)와 카드(신용카드, 학생증)에서도 작동했습니다. 그러나 지갑처럼 더 두껍고 불균일한 객체에서는 실패했습니다.

이러한 결과는 FISH가 시각적 매칭을 통해 어느 정도의 객체 일반화를 달성할 수 있지만, 물리적 속성의 극단적 변화에는 한계가 있음을 보여줍니다.

심층 어블레이션 연구

저자들은 FISH의 각 설계 결정의 중요성을 검증하기 위해 광범위한 어블레이션을 수행했습니다.

기반 정책 선택의 영향

방법	Bagel Flipping	Dollar Bill Picking
IRL Scratch (기반 정책 없음)	0.0	0.0
Open-loop	0.1	0.8
BC	0.7	0.0
VINN (ImageNet)	0.0	0.0
VINN (BYOL)	0.0	0.0
VINN (BC Encoder)	0.9	-

이 결과에서 몇 가지 중요한 통찰을 얻을 수 있습니다.

첫째, 사전학습 없는 OT 기반 IRL은 작동하지 않습니다. 제한된 환경 상호작용으로는 처음부터 학습이 불가능합니다.

둘째, 자기지도 학습(SSL) 방법은 저데이터 환경에서 효과적이지 않습니다. BYOL로 파인튜닝된 인코더를 사용한 VINN은 실패했습니다.

셋째, 적절한 BC 정책이 있을 때 FISH가 상당한 개선을 가져옵니다. 그러나 VINN과 같은 비모수적 기반 정책이 모수적 대안보다 전반적으로 우수한 성능을 보입니다.

사전학습 인코더의 영향

인코더	Bagel Flipping	Dollar Bill Picking
ImageNet	0.0	0.0
R3M	0.0	0.1
MVP	0.3	0.0
BC	0.9	0.8

대규모 데이터셋으로 사전학습된 인코더들(ImageNet, R3M, MVP)이 이 환경에서 잘 작동하지 않는다는 점은 주목할 만합니다. 인터넷 데이터로 학습된 표현이 특정 로봇 태스크에 잘 전이되지 않을 수 있으며, 저데이터 환경에서도 도메인 내(in-domain) 데이터로 학습된 표현이 대량의 도메인 외(out-of-domain) 데이터보다 나을 수 있음을 시사합니다.

구현 세부사항의 영향

인코더 고정	기반 행동 조건화	Bagel Flipping	Dollar Bill Picking
✓	×	0.6	0.1
×	✓	0.9	0.0
✓	✓	0.9	0.8

두 가지 기법 모두 필요합니다. 인코더를 고정하면 OT 보상이 안정화되고, 기반 행동에 조건화하면 잔차 정책이 기반 정책과 효과적으로 협력할 수 있습니다.

적응적 정규화의 (부정적) 영향

ROT에서 영감을 받아 저자들은 잔차가 0에 가깝게 유지되도록 적응적으로 정규화하는 것을 시도했습니다. 그러나 이는 오히려 성능을 저하시켰습니다(0.9 → 0.4). 이러한 정규화가 잔차를 너무 작은 값으로 만들어 기반 정책에 대한 의미 있는 개선을 생성하지 못하게 만들기 때문입니다.

기술적 세부사항

네트워크 아키텍처

인코더: 84×84 이미지를 입력받아 512차원 출력 생성. 4개의 합성곱 레이어와 1개의 선형 레이어로 구성.

액터: 인코딩된 표현과 기반 정책의 행동을 입력받아 3개의 선형 레이어를 거쳐 행동 출력.

크리틱: 인코딩된 표현, 기반 정책 행동, 잔차 행동을 입력받아 3개의 선형 레이어를 거쳐 Q-값 출력.

강화학습 백본

저자들은 n-step DDPG를 RL 최적화기로 사용했습니다. 결정적 액터는 Deterministic Policy Gradients(DPG)를 사용하여 학습되고, 크리틱은 타깃 값의 과대추정 편향을 줄이기 위해 clipped double Q-learning을 사용합니다.

주요 하이퍼파라미터

리플레이 버퍼 크기: 5000
학습률: 1e-4
할인 계수 γ: 0.99
n-step returns: 3
미니배치 크기: 256
에이전트 업데이트 빈도: 2
시드 프레임: 260 (xArm, Stretch), 200 (Allegro Hand)
보상 스케일 팩터: 10

한계점과 향후 연구 방향

저자들은 FISH의 몇 가지 한계를 솔직하게 인정합니다.

첫째, 전문가 의존성: OT 기반 보상이 에이전트를 시연과 정렬시키므로, 시연자가 ’전문가’여야 합니다. 비전문가 시연이나 차선의 시연에서는 성능이 저하될 수 있습니다.

둘째, 시각 신호 의존성: 순수하게 시각 도메인에서 작동하므로, 시각 신호가 두드러지지 않은 정밀한 태스크(예: 이미지의 작은 부분을 차지하는 열쇠 구멍)에서는 어려움이 있습니다. 촉각 센싱과 같은 다른 모달리티를 통합하면 이러한 한계를 극복할 수 있을 것입니다.

셋째, 잔차 정책 초기화: 현재 잔차 정책은 무작위로 초기화됩니다. 잔차 정책을 사전학습하면 더 정밀한 제어가 필요한 어려운 태스크로 확장하는 데 도움이 될 수 있습니다.

로봇공학적 함의와 실용적 고려사항

실제 배포 관점

FISH의 가장 매력적인 측면은 실용성입니다. 1분의 시연과 20분의 온라인 학습으로 새로운 기술을 가르칠 수 있다는 것은 산업 현장에서의 빠른 재배치와 적응을 가능하게 합니다.

안전성 고려

유도된 탐색 메커니즘은 단순한 성능 향상을 넘어 안전성 측면에서도 중요합니다. 논문의 부록에서 저자들은 ROT를 사용한 Allegro Hand 학습 중 모든 차원에서 탐색할 때 손가락 충돌과 부자연스러운 자세가 발생함을 보여줍니다. 유도된 탐색은 이러한 위험을 완화합니다.

하드웨어 다양성

세 가지 매우 다른 로봇 플랫폼(고정 팔, 다지 손, 이동 로봇)과 카메라 구성(third-person, eye-in-hand)에서의 성공은 FISH가 특정 하드웨어 설정에 국한되지 않음을 보여줍니다.

결론: 로봇 기술 학습의 새로운 패러다임

FISH는 로봇 모방 학습 분야에서 중요한 이정표를 세웠습니다. “로봇에게 물고기 잡는 법을 가르치면 평생을 먹여 살릴 수 있다”는 속담을 현실화한 이 연구는, 소량의 시연으로 강건하고 일반화 가능한 기술을 학습할 수 있음을 실증적으로 보여주었습니다.

핵심 기여를 요약하면 다음과 같습니다.

첫째, 비모수적 기반 정책과 잔차 학습의 결합: 저데이터 환경에서 비모수적 방법의 강건성과 온라인 RL의 적응력을 동시에 활용.

둘째, OT 기반 보상 추론: 태스크별 보상 함수 설계 없이 시각 궤적 매칭으로 의미 있는 학습 신호 생성.

셋째, 유도된 탐색: 도메인 지식을 활용한 효율적이고 안전한 탐색.

넷째, 다양한 로봇 플랫폼에서의 검증: 범용성과 실용성 입증.

FISH는 RSS 2023 Best Student Paper Award를 수상하며 그 가치를 인정받았습니다. 이 연구는 로봇이 빠르게 새로운 기술을 습득하고 변화하는 환경에 적응해야 하는 미래를 향한 중요한 발걸음입니다. 물론 한계점이 존재하지만, 저자들이 제시한 프레임워크와 통찰은 후속 연구를 위한 견고한 기반을 제공합니다.

앞으로 멀티모달 센싱 통합, 잔차 정책 사전학습, 비전문가 시연 처리 등의 방향으로 연구가 발전한다면, 우리는 진정으로 “빠르게 학습하는” 로봇의 시대에 한 걸음 더 다가갈 수 있을 것입니다.