📃HIL-SERL 리뷰

human-in-the-loop

Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning

Published

January 23, 2026

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🤖 HIL-SERL (Human-in-the-Loop Sample-Efficient Robotic Reinforcement Learning)은 인간의 개입(human corrections)과 효율적인 RL (Reinforcement Learning) 알고리즘을 통합하여 로봇 조작 기술을 학습하는 시스템입니다.
🚀 이 시스템은 Jenga block 휘핑, 타이밍 벨트 조립, 마더보드 조립, 양팔 협응 등 다양한 복잡한 조작 작업에서 1~2.5시간의 훈련만으로 거의 완벽한 성공률과 빠른 cycle time을 달성했습니다.
✨ HIL-SERL은 모방 학습(imitation learning) 기반의 기존 방식보다 2배 높은 성공률과 1.8배 빠른 실행 속도를 보여주며, RL이 실제 환경에서 복잡하고 정교한 비전 기반 조작 정책을 효율적으로 학습할 수 있음을 입증했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

본 논문은 실시간(real-world) 로봇 조작 기술 습득에 있어 Reinforcement Learning (RL)의 잠재력을 실현하는 데 따르는 도전 과제들을 해결하기 위한 Human-in-the-Loop vision-based RL 시스템인 HIL-SERL을 제안합니다. 이 시스템은 동적(dynamic) 조작, 정밀 조립(precision assembly), 양팔 협응(dual-arm coordination)을 포함한 다양한 숙련된(dexterous) 조작 작업을 인상적인 성능으로 수행합니다.

핵심 방법론 (Core Methodology)

HIL-SERL은 RL의 실제 적용을 어렵게 하는 샘플 복잡성(sample complexity), 최적화 안정성(optimization stability), 정확한 보상 함수(reward function)의 부재 등의 문제들을 해결하기 위해 여러 구성 요소를 통합합니다.

샘플 효율적인 RL 알고리즘 및 데이터 통합 (Sample-Efficient RL Algorithm and Data Integration):
- 시스템의 핵심 RL 알고리즘은 RLPD (Ball et al., 2023)를 기반으로 합니다. RLPD는 샘플 효율성을 높이고 사전 데이터(prior data)를 통합할 수 있다는 장점 때문에 선택되었습니다.
- 학습 과정에서 Actor process는 현재의 policy를 로봇에 적용하여 환경과 상호작용하고, 수집된 데이터를 Replay buffer로 보냅니다. Learner process는 Replay buffer에서 데이터를 샘플링하여 policy를 최적화합니다.
- 두 가지 종류의 Replay buffer가 사용됩니다: demo buffer는 인간 시연(demonstrations) 데이터를 저장하고, RL buffer는 on-policy 데이터를 저장합니다. Learner process는 demo buffer와 RL buffer에서 데이터를 균등하게 샘플링하여 policy를 업데이트합니다.
Human-in-the-Loop (HIL) 상호작용 (Human-in-the-Loop Interaction):
- 인간 시연(human demonstrations)과 인간 교정(human corrections)을 통합하여 학습 과정을 가속화합니다.
- Actor process 내에서 인간 작업자는 SpaceMouse와 같은 입력 장치를 사용하여 로봇을 개입(intervene)하고 제어할 수 있습니다. 이는 로봇이 회복 불가능하거나 원치 않는 상태에 도달했을 때, 또는 local optimum에 갇혔을 때 특히 중요합니다.
- 인간이 개입할 때, 정책의 행동(\mathbf{a}_{RL}) 대신 인간의 행동(\mathbf{a}_{intv})이 로봇에 적용됩니다. 이 개입 데이터는 demo buffer와 RL buffer 모두에 저장되며, policy의 전환(transitions)은 RL buffer에만 추가됩니다.
- 초기에는 인간 개입 빈도가 높지만, policy가 개선됨에 따라 점차 감소하여 policy가 자율적으로 수행될 수 있도록 유도합니다.
시스템 수준 설계 선택 (System-Level Design Choices):
- 사전 훈련된 Vision Backbones (Pretrained Vision Backbones): 학습 효율성을 높이기 위해 ResNet-10 모델(ImageNet으로 사전 훈련됨)과 같은 사전 훈련된 vision backbone을 사용하여 이미지 데이터를 처리합니다. 이는 강건성(robustness), 일반화(generalization)뿐만 아니라 최적화 안정성(optimization stability) 및 탐색 효율성(exploration efficiency)에 이점을 제공합니다. 여러 카메라의 이미지 임베딩(embeddings)은 proprioceptive information과 함께 연결되어 학습에 사용됩니다.
- 보상 함수 (Reward Function): 희소 보상 함수(sparse reward function)를 사용합니다. 각 작업의 성공 여부를 결정하는 이진 분류기(binary classifier)를 오프라인(offline)으로 훈련하여 보상을 부여합니다. 이는 수동으로 보상을 설계하는 어려움을 회피합니다.
- 하위 로봇 시스템 (Downstream Robotic System):
  - 공간 일반화(spatial generalization)를 촉진하기 위해 로봇의 proprioceptive state를 상대 좌표계(relative coordinate system)로 표현하여 ego-centric formulation을 가능하게 합니다. 에피소드 시작 시 end-effector의 포즈를 무작위화하여 policy가 물체의 움직임에 적응할 수 있도록 합니다.
  - 접촉이 많은(contact-rich) 작업의 안전을 위해 impedance controller를 사용하며, 동적(dynamic) 작업에는 end-effector frame에서 직접 feedforward wrenches를 명령하여 로봇 팔을 가속시킵니다.
- 그리퍼 제어 (Gripper Control): 그리퍼 제어를 위해 별도의 critic network를 사용하여 이산(discrete) grasping action을 평가합니다. 이는 그리퍼의 “open”, “close”, “stay”와 같은 이산적인 행동을 연속 분포로 근사화하는 어려움을 해소합니다. 두 개의 별도 MDP를 해결합니다: 연속적인 행동 공간 \mathcal{M}_1 = \{\mathcal{S}, \mathcal{A}_1, \rho_1, \mathcal{P}_1, r, \gamma\}과 이산적인 행동 공간 \mathcal{M}_2 = \{\mathcal{S}, \mathcal{A}_2, \rho_2, \mathcal{P}_2, r, \gamma\}입니다. \mathcal{M}_2의 critic은 DQN (Mnih et al., 2013)의 업데이트 규칙을 따릅니다: \mathcal{L}(\theta) = \mathbb{E}_{\mathbf{s},\mathbf{a},\mathbf{s}'}\left[\left(r + \gamma Q_{\theta}'\left(\mathbf{s}', \arg\max_{\mathbf{a}'} Q_{\theta}\left(\mathbf{s}', \mathbf{a}'\right)\right) - Q_{\theta}(\mathbf{s}, \mathbf{a})\right)^2\right] 훈련 또는 추론 시, 먼저 \mathcal{M}_1의 policy에서 연속적인 행동을 쿼리한 다음, \mathcal{M}_2의 critic에서 argmax를 통해 이산적인 행동을 쿼리하여 로봇에 결합된 행동을 적용합니다.

실험 및 결과 (Experiments and Results)

이 연구는 Motherboard Assembly, IKEA Assembly, Car Dashboard Assembly, Object Handover, Timing Belt Assembly, Jenga Whipping, Object Flipping을 포함한 7가지 다양한 작업에 대해 HIL-SERL을 평가했습니다.

성능 우월성: HIL-SERL은 평균 100%의 성공률과 평균 5.4초의 cycle time을 달성했으며, 이는 Imitation Learning (IL) 기반의 HG-DAgger baseline(평균 49.7% 성공률, 평균 9.6초 cycle time)을 크게 능가합니다. 특히 복잡한 작업(Jenga Whipping, RAM stick insertion, Timing Belt Assembly)에서 성능 격차가 두드러집니다.
훈련 시간: 대부분의 작업에서 1~2.5시간 이내의 실시간 훈련으로 near-perfect 성공률을 달성했습니다.
인간 개입 감소: 훈련이 진행됨에 따라 인간 개입 빈도와 개입 시간이 점진적으로 감소하여 policy가 자율적으로 개선됨을 보여줍니다.
강건성 (Robustness): HIL-SERL로 학습된 policy는 외부 교란(perturbations), 강제된 그리퍼 개방(forcibly opened grippers), 불량한 grasping pose와 같은 예상치 못한 상황에 동적으로 적응하는 능력을 보여주며, 스스로 재시도(retrying)하거나 재그리핑(regrasping)하는 행동을 학습합니다.
다른 Baseline과의 비교: Diffusion Policy, Residual RL, DAPG, IBRL과 같은 최신 방법들과 비교했을 때도 HIL-SERL은 일관되게 더 높은 성공률을 보였습니다. 특히, 초기 데이터 없이 RL로만 학습하는 것은 0%의 성공률을 보였으며, 온라인(online) 인간 교정 없이 시연 데이터만 늘리는 것은 복잡한 작업에서 실패했습니다.

결과 분석 (Result Analysis)

학습된 Policy의 신뢰성 (Reliability of the Learned Policies):
- HIL-SERL의 높은 신뢰성은 RL의 inherent한 자기 교정(self-correction) 능력에서 비롯됩니다. policy sampling을 통해 agent는 성공과 실패로부터 지속적으로 학습하여 개선됩니다.
- RAM insertion 작업의 상태 방문 히트맵(state visitation heatmaps) 분석 결과, policy는 초기 상태에서 목표 위치로 이어지는 “깔때기(funnel)” 모양을 점진적으로 형성하며, 이는 policy의 자신감과 정밀도가 증가함을 나타냅니다.
- Q-function variance 분석을 통해 “critical states”(Q-function variance가 큰 상태)가 확인되었으며, 이 상태들은 policy 성공에 중요하며 높은 Q-value와 관련이 있습니다. 이는 RL이 동적 프로그래밍(dynamic programming)을 통해 중요한 상태를 높은 Q-value로 연결함으로써 영역을 강건하게 만든다는 것을 시사합니다.
반응형(Reactive) Policy와 예측형(Predictive) Policy (Reactive Policy and Predictive Policy):
- HIL-SERL은 단일 알고리즘 프레임워크 내에서 두 가지 유형의 policy를 모두 학습할 수 있음을 보여줍니다.
- 반응형 Policy (Reactive Policy): RAM insertion과 같은 정밀 조작 작업에서는 초기에는 높은 분산(variance)을 보이지만, 목표에 가까워질수록 빠르게 감소하는 경향을 보입니다. 이는 continuous visual servoing과 같이 실시간으로 감각 피드백에 반응하는 폐루프(closed-loop) 동작을 의미합니다. 충돌 후 접촉을 끊고 다시 접근하는 등 여러 번의 시도를 통해 오류를 수정하는 능력이 특징입니다.
- 예측형 Policy (Predictive Policy): Jenga Whipping과 같은 동적 조작 작업에서는 표준 편차(standard deviation)가 지속적으로 낮게 유지됩니다. 이는 agent가 환경과의 상호작용을 통해 자신의 행동 결과를 예측하고, 예측 오차를 최소화하기 위해 동작을 정밀하게 다듬어 일관된 개루프(open-loop) 동작을 수행함을 나타냅니다.

결론 (Conclusion)

본 연구는 적절한 설계 선택을 통해 Model-free RL이 현실 세계에서 실용적인 시간 내에 다양한 복잡한 조작 작업을 효율적으로 해결할 수 있음을 보여줍니다. HIL-SERL은 인간 시연과 교정을 효과적으로 통합하고, RLPD와 같은 샘플 효율적인 알고리즘을 활용하며, 특정 로봇 시스템 설계(예: relative coordinate system, gripper control을 위한 별도 critic)를 통해 높은 성능과 강건성을 달성합니다. 이 작업은 High-Mix Low-Volume (HMLV) 제조와 같은 산업 응용 분야에 잠재적인 영향을 미치며, 미래의 로봇 foundation model을 위한 고품질 데이터 생성 수단으로도 활용될 수 있습니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

서론: 왜 이 논문이 중요한가?

로봇 조작의 오래된 꿈

여러분, 잠시 상상해 보세요. 로봇이 마더보드에 RAM 카드를 삽입하고, IKEA 가구를 조립하고, 심지어 젠가 블록을 채찍으로 빼내는 장면을요. SF 영화에서나 볼 법한 장면 같지만, UC Berkeley의 연구팀이 이를 현실로 만들어냈습니다. 그것도 1~2.5시간의 실세계 훈련만으로요.

강화학습(Reinforcement Learning, RL)은 오랫동안 로봇공학의 성배(Holy Grail)로 여겨져 왔습니다. 시행착오를 통해 스스로 최적의 행동을 학습한다는 개념은 매력적이지만, 현실에서는 늘 벽에 부딪혔습니다:

샘플 복잡도(Sample Complexity): 수백만 번의 시행이 필요하다면, 실제 로봇으로는 불가능
보상 함수 설계: “좋은” 행동을 정의하는 것이 생각보다 어렵다
최적화 불안정성: 고차원 이미지 입력에서 정책이 수렴하지 않는 문제

이 논문, HIL-SERL (Human-in-the-Loop Sample-Efficient Robotic Reinforcement Learning)은 이 모든 문제를 정면으로 돌파합니다. 파인만 교수님이라면 이렇게 말씀하셨을 거예요: “자연은 우리가 생각하는 것보다 단순할 때가 많다. 다만 올바른 관점을 찾아야 한다.”

문제 정의: 우리가 해결하려는 것

로봇 조작 문제를 마르코프 결정 과정(MDP)으로 정의해 봅시다:

\mathcal{M} = \{\mathcal{S}, \mathcal{A}, \rho, P, r, \gamma\}

여기서:

기호	의미	실제 예시
\mathcal{S}	상태 공간	카메라 이미지 + 로봇 관절 정보
\mathcal{A}	행동 공간	End-effector twist (6D) + 그리퍼 명령
\rho(\mathbf{s}_0)	초기 상태 분포	작업 시작 위치의 랜덤화
P	전이 확률	로봇과 환경의 물리 법칙 (미지)
r	보상 함수	작업 성공 시 +1, 실패 시 0
\gamma	할인 계수	미래 보상의 현재 가치 (보통 0.99)

우리의 목표는 기대 누적 보상을 최대화하는 정책 \pi^*를 찾는 것입니다:

\pi^* = \arg\max_\pi \mathbb{E}\left[\sum_{t=0}^{H} \gamma^t r(\mathbf{s}_t, \mathbf{a}_t)\right]

여기서 기대값은 초기 상태 분포, 전이 확률, 그리고 정책 \pi에 대해 취해집니다.

핵심 통찰

HIL-SERL의 혁신은 단순합니다: 인간의 개입(correction)을 강화학습의 탐색 효율성을 높이는 도구로 활용하는 것. 이는 단순한 모방학습(Imitation Learning)이 아니라, RL이 인간 데이터를 활용하면서도 초월할 수 있게 합니다.

연구의 기여

이 논문의 핵심 기여를 정리하면:

실세계 학습 시간 단축: 1~2.5시간 내 거의 100% 성공률 달성
모방학습 대비 우월성: 평균 101% 성공률 향상, 1.8배 빠른 사이클 타임
다양한 작업 범위: 동적 조작, 정밀 조립, 양팔 협조까지 단일 프레임워크로 해결
최초의 실세계 성과들:
- 이미지 입력 기반 양팔 협조 RL
- 젠가 휘핑(Jenga Whipping)
- 타이밍 벨트 조립

방법론: HIL-SERL의 작동 원리

시스템 아키텍처 개요

HIL-SERL은 세 가지 핵심 프로세스로 구성됩니다:

flowchart TB
    subgraph Actor["🤖 Actor Process"]
        ENV[Environment]
        ROBOT[Robot Controller]
        HUMAN[Human Intervention<br>SpaceMouse]
        POLICY[RL Policy π]
        
        ENV --> |observation| POLICY
        POLICY --> |action a_rl| ROBOT
        HUMAN --> |action a_itv| ROBOT
        ROBOT --> |execute| ENV
    end
    
    subgraph Learner["🧠 Learner Process"]
        RLPD[RLPD Update]
        DQN[DQN Update<br>Gripper Control]
        CRITIC[Critic Q]
        ACTOR_NET[Actor π]
        GRASP_CRITIC[Grasp Critic]
    end
    
    subgraph Buffer["💾 Replay Buffers"]
        DEMO[Demo Buffer<br>20-30 demos]
        RL_BUF[RL Buffer<br>On-policy data]
    end
    
    Actor --> |transitions| RL_BUF
    Actor --> |interventions| DEMO
    Actor --> |interventions| RL_BUF
    
    DEMO --> |50% sampling| Learner
    RL_BUF --> |50% sampling| Learner
    
    Learner --> |updated params| Actor
    
    style Actor fill:#e1f5fe
    style Learner fill:#fff3e0
    style Buffer fill:#e8f5e9

Figure 1: HIL-SERL 시스템 아키텍처

이 아키텍처의 핵심은 비동기적 통신입니다. Actor는 환경과 상호작용하면서 데이터를 수집하고, Learner는 백그라운드에서 정책을 업데이트합니다. 마치 체스 선수가 경기를 치르면서 동시에 복기를 하는 것과 같죠.

핵심 알고리즘: RLPD 기반 학습

RLPD (Reinforcement Learning with Prior Data)

HIL-SERL의 심장부는 RLPD 알고리즘입니다. 이 알고리즘의 핵심 아이디어는 간단합니다: 매 학습 스텝에서 사전 데이터와 온라인 데이터를 50:50으로 샘플링합니다.

Q-함수와 정책의 손실 함수는 다음과 같습니다:

Critic (Q-함수) 업데이트: \mathcal{L}_Q(\phi) = \mathbb{E}_{\mathbf{s}, \mathbf{a}, \mathbf{s}'} \left[ \left( Q_\phi(\mathbf{s}, \mathbf{a}) - \left( r(\mathbf{s}, \mathbf{a}) + \gamma \mathbb{E}_{\mathbf{a}' \sim \pi_\theta} [Q_{\bar{\phi}}(\mathbf{s}', \mathbf{a}')] \right) \right)^2 \right]

Actor (정책) 업데이트: \mathcal{L}_\pi(\theta) = -\mathbb{E}_{\mathbf{s}} \left[ \mathbb{E}_{\mathbf{a} \sim \pi_\theta} [Q_\phi(\mathbf{s}, \mathbf{a})] + \alpha \mathcal{H}(\pi_\theta(\cdot|\mathbf{s})) \right]

여기서 Q_{\bar{\phi}}는 타겟 네트워크이고, \alpha는 엔트로피 정규화 가중치입니다.

직관적 이해

Q-함수는 “이 상태에서 이 행동을 하면 앞으로 얼마나 좋을까?”를 예측합니다. 정책은 “Q-값이 높은 행동을 더 자주 선택하자”라고 학습합니다. 엔트로피 항은 정책이 너무 빨리 한 가지 행동에 집착하지 않도록 탐색을 장려합니다.

그리퍼 제어: 별도의 DQN

연속 행동(end-effector twist)과 이산 행동(그리퍼 열기/닫기/유지)을 분리하는 것이 핵심입니다. 그리퍼는 DQN으로 학습합니다:

\mathcal{L}(\theta) = \mathbb{E}_{\mathbf{s}, \mathbf{a}, \mathbf{s}'} \left[ \left( r + \gamma Q_{\theta'}(\mathbf{s}', \arg\max_{\mathbf{a}'} Q_\theta(\mathbf{s}', \mathbf{a}')) - Q_\theta(\mathbf{s}, \mathbf{a}) \right)^2 \right]

이산 행동 공간 \mathcal{A}_2는:

단일 그리퍼	양팔 그리퍼
{open, close, stay}	{open, close, stay}² = 9가지 조합

신경망 구조

flowchart LR
    subgraph Input["입력"]
        IMG1[Wrist Camera<br>128×128]
        IMG2[Side Camera<br>128×128]
        PROP[Proprioception<br>관절 위치/속도/힘]
    end
    
    subgraph Vision["비전 백본"]
        RESNET1[ResNet-10<br>ImageNet Pretrained]
        RESNET2[ResNet-10<br>Shared Weights]
    end
    
    subgraph Fusion["특징 융합"]
        CONCAT[Concatenate]
        MLP1[MLP Layers]
    end
    
    subgraph Output["출력"]
        ACTOR[Actor Head<br>μ, σ for 6D twist]
        CRITIC[Critic Head<br>Q(s,a)]
        GRASP[Grasp Critic<br>Q(s, a_gripper)]
    end
    
    IMG1 --> RESNET1
    IMG2 --> RESNET2
    RESNET1 --> CONCAT
    RESNET2 --> CONCAT
    PROP --> CONCAT
    CONCAT --> MLP1
    MLP1 --> ACTOR
    MLP1 --> CRITIC
    MLP1 --> GRASP
    
    style Input fill:#e3f2fd
    style Vision fill:#f3e5f5
    style Fusion fill:#e8f5e9
    style Output fill:#fff8e1

Figure 2: HIL-SERL 신경망 아키텍처

사전훈련 비전 백본의 중요성

왜 ImageNet으로 사전훈련된 ResNet-10을 사용할까요? 이는 단순히 일반화를 위한 것이 아닙니다:

최적화 안정성: 랜덤 초기화된 네트워크는 초기에 불안정한 특징을 생성
탐색 효율성: 의미 있는 시각 특징이 더 나은 초기 정책을 유도
훈련 시간 단축: 시각 표현을 처음부터 학습할 필요가 없음

파인만 스타일 비유

사전훈련 백본은 마치 외국어를 배울 때 모국어 실력이 도움이 되는 것과 같습니다. 완전히 새로운 언어지만, 언어의 구조를 이해하는 기초가 있으면 훨씬 빨리 배울 수 있죠.

Human-in-the-Loop: 인간 개입의 마법

개입 메커니즘

sequenceDiagram
    participant H as Human
    participant A as Actor
    participant E as Environment
    participant B as Buffer
    
    Note over A,E: 자율 롤아웃 시작 (t₀)
    loop t₀ to tₙ
        A->>E: action a_rl
        E->>A: observation, reward
        A->>B: store (s, a_rl, r, s')
    end
    
    Note over H,A: 인간이 문제 상황 감지 (tᵢ)
    H->>A: SpaceMouse takeover
    
    rect rgb(255,230,230)
        Note over H,E: 인간 개입 구간
        loop tᵢ to tᵢ₊ₙ
            H->>E: action a_itv
            E->>A: observation, reward
            A->>B: store to Demo + RL buffer
        end
    end
    
    Note over A,E: 정책 제어 복귀
    A->>E: continue with a_rl

Figure 3: 인간 개입 메커니즘

핵심 규칙:

개입 데이터의 이중 저장: 인간 개입은 Demo 버퍼와 RL 버퍼 모두에 저장
정책 전이 데이터: 개입 전후의 상태-행동은 RL 버퍼에만 저장
점진적 개입 감소: 훈련 초기에는 잦은 개입, 정책 개선에 따라 감소

HG-DAgger와의 차이점

측면	HG-DAgger	HIL-SERL
학습 방식	지도학습 (Behavioral Cloning)	강화학습 (RLPD)
보상 활용	없음	작업 보상으로 최적화
데이터 가중치	모든 데이터 동등	Q-값에 따른 동적 가중치
성능 한계	인간 시연 수준	인간 초월 가능

핵심 차이점

HG-DAgger는 인간이 “이렇게 해”라고 보여주면 그대로 따라합니다. HIL-SERL은 인간이 “여기서 실수했어”라고 알려주면, 그 정보를 활용해 더 나은 방법을 스스로 찾아냅니다.

보상 함수 설계: 이진 분류기의 힘

복잡한 보상 형성(reward shaping) 대신, HIL-SERL은 단순한 이진 분류기를 사용합니다:

r(\mathbf{s}) = \begin{cases} 1 & \text{if classifier predicts success} \ 0 & \text{otherwise} \end{cases}

분류기 훈련 과정

flowchart LR
    subgraph Collection["데이터 수집 (~5분)"]
        POS[양성 샘플<br>~200개]
        NEG[음성 샘플<br>~1000개]
    end
    
    subgraph Training["분류기 훈련"]
        DATA[이미지 데이터]
        CNN[CNN Classifier]
        EVAL[평가<br>>95% 정확도]
    end
    
    subgraph Deployment["배포"]
        REWARD[실시간<br>보상 판정]
    end
    
    POS --> DATA
    NEG --> DATA
    DATA --> CNN
    CNN --> EVAL
    EVAL --> REWARD
    
    style Collection fill:#e3f2fd
    style Training fill:#fff3e0
    style Deployment fill:#e8f5e9

Figure 4: 보상 분류기 훈련 파이프라인

왜 이 방법이 효과적일까요?

설계 용이성: “성공이란 무엇인가?”만 정의하면 됨
일반성: 모든 작업에 동일한 방식 적용
인간 데모와의 시너지: 데모가 sparse 보상의 탐색 문제를 해결

하위 로봇 시스템 설계

자기중심적(Ego-centric) 좌표계

공간 일반화를 위해, 모든 관측과 행동은 현재 end-effector 프레임을 기준으로 표현됩니다:

\mathbf{x}_{ego} = \mathbf{T}_{ee}^{-1} \cdot \mathbf{x}_{world}

이것이 왜 중요할까요? 물체의 위치가 조금 달라져도, end-effector 관점에서는 동일한 상대적 위치 관계를 유지합니다. 마치 우리가 컵을 집을 때, 컵이 테이블 어디에 있든 “손 앞에 있다”는 관점에서 접근하는 것과 같죠.

임피던스 제어기

접촉이 많은 작업에서 안전성을 보장하기 위해 임피던스 제어기를 사용합니다:

\mathbf{F} = K_p(\mathbf{x}_{des} - \mathbf{x}) + K_d(\dot{\mathbf{x}}_{des} - \dot{\mathbf{x}})

K_p: 강성(stiffness) 행렬
K_d: 감쇠(damping) 행렬
참조 제한(reference limiting)으로 급격한 움직임 방지

동적 작업(젠가 휘핑, 물체 뒤집기)의 경우, end-effector 프레임에서 직접 피드포워드 렌치(wrench)를 명령합니다.

실험: 다양한 도전 과제들

실험 작업 개요

HIL-SERL은 7가지 주요 작업 범주에서 평가되었습니다:

실험 작업 분류

카테고리	작업
정밀 조립	RAM 삽입, SSD 조립, USB 삽입, 케이블 클리핑
대형 조립	IKEA 선반, 자동차 대시보드
양팔 협조	물체 핸드오버, 타이밍 벨트
동적 조작	젠가 휘핑, 물체 뒤집기

작업별 상세 설명

1. 마더보드 조립 (Motherboard Assembly)

하위 작업	난이도	핵심 도전
RAM 삽입	⭐⭐⭐	미세한 정렬 + 적절한 힘 조절
SSD 조립	⭐⭐⭐	핀 손상 방지 + 2단계 삽입
USB 삽입	⭐⭐⭐⭐	자유 배치된 케이블 파지 + 불확실성 처리
케이블 클리핑	⭐⭐	변형 가능 케이블 + 타이트한 삽입

RAM 삽입의 경우, 과도한 힘은 RAM 카드를 그리퍼 내에서 기울어지게 하고, 부족한 힘은 삽입 실패를 야기합니다. 정책은 이 미묘한 균형을 학습해야 합니다.

2. 타이밍 벨트 조립 (Timing Belt Assembly)

이 작업은 NIST 보드 조립 챌린지의 일부로, 가장 도전적인 작업 중 하나입니다:

변형 가능 물체: 벨트가 예측 불가능하게 변형
양팔 협조: 정밀한 타이밍으로 벨트를 풀리에 끼워야 함
텐셔너 조작: 벨트를 끼우는 동안 텐셔너 조절 필요

3. 젠가 휘핑 (Jenga Whipping)

이것은 다른 작업들과 본질적으로 다릅니다:

고속 동적 조작: 채찍이 매우 빠르게 움직임
복잡한 접촉 역학: 공기 저항, 블록 간 마찰 등
개방 루프 행동: 실시간 피드백이 불가능한 속도

직관적 이해

젠가 휘핑을 테니스 서브에 비유할 수 있습니다. 일단 스윙이 시작되면 중간에 조정할 수 없습니다. 정책은 수많은 시행착오를 통해 “이 각도와 힘으로 휘두르면 저 블록이 빠진다”는 직관적 물리를 체화해야 합니다.

주요 실험 결과

성공률 및 사이클 타임 비교

다음 표는 HIL-SERL과 HG-DAgger(모방학습) 간의 비교 결과입니다:

작업	훈련시간	BC 성공률	HIL-SERL 성공률	향상	BC 사이클	HIL-SERL 사이클	속도 향상
RAM 삽입	1.5h	29%	100%	+245%	8.3s	4.8s	1.7×
SSD 조립	1h	79%	100%	+27%	6.7s	3.3s	2.0×
USB 삽입	2.5h	26%	100%	+285%	13.4s	6.7s	2.0×
케이블 클리핑	1.25h	95%	100%	+5%	7.2s	4.2s	1.7×
IKEA 측면1	2h	77%	100%	+30%	6.5s	2.7s	2.4×
IKEA 측면2	1.75h	79%	100%	+27%	5.0s	2.4s	2.1×
IKEA 상판	1h	35%	100%	+186%	8.9s	2.4s	3.7×
대시보드 조립	2h	41%	100%	+144%	20.3s	8.8s	2.3×
물체 핸드오버	2.5h	79%	100%	+27%	16.1s	13.6s	1.2×
타이밍 벨트	6h	2%	100%	+4900%	9.1s	7.2s	1.3×
젠가 휘핑	1.25h	8%	100%	+1150%	-	-	-
물체 뒤집기	1h	46%	100%	+117%	3.9s	3.8s	1.0×
평균	-	49.7%	100%	+101%	9.6s	5.4s	1.8×

핵심 발견

모든 작업에서 100% 성공률 달성
평균 101% 성공률 향상, 1.8배 빠른 사이클 타임
복잡한 작업일수록 격차 확대 (타이밍 벨트: +4900%)

다른 방법론과의 비교

방법	RAM 삽입	대시보드	물체 뒤집기	평균
Diffusion Policy	27%	18%	56%	34%
HG-DAgger	29%	41%	46%	39%
BC (200 demos)	12%	35%	46%	31%
IBRL	75%	0%	95%	57%
Residual RL	0%	0%	97%	32%
DAPG	8%	18%	72%	33%
HIL-SERL (no demo, no itv)	0%	0%	0%	0%
HIL-SERL (no itv)	48%	0%	100%	49%
HIL-SERL (full)	100%	100%	100%	100%

학습 곡선 분석

RAM 삽입 작업 - 성공률 추이 (HIL-SERL vs HG-DAgger)

훈련 시간 (분)	HIL-SERL	HG-DAgger
0	10%	15%
20	45%	30%
40	75%	35%
60	95%	28%
80	100%	32%

HIL-SERL의 학습 곡선은 명확한 패턴을 보입니다:

성공률: 빠르게 상승하여 100%에 수렴
개입률: 점진적으로 감소하여 0%에 도달
사이클 타임: 훈련 진행에 따라 지속적 감소

반면 HG-DAgger는:

성공률: 변동하며 일정 수준에서 정체
개입률: 시간에 따라 감소하지 않음
사이클 타임: 개선되지 않음

견고성(Robustness) 결과

학습된 정책은 다양한 외부 교란에 대해 견고함을 보입니다:

작업	교란 유형	정책 반응
RAM 삽입	마더보드 이동	실시간 추적하며 삽입 성공
핸드오버	그리퍼 강제 열림	재파지 후 작업 재시도
타이밍 벨트	벨트 외부 교란	적응적 재조정
USB 삽입	불량 파지 자세	재파지 후 삽입
대시보드	양쪽 그리퍼 강제 열림	순차적 재파지 후 재시도

이러한 견고한 행동들은 명시적으로 프로그래밍되지 않았습니다. RL의 자율 탐색 과정에서 자연스럽게 출현했습니다.

결과 분석: 왜 HIL-SERL이 작동하는가?

학습된 정책의 신뢰성

퍼널(Funnel) 형성 메커니즘

HIL-SERL이 100% 성공률을 달성하는 이유를 이해하기 위해, RAM 삽입 작업의 상태 방문 분포를 분석해 봅시다.

flowchart TB
    subgraph Early["초기 훈련"]
        E1[넓게 분산된<br>상태 방문]
        E2[불확실한<br>궤적]
    end
    
    subgraph Mid["중간 훈련"]
        M1[퍼널 형태<br>출현]
        M2[성공 영역으로<br>수렴 시작]
    end
    
    subgraph Late["후기 훈련"]
        L1[명확한 퍼널]
        L2[높은 Q-값<br>집중 영역]
    end
    
    Early --> Mid --> Late
    
    style Early fill:#ffcdd2
    style Mid fill:#fff9c4
    style Late fill:#c8e6c9

Figure 5: 정책 훈련 중 퍼널 형성

핵심 관찰:

퍼널 형태: 초기 상태에서 목표까지 연결하는 “깔때기” 형성
Q-값 집중: 퍼널 내 상태들이 높은 Q-값을 가짐
Q-값 분산: 중요한 상태에서 Q-값 분산이 큼 (행동 선택이 중요함을 의미)

Q-값 분산은 다음과 같이 계산됩니다:

\text{Var}[Q(\mathbf{s}, \mathbf{a})] = \mathbb{E}_{\epsilon \sim [-c, c]} \left[ (Q(\mathbf{s}, \mathbf{a} + \epsilon) - \mathbb{E}_{\epsilon}[Q(\mathbf{s}, \mathbf{a} + \epsilon)])^2 \right]

큰 분산은 해당 상태가 “임계 상태(critical state)”임을 의미합니다. 잘못된 행동을 하면 Q-값이 급락하죠.

RL vs DAgger: 탐색의 차이

HG-DAgger의 상태 방문 분포는 훨씬 희박하고 균일합니다. 왜일까요?

RL: 자율적으로 탐색하고, 동적 프로그래밍으로 보상 방향 최적화
DAgger: 현재 정책 주변에서만 탐색, 인간 시연 모방에 집중

결과적으로 DAgger가 유사한 성능을 달성하려면 훨씬 더 많은 시연과 수정이 필요합니다.

반응적 정책 vs 예측적 정책

HIL-SERL은 작업 특성에 따라 두 가지 다른 유형의 정책을 학습합니다:

반응적 정책 (Reactive Policy)

RAM 삽입, 대시보드 조립 등 정밀 조작 작업에서 나타납니다.

특징:

높은 초기 분산: 접근 단계에서 불확실성
점진적 분산 감소: 목표에 가까워질수록 정밀해짐
폐쇄 루프 행동: 지속적인 감각 피드백 활용

sequenceDiagram
    participant S as Sensor
    participant P as Policy
    participant A as Actuator
    participant E as Environment
    
    loop 매 타임스텝
        E->>S: 관측
        S->>P: 시각+촉각 피드백
        P->>P: 오류 추정
        P->>A: 보정 행동
        A->>E: 실행
    end
    
    Note over P: 높은 σ → 낮은 σ<br>접근 → 삽입

Figure 6: 반응적 정책의 행동 패턴

예측적 정책 (Predictive Policy)

젠가 휘핑, 물체 뒤집기 등 동적 조작 작업에서 나타납니다.

특징:

일관되게 낮은 분산: 처음부터 끝까지 확신 있는 행동
개방 루프 행동: 실행 중 피드백 불가능한 속도
반사(reflex) 같은 행동: 학습된 직관적 물리

sequenceDiagram
    participant S as Sensor
    participant P as Policy
    participant A as Actuator
    participant E as Environment
    
    S->>P: 초기 관측
    P->>P: 결과 예측
    P->>A: 계획된 모션 시퀀스
    
    rect rgb(255,245,238)
        Note over A,E: 고속 실행 (피드백 없음)
        A->>E: 실행
        E->>E: 결과
    end
    
    Note over P: σ ≈ 0 (전 구간)

Figure 7: 예측적 정책의 행동 패턴

핵심 통찰

HIL-SERL은 작업의 물리적 특성을 명시적으로 분석하지 않습니다. 환경과의 상호작용을 통해 자동으로 적절한 제어 전략을 학습합니다. 이것이 단일 알고리즘으로 다양한 작업을 해결할 수 있는 비결입니다.

접촉 동역학의 암묵적 학습

대시보드 조립 작업에서 관찰된 흥미로운 행동:

접촉 상태에서 막힘 감지
빠르게 두 팔을 들어 접촉 해제
재접근하여 목표에 도달
삽입 성공

이 “stuck → lift → re-approach → insert” 패턴은 명시적으로 프로그래밍되지 않았습니다. 기존의 접촉 기반 조작 연구에서는 이러한 행동을 혼합 정수 프로그래밍(MIP)으로 공식화했지만:

계획 지평이 길어지면 계산적으로 다루기 어려움
정확한 상태 추정기 필요

HIL-SERL은 이러한 복잡한 접촉 동역학을 문제의 일부가 아닌 해의 일부로 취급합니다.

Dexterous Hand로의 확장: 그리퍼를 넘어서

왜 Dexterous Hand인가?

HIL-SERL은 평행 그리퍼(parallel gripper)를 end-effector로 사용했습니다. 하지만 Allegro Hand V4와 같은 다관절 로봇 핸드(dexterous hand)를 사용하면 어떨까요? 이는 단순한 하드웨어 교체가 아니라, 완전히 새로운 차원의 조작 능력을 열어줍니다.

flowchart LR
    subgraph Gripper["평행 그리퍼"]
        G1[1 DoF<br>열기/닫기]
        G2[이산 행동<br>3가지]
        G3[제한된<br>파지 형태]
    end
    
    subgraph Hand["Dexterous Hand<br>(예: Allegro Hand V4)"]
        H1[16 DoF<br>4×4 관절]
        H2[연속 행동<br>고차원]
        H3[다양한<br>파지/조작]
    end
    
    Gripper --> |"확장"| Hand
    
    style Gripper fill:#ffcdd2
    style Hand fill:#c8e6c9

Figure 8: 그리퍼 vs Dexterous Hand 비교

특성	평행 그리퍼	Allegro Hand V4
자유도 (DoF)	1	16 (4손가락 × 4관절)
행동 공간	이산 (open/close/stay)	연속 (16D 관절 위치/토크)
파지 유형	Power grasp only	Precision, power, pinch, etc.
In-hand 조작	불가능	가능
촉각 센싱	제한적	풍부한 촉각 피드백 가능

HIL-SERL을 Dexterous Hand에 적용하기

도전 과제 1: 폭발적인 행동 공간

Allegro Hand의 16 DoF는 그리퍼의 1 DoF에 비해 기하급수적으로 큰 행동 공간을 의미합니다.

해결 전략:

계층적 행동 공간 (Hierarchical Action Space)

flowchart TB
    subgraph High["상위 정책"]
        ARM[Arm Policy<br>6D twist]
        GRASP_TYPE[Grasp Type<br>Selector]
    end
    
    subgraph Low["하위 정책"]
        FINGER[Finger Policy<br>16D joint]
        SYNERGY[Synergy-based<br>Control]
    end
    
    ARM --> |"위치 목표"| FINGER
    GRASP_TYPE --> |"파지 유형"| SYNERGY
    SYNERGY --> |"관절 명령"| FINGER
    
    style High fill:#e3f2fd
    style Low fill:#fff3e0

Figure 9: 계층적 행동 공간 설계

시너지 기반 차원 축소 (Synergy-based Dimensionality Reduction)

인간 손의 움직임은 실제로 몇 개의 주요 시너지(synergy)로 설명됩니다:

\mathbf{q}_{hand} = \mathbf{S} \cdot \mathbf{z} + \mathbf{q}_0

\mathbf{q}_{hand} \in \mathbb{R}^{16}: 전체 관절 위치
\mathbf{S} \in \mathbb{R}^{16 \times k}: 시너지 행렬 (보통 k = 2 \sim 6)
\mathbf{z} \in \mathbb{R}^k: 저차원 시너지 좌표
\mathbf{q}_0: 기본 자세

이렇게 하면 16D 문제가 2~6D 문제로 축소됩니다!

HIL-SERL 수정: 연속 행동으로 통합

원래 HIL-SERL: \mathcal{A} = \mathcal{A}_{arm} \times \mathcal{A}_{gripper}^{discrete}

Dexterous Hand 버전: \mathcal{A} = \mathcal{A}_{arm} \times \mathcal{A}_{hand}^{continuous}

또는 시너지 사용 시: \mathcal{A} = \mathcal{A}_{arm} \times \mathcal{A}_{synergy}^{continuous}

도전 과제 2: 인간 개입의 복잡성

SpaceMouse로 16 DoF를 직접 제어하는 것은 불가능합니다.

해결 전략:

텔레오퍼레이션 인터페이스 고도화

인터페이스	적합성	특징
SpaceMouse	❌ 부적합	6 DoF만 지원
Teleoperation Glove (예: MANUS)	✅ 적합	손가락 움직임 직접 매핑
VR Controller + Hand Tracking	✅ 적합	Quest 3 등 활용 가능
Vision-based Retargeting	✅ 적합	카메라로 손 추적

개입 방식의 재설계

flowchart TB
    subgraph Traditional["기존 HIL-SERL"]
        T1[SpaceMouse] --> T2[6D + Gripper]
    end
    
    subgraph Dexterous["Dexterous Hand 버전"]
        D1[Teleoperation Glove]
        D2[Vision Retargeting]
        D3[VR Hand Tracking]
        
        D1 --> D4[Full Hand Pose]
        D2 --> D4
        D3 --> D4
        
        D4 --> D5[Synergy Projection]
        D5 --> D6[Low-dim Intervention]
    end
    
    style Traditional fill:#ffcdd2
    style Dexterous fill:#c8e6c9

Figure 10: Dexterous Hand를 위한 개입 방식

도전 과제 3: 촉각 센싱의 통합

Dexterous hand의 진정한 힘은 촉각 피드백에서 나옵니다. Allegro Hand에 촉각 센서를 장착하면:

수정된 관측 공간: \mathcal{S} = \{\mathbf{I}_{wrist}, \mathbf{I}_{side}, \mathbf{q}_{arm}, \mathbf{q}_{hand}, \mathbf{\tau}_{tactile}\}

여기서 \mathbf{\tau}_{tactile}은 손가락 끝의 촉각 정보입니다.

신경망 아키텍처 수정:

flowchart LR
    subgraph Input["입력"]
        IMG[RGB Images]
        PROP[Proprioception<br>Arm + Hand]
        TACT[Tactile<br>Fingertip sensors]
    end
    
    subgraph Encoders["인코더"]
        VIS_ENC[Vision Encoder<br>ResNet-10]
        PROP_ENC[Prop Encoder<br>MLP]
        TACT_ENC[Tactile Encoder<br>1D CNN / MLP]
    end
    
    subgraph Fusion["융합"]
        CONCAT[Concatenate]
        ATTN[Cross-Modal<br>Attention]
    end
    
    IMG --> VIS_ENC
    PROP --> PROP_ENC
    TACT --> TACT_ENC
    
    VIS_ENC --> CONCAT
    PROP_ENC --> CONCAT
    TACT_ENC --> CONCAT
    
    CONCAT --> ATTN
    ATTN --> OUTPUT[Policy + Critic]
    
    style Input fill:#e3f2fd
    style Encoders fill:#f3e5f5
    style Fusion fill:#e8f5e9

Figure 11: 촉각 통합 신경망

구체적 적용 시나리오: Allegro Hand V4

시나리오 1: 정밀 삽입 작업 (RAM 삽입의 확장)

Dexterous hand의 장점:

적응적 파지: RAM 카드가 기울어져도 손가락으로 재조정 가능
힘 분배: 여러 손가락으로 균일한 힘 적용
In-hand 조작: 파지 자세를 놓지 않고 조정

# 의사코드: Dexterous Hand를 위한 HIL-SERL
def dexterous_hil_serl():
    # 행동 공간 정의
    arm_action_dim = 6  # Cartesian twist
    hand_action_dim = 6  # Synergy-based (축소된 공간)
    
    # 관측 공간
    obs = {
        'images': [wrist_cam, side_cam],  # 시각
        'arm_proprio': arm_joint_states,   # 팔 고유수용
        'hand_proprio': hand_joint_states, # 손 고유수용 (16D)
        'tactile': fingertip_forces        # 촉각 (선택적)
    }
    
    # 연속 행동 공간으로 통합 (DQN 제거)
    policy = ContinuousPolicy(
        obs_dim=compute_obs_dim(obs),
        action_dim=arm_action_dim + hand_action_dim
    )
    
    # 인간 개입: Teleoperation glove 사용
    if human_intervenes():
        glove_data = get_glove_data()
        hand_action = project_to_synergy(glove_data)
        arm_action = get_arm_action_from_glove()

시나리오 2: In-hand 재조작 (기존 HIL-SERL로는 불가능)

flowchart LR
    A[물체 파지] --> B[회전 필요<br>감지]
    B --> C[손가락<br>재배치]
    C --> D[물체 회전]
    D --> E[삽입 수행]
    
    style A fill:#e3f2fd
    style B fill:#fff3e0
    style C fill:#f3e5f5
    style D fill:#fff3e0
    style E fill:#c8e6c9

Figure 12: In-hand 재조작 시나리오

이 작업은 그리퍼로는 원천적으로 불가능하지만, Allegro Hand로는 자연스럽게 수행할 수 있습니다.

예상되는 도전과 해결책

도전	원인	해결책
긴 훈련 시간	고차원 행동 공간	시너지 기반 차원 축소
어려운 인간 개입	복잡한 텔레오퍼레이션	Glove/VR 인터페이스
불안정한 학습	손가락 간 충돌	안전한 탐색 영역 제한
하드웨어 손상	과도한 접촉력	임피던스 제어 + 힘 제한

권장 연구 로드맵

flowchart TB
    subgraph Phase1["1단계: 기초"]
        P1A[시너지 분석<br>차원 축소]
        P1B[텔레오퍼레이션<br>인터페이스 구축]
        P1C[안전 제어기<br>구현]
    end
    
    subgraph Phase2["2단계: 단순 작업"]
        P2A[단순 파지<br>작업]
        P2B[기본 삽입<br>작업]
    end
    
    subgraph Phase3["3단계: 고급 작업"]
        P3A[In-hand<br>재조작]
        P3B[복잡한<br>조립]
        P3C[도구 사용]
    end
    
    subgraph Phase4["4단계: 통합"]
        P4A[촉각 통합]
        P4B[VLA 모델<br>연동]
    end
    
    Phase1 --> Phase2 --> Phase3 --> Phase4
    
    style Phase1 fill:#e3f2fd
    style Phase2 fill:#fff3e0
    style Phase3 fill:#f3e5f5
    style Phase4 fill:#c8e6c9

Figure 13: Dexterous Hand HIL-SERL 연구 로드맵

실험적 제안: Allegro Hand V4 + HIL-SERL

초기 실험 설정

# 권장 초기 설정
hardware:
  arm: Franka Emika Panda (또는 유사 7DoF 암)
  hand: Allegro Hand V4
  cameras:
    - wrist_mounted: Intel RealSense D435
    - side_view: Intel RealSense D435
  teleoperation: MANUS Prime 3 Glove

action_space:
  arm: 6D Cartesian twist
  hand: 4D synergy (첫 4개 주성분)
  
observation_space:
  images: 2 × 128×128 RGB
  arm_proprio: 7 joint positions + velocities
  hand_proprio: 16 joint positions + velocities
  
training:
  demo_collection: 30-50 demonstrations
  intervention_device: MANUS Glove
  expected_training_time: 2-4 hours (그리퍼 대비 증가)

기대 효과

새로운 작업 범주: In-hand manipulation, 도구 사용
더 견고한 파지: 다양한 물체 형상 대응
적응적 조작: 실시간 파지 자세 조정
인간 수준 유연성: 복잡한 조립 작업 가능

핵심 메시지

HIL-SERL의 프레임워크는 Dexterous Hand로 자연스럽게 확장 가능합니다. 핵심은 (1) 행동 공간의 효율적 표현, (2) 적절한 인간 개입 인터페이스, (3) 촉각 정보의 효과적 통합입니다. Allegro Hand V4와 같은 플랫폼은 이 연구의 자연스러운 다음 단계입니다.

비판적 고찰: 강점과 한계

강점

1. 실용적 훈련 시간

대부분의 작업이 1~2.5시간 내에 완료됩니다. 이는 기존 RL 연구에서 “simulation-to-real” 또는 수일~수주의 실세계 훈련이 필요했던 것과 대조적입니다.

2. 범용성

단일 프레임워크로 해결 가능한 작업 범위:

정밀 조립 (마이크로미터 단위)
동적 조작 (밀리초 단위)
양팔 협조 (복잡한 동기화)
변형 가능 물체 (예측 불가능한 형태 변화)

3. 인간 초월 성능

RL의 핵심 장점이 입증됨:

사이클 타임: 인간 시연보다 1.8배 빠름
일관성: 100% 성공률 (인간도 실수함)
적응성: 외부 교란에 자동 대응

4. 시스템 수준 통합

개별 기술보다 통합의 힘을 보여줌:

사전훈련 비전 + 효율적 RL + 인간 개입 + 적절한 제어기

한계 및 개선 방향

1. 장기 지평 작업

현재 가장 긴 작업(타이밍 벨트)도 6시간이 소요됩니다. 더 긴 지평의 작업에서는 샘플 복잡도가 급증할 수 있습니다.

잠재적 해결책:

작업 자동 분할 (VLM 활용)
계층적 RL
가치 함수 사전훈련

2. 일반화 한계

실험에서 광범위한 랜덤화나 비구조화 환경 테스트가 없었습니다.

잠재적 해결책:

훈련 시간 연장 + 환경 랜덤화
대규모 데이터셋으로 사전훈련된 비전 기반 모델 활용

3. 스케일링 문제

각 작업마다 처음부터 훈련해야 합니다.

잠재적 해결책:

범용 가치 함수 사전훈련
멀티태스크 RL
로봇 파운데이션 모델과의 통합

4. 인간 개입의 품질 의존성

인간 개입의 질이 학습에 영향을 미칩니다. 일관되지 않은 개입은 오히려 해가 될 수 있습니다.

잠재적 해결책:

개입 품질 평가 메커니즘
자동화된 개입 필터링
적응적 개입 통합 가중치

연구 방향 제안

파운데이션 모델 통합: HIL-SERL로 생성한 고품질 데이터로 범용 로봇 모델 훈련
가치 함수 전이: 여러 작업에서 공유 가능한 조작 “프리미티브” 학습
자율 스킬 발견: VLM을 활용한 자동 작업 분할 및 보상 생성
산업 적용: HMLV(High-Mix Low-Volume) 제조 환경에서의 검증

방법	샘플 효율성	인간 데이터 활용	성능
QT-Opt	중간	없음	중간
SERL	높음	데모만	높음
HIL-SERL	매우 높음	데모 + 개입	매우 높음
Model-based RL	높음	선택적	중간~높음

방법	원리	한계
Behavioral Cloning	직접 모방	오류 누적
DAgger	대화형 모방	인간 수준 한계
Diffusion Policy	다중 모달 분포 학습	반응성 부족
HIL-SERL	RL + 인간 가이드	인간 초월 가능

연구	접근법	한계
Fazeli et al.	준동적(quasi-dynamic) 밀기	저속, 덜 도전적
HIL-SERL	동적 휘핑	고속, 직접 픽셀 입력

연구	접근법	한계
Kormushev et al.	모션 캡처 + DMP	특수 장비 필요
HIL-SERL	픽셀 직접 입력	범용 카메라만 필요

요약 및 결론

핵심 메시지

HIL-SERL은 실세계 로봇 강화학습의 실용성을 입증했습니다:

“적절한 시스템 수준 설계 선택과 함께라면, RL은 실세계에서 다양하고 복잡한 비전 기반 조작 작업을 효과적으로 해결할 수 있다.”

핵심 기여 요약

HIL-SERL 핵심 기여 요약

측면	세부 내용
시간 효율성	1-2.5시간 훈련, 실용적 배포 가능
성능	100% 성공률, 인간 초월, 1.8x 빠른 속도
범용성	동적 조작, 정밀 조립, 양팔 협조, 변형 물체
시스템 통합	사전훈련 비전, RLPD, 인간 개입, 임피던스 제어

로봇공학자를 위한 실천적 조언

시작은 간단하게: 단순한 이진 보상 분류기로 시작하세요. 복잡한 보상 형성은 대부분 불필요합니다.
사전훈련 활용: ImageNet 사전훈련된 백본은 “무료 점심”입니다. 꼭 활용하세요.
인간 개입은 가이드: 시연을 “정답”으로 취급하지 말고, RL이 더 나은 해를 찾도록 “힌트”로 활용하세요.
좌표계 설계 중요: 자기중심적 표현은 공간 일반화의 핵심입니다.
안전 제어기 필수: 임피던스 제어와 참조 제한은 탐색 중 안전을 보장합니다.

미래 전망

HIL-SERL은 로봇 조작 연구의 새로운 장을 열었습니다:

단기: 산업 현장에서의 HMLV 제조 적용
중기: 로봇 파운데이션 모델의 고품질 데이터 생성 도구
장기: 범용 로봇 조작을 향한 디딤돌

파인만 교수님이라면 이렇게 마무리하셨을 것 같습니다:

“복잡해 보이는 문제도 올바른 관점에서 보면 단순해질 수 있다. HIL-SERL은 인간과 기계의 협력이 어떻게 복잡한 조작 문제를 단순화하는지 보여준다. 우리는 아직 시작점에 있지만, 그 시작점이 얼마나 흥미로운지!”

부록: 구현 세부사항

A. 의사코드 (Pseudocode)

# HIL-SERL 메인 훈련 루프
def hil_serl_training():
    # 초기화
    demo_buffer = load_demonstrations(n=20-30)
    rl_buffer = ReplayBuffer()
    policy = Policy(pretrained_resnet=True)
    q_function = QFunction()
    grasp_critic = GraspCritic()  # DQN for gripper
    
    for episode in range(max_episodes):
        state = env.reset()
        
        for step in range(max_steps):
            # 인간 개입 체크
            if human_wants_to_intervene():
                action = get_human_action()  # SpaceMouse
                store_to_buffer(demo_buffer, (s, a, r, s'))
                store_to_buffer(rl_buffer, (s, a, r, s'))
            else:
                # 정책에서 행동 샘플링
                continuous_action = policy.sample(state)
                gripper_action = grasp_critic.argmax(state)
                action = concat(continuous_action, gripper_action)
                store_to_buffer(rl_buffer, (s, a, r, s'))
            
            next_state, reward, done = env.step(action)
            state = next_state
            
            # 비동기 학습 (Learner process)
            if learner_ready():
                # 50:50 샘플링
                demo_batch = demo_buffer.sample(batch_size // 2)
                rl_batch = rl_buffer.sample(batch_size // 2)
                batch = concat(demo_batch, rl_batch)
                
                # RLPD 업데이트
                update_q_function(q_function, batch)
                update_policy(policy, batch, q_function)
                
                # DQN 업데이트 (그리퍼)
                update_grasp_critic(grasp_critic, batch)

B. 하이퍼파라미터

파라미터	값	설명
Learning rate (actor)	3e-4	Adam optimizer
Learning rate (critic)	3e-4	Adam optimizer
Batch size	256	Demo + RL 버퍼에서 128씩
Discount factor (γ)	0.99	미래 보상 가중치
Target network update (τ)	0.005	Polyak averaging
Image size	128×128	모든 카메라 공통
Control frequency	10 Hz	정책 실행 빈도
Demo buffer size	20-30 episodes	작업별 조정

C. 하드웨어 구성

로봇: Franka Emika Panda (단일/양팔)
카메라: Intel RealSense (손목 + 측면)
입력 장치: 3Dconnexion SpaceMouse
컴퓨팅: NVIDIA RTX 4090 GPU

주요 참고문헌:

RLPD: Ball et al. (2023). “Efficient Online Reinforcement Learning with Offline Data”
SERL: Luo et al. (2024). “SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning”
SAC: Haarnoja et al. (2018). “Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning”
HG-DAgger: Kelly et al. (2018). “HG-DAgger: Interactive Imitation Learning with Human Experts”
Diffusion Policy: Chi et al. (2024). “Diffusion Policy: Visuomotor Policy Learning via Action Diffusion”

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

서론: 문제 정의와 배경

로봇 조작(manipulation)은 로봇공학의 핵심 과제 중 하나로, 인간 수준의 정밀하고 역동적인 조작 능력을 달성하는 것은 오랜 도전 과제입니다. 특히 물체를 정교하게 다루거나(dynamic & dexterous), 예를 들어 부품을 조립하거나 빠른 동작으로 물체를 던지고 받는 등의 작업에서, 로봇이 스스로 학습하여 인간 이상의 성능을 보이는 것은 이상적인 목표입니다. 강화학습(RL)은 이러한 복잡한 스킬을 자율적으로 시도와 실패를 거쳐 습득할 수 있다는 점에서 큰 잠재력을 지닙니다. 잘만 활용하면, RL로 학습된 정책(policy)은 해당 물리적 작업에 최적화되어 수작업 설계한 제어기보다도 뛰어난 성능, 심지어 인간 원격조작보다도 나은 성과를 낼 수 있을 것으로 기대됩니다.

하지만 현실 세계에서 이 약속을 실현하기란 쉽지 않았습니다. 표본 효율성 문제(sample complexity)와 보상 설계 문제, 그리고 학습의 안정성 등이 발목을 잡아 왔습니다. 시뮬레이션 상에서는 로봇의 고난이도 운동 기술을 RL로 학습시킨 성공 사례들이 있었지만, 실제 로봇에 비전 기반 RL을 적용하여 물리적으로 복잡한 작업을 빠르게 학습시키는 것은 오랫동안 “비효율적이고 위험하다”는 인식이 있었습니다. 또한 정확한 보상 함수를 손수 설계해야 하는 전제가 있는 경우가 많았는데, 복잡한 조립 작업 등에서는 어떤 부분 성공에 얼마의 보상을 줄지 결정하기 어려워 사실상 불가능에 가깝습니다.

이런 배경에서 Berkeley 대학 Levine 교수 연구팀은 “실시간 실제 로봇 상에서, 시각 입력만으로도 1~2시간 만에 고난도 작업들을 거의 완벽히 배우게 할 수는 없을까?”라는 도전적인 목표를 세웠습니다. 그 해답으로 제시된 것이 HIL-SERL(Human-in-the-Loop Sample Efficient Robotic Learning)입니다. 이 시스템은 한마디로 “사람이 참여하는 표본-효율 강화학습”으로, 여러 구성 요소를 정교하게 결합함으로써 실제 로봇 환경에서 짧은 학습으로도 고성능의 비전 기반 조작 정책을 얻어냈습니다.

핵심 아이디어는 다음과 같습니다: 인간 시범과 중간 교정을 활용한 오프폴리시(off-policy) 강화학습입니다. 우선 인간 전문가가 일정량의 시범 데이터를 제공하여 초기 학습을 도우며, 학습 중에 로봇이 실수를 할 때 사람이 개입(intervene)하여 로봇을 다시 올바른 상태로 유도합니다. 이러한 인간의 시범/교정 데이터를 표본 효율이 높은 RL 알고리즘에 통합해 학습함으로써, 1~2.5시간 내에 거의 모든 시도에서 성공하고 인간보다 빠른 작업 수행 시간을 보이는 정책을 얻었습니다. 특히 이 접근법은 동적 물체 다루기(예: 프라이팬으로 물체 뒤집기), 정밀 조립(예: 부품 꽂기), 양팔 협업(dual-arm coordination) 등 다양한 어려운 작업들에 일관되게 적용되어, 기존 모방학습이나 이전 RL 방식 대비 평균 2배의 성공률 향상, 1.8배의 속도 개선을 보여주었습니다. 이러한 성과는 강화학습이 현실에서 가능하며, 적절한 시스템 설계 하에 인간 전문가도 압도하는 “슈퍼휴먼” 성능을 낼 수 있음을 보여주는 의미 있는 사례입니다.

본 리뷰에서는 HIL-SERL 논문의 핵심 내용을 로봇공학 연구자 관점에서 깊이 있게 분석하겠습니다. 서론에서는 문제 제기와 접근법의 큰 그림을 다뤘고, 이후 방법론 섹션에서 HIL-SERL의 시스템 구조와 알고리즘을 상세히 설명합니다. 특히 논문에 제시된 수식들을 직관적으로 풀어 설명하고, 비유를 통해 이해를 돕겠습니다. 실험 섹션에서는 저자들이 수행한 다양한 작업들, 그 실험 설정과 결과를 살펴보고, 얻어진 정책의 특성과 성능을 해석합니다. 이어서 비판적 고찰에서는 HIL-SERL의 강점과 약점을 평가하고, 향후 개선이나 응용을 위한 미래 방향을 제언합니다. 마지막으로 요약 및 결론에서 핵심 통찰을 정리하면서, 독자인 로봇공학자에게 이 연구가 주는 시사점을 짚어보겠습니다.

방법: HIL-SERL 시스템의 설계와 알고리즘 상세분석

HIL-SERL은 여러 구성 요소의 정교한 통합을 통해 실제 로봇 강화학습의 난점들을 해결합니다. 먼저 전체적인 시스템 아키텍처와 학습 흐름을 개관하고, 각 구성 요소 – 시각 입력 처리, 보상 설계, 로봇 제어 체계, 그리퍼(손) 제어, 인간 개입 알고리즘 – 를 차례로 살펴보겠습니다.

시스템 개요와 강화학습 알고리즘

HIL-SERL은 비전 기반 오프폴리시 RL 구조로, Actor-critic 계열 알고리즘을 기반으로 합니다. Actor(행동자) 프로세스는 실제 로봇 환경에서 정책을 실행하여 데이터를 모으고, Learner(학습자) 프로세스는 이 데이터를 이용해 정책(배우)과 가치함수(평가자) 신경망을 업데이트합니다. 이 둘은 비동기(asynchronous) 방식으로 병렬 동작하여 데이터 수집과 파라미터 학습을 효율적으로 병행합니다. 수집된 데이터는 재현 메모리(replay buffer)에 저장되고, 학습자는 이를 무작위 샘플링하여 신경망을 훈련시킵니다. HIL-SERL에서는 두 개의 버퍼를 둡니다: 하나는 시범/교정 데이터 버퍼 (데모 버퍼)이고, 다른 하나는 로봇 자체 시도 데이터 버퍼 (RL 버퍼)입니다. 학습 시 이 두 버퍼에서 동등한 비율로 샘플링하여 배치(batch)를 구성함으로써, 사전데이터(오프라인)와 온라인 경험을 균형 있게 활용합니다. 이러한 오프라인-온라인 50:50 샘플링 전략은 저자들이 사용한 RLPD 알고리즘의 핵심으로, 이전 데이터의 지식을 빠르게 활용하면서도 새로운 탐색을 소홀히 하지 않게 합니다.

한편, 정책 신경망의 시각 입력부에는 사전학습된 비전 백본을 사용하였습니다. 예컨대 ImageNet 등 대규모 데이터셋으로 학습된 CNN 특징추출기를 초기 가중치로 삼아, 초반 학습 안정성을 높였습니다. 이는 고차원 이미지 입력으로 인한 최적화 불안정 문제를 완화하여, 짧은 시간 내 수렴을 돕는 장치입니다.

강화학습 문제 정의를 간략히 기술하면, MDP (\mathcal{S}, \mathcal{A}, P, R, \gamma)에서 정책 \pi_\theta(a\|s)는 누적 기대보상 J(\pi)을 최대화하도록 학습됩니다. 여기서 \mathcal{S}는 상태공간 (예: 카메라 이미지 + 로봇 관절/엔드이펙터 상태), \mathcal{A}는 행동공간 (예: 엔드이펙터의 속도/힘 커맨드, 그리퍼 여닫기 등), P(s\'\|s,a)는 환경 동역학이며 R(s)는 보상함수입니다. 최적 정책은 다음 식을 만족하는 \pi\^\*로 정의됩니다:

\pi^{*} = \arg\max_{\pi}J(\pi),\quad\quad\text{where }J(\pi) = \mathbb{E}_{s_{0} \sim \rho_{0},a_{t} \sim \pi}\left\lbrack \sum_{t = 0}^{\infty}\gamma^{t}R\left( s_{t} \right) \right\rbrack.

즉 할인 인자 \gamma \in \[0,1\] 하에서 미래 보상의 기댓값을 최대화하는 것입니다. HIL-SERL의 경우, R(s)는 작업 성공 여부만 판단하는 희소 보상(sparse reward)이므로, J(\pi)는 곧 에피소드 성공 확률을 최대화하는 문제가 됩니다. \gamma 값은 0.96~0.985 사이로 작업별로 지정되었는데 (예: 대부분 0.97, 일부 0.98), \gamma \< 1로 설정한 것은 “빨리 성공할수록 더 나은 보상”이 되도록 하여, 정책이 작업 수행 시간을 단축하도록 유도합니다. 실제로 이러한 설계 덕분에 학습된 정책이 인간 시범보다 빠른 경로를 찾아내는 경향이 있었습니다 (자세한 내용은 실험 결과에서 논의).

강화학습 학습 알고리즘은 Off-policy Actor-Critic 방식으로, 저자들은 이를 RLPD (Ball et al., 2023) 알고리즘으로 명시하고 있습니다. 구체적으로 RLPD는 Soft Actor-Critic(SAC) 계열의 개량된 알고리즘으로 볼 수 있습니다. Critic(가치 함수) 네트워크 Q_{\theta}(s,a) 두 개를 운용하며 (더블 Q), 타깃 네트워크 Q_{\theta\'}를 이용한 TD(시간차) 손실으로 학습합니다. 이를 수식으로 표현하면, 연속 행동공간에 대한 Q-함수 업데이트 손실 L_Q는 다음과 같습니다:

L_{Q}(\theta) = \mathbb{E}_{(s,a,r,s\prime) \sim \mathcal{B}}\left\lbrack (Q_{\theta}(s,a) - \left( r + \gamma\, Q_{\theta\prime}\left( s\prime,\, a\prime = \pi_{\phi}(s\prime) \right) \right))^{2} \right\rbrack,

여기서 \mathcal{B}는 리플레이 버퍼에서 샘플링된 배치이고, a\'=\pi_\phi(s\')는 현재 정책(액터) \pi_\phi가 다음 상태에서 선택한 행동입니다. \theta\'은 타깃(target) 네트워크의 파라미터로, 폴리액 평균(Polyak averaging) 방식으로 \theta를 지연 업데이트하여 학습 안정성을 줍니다. 식 (1)은 벨만 방정식 Q(s,a) = r + \gamma Q(s\', a\')을 평균제곱오차로 맞추는 TD(0) 학습이며, 실제 구현에서는 더블 Q 및 타깃 네트워크로 과최적화와 발산을 방지합니다.

다음으로 Actor(정책) 네트워크 \pi_\phi(a\|s)의 학습은, Maximum Entropy RL의 원리에 따라 엔트로피 보너스를 포함한 손실로 최적화됩니다. 쉽게 말하면, 정책은 Q 값이 높은 행동을 선호하면서도 행동 분포의 엔트로피가 높아지도록 학습됩니다. 이러한 엔트로피 정규화는 탐색을 촉진하고 최적해를 찾는 데 도움을 줍니다. Actor의 손실 L_\pi는 다음과 같이 쓸 수 있습니다:

L_{\pi}(\phi) = \mathbb{E}_{s \sim \mathcal{B}}\left\lbrack - Q_{\theta}\left( s,a = \pi_{\phi}(s) \right) + \alpha\,\mathcal{H}\left( \pi_{\phi}\left( \cdot |s \right) \right) \right\rbrack,

여기서 \mathcal{H}는 정책의 엔트로피이며, \alpha는 엔트로피 가중치입니다. HIL-SERL에서는 이 \alpha를 학습 중 자동 조절하는 엔트로피 튜닝 기법을 사용하였다고 언급하고 있습니다. Actor 업데이트는 정책 그래디언트 방식으로 이루어지며, 결과적으로 정책이 높은 Q 값과 탐색성을 동시에 추구하도록 만듭니다.

요약하면, HIL-SERL의 RL 알고리즘은 SAC 기반 off-policy RL로 볼 수 있고, 이전 시범/교정 데이터와 현재 데이터를 균형 섞어 쓰는 RLPD 전략이 적용되었습니다. 이러한 구성 덕분에, 적은 실험 데이터로도 안정적이고 빠르게 학습이 가능했습니다.

보상 함수 설계: 이진 성공 판정

보상 함수 R(s)는 강화학습의 방향을 결정하는 핵심입니다. 앞서 언급했듯, HIL-SERL은 희소한(binary) 보상 체계를 사용합니다. 이는 각 작업에 대해 “성공 시 +1, 그 외 0”의 보상을 주는 방식입니다. 단순하지만, 복잡한 작업에서 임의로 dense 보상을 설계하는 대신 성공/실패만 명확히 정의하여 문제를 단순화했습니다. 물론, 로봇은 어떻게 성공 여부를 알까요? 저자들은 이를 위해 작업별 이진 분류기를 학습시켰습니다.

구체적으로, 각 과제(task)에 대해 사람이 로봇을 원격 조작(tele-operation)하여 성공 상태의 예시 데이터 ~200개와 실패 상태의 예시 ~1000개를 모았습니다. 예를 들어, RAM 삽입 작업이라면 성공 상태는 RAM이 슬롯에 정확히 꽂혀있는 이미지들이고, 실패 상태는 삽입이 안 되었거나 잘못된 위치의 이미지들입니다. 이렇게 약 10회 가량의 시범 에피소드(성공/실패 다양한)에서 뽑은 영상 프레임들을 가지고 이진 분류기 C_\psi(s)를 훈련합니다. 이 보상판별기는 로봇 팔의 손목 카메라(wrist camera) 또는 측면 카메라 이미지 입력을 받아 해당 상태가 성공 완료인지 아닌지를 출력합니다. 교차 엔트로피 손실로 학습된 이 분류기는 95% 이상의 정확도를 보였다고 합니다.

훈련된 보상 분류기는 매 시간 스텝마다 로봇 상태를 보고, 성공 상태로 판정되는 순간에만 +1 보상을 주고 에피소드를 종료시킵니다. 그 이전까지는 보상이 0이며, 만약 일정 시간 내 성공 못 하면 실패로 간주하고 에피소드 종료(보상 0) 처리합니다. 즉 HIL-SERL의 에피소드는 “성공=+1로 종료” 아니면 “타임아웃/실패=0로 종료”의 구조인 셈입니다. 저자들은 사람이 직접 shaping한 복잡한 보상 없이도, 시범+교정 데이터만 있다면 희소보상으로 충분하다는 점을 강조합니다. 실제로 “복잡한 작업에서는 섣불리 조밀 보상 설계하기보다, 이렇게 간단히 성공/실패만 정의하고 나머지는 RL과 사람 도움에 맡기는 편이 낫다”는 통찰을 얻었다고 서술합니다.

결과적으로, 이 보상 체계는 클리어한 목표를 제시합니다: 에피소드 당 성공 확률 최대화. 이는 사실상 강화학습을 성공률 100%를 향해 수렴시키는 과정으로 해석할 수 있습니다. 또한, 시간 할인\ \gamma 덕분에 정책은 가능한 빨리 성공하려는 경향을 보이게 되고, 이는 인간 데모보다 더 효율적인 경로를 탐색하는 원동력이 되었습니다.

요약하면, HIL-SERL의 보상은 작업 완료 여부 하나로 결정되며, 이를 위해 사전 수집한 성공/실패 사례로 훈련된 분류기가 활용되었습니다. 이는 로봇에게 “딱 맞췄을 때만 칭찬해주는” 방식이라 처음엔 어려울 수 있지만, 곧 소개할 인간 개입과 데모 덕에 학습이 가능하도록 환경이 조성됩니다. 비유하자면, 아이에게 정답일 때만 보상을 주는 엄격한 선생님과 같지만, 대신 옆에서 필요하면 손을 잡아 이끌어주는 보조 교사가 함께 있는 셈입니다.

로봇 시스템 설계: 좌표계와 컨트롤러

HIL-SERL이 성공하려면, 소프트웨어뿐 아니라 물리적인 로봇 시스템 설계도 중요합니다. 저자들은 관찰공간과 제어기의 설계에 몇 가지 핵심적인 결정을 내렸습니다.

먼저 관찰(상태) 표현으로, 로봇 자신의 관절/엔드이펙터 상태(proprioceptive state)를 상대 좌표계로 나타내었습니다. 구체적으로, 각 에피소드 시작 시 로봇 손끝(End-effector)의 초기 자세를 원점으로 삼아, 그 이후의 모든 위치/자세 변화를 자기 자신의 출발점 기준으로 표현합니다. 이렇게 하면 작업 대상의 위치가 조금씩 달라져도, 로봇은 항상 자기 기준으로 보는 셈이 되어 공간 일반화에 유리합니다. 마치 사람이 눈을 감고 손을 움직일 때, 처음 손 위치를 기준으로 상대적으로 방향을 잡는 것과 비슷합니다. 이와 함께, 학습 시 에피소드마다 로봇의 초기 자세를 무작위로 약간 변경하여 시작했는데, 이 역시 정책이 다양한 출발 여건에서도 성공할 수 있도록 해주는 기법입니다. 요컨대 로봇은 “내 손이 원래 여기 있어야 하는데?”라는 고정관념을 버리고, 어디서 시작하든 목표물과 상대적인 움직임만 배우도록 한 것입니다. 그 덕분에, 실험 중에 작업 대상이 중간에 움직이는 방해 상황이 있어도 정책이 잘 대처할 수 있었다고 합니다 (후술할 적응/강건성 실험 부분에서 예시).

다음으로 로봇 팔 제어를 안전하고 효과적으로 하기 위해, 임피던스 제어기(impedance controller)를 사용했습니다. 임피던스 제어는 환경과 접촉이 필요한 작업에서 유용한 방식으로, 로봇을 마치 스프링-댐퍼 시스템처럼 취급하여 힘 조절과 안전성을 보장합니다. HIL-SERL에서는 예를 들어 꽂기/삽입 작업처럼 힘이 가해지는 작업에 이 임피던스 제어를 적용하고, 거기에 참조 궤적 제한(reference limiting) 등을 추가해 실시간으로 과도한 힘이나 속도를 제한했습니다. 이는 로봇 팔이 학습 중 엉뚱한 힘을 주거나 충돌할 때 하드웨어를 보호하는 안전장치입니다. 이전에 같은 연구진의 SERL 시스템에서 이러한 안정화 기법이 사용되었고, 이번에도 그것을 계승했다고 합니다. 쉽게 말해, 로봇이 아무리 학습 중 폭주하더라도 “안전 모드”가 항상 작동하고 있어 큰 사고 없이 진행될 수 있었습니다.

반대로, 매우 역동적인 작업(예: 공중으로 물체를 던지거나, 빠르게 채찍질하듯 움직이는 동작)에서는 열린 고리(오픈루프) 제어를 사용했습니다. 구체적으로, 엔드이펙터 좌표계에서 직접 힘/토크(wrench)를 명령하여 로봇을 가속시켰습니다. 이러한 feedforward 힘 제어는, 예컨대 프라이팬으로 물체를 휙 뒤집는 동작이나 제나 블록을 채찍으로 빼내는 동작에서 아주 짧은 순간에 큰 가속을 주기 위해 필요했습니다. 폐루프 제어(피드백 제어)로는 센서 지연 때문에 따라잡기 힘든 순간적 파워를 오픈루프로 줘버린 것입니다. 물론 이런 방식은 정교한 피드백은 없지만, 단 몇백 밀리초의 액션으로 결정되는 과제에서는 “그 순간 제대로 힘을 줬으면” 성공하므로 충분했습니다. 예를 들어 Jenga 블록을 채찍으로 쳐서 빼낼 때, 한번 휘두르는 동안은 미세 조정 없이도 처음 각도/힘이 정확하면 성공합니다. HIL-SERL 정책은 그 각도와 힘의 적절한 조합을 학습으로 발견했고, 오픈루프 제어로 이를 실현했습니다.

정리하면, HIL-SERL의 로봇 제어 설계는 작업 특성에 맞게 두 가지로 요약됩니다: - 정적/정밀 작업에는 임피던스 기반 피드백 제어로 안전하고 섬세하게 접근, - 동적/신속 작업에는 피드포워드 힘 제어로 필요한 모멘텀을 즉각 부여.

이 모두는 실제 로봇 하드웨어에서 1~2시간 동안 수천 번 시도해도 기계에 무리가 없도록 하면서, 동시에 학습에 충분한 자유도를 주기 위한 설계입니다. IsaacSim과 같은 고성능 시뮬레이터를 사용할 경우 이러한 물리적 위험을 가상화할 수 있으나, 본 논문에서는 실 로봇으로 직접 학습하는 것을 택했기에 이러한 안전장치들이 필수적이었습니다. 로봇공학 실무자 입장에서 볼 때, 만약 IsaacSim에서 HIL-SERL을 구현한다면 실제 물리 충돌의 위험 없이도 동일 알고리즘을 적용할 수 있겠지만, 시뮬레이터의 물리 정확도와 도메인 차이 문제가 또 생길 수 있습니다. HIL-SERL은 아예 처음부터 실제에서 해버림으로써 sim-to-real 문제를 피했고, 그 대신 사람의 감독과 컨트롤러로 위험을 관리한 것으로 볼 수 있습니다. 이는 “인간 안전 감독관이 지켜보는 가운데, 로봇이 배우도록 현장 투입”한 셈이지요.

그리퍼(손) 제어: 이산 행동의 분리

HIL-SERL이 특별한 또 한 가지는 그리퍼(open/close 손동작) 제어를 본체 팔의 연속 제어와 분리했다는 점입니다. 로봇 팔의 움직임(6~7축 연속 제어)과, 물체를 잡기 위한 손아귀 동작(이산 2값: 열기/닫기)은 성격이 다릅니다. 기존 연구에서 이를 하나의 연속 공간에 넣어 학습하면, 손 동작의 이산적 특성을 네트워크가 표현하기 어려워 학습이 비효율적일 수 있습니다. 예를 들어, 물체를 잡는 동작은 0 또는 1의 판단인데, 이를 하나의 연속 액션 값(예: -1~+1 사이)으로 해봤자 제대로 열고 닫는 타이밍을 표현하기 까다롭습니다.

그래서 HIL-SERL에서는 두 개의 MDP를 병행 해결한다고 개념화했습니다. 하나는 연속 행동공간 M_c로 로봇 팔의 3D 이동/회전/힘 조절 등을 담당하고, 다른 하나는 이산 행동공간 M_d로 그리퍼의 “열기/닫기/유지”를 담당합니다. 두 MDP는 상태공간 S는 공통 (똑같은 환경 관측: 카메라 영상, 로봇 상태, 그리퍼 상태 등)이고 행동공간만 연속 vs 이산으로 다릅니다. 쉽게 말하면, 하나는 팔 움직이는 뇌, 하나는 손 움직이는 뇌를 둔 셈입니다.

이산 그리퍼 동작을 학습시키기 위해 DQN 방식의 별도 Critic 네트워크를 사용했습니다. 그리퍼의 행동들은 예를 들면 {열기, 닫기, 유지} 3가지이며 (양팔 로봇이면 각 팔의 열기/닫기를 조합해 더 많아질 수도 있음), 이들에 대해 Q값을 평가하는 그리퍼 Q-크리틱 Q_d(s, a_d)를 훈련합니다. Critic 학습은 고전적인 벨만 이퀘이션 업데이트로, DQN 알고리즘과 동일합니다. 수식으로 표현하면 다음과 같습니다 (HIL-SERL 본문 Eq.(3)):

Q_{d}\left( s_{t},a_{t} \right) \leftarrow r_{t} + \gamma\max_{a\prime \in \mathcal{A}_{d}}{\widehat{Q}}_{d}\left( s_{t + 1},a\prime \right),

여기서 \hat{Q}*d는 타깃 네트워크로서 현재 Q_d의 지연된 복사본입니다. 이 업데이트를 손실 함수 관점에서 보면, 2제곱 오류 손실 L*_d(s\',a\')))\^2을 줄이는 방향으로 Q_d 파라미터를 조정하는 것입니다. 타깃 네트워크는 Polyak 평균으로 업데이트하여 훈련을 안정화합니다 (DQN에서 흔히 하는 기법). } = (Q_d(s,a) - (r + _{a'} \hat{Q

정책 실행 시는 어떻게 둘을 결합하느냐 하면, 우선 현재 상태에서 연속 정책 \pi_\phi로 팔 움직임 액션 a_c를 뽑고, 동시에 이산 Critic Q_d로부터 최댓값 행동 a_d를 고릅니다. 그리고 이 (a_c, a_d) 쌍을 하나의 통합 액션으로 로봇에 적용합니다. 예컨대 삽입 작업에서 어떤 시점에 \pi_\phi가 “앞으로 전진”이라는 팔 운동을 냈고, Q_d는 “그리퍼 닫아라”를 최대 Q로 판단했다면, 로봇은 앞으로 전진하면서 동시에 집게 손가락을 닫습니다. 이렇게 함으로써, 정책 네트워크는 팔 움직임에 집중하여 연속 공간을 커버하고, 그리퍼 동작은 탐욕적 정책(\arg\max Q_d)으로 취해집니다.

이 접근은 언뜻 복잡해 보이지만, 실제로는 학습을 크게 안정시켰습니다. 그리퍼 동작은 사람 시범으로도 어느 타이밍에 닫아야 할지가 명확히 표시되기 때문에 Q러너가 비교적 쉽게 학습할 수 있고, 연속 정책은 그에 맞춰 손이 닫힐 상황을 만들도록 조절됩니다. 비유하자면, 운전할 때 페달 조작(이산: 브레이크/액셀)과 스티어링(연속)을 따로 배우는 것과 같습니다. 함께 한 네트워크로 배우려 하면 헷갈리지만, 둘을 나누면 더 빨리 숙달되지요. 실제 저자들도 “연속 분포로 이산 그립 동작까지 근사하려니 어렵더라, 그래서 차라리 분리했더니 시범+교정과 맞물려 성능이 좋았다”라고 밝혔습니다.

인간-참여 강화학습 절차: 인터벤션과 데이터 수집

이제 HIL-SERL의 가장 중요한 인간 개입(human-in-the-loop) 부분을 살펴보겠습니다. 표본 효율 문제를 극복하려면, 효과적인 탐색이 필요한데 현실 로봇에서는 무작정 탐색하다간 시간도 오래 걸리고 위험할 수 있습니다. HIL-SERL은 사람의 피드백을 통해 이 문제를 해결했습니다. 한마디로 “로봇이 잘못할 때 옆에서 지적하고 고쳐준다”는 것입니다.

註: 이러한 접근은 DAgger(Dataset Aggregation) 같은 모방학습+인터벤션 기법과 유사하지만, 결정적으로 모은 데이터로 RL 업데이트를 한다는 차이가 있습니다. 즉, HIL-SERL은 HG-DAgger(Kelly et al., 2018)에서 영감을 받되, 수집 데이터로 즉각 정책을 강화학습 업데이트하여 더 나은 성능을 얻는 점에서 새로운 방향입니다.

인터벤션 절차는 다음과 같습니다. 학습 중 로봇이 에피소드를 수행하는 동안, 사람이 모니터링합니다. 사람은 VR 장치나 SpaceMouse(3D 조이스틱) 등을 통해 로봇을 원격조작할 수 있는 상태입니다. 에피소드에서 매 시간 단계 t마다, 사람은 현재 로봇 상태 s_t를 보고 개입 여부 \mathbb{1}_{\text{intervene}}를 판단합니다. 만약 로봇이 큰 실수를 저지르거나 회복 불가능한 나쁜 상태로 갈 것 같으면, 개입 플래그를 켭니다 (\mathbb{1}=1). 그러면 로봇 제어권이 사람에게 넘어가며, 사람은 최대 H 스텝까지 연속으로 로봇을 조작해 올바른 상태로 복귀시키거나 과제를 대신 수행해줄 수 있습니다. 이러한 사람이 조종한 구간을 빨간 선으로 표시하면, 아래 순서도처럼 나타납니다:

flowchart LR
    subgraph episode["한 에피소드"]
        PolicyAction[로봇 정책 실행] --> State1[상태]
        State1 -->|잘 수행 중| NextAction[다음 행동 결정]
        State1 -->|위험 상황 발생| HumanIntervene[사람 개입]
        HumanIntervene --> CorrectAct[사람 조작]
        CorrectAct --> StateFix[새로운 상태]
        StateFix -->|교정 완료| NextAction
        StateFix -->|여전히 위험| HumanIntervene
    end

그림: HIL-SERL의 인간 개입 절차. 로봇이 위험 상황에 빠지면 사람 운영자가 SpaceMouse 등의 인터페이스로 일정 구간 로봇을 원격 조종하여 바로잡는다. 그런 후 다시 로봇 정책이 실행을 이어간다. 한 에피소드 내에 여러 번 개입(red segments)이 발생할 수 있지만, 정책이 개선됨에 따라 개입 빈도는 줄어든다.

여러 차례 개입이 한 에피소드에서 이루어질 수도 있지만, 정책이 점점 학습되면 앞부분에서만 가끔 개입하고 이후에는 로봇이 스스로 잘 수행하는 형태로 변합니다. 실제로 연구팀은 “초반 약 30% 구간은 일종의 유아 보호자처럼 따라다니며 개입해줘야 했지만, 정책이 학습하면서 사람은 점점 손을 떼고 지켜보기만 해도 되었다”고 회상합니다.

그렇다면, 이렇게 얻어진 사람 개입 데이터는 어떻게 활용될까요? 핵심은 이 데이터도 곧바로 학습에 쓰인다는 점입니다. 구체적으로, 사람이 조종한 구간의 상태/행동 전이 (s, a_{human}, s\')들을 데모 버퍼와 RL 버퍼 모두에 저장합니다. 이는 오프라인 시범 데이터처럼도 쓰이고, 동시에 온라인 경험으로도 취급되는 이점이 있습니다. 한편, 사람이 개입하지 않고 로봇이 했던 구간들의 전이 (s, a_{robot}, s\')들은 RL 버퍼에만 저장합니다. 이렇게 하면 사람의 올바른 시범 데이터와 로봇의 실패/성공 경험이 분리되어 버퍼 두 개에 담기게 됩니다. 앞서 언급한 RLPD 학습은 두 버퍼로부터 절반씩 샘플링하므로, 사람 교정 데이터는 반복해서 재사용되며, 로봇 자체 탐색 데이터와 섞여 정책을 향상시키게 됩니다.

왜 이러한 저장 전략이 중요한가? 사람 개입 데이터는 대체로 성공을 향한 바른 행동 시퀀스입니다. 로봇이 엉뚱한 방향으로 가다가 사람이 넘겨받으면 곧바로 목표 쪽으로 조작할 것이므로, 그 구간은 교정된 최적경로라 할 수 있지요. 이 데이터를 데모 버퍼에 넣음으로써, 마치 추가 시범을 얻은 효과를 냅니다. 그리고 RL 버퍼에도 넣는 이유는, 로봇 관점에서는 자기 행동 중간에 사람이 바꿨던 경험도 하나의 “실패 후 교정” 경험으로 인지되기 때문입니다. 이러한 저장 방식은 정책 학습을 효율적으로 강화하는 데 효과적이었다고 저자들은 강조합니다.

인터벤션의 역할을 요약하면, 로봇이 스스로 탐색하기 어려운 상태 공간 영역을 인간이 메워주는 것입니다. 상태/행동 공간이 크고 과제 지평(horizon)이 길수록, 이론적으로 필요한 샘플 수는 기하급수적으로 늘어나 RL이 힘들어집니다. 하지만 사람이 적절히 개입하면, 로봇은 필요한 중요한 경험을 빠르게 습득하고 쓸데없는 실패를 줄일 수 있습니다. 이는 마치 자전거를 처음 탈 때 옆에서 잡아주는 것과 같습니다. 혼자 수없이 넘어질 것을, 몇 번 잡아주고 방향 교정해주면 금세 균형 잡는 법을 배우는 이치지요. HIL-SERL의 결과를 보면, 특히 복잡한 과제일수록 이러한 온라인 교정이 없이는 학습이 거의 불가능하거나 매우 느렸지만, 인간 개입을 허용하자 짧은 시간에 100% 성공률까지 올라갈 수 있었습니다.

주의할 점은, 사람 개입도 과하면 안 된다는 것입니다. 논문에서는 “필요 이상으로 사람이 모든 걸 해줘버리면 강화학습이 Q함수를 잘못 추정해서 학습이 불안정해질 수 있다”고 지적합니다. 예컨대 정책이 엉망이어도 사람이 매번 긴 구간 개입해서 성공시켜버리면, 알고리즘은 “어? 행동만 취하면 알아서 성공으로 연결되네”라고 오판해버릴 위험이 있다는 것입니다. 이를 막기 위해 개입은 짧고 국지적으로, “필요한 최소한”으로만 하는 것이 요령이라고 합니다. 현실에서 연구자도 이를 체득하여, 점점 specific한 순간에만 개입하고 그 외엔 실패하게 두는 식으로 했다고 합니다. 이런 미묘한 조절은 결국 사람 경험에 의존하지만, 로봇 정책이 충분히 스스로 실패로부터도 배우도록 여지를 주는 것이 중요합니다.

전체 훈련 과정 정리

이상으로 설명한 구성요소들을 하나로 모아, HIL-SERL의 학습 파이프라인을 단계별로 정리해보겠습니다:

카메라 및 센서 설정: 과제에 적합한 시각 관측을 준비합니다. 손목 카메라는 물체를 근접하고 자기 중심 시야를 주기 때문에 유용하며, 필요하면 여러 대의 측면 카메라도 배치합니다. 모든 카메라 영상은 관심 영역으로 크롭 및 128×128 해상도로 리사이즈하여 신경망 입력으로 사용합니다. 이처럼 입력을 정제함으로써 정책이 꼭 필요한 정보에만 집중하도록 합니다.
보상 분류기 훈련: 사람 원격조작으로 약 10회의 에피소드를 수행하면서 성공/실패 장면 데이터를 모읍니다 (약 5분 소요). 수집된 약 1200장 이미지(성공 200, 실패 1000 비율)를 가지고 이진 분류기 C_\psi(s)를 훈련합니다. 학습은 Adam 옵티마이저로 진행하며, 100회 반복으로 완료됩니다. 정확도 95% 이상의 분류기가 완성되면, 이를 환경의 보상 판정 모듈로 탑재합니다.
인간 시범 데이터 수집: 같은 혹은 다른 사람 조작으로 20~30회 성공 시범 트레이지를 모읍니다. 이를 데모 버퍼(B_demo)에 저장합니다. 이때 환경 리셋(reset)은 작업별로 다르게 이뤄지는데, 어떤 과제는 자동 리셋 스크립트를 짜놓고, 어떤 것은 사람이 직접 세팅을 초기화했습니다. (예: USB 꽂기 작업은 사람이 손으로 꽂힌 USB를 빼주는 식으로 리셋했다고 합니다.)
강화학습 시작: 이제 정책 네트워크 \pi_\phi와 Q 네트워크 Q_\theta를 초기화하고, 학습을 개시합니다. 초기에는 정책이 무작위에 가깝기 때문에 사람이 잦은 개입을 해줍니다. 에피소드마다, 로봇은 현재 정책으로 시도하고, 사람은 필요 시 개입하여 바로 잡습니다. 모든 전이(로봇 행동이든 인간 행동이든)이 RL 버퍼(B_rl)에 기록되고, 인간 행동 전이는 데모 버퍼에도 중복 기록됩니다.
온라인 RL 업데이트: 매 시간 스텝, 혹은 주기적으로, 학습자(Learner) 프로세스가 동작하여 RL 파라미터를 업데이트합니다. 구체적으로 B_demo와 B_rl에서 절반씩 섞은 미니배치로 (식 (1)) Q-함수 손실을 계산해 Critic 업데이트를 하고, (식 (2))의 정책 손실로 Actor 업데이트를 합니다. 또한 그리퍼 Critic Q_d도 (식 (3))에 따라 업데이트됩니다. 타깃 네트워크들은 폴리액 평균으로 갱신됩니다. 이러한 업데이트는 충분히 많은 빈도로 돌아가, 정책이 실시간으로 개선되고, 최신 정책 파라미터는 Actor(로봇) 프로세스에 비동기로 전달됩니다.
훈련 지속 및 종료: 인간 개입 빈도가 줄고, 에피소드 성공률이 거의 100%에 도달하면 학습을 종료합니다. 실험상 대부분 과제는 1시간 내외, 어려운 것들도 2~2.5시간 내에 수렴했습니다. 훈련이 진행될수록 인간 개입은 아예 0%로 감소하고, 성공률 100%와 빠른 수행 속도를 정책이 달성하게 됩니다.

그림 1: HIL-SERL 시스템 개관. (1) 우선 인간 텔레오퍼레이터가 성공/실패 사례를 모아 보상 분류기를 학습시킨다. (2) 소수의 인간 시범(데모)을 모아 데모 버퍼를 초기화한다. (3) 실제 로봇으로 학습을 시작하며, 강화학습 알고리즘은 보상 분류기로부터 받은 희소 보상을 최대화하도록 정책을 업데이트한다. 이 과정에서 사람이 개입하여 실패를 교정하고, 그 교정 데이터 또한 버퍼에 쌓여 학습에 사용된다. 시간이 지날수록 성공률은 올라가고 인간 개입은 줄어든다.

요약하자면, HIL-SERL의 방법론은 “좋은 데이터 확보 → 강건한 RL 업데이트 → 필요시 사람 개입”의 선순환 루프를 구현한 것입니다. 로봇공학 관점에서 이는 강화학습과 인간 전문가 지식의 절묘한 조합으로 볼 수 있습니다. 사람은 초기 가이드와 안전장치 역할을 하고, 강화학습은 결국 사람의 한계를 넘어서는 최적화를 이루어냅니다. 다음으로, 이러한 방법이 실제로 어떤 결과를 가져왔는지 다양한 실험을 통해 알아보겠습니다.

실험: 다양한 조작 과제에서의 성능 검증

HIL-SERL의 유효성을 검증하기 위해, 저자들은 7가지의 상이한 작업(task)에 시스템을 적용했습니다. 이 작업들은 난이도와 성격 면에서 서로 크게 달라, 제안된 방법이 일반적으로 통할 수 있는지 보여줍니다. 각 과제와 환경 설정, 그리고 결과를 하나씩 살펴보겠습니다.

실험 환경과 과제 개요

실험에 사용된 로봇은 7자유도 관절의 로봇 팔이며, 과제에 따라 1대 또는 2대의 팔을 사용했습니다. 논문에서 구체적인 로봇 기종이 명시되진 않았지만, 사진과 문맥상 Franka Emika Panda와 같은 협동로봇 팔을 활용한 것으로 추정됩니다 (흰색과 검정색의 팔이 등장). 그리퍼는 2핑거 그리퍼로 보이며, 필요 시 두 로봇이 각각 그리퍼를 장착한 양팔 구성을 취했습니다.

각 과제에는 시각 관측으로 손목 카메라 영상이 기본으로 쓰였고, 측면 카메라 영상도 보조적으로 제공됐습니다. 또한 엔드이펙터 위치, 자세, 속도(트위스트)와 힘/토크 센서 값, 그리고 그리퍼 상태(열림/닫힘) 등이 상태에 포함되었습니다. 행동은 앞서 언급한대로 엔드이펙터 공간의 속도/힘 명령(연속)과 그리퍼 개폐(이산)로 구성됩니다.

다음은 실험한 7개 과제를 요약한 것입니다:

(A) SSD 설치: 컴퓨터 메인보드에 SSD를 정밀하게 끼우는 작업입니다. 작은 슬롯에 SSD 커넥터를 삽입해야 하므로 정밀 위치 조정이 요구됩니다. 한 손으로 SSD를 잡고 각도를 맞춰 눌러 끼우는 시나리오입니다.
(B) RAM 꽂기: 메인보드에 RAM 모듈을 삽입하는 과제입니다. 슬롯 위치에 맞춰 기울기를 잘 조정해 끝까지 눌러야 합니다. SSD와 유사하게 고정밀 삽입 작업입니다.
(C) USB 꽂기 + 케이블 클립: USB 커넥터를 집어들어 포트에 꽂고, 이어서 케이블을 클립에 거는 연속 작업입니다. 두 단계로 이루어진 멀티스텝 작업이고, 특히 두 번째 단계인 케이블 클립에 끼우기는 유연한 케이블을 다루는 과제입니다.
(D) IKEA 선반 조립: IKEA 책장의 두 개 측면 판을 결합하고, 위판을 얹어 조립하는 작업입니다. 다단계 조립으로, 볼트 없이 결합 구조를 맞춰 끼워야 하므로 정밀도와 힘 조절이 필요합니다. 양팔이 협력하여 들고 맞추는 장면이 포함됩니다. (실험에서는 측판1, 측판2, 탑판 3단계로 나눠 측정함.)
(E) 자동차 대시보드 조립: 자동차 내부 대시보드 패널을 차체 프레임에 끼워 맞추는 작업입니다. 양팔이 대형 패널을 함께 들고, 여러 개의 위치를 동시에 정렬해야 하는 난이도가 매우 높은 정밀 작업입니다. 핀과 슬롯 여러 개가 동시에 맞아야 하는 퍼즐 같은 상황입니다.
(F) 물체 핸드오버: 두 로봇 팔 사이에 물체를 전달하는 작업입니다. 한 팔이 물체를 들어 다른 팔 손에 건네주고, 건네받은 팔이 다시 제자리에 내려놓습니다. 양팔 간 궤적 조화와 타이밍이 중요한 작업입니다.
(G) 타이밍 벨트 장착: 탄성 있는 타이밍 벨트를 기어/축에 끼우는 작업입니다. 벨트는 늘어날 수도, 꼬일 수도 있기에 유연체 조작의 일종입니다. 양팔이 벨트 양쪽을 잡고 당겨가며, 톱니에 걸리도록 맞춰야 합니다.
(H) Jenga 블록 채찍질: 젠가 타워에서 특정 블록을 채찍으로 쳐서 빼내는 매우 독특한 과제입니다. 로봇 팔에 가죽 채찍을 쥐고, 정확한 속도와 각도로 휘둘러 해당 블록만 튕겨내야 합니다. 매우 역동적이고 오픈루프 성격의 작업으로, 인간도 성공하기 어려운 고난도 기술입니다.
(I) 프라이팬 뒤집기: 프라이팬으로 팬케이크나 달걀 같은 물체를 공중으로 던졌다 받는 작업입니다. 로봇이 프라이팬을 잡고 순간적으로 튕겨올려 물체를 180도 뒤집습니다. 동적 조작의 예로, 정확한 힘과 타이밍이 필수입니다.

이상의 과제들은 정적 vs 동적, 단일 vs 다단계, 단단한 물체 vs 유연한 물체, 단팔 vs 양팔 등 다양한 조합으로 구성되어 있습니다. 이전에는 이러한 작업들 중 여럿이 “실세계 RL로는 불가능”하거나 “매우 어려워 별도 전용 기법이 필요”하다고 여겨졌습니다. 예컨대 양팔 시각 기반 RL이나, 타이밍벨트 같은 변형체 조립, 젠가 채찍질 등은 전례가 거의 없는 도전과제입니다. 저자들은 이러한 최전선 난제들에 과감히 도전하여, HIL-SERL의 일반성과 효과를 입증하고자 했습니다.

실험 과정은 앞서 설명한 시스템으로 진행되었습니다. 각 작업마다 1~2.5시간의 학습을 시켰으며, 모든 학습은 실제 로봇으로 이루어졌습니다. 학습이 완료된 후에는 100회씩 시험 시도를 해보며 성공률과 수행 시간을 측정했습니다 (IKEA 전체 조립의 경우 10회의 시험). 이러한 성능을 여러 baseline 방법들과 비교했습니다. 비교 대상은 크게 두 그룹으로 나뉩니다: - 모방학습(IL) 계열: 기본 Behavior Cloning (BC), 개선된 HG-DAgger 등 인간 데모/교정으로 학습하는 방법들. - 강화학습/RL 계열: 저자들이 구현한 IBRL (Intervention-Based RL), Residual RL, DAPG (Demo Augmented Policy Gradient) 등 기존 연구 또는 변형 기법들.

각 baseline에 대해서는 논의 섹션에서 더 상세히 설명하겠지만, 간략히 개념만 짚고 넘어가겠습니다: - BC (Behavior Cloning): 오프라인 시범만으로 학습, 에피소드간 error accumulation 문제 큼. - HG-DAgger: DAgger 알고리즘의 변형으로, 정책이 불안할 때 사람이 teleop으로 정답을 보여주는 IL. 인간 교정 데이터를 supervised learning으로 피팅. - IBRL: Luo et al. 2023 등의 RL 방식으로, 사람 개입 데이터를 RL에 반영하는 시도가 있었던 것으로 보임 (HIL-SERL과 유사하나 구성 요소 일부 다름). - Residual RL: 기존 피드백 컨트롤러(예: 삽입 heuristic)에 RL로 보정값을 더하는 방법. 인간 지식으로 기본기 채우고 RL이 세부 튜닝. - DAPG: 시범 데이터로 초기 정책을 만든 후 On-policy RL (TRPO/DDPG 등)으로 파인튜닝하는 기법 (Rajeswaran et al. 2018). 주로 모조품 손 조작 등에 쓰였음. - Diffusion Policy (DP): 최근 관심받는 IL 방법으로, conditional diffusion model을 사용해 시연데이터 분포를 학습하고 샘플링으로 행동 생성. (Ma et al. 2023) - Ours (HIL-SERL): 본 논문 제안 방법.

이제 결과를 살펴보겠습니다.

성능 결과: 성공률과 속도

표 1: HIL-SERL (우리 기법)과 BC(HG-DAgger, 동량의 인간데이터 사용) 성능 비교. 성공률은 100회 중 성공 비율 (IKEA 전체는 10회 중), 괄호는 BC 대비 상대 향상률. 시간은 한 에피소드 당 평균 완료 시간, 괄호는 BC 대비 속도 배율. 모든 과제에서 강화학습 정책이 인간 시범 기반 정책보다 높은 성공률을 달성했고, 대부분 더 빠르게 과제를 완료함을 알 수 있다.

위 표는 Behavior Cloning (BC)과 HIL-SERL 정책을 비교한 결과입니다. BC는 HIL-SERL과 동일한 수의 시범+교정 에피소드를 사용하여 HG-DAgger로 학습시킨 모방학습 정책입니다. 즉, 인간이 제공한 데이터량은 같게 맞추고 방법만 RL vs IL로 달리한 비교입니다. 결과는 HIL-SERL의 압승입니다: 모든 과제에서 HIL-SERL이 100% 성공률을 보였고, BC는 과제에 따라 2%~95% 사이로 편차가 크지만 평균 49.7%에 불과했습니다. 특히 복잡한 과제일수록 모방학습은 성능이 저조했는데, 예를 들어 타이밍 벨트 조립은 BC 성공률이 2%로 거의 실패만 한 반면 HIL-SERL은 100%로 완벽히 성공했습니다. 자동차 대시보드 조립도 BC 41% vs RL 100%로 큰 차이를 보였습니다. 흥미롭게도, 케이블 클립이나 양팔 핸드오버 같이 사람 시범만으로도 그럭저럭 되는 일은 BC도 80~95%를 보였지만, RL은 어김없이 100%로 마무리했습니다.

또 하나 주목할 점은 작업 수행 시간입니다. HIL-SERL 정책은 대부분의 과제에서 BC 정책보다 빠르게 작업을 완료했습니다 (평균 1.8배 빠름). 예컨대 IKEA 탑판 조립은 BC가 8.9초 걸리던 것을 RL은 2.4초 만에 해내어 3.7배 효율적이었습니다. 이는 앞서 논한 할인 보상 설계 덕에 RL 정책이 최단 경로를 추구하게 된 결과입니다. 사람 시범은 대개 안전하게 천천히 하는 반면, RL 정책은 “빨리 성공하면 이득”이니 불필요한 동작을 줄이고 동시다발로 진행하여 속도를 높인 것입니다. 다만 동적 작업인 Jenga 채찍이나 팬케이크 뒤집기의 경우 BC도 이미 사람 수준보다 빠르고 (인간 텔레오퍼레이터가 한 것이긴 하나) RL과 거의 비슷했습니다 – 이들은 워낙 짧은 순간에 끝나므로 속도 향상의 여지가 크지 않기 때문입니다. 하지만 정적인 다단계 작업일수록 RL 정책은 명확히 병렬화나 지름길을 찾아냅니다. 예를 들어 양팔 핸드오버의 RL 정책은 물건을 건네기 직전부터 반대팔이 살짝 움직여 미리 준비하는 식으로 시간을 단축했습니다.

한편, 다른 baseline들과의 비교도 이루어졌습니다. 논문에서는 Table 1(b)로 다양한 방법들의 성공률을 나열했는데, 몇 가지 대표를 들면:

Diffusion Policy (DP): 일부 과제에서는 50~60%대로 선방했으나, HIL-SERL에는 미치지 못했습니다. DP는 오프라인 IL이라 한계가 있었습니다.
HG-DAgger: 위 BC와 동일한 것이며 평균 49.7%였습니다.
IBRL (Luo et al. 2023 방법): RAM 삽입 75%, 대시보드 0%, 핸드오버 95% 등 과제별 편차가 컸고, 어려운 과제에선 아예 실패하기도 했습니다. 사람 개입을 RL에 쓰되 HIL-SERL만큼의 장치를 갖추지 못한 결과로 보입니다.
Residual RL: 대체로 복잡 과제는 실패(0%), 단순 과제는 IL 수준(예: 물체 뒤집기 97%). 기본 제어기로 해결못할 건 RL도 못 붙인다는 의미입니다.
DAPG: 오프폴리시 RL로 시범을 활용하지만, on-policy 성격 탓에 표본 효율이 낮아 성공률이 전반적으로 저조했습니다 (보드 삽입 8%, 핸드오버 72% 등).
HIL-SERL: 모두 100%.

요약하면, HIL-SERL은 거의 모든 기존 방법들을 능가했습니다. 특히 난해한 작업들(양팔 조립, 유연체, 매우 역동적 행위 등)에서는 유일하게 성공한 방법이었습니다.

이러한 성능 차이는 통계적으로도 유의미합니다. 모든 과제에서 HIL-SERL과 BC의 성공률 차이는 상당하며, 평균적으로 2배 이상입니다. 연구진은 “강화학습이 같은 양의 인간 데이터로 모방학습보다 훨씬 낫다”는 것을 강력히 주장하고 있습니다. 이는 RL이 스스로 오류를 수정하고 더 넓은 상태 분포를 탐색한다는 근본적 이점을 반영한다고 분석합니다. 반면 IL(특히 DAgger)은 사람 데모 주변에서만 학습하므로 한계가 있다는 것이지요.

학습 곡선과 정책 특성

HIL-SERL의 학습 과정을 들여다보면 흥미로운 정책 진화 양상을 발견할 수 있습니다. 논문에서는 학습 중 에피소드들의 성공률, 수행시간, 개입률 변화를 곡선으로 그려 비교했습니다. 대표적으로 RAM 삽입 작업에 대해 HIL-SERL과 HG-DAgger의 학습 곡선을 비교한 그림이 있었는데, HIL-SERL 쪽은 에피소드가 진행될수록 성공률이 단조 증가하여 빠르게 100%에 도달하고, 개입률은 0%로 떨어지며, 수행시간도 짧아지는 모습을 보였습니다. 반면 HG-DAgger(IL)는 성공률이 들쭉날쭉하고 끝내 50% 언저리에 머물렀으며, 개입은 계속 필요했습니다. 이는 RL이 자기 분포에서 실패를 겪고 고치기를 반복하면서 안정적으로 수렴하는 반면, IL은 사람 데이터로만 학습하다보니 일관되지 못하고 한계에 부딪히는 것을 보여줍니다.

또한 저자들은 학습된 정책의 신뢰도(reliability)와 전략적 특징을 분석했습니다. 우선, HIL-SERL 정책은 100% 성공에 도달한 이후에도 매우 견고했습니다. 같은 작업을 반복 100번 해도 한 번도 실패하지 않으니 분산이 0에 가까운 신뢰성입니다. 논문에서는 이를 “funnel-shaped state distribution”로 시각화했는데, 학습 초반에는 로봇이 방황하던 상태공간이 점차 데모+교정 상태 주변으로 funnel(깔때기)처럼 집중되어가는 모습을 보였습니다. 즉 초기에는 시행착오로 여러 상태를 거치지만, 최종 정책은 성공으로 이어지는 경로만 주로 탐색한다는 것입니다. 이는 강화학습의 자기 수렴 특성 덕분입니다. IL 정책은 사람이 가르쳐준 대로 따라가다 잘못되면 속수무책이나, RL 정책은 살짝 빗나가도 스스로 다시 경로를 수정하며 결국 목표에 도달하는 경향을 보였습니다. 쉽게 말해, “실패해도 계속 시도해서 결국 해낸다”는 전략이 내재되었다는 것입니다. 이렇듯 RL 정책은 자기-보정(self-correcting) 능력이 있어서, 초슈퍼맨 수준의 성공률을 구현했다고 저자들은 평가합니다.

또 하나 흥미로운 분석은 Reactive vs Predictive Control입니다. HIL-SERL이 다룬 과제들은 크게 두 유형의 제어가 섞여 있습니다: - Reactive(반응적) 제어: 피드백을 수시로 활용하여 목표를 향해 조금씩 조정하는 방식. 주로 정밀 조립 같은 과제에서 나타납니다. - Predictive(예측적) 제어: 한번 정한 궤적을 빠르게 실행하여 성패를 결정하는 방식. 동적 던지기/채찍질 등에 필요합니다.

전통적으로 반응적 제어는 PID나 포스컨트롤 같이 미리 모델링하거나 고정 전략으로 구현되고, 예측적 제어는 모션프리미티브나 최적제어 솔루션으로 따로 접근하는 경우가 많았습니다. 놀랍게도, HIL-SERL의 단일 RL 정책은 이 두 가지 극단의 전략을 모두 획득했습니다. 예컨대, SSD 삽입 정책은 천천히 접근하다 닿으면 힘을 조절해 끼워넣는 아주 섬세한 피드백 전략을 구사했습니다. 반면 Jenga 채찍 정책은 사전에 필요한 위치와 속도를 정확히 맞춰 한번에 휘두르는 예측 전략을 보여주었죠. 하나의 알고리즘으로 이러한 다양한 행동 양식이 학습된 것은 RL의 큰 강점으로 보입니다. 이는 보상만 맞게 주어지면, 전략의 형태는 환경에 맞게 스스로 도출됨을 시사합니다. 인간 시범으로는 이런 전략을 직접 설계해줄 수 없지만, RL은 가능했습니다.

또 다른 실험으로, 정책의 적응력을 시험했습니다. 훈련 시 보지 못한 돌발 상황을 줘본 것입니다. 구체적으로, 로봇이 마더보드에 부품 꽂는 중간에 사람이 슬쩍 마더보드를 움직여 위치를 바꿔봅니다. 그랬더니 RL 정책은 즉시 새로운 위치에 맞춰 팔을 조정하여 계속 삽입을 시도했고, 성공했습니다. 반면 이런 상황은 사람 시범에는 없던 거라, IL 정책이라면 대처하지 못했을 겁니다. 또 물체 전달 도중 일부러 물건을 떨어뜨리게 해보기도 했는데, RL 정책은 떨어뜨리면 주워서 다시 시도하는 식으로 실패를 만회했습니다. 이런 모습을 보면, RL 정책이 환경 변화나 실수에도 유연하게 대응한다는 것을 알 수 있습니다. 이러한 강건성은 실제 산업 응용에서 특히 중요합니다. 연구진이 강조하듯, 로봇의 일관성(consistency)과 신뢰성은 상용화의 필수 요건인데, HIL-SERL 정책은 이 기준을 충족시키는 방향으로 나아갔습니다.

마지막으로, 학습 시간에 대해 짚고 넘어가죠. 7가지 과제 모두, 훈련에 걸린 시간은 1~2.5시간이었습니다. 가장 오래 걸린 것은 타이밍 벨트 (~2.5h)와 IKEA 조립 (~2h 남짓)이고, 나머지는 1시간 내외였습니다. 이 시간에 약 수백 에피소드(수천~만 번의 스텝)를 실행한 것으로 보입니다. 특히 Jenga 채찍은 1.25시간만에 정책이 완성되었는데, 이는 연구자들도 “인간도 힘든걸 로봇이 이렇게 빨리 배워서 충격”이었다고 회상합니다. 이처럼 훈련시간이 실용적 수준이라는 점은 HIL-SERL의 큰 성과입니다. 이전까지 실로봇 RL은 며칠, 심지어 몇 주를 말하곤 했는데, 이제는 점심시간~반나절 안에 한 가지 기술을 마스터하는 게 가능해진 것입니다. 이 정도면, 작업 단위로 로봇을 현장에 가져다 놓고 바로 학습시켜 쓸 수도 있는 수준입니다.

비판적 고찰: 장점, 한계와 향후 방향

HIL-SERL의 혁신과 성과를 살펴보았으니, 이제 이를 비판적으로 평가해보겠습니다. 우선 뛰어난 점들을 정리한 후, 아직 남은 한계나 개선 여지를 짚어보겠습니다. 또한 관련 연구들과 비교하여 HIL-SERL의 위상과 향후 연구 방향도 논의합니다.

강점 및 기여

1) 범용성 있는 성과: HIL-SERL은 특정 작업 한두 개가 아닌, 종류가 다른 여러 작업에 통일된 방법을 적용해 성공했습니다. 논문에 등장한 정밀 조립, 유연물체, 동적 던지기, 양팔 협동 등은 각각 별개의 난제인데, 단일 시스템으로 모두 해결한 것은 전례를 찾기 어렵습니다. 특히 양팔 시각 RL이나 Jenga 채찍질 등은 세계 최초 수준의 시연으로 볼 수 있습니다. 이는 강화학습+휴먼인더루프 프레임워크의 강력함을 입증한 것으로, 향후 다양한 로봇 작업에 이 접근을 활용할 수 있음을 시사합니다. 마치 범용 학습기처럼, 데이터만 조금 주면 어떤 작업이든 가능한 로봇의 가능성을 엿보았습니다.

2) 샘플 효율성과 실시간 학습: 1~2시간 내 학습이라는 것은 표본 효율 측면의 큰 도약입니다. 이는 RLPD 알고리즘 채택, 시범과 교정 데이터 활용, 사전학습 비전 모델 사용 등 여러 최적화의 결실입니다. 특히 오프라인 데이터 50% 혼합 훈련은 최근 RL 연구에서 중요한 주제로, 본 연구는 그 실효성을 실제로 보여주었습니다. 또한 현실에서 사람의 도움을 받으며 학습하는 시나리오 자체가 실용적입니다. 완전 자율 학습은 시간과 위험이 크지만, HIL-SERL처럼 사람과 상호작용하면 학습 과정을 통제하고 필요한 부분만 데이터 제공하여 효율을 극대화할 수 있습니다. 이처럼 실시간 대화형 학습(interactive learning)은 앞으로 로봇 학습의 중요한 패러다임이 될 것입니다.

3) 인간 수준을 넘어선 성능: 성능 면에서, HIL-SERL 정책들은 인간 전문가(텔레옵)보다 높은 성공률과 속도를 달성했습니다. 인간이 몇십% 성공하는 Jenga 채찍을 100%로 만들고, 인간이 8초 걸리는 조립을 3초만에 해치운 것은 매우 고무적입니다. 이는 강화학습의 잠재력을 잘 보여주는 사례로, 사람이 가르쳐줄 수 없는 최적해를 탐색해냈다는 의미입니다. 기존 모방학습으로는 인간 성능이 상한이었는데, 이제 RL로 초인적 로봇 작업자를 배출할 수 있게 된 것이죠. 산업적 관점에서도, 더 정확하고 빠른 로봇은 당연히 매력적인 목표이므로, 본 연구의 결과는 RL기반 시스템을 현장에 도입하려는 움직임에 힘을 실어줄 것입니다.

4) 시스템 설계 통찰: HIL-SERL은 “디자인의 승리”라고도 볼 수 있습니다. 세부적으로, 상대 좌표 활용, 임피던스/오픈루프 제어 혼용, 그리퍼 이산 분리 제어, 희소 보상 분류기 사용 등 한두 문장으로 스쳐갔을 법한 아이디어들이 모여 전체 시스템의 성공을 만들었습니다. 이러한 공학적인 통찰들은 앞으로 유사 연구의 베스트 프랙티스(best practice)로 자리잡을 것입니다. 특히 연속+이산 액션 분리는 다른 로봇 손동작 학습에도 응용될 수 있고, 성공 판정 분류기 접근은 보상 설계가 어려운 많은 문제에 범용 솔루션이 될 수 있습니다. 또한 사람 개입 데이터의 처리 방식(데모/RL 버퍼 이중 등록)은 향후 인간-로봇 상호학습에서 참고할 귀중한 경험입니다.

약점 및 한계

아무리 좋은 연구도 한계는 있기 마련입니다. HIL-SERL의 제약이나 개선할 점을 꼽아보면:

1) 사람 의존도: “Human-in-the-loop”라는 이름 그대로, 사람의 개입 없이는 성립이 어렵습니다. 우선 초기 시범과 보상 분류기 데이터, 그리고 학습 중 수시 개입까지 사람의 부담이 상당합니다. 숙련된 조작자가 필요하며, 특히 복잡 과제일수록 초반에 자주 개입해야 합니다. 물론 개입을 점차 줄여 완전 자동화 정책을 얻는 게 목표지만, 사람 개입 없이 처음부터 끝까지 RL을 하는 시나리오와 비교하면 준비 노력이 큽니다. 이는 어디까지나 “실용성 vs 자율성” 트레이드오프인데, 본 연구는 실용성을 취한 것입니다. 향후에는 사람 개입을 최소화하거나, 원격의 비전 전문가가 여러 로봇을 모니터링해주듯 인간 노동 효율화를 고민해야 할 것입니다. 또한 개입을 언제 어떻게 할지는 전적으로 사람에게 달렸는데, 이 정책이 미치는 영향을 이론적으로 분석하기는 어렵습니다. 만약 사람이 실수로 잘못 개입하거나, 너무 개입을 안 해서 로봇이 망가진다면 어떻게 할지 등 휴먼-인더루프의 전략 최적화 문제가 남습니다. 이를 위해 반자동 개입 트리거(예: 위험상황 자동감지)나, 학습 도우미 AI 같은 것이 추가될 수 있을 것입니다.

2) 과제 범용성 (일반화): HIL-SERL 정책은 각 과제별로 따로 학습됩니다. 하나의 정책이 여러 작업을 할 수 있는 멀티태스크 학습은 시도되지 않았습니다. 즉 작업이 바뀌면 다시 1-2시간 학습을 해야 합니다. 물론 2시간이면 싼 것이지만, 사람처럼 다양한 일에 바로 대응하는 건 아닙니다. 따라서 지금 당장은 특정 제조공정 등 고정된 작업에 로봇 하나 투입해서 학습시키는 정도에 활용될 듯합니다. IsaacSim 같은 시뮬레이터를 활용하면 한 번 학습된 정책을 여러 유사 작업으로 옮기는 전이학습이나, 한꺼번에 여러 변형된 상황을 학습시키는 것도 가능할 것입니다. 본 연구는 거기까지 다루진 않았지만, 향후 다중작업/다중환경 일반화는 남은 숙제입니다. 추가로, 보상 분류기도 작업마다 따로 만들어야 하므로, 작업 정의가 아예 새로운 경우에는 그 절차를 반복해야 합니다.

3) 자동 리셋 및 연속 학습: 실험에서는 작업마다 사람이 환경 리셋을 도와주거나 자동 리셋 스크립트를 짰다고 했습니다. 현실에서는 어떤 작업들은 자동 리셋 자체가 어려울 수 있고, 사람 리셋은 또 다른 비용입니다. reset-free RL에 관한 선행 연구들도 있는데, HIL-SERL에서는 reset 문제를 크게 강조하진 않았습니다. 그러나 완전 자율 로봇 학습을 위해선 실패 후 환경 복구를 로봇이 스스로 하거나, 실패 자체가 거의 없도록 하는 게 중요합니다. HIL-SERL 정책은 결국 실패를 안 하게 되었지만 초반에는 실패하면 사람이 바로잡아 준 것이니, reset 문제를 우회한 셈입니다. IsaacSim 등 시뮬레이터에선 리셋이 간단하니, 그런 환경에서 미리 학습시켜 현실로 옮기면 reset 부담을 줄일 수 있을 것입니다 (sim-to-real 전이의 어려움은 있지만). 장기적으로, 로봇이 계속 다양한 작업을 배우려면 중단 없이 연속학습(continuous learning) 할 수 있어야 하고, 그 과정에서 환경 리셋이나 사람 도움 없이 자기 회복하는 능력도 연구되어야 할 것입니다.

4) 한계 상황: HIL-SERL이 만능은 아니므로, 실패하는 경우도 분명 존재할 겁니다. 논문에서는 거의 모든 시도에 성공했다고 하지만, 센서 오작동이나 환경 급변 등 엣지 케이스에서 정책이 무력할 수 있습니다. 또한, 사람 개입 없이 동작하다 사고가 나면 어떡할지 등 안전 검증(formal safety verification) 측면은 다루지 않았습니다. 산업 현장에 적용하려면 이런 worst-case 대응과 검증 가능성도 고려해야 합니다. 그리고 현 시점 HIL-SERL은 단일 목표 작업만 다루고 있어, 임의의 목표변수가 주어지는 작업 (예: 임의 위치의 구멍에 꽂기, 다양한 부품 조립 등)으로 확장하려면 추가 연구가 필요합니다. 이 경우 강화학습 + 계획(Planning)의 결합이나, 목표 조건 정책(goal-conditioned policy) 등이 필요한데, 사람 개입을 그 맥락에 통합하는 문제가 남습니다.

향후 연구 방향

HIL-SERL의 성공은 새로운 질문들을 낳습니다. 앞으로 이 분야에서 탐구될 만한 방향을 정리하면:

인간 개입의 자동화 및 최적화: 현재는 사람이 주관적으로 판단해 개입했지만, 이를 AI가 판단하거나 필요 시점 예측하는 연구가 이루어질 수 있습니다. 예컨대 오류 예측 모델을 정책과 병렬로 두어, 위험도가 높아지면 알려주는 방식입니다. 또한 개입 시 어떻게 제어하는 게 최선인지 (예: 짧게 여러 번 vs 길게 한 번) 등도 정량적 연구가 필요합니다. 궁극적으로 사람이 아닌 로봇끼리 서로 도와 학습하는 모습도 상상해볼 수 있습니다 (한 로봇이 실패하면 더 성숙한 다른 로봇이 도와준다든지).
다중 과제 연속 학습: 하나 배운 다음 다른 과제로 넘어가면서, 이전 지식을 살리는 continual learning 방향입니다. HIL-SERL 방식으로 과제를 하나 습득한 로봇이, 그 정책을 전이하여 다음 과제 학습 시간을 줄이거나, 동시에 여러 과제를 배울 수 있는지 실험해볼 수 있습니다. 예를 들어, RAM 꽂기와 SSD 꽂기는 유사하니 한꺼번에 배우면 더 효율적일지, 혹은 로봇이 여러 작업을 섞어서 해도 혼동 없이 학습할지 등의 문제입니다. 이는 정책 표현의 공유나 상태에 목표 인코딩 추가 등 기술적 변경이 필요하지만, 달성되면 진짜 범용 조작로봇에 한층 가까워질 것입니다.
시뮬레이터와의 조화: 현실 학습의 리스크와 비용을 줄이기 위해, 시뮬레이션 사전학습 + 현실 미세조정(fine-tuning)을 모색할 수 있습니다. HIL-SERL의 인간 개입을 시뮬레이터로 대체한다면, 사람이 위험에 개입할 일 없이 가상환경에서 막 굴리다가 현실에서 조금만 조정하면 될지도 모릅니다. NVIDIA IsaacSim은 물리 정확도가 높아 이 경우 유망합니다. 다만 시뮬레이터로 사람 행동을 어떻게 모델링할지, 현실-가상 간 보상 분류기 차이는 없는지 등 해결할 과제들이 있습니다. 반대로, 현실 학습 데이터를 시뮬레이터 모델 개선에 활용하는 sim-to-real-to-sim 피드백 연구도 생각해볼 수 있습니다.
이론적 분석: HIL-SERL같은 시스템은 구성 요소가 많아 이론 분석이 쉽진 않습니다. 그러나 일부 요소별로 수렴 보장이나 샘플 복잡도를 따져볼 수 있을 것입니다. 예컨대, 인간 개입으로 인해 MDP가 non-Markovian해지는 부분은 없는지, 또는 off-policy + demonstration 학습의 오차 경계는 어떻게 되는지 등입니다. 이러한 분석은 향후 유사 알고리즘을 설계할 때 원칙적인 가이드가 될 수 있습니다.
다른 형태의 인간 피드백: 본 연구는 시범(action-level 개입)을 다뤘지만, 사람이 줄 수 있는 피드백은 이외에도 언어 지시, 평가 점수, 눈짓 등 다양합니다. 예를 들어 사람이 “부드럽게 해”라고 말하면 로봇이 보상 함수를 바꾸는 RLHF(인간피드백 강화학습) 스타일도 있을 수 있고, 사람이 성공/실패를 라이브로 라벨링해주는 방식도 생각해볼 수 있습니다. 이러한 다채로운 인간-로봇 상호작용을 RL에 통합하는 것은 매우 흥미로운 미래 연구입니다.

요약 및 결론

HIL-SERL 논문은 로봇 학습 분야에 신선한 충격을 주는 작업입니다. 요약하자면: “인간이 적재적소에 도와준다면, 강화학습으로 실제 로봇에게 복잡한 조작 기술을 단 몇 시간만에 가르칠 수 있고, 그 성능은 인간을 뛰어넘는다.” 이는 오랜 기간 난제였던 실세계 로봇 강화학습에 대한 하나의 해답을 제시합니다.

핵심 기여를 다시 짚으면: (1) 사람의 데모와 온라인 개입을 RL에 통합한 효율적 학습 루프를 설계했고, (2) 이를 통해 다양한 고난도 작업에서 거의 완벽한 정책을 빠르게 얻었으며, (3) RL 정책이 모방학습을 크게 능가함을 실험으로 입증했습니다. 또한 (4) 현실 로봇에서의 여러 엔지니어링 문제를 통합적으로 해결하여 실용적인 시스템을 구현했습니다. Richard Feynman이 “과학은 실제로 해보고 보여줘야 한다” 했듯이, 이 논문은 복잡한 아이디어들을 실제 로봇에 구현해 움직이는 증거를 보여준 셈입니다.

로봇공학 연구자 입장에서, HIL-SERL은 “학습하는 로봇”에 한 발짝 다가선 사례로 볼 수 있습니다. 과거에는 로봇에게 새로운 작업을 가르치려면 일일이 프로그래밍하거나, 아니면 수십만번의 시도를 시뮬레이터로 돌려야 했습니다. 이제는 사람과 함께 몇 번 연습하면 스스로 더 잘하게 되는 로봇을 꿈꿔볼 수 있게 되었습니다. 마치 숙련공이 신입에게 일 가르치듯, 로봇에게도 시연하고 실수하면 바로잡아주면서 훈련할 수 있습니다. 결국 로봇이 충분히 똑똑해지면 사람 감독 없이도 알아서 잘 하겠지만, 그 지점까지 인간의 지식을 빌려주는 것이 효과적임을 HIL-SERL이 보여준 것입니다. 이는 공장 자동화, 물류, 조립, 서비스 로봇 등 다양한 분야에 큰 파급을 미칠 수 있습니다. 특히 다품종 소량생산(high-mix low-volume) 환경에서는 일일이 로봇 프로그래밍할 수 없는데, HIL-SERL 같은 기법이라면 작업이 바뀔 때마다 로봇을 빠르게 재훈련하여 대응하는 것이 가능해질 것입니다.

마지막으로, 이 연구는 로봇학습의 새로운 표준을 제시했다고 볼 수 있습니다. 앞으로 나올 논문들은 아마 “우리 방법은 HIL-SERL보다 데이터 효율이 2배 높다” 또는 “HIL-SERL 없이도 이만큼 된다” 등으로 비교하게 될 것입니다. 그만큼 하나의 레퍼런스 성능과 방법론이 세워졌다는 뜻이지요. 물론 해결해야 할 과제들도 남았지만, HIL-SERL의 성공은 강화학습 기반 로봇기술의 현실화를 크게 앞당긴 획기적인 걸음으로 평가할 만합니다.

🔍 Ping Review

🔔 Ring Review

서론: 왜 이 논문이 중요한가?

로봇 조작의 오래된 꿈

문제 정의: 우리가 해결하려는 것

연구의 기여

방법론: HIL-SERL의 작동 원리

시스템 아키텍처 개요

핵심 알고리즘: RLPD 기반 학습

RLPD (Reinforcement Learning with Prior Data)

그리퍼 제어: 별도의 DQN

신경망 구조

사전훈련 비전 백본의 중요성

Human-in-the-Loop: 인간 개입의 마법

개입 메커니즘

HG-DAgger와의 차이점

보상 함수 설계: 이진 분류기의 힘

분류기 훈련 과정

하위 로봇 시스템 설계

자기중심적(Ego-centric) 좌표계

임피던스 제어기

실험: 다양한 도전 과제들

실험 작업 개요

작업별 상세 설명

1. 마더보드 조립 (Motherboard Assembly)

2. 타이밍 벨트 조립 (Timing Belt Assembly)

3. 젠가 휘핑 (Jenga Whipping)

주요 실험 결과

성공률 및 사이클 타임 비교

다른 방법론과의 비교

학습 곡선 분석

견고성(Robustness) 결과

결과 분석: 왜 HIL-SERL이 작동하는가?

학습된 정책의 신뢰성

퍼널(Funnel) 형성 메커니즘

RL vs DAgger: 탐색의 차이

반응적 정책 vs 예측적 정책

반응적 정책 (Reactive Policy)

예측적 정책 (Predictive Policy)

접촉 동역학의 암묵적 학습

Dexterous Hand로의 확장: 그리퍼를 넘어서

왜 Dexterous Hand인가?

HIL-SERL을 Dexterous Hand에 적용하기

도전 과제 1: 폭발적인 행동 공간

도전 과제 2: 인간 개입의 복잡성

도전 과제 3: 촉각 센싱의 통합

구체적 적용 시나리오: Allegro Hand V4

시나리오 1: 정밀 삽입 작업 (RAM 삽입의 확장)

시나리오 2: In-hand 재조작 (기존 HIL-SERL로는 불가능)

예상되는 도전과 해결책

권장 연구 로드맵

실험적 제안: Allegro Hand V4 + HIL-SERL

초기 실험 설정

기대 효과

비판적 고찰: 강점과 한계

강점

1. 실용적 훈련 시간

2. 범용성

3. 인간 초월 성능

4. 시스템 수준 통합

한계 및 개선 방향

1. 장기 지평 작업

2. 일반화 한계

3. 스케일링 문제

4. 인간 개입의 품질 의존성

연구 방향 제안

관련 연구와의 비교

실세계 RL 알고리즘

모방학습 방법론

기존 조작 접근법

요약 및 결론

핵심 메시지

핵심 기여 요약

로봇공학자를 위한 실천적 조언

미래 전망

부록: 구현 세부사항

A. 의사코드 (Pseudocode)

B. 하이퍼파라미터

C. 하드웨어 구성

⛏️ Dig Review