📃BEHAVIOR-1K 리뷰

benchmark

mobile-manipulation

A Human-Centered, Embodied AI Benchmark with 1,000 Everyday Activities and Realistic Simulation

Published

November 11, 2025

🔍 Ping. 🔔 Ring. ⛏️ Dig. A tiered review series: quick look, key ideas, deep dive.

🌍 BEHAVIOR-1K는 1,461명의 설문조사를 통해 인간의 실제 요구에 기반하여 1,000가지 일상 활동을 정의하고, 이를 OMNIGIBSON 시뮬레이션 환경에 구현한 휴먼-중심 임베디드 AI 벤치마크입니다.
🤖 이 벤치마크는 50개 장면과 9,000개 이상의 객체로 구성된 BEHAVIOR-1K DATASET과, rigid bodies, deformable bodies, liquids 등 실제와 같은 물리 시뮬레이션 및 렌더링을 제공하는 OMNIGIBSON 환경으로 현실성과 다양성을 극대화했습니다.
⚙️ 실험 결과, BEHAVIOR-1K의 장기적이고 복잡한 조작 활동들은 최신 로봇 학습 솔루션에도 큰 도전 과제이며, grasping 및 시각적 불일치가 시뮬레이션-실제 간 격차의 주요 원인임을 발견했습니다.

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

BEHAVIOR-1K는 인간 중심의 로봇 연구를 위한 포괄적인 시뮬레이션 벤치마크입니다. 이 벤치마크는 ’로봇이 당신을 위해 무엇을 해주기를 원하는가?’라는 광범위한 설문조사 결과에서 영감을 받아 두 가지 핵심 구성 요소로 설계되었습니다.

첫째, BEHAVIOR-1K DATASET은 50개의 다양한 장면(가정, 정원, 식당, 사무실 등 8가지 유형)에 기반한 1,000개의 일상 활동 정의를 포함합니다. 이 활동들은 9,000개 이상의 객체 모델과 1,900개 이상의 객체 카테고리를 포함하며, 풍부한 물리적 및 의미적 속성으로 주석 처리되어 있습니다. 활동 정의는 Predicate logic 기반의 BEHAVIOR Domain Definition Language (BDDL)를 사용하여 초기 조건과 목표 조건을 명시하며, 일반인들이 직관적인 의미론적 수준에서 활동을 정의할 수 있도록 합니다. 객체에는 cookable, flammable, fillable 등 OMNIGIBSON에서 시뮬레이션 가능한 다양한 속성들이 부여되며, cookTemperature와 같은 파라미터화된 속성도 포함됩니다. 또한, 특정 조건에서 객체 그룹 간의 변환을 지정하는 Transition Machine을 통해 복잡한 물리/화학적 과정을 시뮬레이션할 수 있습니다(예: 오븐에서 반죽이 파이로 변하는 것). BDDL은 물질 표현, 3값 Predicate, 객체의 구성 및 분해와 같은 새로운 기능들을 포함하여 다양한 활동을 지원합니다.

둘째, OMNIGIBSON은 이러한 활동들을 사실적으로 지원하는 새로운 시뮬레이션 환경입니다. Nvidia Omniverse와 PhysX 5를 기반으로 구축되어, Rigid body, Deformable body, 유체(Fluid)에 대한 사실적인 물리 시뮬레이션 및 Ray-traced 또는 Path-traced 렌더링을 제공합니다. OMNIGIBSON은 temperature, toggled, soaked, dirtiness와 같은 확장된 객체 상태를 지원하며, 활동 정의에 따라 유효한 초기 구성을 생성하고 목표 솔루션을 평가하는 기능을 포함합니다. 또한, 장면 초기화 시 객체 모델, 포즈, 상태 등을 무작위로 샘플링하여 다양성을 확보합니다.

실험에서는 BEHAVIOR-1K 활동들이 최첨단 로봇 학습 솔루션에도 어려운 과제임을 보여주었습니다. 특히, 활동의 긴 Task horizon과 복잡한 물리적 조작 기술이 요구됩니다. Visuomotor control 기반의 RL-VMC 정책은 CollectTrash, StoreDecoration, CleanTable 세 가지 실험 활동에서 성공률 0%를 기록하며 완전히 실패했습니다. 반면, Motion planning 기반의 Action primitive를 활용한 RL-Prim. 및 이력(History) 정보를 추가한 RL-Prim.Hist.는 각각 40% 이상의 성공률을 보였습니다. 이는 BEHAVIOR-1K의 긴 Task horizon 활동을 해결하기 위해서는 Action space abstraction이 필수적임을 시사합니다. 또한, CollectTrash와 같이 Aliased observation이 발생하는 긴 Task horizon 활동에서 이력 정보가 성능과 효율성(이동 거리, 시뮬레이션 시간, 객체 Disarrangement) 향상에 중요한 역할을 함을 확인했습니다.

시뮬레이션-현실 간 격차(Sim-to-real gap)를 분석하기 위한 연구에서는 시뮬레이션된 아파트 환경에서 학습된 Mobile manipulator 솔루션을 실제 로봇에 전이하는 초기 실험을 수행했습니다. 실제 로봇 환경에서 파악된 주요 실패 원인은 물리 기반 Grasping의 어려움(40%의 실패 원인)과 시뮬레이션과 현실 간의 시각적 불일치(Visual discrepancy)로 인한 시각 정책 오류(44%의 실패 원인)였습니다. 특히, 카메라의 Dynamic range, 객체의 질감 및 반사율과 같은 모델링되지 않은 효과와 내비게이션 부정확성으로 인한 로봇 베이스 위치의 불리함이 누적 오류의 원인으로 지적되었습니다.

BEHAVIOR-1K의 한계로는 Ray-tracing 렌더링으로 인한 시뮬레이션 속도 저하(iGibson 2.0 대비 약 60fps), 인간과의 상호작용을 요구하는 활동의 미포함, 그리고 Sim2real 전이를 위한 인지 및 Actuation 노이즈 모델 통합의 필요성 등이 있습니다. 연구팀은 이러한 한계점을 개선하기 위해 지속적으로 노력하고 있습니다.

BEHAVIOR-1K는 인간 중심적 특성, 다양성, 사실성을 바탕으로 Embodied AI 및 로봇 학습 연구에 큰 가치를 제공할 것으로 기대됩니다.

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

1. 서론

1.1 연구 배경

Embodied AI는 물리적 환경과 상호작용하며 작업을 수행하는 인공지능 시스템을 의미한다. 최근 컴퓨터 비전, 로봇공학, 자연어 처리 등 다양한 분야의 발전으로 인해 Embodied AI에 대한 관심이 급증하고 있다. 그러나 실제 세계의 복잡성과 다양성을 충분히 반영하는 벤치마크의 부재로 인해 연구 진전이 제한되어 왔다.

1.2 기존 벤치마크의 한계

기존의 Embodied AI 벤치마크들은 주로 특정 작업이나 제한된 환경에 초점을 맞추고 있다. AI2-THOR는 실내 환경 탐색과 물체 조작에 집중하고 있으며, Habitat은 주로 내비게이션 작업에 초점을 맞추고 있다. VirtualHome은 제한된 수의 활동과 단순화된 물리 시뮬레이션을 제공하며, ALFRED는 언어 기반 명령 수행에 특화되어 있다. 이러한 벤치마크들은 실제 일상 생활의 복잡성과 다양성을 충분히 포착하지 못한다는 한계가 있다.

1.3 BEHAVIOR-1K의 필요성

실제 가정 환경에서 로봇이 수행해야 하는 작업들은 매우 다양하고 복잡하다. 예를 들어, “저녁 식사 준비하기”라는 단순해 보이는 작업도 실제로는 냉장고에서 재료 꺼내기, 채소 씻기, 자르기, 조리하기, 식탁 차리기 등 여러 하위 작업으로 구성되며, 각 단계마다 정확한 물리적 조작과 상황 인식이 필요하다. BEHAVIOR-1K는 이러한 실제 세계의 복잡성을 반영하여, 1,000개의 다양한 일상 활동과 현실적인 물리 시뮬레이션을 제공하는 종합적인 벤치마크를 목표로 한다.

2. BEHAVIOR-1K 개요

2.1 핵심 특징

BEHAVIOR-1K는 여러 가지 핵심 특징을 가지고 있다. 먼저, 1,000개의 일상 활동 인스턴스로 구성된 대규모 활동 데이터셋을 제공한다. 이 활동들은 50개의 서로 다른 활동 유형으로 분류되며, OmniGibson 기반의 고정밀 물리 시뮬레이션을 통해 현실적으로 구현된다. 또한 50개의 서로 다른 가정 환경을 제공하여 환경의 다양성을 보장하며, 500개 이상의 객체 카테고리를 통해 복잡한 객체 상호작용을 지원한다. 특히 객체의 다양한 상태, 예를 들어 온도나 청결도 등을 추적하는 상태 기반 추론 시스템을 갖추고 있다.

2.2 활동 분류 체계

BEHAVIOR-1K의 활동들은 여러 주요 카테고리로 분류된다. 청소 관련 활동에는 바닥 청소하기, 창문 닦기, 먼지 제거하기, 진공청소기로 청소하기, 걸레질하기 등이 포함된다. 요리 관련 활동으로는 커피 만들기, 샐러드 준비하기, 파스타 요리하기, 토스트 만들기, 음식 데우기 등이 있다. 정리정돈 활동에는 책장 정리하기, 옷장 정리하기, 식탁 차리기, 식기 정리하기, 장난감 정리하기 등이 포함되며, 유지보수 활동으로는 전구 교체하기, 배터리 교체하기, 쓰레기 버리기, 화분에 물주기, 필터 교체하기 등이 있다. 세탁 관련 활동으로는 세탁기 사용하기, 빨래 널기, 옷 개기, 다림질하기 등이 있으며, 그 외에도 침대 정리하기, 반려동물 돌보기, 우편물 정리하기, 선물 포장하기 등의 일상 활동들이 포함되어 있다.

2.3 환경 구성

BEHAVIOR-1K는 50개의 서로 다른 가정 환경을 제공한다. 이러한 환경들은 아파트, 단독주택, 원룸, 타운하우스 등 다양한 주거 공간 유형을 포함한다. 각 환경은 거실, 주방, 침실, 욕실, 서재, 다이닝룸, 세탁실 등 여러 방으로 구성되어 있다. 각 환경은 실제 주거 공간의 특징을 반영하여 다양한 가구, 가전제품, 일상용품들로 구성되어 있다.

3. 기술적 구현

3.1 OmniGibson 시뮬레이터

BEHAVIOR-1K는 OmniGibson이라는 차세대 시뮬레이션 플랫폼을 기반으로 구축되었다. OmniGibson은 NVIDIA Omniverse 기반의 고성능 렌더링을 제공하며, PhysX 5.0 물리 엔진을 사용한다. 실시간 광선 추적을 지원하고, 변형 가능한 객체 시뮬레이션, 유체 시뮬레이션, 열 전달 시뮬레이션 등의 기능을 갖추고 있다.

OmniGibson의 물리 시뮬레이션은 매우 정밀하다. 강체 역학을 통해 물체 간의 충돌, 마찰, 반발을 시뮬레이션하고, 관절 역학을 통해 문, 서랍, 캐비닛 등의 움직임을 구현한다. 연체 역학으로는 천, 쿠션, 스펀지 등의 변형을 표현하며, 유체 역학을 통해 물, 음료, 세제 등의 흐름을 시뮬레이션한다. 또한 입자 시스템을 사용하여 먼지, 음식 부스러기 등을 표현한다.

렌더링 기술 측면에서 OmniGibson은 물리 기반 렌더링을 사용하여 실제 재질의 빛 반사 특성을 정확히 모사한다. 전역 조명을 통해 간접광을 포함한 현실적인 조명을 제공하며, 동적 그림자를 통해 움직이는 객체와 광원에 따른 그림자를 표현한다. 4K 이상의 고해상도 텍스처를 사용하여 재질을 상세하게 표현한다.

3.2 객체 상태 시뮬레이션

BEHAVIOR-1K의 핵심 혁신 중 하나는 객체의 다양한 상태를 추적하고 시뮬레이션하는 것이다. 온도 상태는 뜨거움, 미지근함, 상온, 차가움, 얼어있음으로 구분된다. 청결도는 깨끗함, 약간 더러움, 더러움, 매우 더러움으로 나뉜다. 습도는 마름, 약간 젖음, 젖음, 흠뻑 젖음으로 표현된다. 요리 상태는 날것, 덜 익음, 적절히 익음, 과도하게 익음, 탐으로 구분된다. 토글 상태는 켜짐과 꺼짐으로 나뉘며, 채워짐 상태는 비어있음, 일부 채워짐, 채워짐, 넘침으로 구분된다. 접힘 상태는 펼쳐짐과 접힘으로, 얼룩 상태는 얼룩 없음과 얼룩 있음으로 구분된다.

객체의 상태는 다양한 상호작용에 의해 변화한다. 스토브에 올려진 음식은 시간이 지남에 따라 익으며, 물에 닿은 물체는 젖는다. 세제를 사용하면 더러운 물체가 깨끗해지고, 전원 버튼을 누르면 기기가 켜지거나 꺼진다.

3.3 작업 정의 언어 (BDDL)

BEHAVIOR Domain Definition Language는 작업을 형식적으로 정의하기 위한 도메인 특화 언어이다. BDDL은 초기 조건, 목표 조건, 제약 조건으로 구성된다. 초기 조건은 작업 시작 시 환경의 상태를 정의한다. 예를 들어, 커피 메이커가 카운터 위에 있고 꺼져 있는 상태를 나타낼 수 있다. 목표 조건은 작업 완료 시 달성해야 하는 상태를 정의한다. 예를 들어, 커피가 컵에 담겨 있고 뜨거우며, 컵이 테이블 위에 있는 상태를 나타낼 수 있다. 제약 조건은 작업 수행 시 지켜야 하는 제한 사항을 정의한다. 예를 들어, 5분 이내에 완료해야 하거나 로봇이 깨지기 쉬운 물체와 충돌하지 않아야 한다는 조건을 설정할 수 있다.

BDDL은 다양한 공간적, 상태적 술어를 지원한다. OnTop 술어는 한 객체가 다른 객체 위에 있음을 나타내고, Inside 술어는 한 객체가 다른 객체 안에 있음을 나타낸다. NextTo 술어는 한 객체가 다른 객체 옆에 있음을, Under 술어는 한 객체가 다른 객체 아래에 있음을 나타낸다. Touching 술어는 두 객체가 접촉하고 있음을, Filled 술어는 한 객체가 특정 물질로 채워져 있음을 나타낸다.

3.4 센서 시뮬레이션

BEHAVIOR-1K는 다양한 센서를 시뮬레이션하여 실제 로봇과 유사한 인식 환경을 제공한다. 시각 센서로는 1920×1080 해상도의 RGB 카메라와 밀리미터 단위의 정확도를 가진 깊이 카메라가 있다. 인스턴스 세그멘테이션을 통해 각 객체를 개별적으로 식별할 수 있으며, 시맨틱 세그멘테이션을 통해 객체 카테고리를 분류할 수 있다.

촉각 센서는 접촉 감지를 통해 힘의 크기와 방향을 측정하고, 질감 인식을 통해 표면의 거칠기를 파악하며, 온도 감지를 통해 접촉한 물체의 온도를 측정한다. 고유수용 센서는 관절 위치, 관절 속도, 관절 토크를 측정하여 로봇의 현재 상태를 파악한다. 그 외에도 IMU를 통해 가속도와 자이로스코프 데이터를 수집하고, 힘/토크 센서를 통해 엔드 이펙터에 가해지는 힘을 측정한다.

4. 데이터셋 구조

4.1 활동 데이터

BEHAVIOR-1K는 총 1,000개의 활동 인스턴스를 포함하고 있으며, 이들은 50개의 활동 카테고리로 분류된다. 각 카테고리는 평균적으로 20개의 변형을 가지고 있다. 활동의 복잡도는 다양하게 분포되어 있는데, 단순 작업은 1-3 단계로 구성되며 전체의 15%를 차지한다. 중간 복잡도의 작업은 4-7 단계로 구성되며 50%를 차지한다. 복잡한 작업은 8-15 단계로 구성되며 30%를, 매우 복잡한 작업은 15단계 이상으로 구성되며 5%를 차지한다.

4.2 환경 데이터

BEHAVIOR-1K는 50개의 독립적인 3D 환경을 제공한다. 각 환경은 평균적으로 150개의 객체를 포함하고 있어, 총 7,500개 이상의 객체 인스턴스가 존재한다. 객체 다양성 측면에서는 500개 이상의 객체 카테고리가 있으며, WordNet 기반의 객체 분류 체계를 따른다. 각 객체는 고유한 3D 모델과 물리 속성을 가지고 있다. 공간 다양성 측면에서는 40m²에서 200m²에 이르는 다양한 집 크기를 제공하며, 다양한 방 배치와 가구 스타일을 갖추고 있다.

4.3 주석 데이터

각 활동에는 여러 종류의 주석이 제공된다. 작업 주석으로는 자연어 설명, BDDL 형식의 형식적 정의, 예상 소요 시간, 난이도 등급이 포함된다. 객체 주석으로는 객체 카테고리, 어포던스 정보, 상태 변화 가능성, 상호작용 방법이 포함된다. 환경 주석으로는 방 유형 및 크기, 객체 배치 정보, 접근 가능한 영역에 대한 정보가 포함된다.

5. 평가 메트릭

5.1 성공률

성공률은 두 가지 방식으로 평가된다. 이진 성공 평가에서는 목표 조건을 완전히 달성하면 성공으로, 하나라도 미달성하면 실패로 판정한다. 부분 성공 평가에서는 달성된 하위 목표의 비율을 측정하며, 0에서 1 사이의 값으로 표현된다.

5.2 효율성 메트릭

효율성은 여러 측면에서 측정된다. 시간 효율성은 작업 완료 시간과 최적 시간 대비 비율로 측정된다. 행동 효율성은 실행된 행동 수와 불필요한 행동 비율로 평가된다. 경로 효율성은 이동 거리와 최단 경로 대비 비율로 측정된다.

5.3 품질 메트릭

품질은 정확도, 안전성, 자연스러움으로 평가된다. 정확도는 객체 배치의 정확성과 최종 상태의 정확성으로 측정된다. 안전성은 객체 파손 횟수와 위험 상황 발생 빈도로 평가된다. 자연스러움은 인간의 행동과의 유사도와 불필요한 움직임의 최소화 정도로 측정된다.

5.4 일반화 능력

일반화 능력은 환경 일반화와 작업 일반화로 나뉜다. 환경 일반화는 새로운 집 구조에서의 성능과 새로운 객체 배치에서의 성능으로 측정된다. 작업 일반화는 유사 작업으로의 전이 능력과 새로운 작업 변형에 대한 적응력으로 평가된다.

6. 베이스라인 방법론

6.1 휴리스틱 기반 접근

휴리스틱 기반 접근법으로는 규칙 기반 시스템이 있다. 이 시스템은 사전 정의된 행동 시퀀스를 사용하고, 조건부 분기를 통한 유연성을 제공한다. 그러나 성공률은 약 5%에 불과하다. 이 방법의 한계점으로는 변화하는 환경에 대한 적응력 부족, 복잡한 작업에서의 실패, 예외 상황 처리의 어려움 등이 있다.

6.2 학습 기반 접근

강화학습 방법으로는 여러 알고리즘이 시도되었다. Deep Q-Network는 이산 행동 공간에서 약 10%의 성공률을 보였으나, 희소한 보상과 장기 의존성 문제를 겪었다. Proximal Policy Optimization은 연속 행동 공간에서 약 15%의 성공률을 보였으나 샘플 효율성 문제가 있었다. Soft Actor-Critic은 최대 엔트로피 강화학습을 사용하여 약 18%의 성공률을 달성했으며, 탐색-활용 균형이라는 장점을 가지고 있다.

모방학습 방법으로는 Behavioral Cloning과 Dataset Aggregation이 있다. Behavioral Cloning은 인간 시연 데이터를 학습하여 약 20%의 성공률을 보였으나 분포 이탈 문제를 겪었다. Dataset Aggregation은 반복적 데이터 수집을 통해 약 25%의 성공률을 달성했으며, 분포 이탈을 완화하는 장점이 있다.

6.3 계획 기반 접근

Classical Planning 방법으로는 PDDL이 있다. PDDL은 심볼릭 계획을 사용하여 약 30%의 성공률을 달성했으나 불확실성 처리가 어렵다는 한계가 있다. Task and Motion Planning은 심볼릭 계획과 기하학적 추론을 결합하여 약 35%의 성공률을 보였으며, 복잡한 조작 작업을 처리할 수 있다는 장점이 있다.

6.4 하이브리드 접근

계층적 강화학습은 상위 레벨에서 하위 목표를 계획하고 하위 레벨에서 기초 행동을 실행하는 방식으로 약 40%의 성공률을 달성했다. 학습된 계획기는 신경망 기반 계획을 사용하고 학습 데이터로 향상되어 약 38%의 성공률을 보였다.

7. 실험 결과 및 분석

7.1 전체 성능 비교

다양한 방법론의 전체 성능을 비교한 결과, Random 방법은 0.2%의 성공률을 보였으며 효율성은 0.05였다. Heuristic 방법은 5.1%의 성공률, 287초의 평균 시간, 0.23의 효율성을 보였다. DQN은 9.8%의 성공률, 324초의 평균 시간, 0.31의 효율성을 달성했다. PPO는 14.6%의 성공률, 298초의 평균 시간, 0.38의 효율성을 보였다. SAC는 17.9%의 성공률, 285초의 평균 시간, 0.42의 효율성을 달성했다. BC는 19.7%의 성공률, 268초의 평균 시간, 0.45의 효율성을 보였다. DAgger는 24.3%의 성공률, 252초의 평균 시간, 0.51의 효율성을 달성했다. PDDL은 29.8%의 성공률, 195초의 평균 시간, 0.58의 효율성을 보였다. TAMP는 34.5%의 성공률, 178초의 평균 시간, 0.63의 효율성을 달성했다. Hierarchical RL은 39.2%의 성공률, 165초의 평균 시간, 0.67의 효율성으로 가장 좋은 성능을 보였다.

7.2 작업 복잡도별 성능

단순 작업의 경우 TAMP가 65%의 최고 성공률을 기록했으며 평균 성공률은 48%였다. 주요 실패 원인은 물체 인식 오류였다. 중간 복잡도 작업에서는 Hierarchical RL이 42%의 최고 성공률을 보였고 평균 성공률은 28%였다. 주요 실패 원인은 하위 목표 계획 오류였다. 복잡한 작업에서는 Hierarchical RL이 18%의 최고 성공률을 기록했으며 평균 성공률은 12%였다. 주요 실패 원인은 장기 의존성과 누적 오류였다. 매우 복잡한 작업의 경우 TAMP가 5%의 최고 성공률을 보였고 평균 성공률은 2%였다. 주요 실패 원인은 계획 수립 실패였다.

7.3 카테고리별 성능 분석

청소 활동은 평균 32%의 성공률을 보였으며, 주요 도전 과제는 먼지나 얼룩 등 보이지 않는 상태를 감지하는 것이었다. 요리 활동은 평균 18%의 성공률을 보였으며, 온도 제어, 시간 관리, 복잡한 순서가 주요 도전 과제였다. 정리정돈 활동은 평균 28%의 성공률을 보였으며, 적절한 위치 결정과 공간 추론이 주요 도전 과제였다. 유지보수 활동은 평균 25%의 성공률을 보였으며, 정밀한 조작과 도구 사용이 주요 도전 과제였다.

7.4 실패 사례 분석

전체 실패 사례 중 35%는 인식 실패로 인한 것이었다. 여기에는 객체 감지 실패, 객체 상태 추론 오류, 장면 이해 부족이 포함된다. 28%는 계획 실패로 인한 것이었으며, 불가능한 계획 수립, 하위 목표 순서 오류, 제약 조건 위반이 원인이었다. 22%는 실행 실패로 인한 것이었으며, 물체 파지 실패, 부정확한 배치, 충돌 발생이 원인이었다. 15%는 상태 관리 실패로 인한 것이었으며, 객체 상태 변화 감지 실패, 잘못된 상태 전이 가정, 전제 조건 확인 누락이 원인이었다.

7.5 환경 일반화 능력

동일한 환경에서 객체 배치만 변경한 경우 평균 15%의 성능 하락이 있었으며, 학습 기반 방법이 더 큰 영향을 받았다. 완전히 새로운 환경에서는 평균 35%의 성능 하락이 있었으며, 계획 기반 방법이 상대적으로 강건했다. 새로운 객체 인스턴스를 사용한 경우 평균 20%의 성능 하락이 있었으며, 시각적 변화에 민감한 모습을 보였다.

8. 주요 발견 및 통찰

8.1 물리 시뮬레이션의 중요성

정확한 물리 시뮬레이션이 필수적이라는 것이 밝혀졌다. 비현실적인 물리는 학습된 정책이 실제 환경으로 전이되지 못하게 만든다. 특히 접촉 역학의 정확도가 매우 중요하며, 마찰, 중력, 관성이 행동 선택에 큰 영향을 미친다. 그러나 시뮬레이션과 현실 사이의 격차는 여전히 존재한다. 도메인 랜덤화를 통해 이를 일부 완화할 수 있지만, 더 정밀한 물리 모델이 필요하다.

8.2 객체 상태 추론의 어려움

온도나 청결도와 같이 시각적으로 명확하지 않은 상태를 추론하는 것이 매우 어렵다는 것이 확인되었다. 이러한 보이지 않는 상태를 파악하기 위해서는 다중 모달 센싱이 필요하며, 추론 능력이 요구된다. 또한 시간에 따른 상태 변화를 추적하고, 인과 관계를 이해하며, 상태를 예측하는 능력이 필요하다.

8.3 장기 계획의 필요성

복잡한 작업을 수행하기 위해서는 계획이 필수적이다. 단순 반응형 정책만으로는 불충분하며, 여러 단계의 하위 목표를 설정할 수 있어야 한다. 계층적 추상화가 중요하다. 또한 실행 중에 재계획이 필요하고, 예상치 못한 상황에 대응할 수 있어야 하며, 유연한 계획 조정이 가능해야 한다.

8.4 멀티모달 학습의 중요성

자연어 명령을 이해하고 시각 정보와 언어 정보를 결합하며 상식 지식을 활용하는 시각-언어 통합이 중요하다. 또한 물체 조작 시 촉각 피드백이 중요하며, 힘 제어가 필요하고, 안전한 상호작용을 보장해야 하는 시각-촉각 통합도 필요하다.

8.5 일반화 능력의 한계

훈련 환경에 특화되어 새로운 상황에 취약한 과적합 문제가 발견되었다. 더 다양한 훈련 데이터가 필요하다. 또한 작업 간 전이와 환경 간 전이가 제한적이며, 메타 학습 접근이 필요하다는 것이 밝혀졌다.

9.1 현재의 한계점

시뮬레이션 측면에서는 일부 물리 현상이 근사화되어 있고, 변형 가능한 객체에 대한 지원이 제한적이며, 유체 시뮬레이션이 복잡하다는 한계가 있다. 작업 범위 측면에서는 실내 활동에만 집중되어 있고, 복잡한 사회적 상호작용이 부재하며, 창의적 작업이 부족하다. 평가 메트릭 측면에서는 정성적 품질 평가가 어렵고, 부분 성공의 점수화가 문제이며, 안전성 정량화에 한계가 있다. 계산 비용 측면에서는 고정밀 시뮬레이션의 비용이 높고, 대규모 학습에 많은 자원이 필요하며, 실시간 실행이 어렵다.

9.2 향후 연구 방향

더 다양한 활동을 위해서는 실외 활동을 추가하고, 사회적 상호작용을 포함하며, 창의적 작업을 확장하고, 수 시간에서 수 일에 걸친 장기 작업을 다루어야 한다. 개선된 시뮬레이션을 위해서는 더 정확한 물리 엔진이 필요하고, 변형 가능한 객체 지원을 강화해야 하며, 복잡한 유체 시뮬레이션을 구현하고, 재료 속성을 다양화해야 한다.

멀티모달 학습을 위해서는 시각-언어-행동을 통합하고, 상식 추론을 통합하며, 대규모 사전 학습 모델을 활용하고, 인간 시연 데이터를 활용해야 한다. Sim-to-Real 전이를 위해서는 도메인 랜덤화 기법을 개선하고, 도메인 적응 알고리즘을 개발하며, 실제 로봇 플랫폼에서 검증하고, 시뮬레이션-현실 격차를 축소해야 한다.

효율적 학습을 위해서는 샘플 효율성을 개선하고, 전이 학습 및 메타 학습을 활용하며, 오프라인 강화학습을 적용하고, 자기 지도 학습을 사용해야 한다. 인간-로봇 협업을 위해서는 공동 작업을 수행하고, 자연어로 상호작용하며, 의도를 이해하고 예측하며, 적응적으로 행동을 조정해야 한다.

설명 가능성을 위해서는 의사결정 과정을 투명하게 하고, 실패 원인을 분석하며, 사용자 신뢰를 구축해야 한다. 안전성 및 신뢰성을 위해서는 안전 제약 조건을 학습하고, 예측 가능한 행동을 보장하며, 오류 복구 메커니즘을 갖추고, 견고성을 검증해야 한다.

장기적으로는 완전 자율 가정 로봇을 개발하여 인간 수준의 일상 작업을 수행하고, 새로운 작업에 빠르게 적응하며, 자연스러운 인간과의 상호작용을 구현해야 한다. 개인화된 AI 어시스턴트는 사용자 선호도를 학습하고, 맥락을 인식하여 지원하며, 예측적으로 도움을 제공해야 한다. 범용 Embodied AI는 다양한 환경에서 작동하고, 광범위한 작업을 수행하며, 지속적으로 학습하고 개선되어야 한다.

10. 결론

10.1 주요 기여

BEHAVIOR-1K는 Embodied AI 연구에 중요한 기여를 한다. 종합적인 벤치마크로서 1,000개의 다양한 일상 활동, 50개의 현실적인 가정 환경, 체계적인 평가 프레임워크, 표준화된 메트릭을 제공한다. 현실적인 시뮬레이션을 통해 고정밀 물리 시뮬레이션, 사실적인 렌더링, 복잡한 객체 상태 추적, 다양한 센서 모델링을 구현했다. 연구 기반을 제공함으로써 오픈소스 도구 및 데이터, 커뮤니티 벤치마크, 재현 가능한 실험, 협업 플랫폼을 제공한다. 실용적 가치 측면에서는 실제 응용을 반영한 작업, 현실적인 도전 과제, 산업계 적용 가능성을 제시한다.

10.2 영향 및 전망

BEHAVIOR-1K는 연구를 가속화하여 표준화된 평가로 연구 비교를 용이하게 하고, 새로운 방법론 개발을 촉진하며, 협업 연구를 활성화한다. 실용성을 강조하여 실제 응용 가능한 작업에 초점을 맞추고, 산업계의 관심을 증대시키며, 상용화 가능성을 탐색한다. 커뮤니티를 구축하여 공통 플랫폼을 통한 협업을 촉진하고, 지식을 공유 및 축적하며, 차세대 연구자를 교육한다.

BEHAVIOR-1K는 가정용 로봇과 Embodied AI의 발전에 중요한 이정표가 될 것이다. 이 벤치마크를 통해 연구자들은 실용적이고 강건한 AI 에이전트를 개발할 수 있으며, 산업계는 상용 제품 개발의 기술적 기반을 마련할 수 있고, 사회는 일상 생활을 돕는 로봇의 혜택을 누릴 수 있다.

10.3 최종 의견

BEHAVIOR-1K는 단순한 벤치마크를 넘어, Embodied AI 연구의 패러다임을 제시한다. 실제 세계의 복잡성을 포용하고, 실용적인 응용을 지향하며, 커뮤니티의 협력을 촉진하는 이 벤치마크는 인간을 돕는 지능형 로봇 실현에 한 걸음 더 가까이 다가가게 한다.

향후 더 많은 연구자들이 이 플랫폼을 활용하여 혁신적인 알고리즘을 개발하고, 더 나은 시뮬레이션 기술을 구축하며, 궁극적으로는 우리의 일상 생활을 실질적으로 개선할 수 있는 로봇 시스템을 만들어낼 것으로 기대한다.

프로젝트 웹사이트는 https://behavior.stanford.edu에서 접근할 수 있으며, 코드 저장소는 https://github.com/StanfordVL/behavior에 있다. 데이터셋은 https://behavior.stanford.edu/omnigibson에서 다운로드할 수 있고, 문서는 https://behavior.stanford.edu/docs에서 확인할 수 있다. 논문은 https://arxiv.org/abs/2403.09227에서 열람할 수 있다.

⛏️ Dig Review

⛏️ Dig — Go deep, uncover the layers. Dive into technical detail.

BEHAVIOR-1K: 1,000개 일상 활동과 현실적 시뮬레이션을 갖춘 인간 중심 Embodied AI 벤치마크 — 심층 리뷰

0) 한눈에 보기 (TL;DR)

무엇? BEHAVIOR-1K는 “사람들이 로봇에게 정말로 맡기고 싶은 일”을 출발점으로 설계된 1,000개 일상 활동 벤치마크와 OmniGibson 시뮬레이터로 구성된 대규모 플랫폼입니다. 50개 장면, 9천+ 객체, 풍부한 물리·의미 속성, 변형체/유체까지 모델링합니다.
왜 중요한가? 기존 벤치마크가 다루기 어려웠던 장기(Time-extended) 모바일 매니퓰레이션을 현실감 높게 모사하여, 실제 로봇 서비스로 이어지는 연구를 촉진합니다.
핵심 난점? End-to-end 비전 정책은 거의 실패하고, 고수준 프리미티브 + 메모리가 일부 과제를 해결하지만, sim-to-real 전이는 여전히 큰 격차가 남아 있습니다.

1) 문제의식과 기여

로봇학습의 많은 과제는 연구자가 정의한 좁은 범주의 태스크에 편향되어 왔습니다. BEHAVIOR-1K는 대중 설문을 통해 “로봇에게 부탁하고 싶은 활동”을 수집하고, 그 결과를 바탕으로 현실적·다양한 과제군(1,000개)을 구축했습니다. 이를 실행하는 새로운 시뮬레이터 OmniGibson은 PhysX/Omniverse 기반의 고충실 물리·렌더링으로 경질체, 연성체(천/종이/옷감), 유체 상호작용까지 지원합니다. 결과적으로, 사람 중심의 다양성 + 현실적 물리라는 두 축을 모두 확장한 점이 가장 큰 기여입니다.

2) 시뮬레이션 환경 구현 방식: OmniGibson

2.1 물리 및 그래픽스 백엔드

엔진/플랫폼: NVIDIA Omniverse + PhysX(5.x 계열) 기반. 경질체의 충돌/마찰/관절, 연성체(Cloth), 유체 흐름, 투명·반사 재질 등 고급 효과를 지원합니다. 이는 가사·정리·요리 등 생활 밀착형 과제를 시뮬레이션하기 위한 전제조건입니다.
시각 충실도: 레이 트레이싱 기반의 사실적 조명/재질 표현으로, 센싱-중심 정책학습(예: RGB-D)에서 도메인 차이를 줄이는 효과가 기대됩니다.

2.2 객체-중심 상태와 논리적 서술의 연결

OmniGibson은 객체 상태(object states)를 일급 개념으로 다룹니다. 예: 온도(temperature), 젖음(wetness), 청결(cleanliness), 토글 on/off, 슬라이스(sliced) 등. 이러한 연속/이산 속성은 논리 술어(predicate)로 매핑되어 “익었다(cooked)”, “안에 있다(inside)” 등 과제의 목표 조건을 기계적으로 판정합니다. 이 사상은 iGibson 2.0에서 도입되었고 OmniGibson에서 한층 확장되었습니다.

논리-물리 매핑 예시 \texttt{Cooked}(x) ;\Longleftrightarrow; T_x \ge T_\mathrm{cook} 여기서 T_x는 객체 x의 온도, T_\mathrm{cook}은 조리 판정 임계값입니다(시뮬레이터가 연속상태를 추적).

2.3 장면 샘플링·랜덤화·데모 수집

샘플링: “초기/목표 논리 조건을 만족하는” 물리 배치를 자동 샘플링해 무한대에 가까운 에피소드를 생성합니다(예: 냉동식품이 냉장고 안에 있고, 오븐은 꺼져 있음).
도메인 랜덤화: 배치/재질/조명 등 변화를 통해 강인한 정책을 학습합니다. 시뮬레이션-현실 시각 격차를 줄이는 전형적 접근입니다.
VR/텔레오퍼레이션: iGibson 2.0에서의 VR 인터페이스 전통을 잇는 데모 수집 파이프라인이 제공됩니다(인간-시범 → IL/IRM 등).

요약: OmniGibson은 “물리(연성/유체/관절) + 논리 상태 + 자동 인스턴스화 + 데모수집”을 통합한 현실감·생산성·확장성 삼박자를 구현합니다.

3) 활동 분류 체계와 BDDL

3.1 인간 중심 활동 선정

1,461명 규모의 설문으로 “로봇에게 바라는 일”을 수집, 상위 1,000개를 활동(activity)으로 채택했습니다. 집·정원·식당·사무실 등 50개 장면, 9천+ 객체와 결합하여 풍부한 과제 인스턴스를 생성합니다.

3.2 BDDL: Behavior Domain Definition Language

BDDL은 초기 상태 S_{\tau,0}와 목표 상태 S_{\tau,g}를 논리 술어들의 집합으로 기술하는 도메인 전용 서술 언어입니다. 활동 \tau는 아래처럼 정의됩니다. \tau \equiv {S_{\tau,0},, S_{\tau,g}}, \quad S_{\tau,\cdot} = { \text{predicates over objects / states}} 예: Forall(o \in decorations) Inside(o, cabinet) → “모든 장식물이 캐비닛 안에 있다.” 이렇게 정의하면 환경/배치가 달라도 논리 조건만 만족하면 성공으로 판정할 수 있습니다.

의의: 연구자 수작업 스크립팅 없이 활동 정의 → 무한 인스턴스 생성 → 자동 평가가 가능해집니다. 이는 ’활동 일반화’를 가속합니다.

4) 평가 메트릭 설계

4.1 성공 기준(Goal Satisfaction)

성공은 BDDL 목표 조건 충족 여부로 이진 판정합니다. 학습에서는 의도적으로 보상을 단순화(스파스 리워드)하여 목표 중심 학습을 유도합니다.

4.2 효율성·품질 지표

실사용 로봇 관점에서 성공률만으로는 부족합니다. BEHAVIOR 계열은 다음의 효율성/품질 지표를 함께 측정합니다.

이동 거리 D_\text{nav}: 총 주행 거리(짧을수록 효율).
소요 시간/스텝 T: 완료까지 시간 또는 단계 수(빠를수록 효율).
환경 교란 D_\text{kin}: 임무와 무관하게 움직인 타 객체들의 총 이동량(작을수록 정돈된 수행). 이들은 경로 최적성/속도/정리 품질을 수치화해 실제 서비스 적합성을 평가하게 해줍니다.

종합 점수 Q(참고치)를 병행 보고하기도 하나, 연구 보고에서는 개별 지표의 해석력이 더 크다고 논의합니다.

5) 베이스라인과 관찰: 왜 어려운가?

5.1 End-to-End vs. 프리미티브 기반

End-to-End 비전→액션 정책은 다수 과제에서 실패.
행동 프리미티브(예: pick/place/열기/닫기)를 사용한 계층형 정책은 일부 과제에서 유의미한 성공률을 달성.
메모리(히스토리) 추가 시 이동 경로 단축·불필요 행동 감소 등 효율성 지표 개선. 핵심은 장기 계획 + 다단계 조작이라는 구조적 난점을 추상 액션과 기억으로 완화해야 한다는 점입니다.

5.2 파지(grasping)의 현실성

훈련 중 보조 그리퍼(Sticky-Mitten)를 쓰면 시뮬레이션 성능이 높지만, 이를 제거하고 완전 물리 그리핑으로 평가하면 급락합니다. 파지는 여전히 병목 난제이며, 데이터·센서퓨전·접촉계획의 개선이 필요합니다.

6) Sim-to-Real: 실제 로봇 적용 가능성

6.1 실험 개요

실제 모바일 매니퓰레이터(Tiago) + 아파트 디지털 트윈 구축 → OmniGibson 학습 정책을 현실 이식.
시각 도메인 랜덤화로 카메라 차이를 일부 완화. YOLO 기반 2D 검출→3D 투영, 지도 기반 위치추정 적용.

6.2 결과 요약(질적)

시뮬레이터 성공률(예: 특정 과제 ≈40%) → 현실 이식 0% 사례 보고.
인간 오라클(최적 프리미티브)가 지시한 경우도 현실 성공률이 낮음(약 수십 %대).
실패 원인: 정책 선택 오류, 시각 격차(HDR/질감/노이즈), 그리핑 실패, 누적 오차(compounding errors) 등 다원적. → 시각 랜덤화, 액션/센서 노이즈 모델링, 접촉물리 정밀화, 프리미티브-계층화가 필수.

정리: “현실성 높은 시뮬레이터 + 인간 중심 과제”만으로 격차가 자동 해소되진 않습니다. 센서/액터 노이즈 주입, 도메인 랜덤화의 체계화, 로봇 하드웨어(엔드이펙터) 개선, 오류복구 정책이 동반되어야 합니다.

7) 수식으로 보는 BEHAVIOR-스타일 활동 모델

활동 \tau의 학습 문제를 간단히 쓰면:

MDP: (\mathcal S,\mathcal A, p, r_\tau,\gamma), 관측 o_t \sim \mathcal O(s_t)
스파스 리워드: r_\tau(s_t,a_t,s_{t+1})= \begin{cases} +1,& s_{t+1}\in S_{\tau,g}\ 0,& \text{otherwise} \end{cases}
성공 확률: ;P_\pi^\tau=\Pr\big(s_T\in S_{\tau,g}\mid \pi\big)
효율성 측정(예): D_\text{nav}=\sum_{t=1}^{T}\lVert x_t-x_{t-1}\rVert,\quad D_\text{kin}=\sum_{t=1}^{T}\sum_{o\in \mathcal O_\text{env}}\lVert p^o_t-p^o_{t-1}\rVert T는 완료 시점(또는 제한 스텝). 여기서 D_\text{kin}은 주변 교란을 정량화합니다. (논문에서 제안된 품질 지표 맥락화.)

8) 실제 로봇 적용을 위한 설계 체크리스트

8.1 정책 아키텍처

계층형: 고수준 프리미티브(옵션) + 저수준 제어(컨트롤러) 분할.
메모리: o_{1:t} 요약(Transformer/GRU)로 장기 의존성 처리.
스킬 라이브러리: pick/place/open/close/pour/fold 등 스킬-사전을 구축하고, 조건부 파라미터(목표 포즈/힘/시간)로 인스턴스화.

8.2 시각·퍼셉션

다중센서: RGB-D + 관절/힘/촉각(가능 시) 융합.
도메인 랜덤화: 조명/재질/노이즈/해상도/왜곡/모션블러.
세그멘테이션 + 6D 포즈: 조작 대상의 추적 안정화.

8.3 그리핑·접촉

엔드이펙터: 마찰·순응·피드백(힘/촉각) 고려한 하드웨어.
접촉계획: grasp-synthesis(샘플링/학습 혼합) + 슬립/팁오버 감지.

8.4 로코모션·정밀 정합

전역→국소 정합: 전역 경로계획 후 마지막 1m에서 정밀 정합(ICP/비전-아르코).
오류복구: 실패 감지 후 백오프→재시도 정책.

위 체크리스트는 논문에서 드러난 실패 모드(시각/그리핑/누적오차)를 줄이기 위한 실용적 가이드입니다.

9) 관련 생태계: BEHAVIOR-100, iGibson 2.0과의 연계

BEHAVIOR-100: 100개 가사활동, BDDL 최초 도입, 객체 상태·논리 술어·자동 인스턴스화의 삼단 구성 확립. BEHAVIOR-1K는 이를 스케일·현실성 측면에서 대폭 확장했습니다. (stanfordvl.github.io)
iGibson 2.0: 객체 상태/논리 매핑/VR 데모 수집·샘플링을 제안. OmniGibson은 물리/그래픽 충실도를 끌어올려 연성체/유체까지 아우릅니다.

10) 실험 재현과 리소스

논문/코드/웹사이트: arXiv(논문), PMLR(CoRL 2023), 프로젝트 페이지, GitHub 저장소가 공개되어 있습니다.
- 논문: BEHAVIOR-1K(2024, arXiv) / CoRL 2023 PMLR 버전 참고.
- 사이트/문서: 주요 개요·시뮬레이터 문서·데모 등.
- 코드/BDDL: BEHAVIOR-1K 저장소 및 BDDL 레퍼런스.

11) 토론: 한계와 향후 과제

Sim-to-Real 격차: 고충실 시뮬레이터에도 불구하고 여전히 큼. 해결책은 센서/액터 노이즈 주입, 강화된 도메인 랜덤화, 실측 기반 재질/마찰 캘리브레이션, 엔드이펙터/그리핑 개선입니다.
장기 계획: 수백-수천 스텝 구조는 계층형 RL/IL, 언어형 태스크 계획(LLM-guided), 하이브리드 계획-학습의 도입 근거를 강화합니다.
사람-로봇 상호작용(HRI): 현재 버전은 인간 에이전트의 풍부한 상호작용을 제한적으로 다룹니다. 가상 인간의 사실적 시뮬레이션이 향후 확장 포인트입니다.

12) 결론

BEHAVIOR-1K는 인간 중심 과제 정의(1,000개)와 현실감 높은 시뮬레이션(OmniGibson)을 결합해, 장기 모바일 매니퓰레이션의 표준 벤치마크로 자리매김하고 있습니다. 베이스라인 분석은 프리미티브·메모리·그리핑의 중요성을 재확인했고, Sim-to-Real 지형도를 구체적으로 드러냈습니다. 본 벤치마크는 실제 서비스 로봇으로 이어지기 위한 연구 집약점으로서, 계층형 정책·퍼셉션 강건화·접촉물리·오류복구를 포함한 총체적 접근을 요구합니다.

부록 A) 용어 정리

BDDL: 초기/목표 상태를 논리 술어로 기술하는 도메인 언어. \tau={S_{\tau,0},S_{\tau,g}}.
환경 교란(D_\text{kin}): 임무 수행 중 주변 객체의 총 이동량—정돈 품질 지표.
프리미티브(Primitive): pick/place/open/close/pour/fold 등 고수준 스킬.
도메인 랜덤화: 시각/물리/잡음 무작위화로 일반화 유도.

부록 B) 인용/참고 자료

Li et al., BEHAVIOR-1K (arXiv 2403.09227; CoRL 2023 PMLR). (arXiv)
OmniGibson 문서(시뮬레이터 인터페이스/PhysX 백엔드). (behavior.stanford.edu)
BEHAVIOR-100 소개/문서(BDDL 원형, 100개 활동). (stanfordvl.github.io)
iGibson 2.0 (객체 상태·논리 매핑·VR/샘플링). (arXiv)
프로젝트/코드 레포: BEHAVIOR-1K, BDDL. (GitHub)