📃Bridging Language and Action 리뷰

Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation

• Paper Link (arXiv:2312.10807)

• PDF (v7, 2026-06-22)

• Xiangtong Yao, Hongkuan Zhou, Oier Mees, Yuan Meng (공동 1저자), Ted Xiao, Yonatan Bisk, Jean Oh, Edward Johns, Mohit Shridhar, Dhruv Shah, Jesse Thomason, Kai Huang, Joyce Chai, Zhenshan Bing, Alois Knoll

• TUM · Bosch · UC Berkeley · Microsoft · Google DeepMind · CMU · Imperial College London · Princeton · USC · Sun Yat-sen · Michigan · Stuttgart · Nanjing

• International Journal of Robotics Research (IJRR) 게재 승인본 (논문 표지 명시), arXiv v1 2023-12-17 → v7 2026-06-22, 본문 50쪽 + 부록/참고문헌 포함 70쪽

1. 💡 언어로 로봇을 조종하는 연구를 “알고리즘 패러다임(RL/IL/planning)”이 아니라 “언어가 제어 루프 안에서 맡는 기능적 역할” 로 다시 자른 서베이다 — 같은 RL이라도 언어가 보상을 만드는 것과 정책을 조건화하는 것은 근본적으로 다른 일이라는 관찰에서 출발한다.
2. ⚙️ 그 역할을 ❶ 상태 평가(state evaluation) ❷ 정책 조건(policy condition) ❸ 인지적 계획·추론(cognitive planning and reasoning) ❹ 통합 VLA(unified vision-language-action models) 네 갈래로 나누고, 각 갈래를 다시 알고리즘 계보로 세분한 뒤, 이와 직교하는 5개 축(action granularity · data and supervision regimes · system cost and latency · environments and evaluations · task specification)으로 가로질러 비교한다.
3. 🎯 4개의 계층적 taxonomy 그림 + 5개의 계열별 대표기법 비교표 + 벤치마크·시뮬레이터·지연시간 표를 갖췄고, 2018년 초기 파서 기반 기법부터 2026년 VLA까지를 부록 표 2장으로 연표화했으며, 마지막에 “VLA가 옳은 길인가 / 월드모델이 옳은 길인가 / 실시간 제약 아래서 스케일링이 도움이 되는가” 세 논쟁을 정면으로 다룬다.

---

🔍 Ping Review

🔍 Ping — A light tap on the surface. Get the gist in seconds.

“언어로 로봇 팔을 시키는” 연구는 지난 5년간 폭발했지만, 그 지형도를 그리는 방식은 대체로 두 가지였다. 하나는 모델 종류로 자르기(LLM 기반 / VLM 기반 / VLA 기반), 다른 하나는 로봇 모듈로 자르기(perception / planning / control). 이 서베이는 둘 다 거부한다. 저자들의 관찰은 단순하고 날카롭다 — RL 논문 두 편이 있는데 하나는 LLM에게 보상 함수 코드를 쓰게 하고 다른 하나는 언어 임베딩을 정책 입력에 넣는다면, “둘 다 RL”이라는 분류는 아무것도 설명하지 못한다. 언어가 하는 일이 다르기 때문이다. 그래서 이 서베이는 “언어가 조작(manipulation) 제어 루프의 어디에 들어가는가”를 유일한 1차 분류축으로 삼는다.

그 결과가 아래 그림이다. 로봇 시스템을 Language / Perception / Control 세 모듈로 두고, 언어가 들어가는 지점을 ❶~❹로 번호 매긴다. ❶은 language → perception(관측을 점수로), ❷는 language → control(관측+지시를 행동으로), ❸은 among language(언어 안에서의 추론), ❹는 세 모듈을 하나로 접는 것이다.

서베이의 뼈대(Fig. 2) — Language / Perception / Control 세 모듈과, 언어가 개입하는 네 지점 ❶ state evaluation, ❷ policy condition, ❸ cognitive planning & reasoning, ❹ unified VLA. 왼쪽 루프는 사람-로봇 대화, 오른쪽 루프는 에이전트-환경 제어 루프다.

핵심 방법론:

네 갈래는 각각 하나의 “핵심 질문”으로 정의된다(원문 Sec. 3의 서술을 그대로 따른다).

#	갈래 (원문 용어)	핵심 질문	언어의 출력물	하위 계보
❶	Language for state evaluation (Sec. 4)	어떤 상태·결과가 바람직한지를 언어가 어떻게 규정하는가 (진행도 피드백)	스칼라 보상 / 비용(3D value map)	Reward designing(sparse·dense) → Reward learning(IRL 등) → FM-driven generation · Cost mapping(specific text→cost, FM-driven)
❷	Language as a policy condition (Sec. 5)	언어가 정책을 어떻게 조건화해 올바른 행동을 내게 하는가	행동 a_t	RL → Behavioral Cloning → Diffusion-based Policy
❸	Language for cognitive planning and reasoning (Sec. 6)	로봇이 언어 공간에서 어떻게 “생각”해 자기 행동을 구조화하는가	서브골 / 계획 / 코드 / 심볼	Classic neuro-symbolic → Empowered by LLMs → Empowered by VLMs
❹	Language in unified VLA models (Sec. 7)	비전·언어·행동을 하나의 확장 가능한 모델로 어떻게 통합하는가	액션 토큰 / 연속 액션 청크	Perception → Reasoning → Action → Adaptation

여기에 직교하는 5축(Sec. 8)이 얹힌다: action granularity(skill-level / trajectory-level / low-level control), data and supervision regimes, system cost and latency, environments and evaluations, task specification(언어 vs. 이미지/영상). 이 5축은 “언어가 어디 들어가는가”와 무관하게 실제 배치 가능성을 결정하는 공학적 선택을 비교하기 위한 장치다.

수식적으로는 ❷가 가장 명료하다. 목표 조건 IL(GCIL)에서 목표 g 자리에 언어 지시 l을 끼워 넣는 것이 출발점이고,

\mathcal{L}_{\text{BC}}(\theta, D) = \mathbb{E}_{(s_t^j,\,a_t^j,\,g^j)\sim D}\Big[\big\|\pi_\theta(s_t^j, g^j) - a_t^j\big\|_2^2\Big] \quad\Longrightarrow\quad \pi_\theta(a_t \mid s_t, l)

이 순간 언어의 지위가 goal specifier에서 behavior specifier로 바뀐다는 것이 Sec. 5의 한 줄 요약이다. 그리고 Sec. 8은 세 계열의 학습 신호를 하나의 목적함수로 묶는다:

\mathcal{L}_{\text{final}} = \lambda_1 \mathcal{L}_{\text{targets}} + \lambda_2 \mathcal{L}_{\text{evaluations}} + \lambda_3 \mathcal{L}_{\text{auxiliary}}

\mathcal{L}_{\text{targets}}는 per-sample 정답(행동·서브골·성공 라벨) 모사, \mathcal{L}_{\text{evaluations}}는 실행에서 나온 스칼라 평가(보상·선호·성공), \mathcal{L}_{\text{auxiliary}}는 자기지도(visual attention / reconstruction / future prediction). 저자들이 제시하는 흔한 커리큘럼은 “\lambda_1을 크게 두고 모방으로 warm-start → \lambda_2를 올리며 \lambda_1을 낮춰 결과 평가로 강건화 → \lambda_3는 작지만 0이 아니게 계속”이다.

주요 결과(서베이이므로 “정리물의 규모”로 읽는다):

• 분류 그림 4장: Sec. 4·5·6·7 각각에 전용 taxonomy 그림(Fig. 5, 6, 9, 16)이 붙는다. 계열별 “코어 아이디어” 한 줄이 그림 안에 박혀 있어(예: Sec. 5는 “language instructs how to do”) 축이 무엇을 가르는지 헷갈리지 않는다.
• 대표기법 비교표 4장: Table 2~5는 각 갈래에서 대표 기법 5~8개를 뽑아 핵심 메커니즘 / 주요 장점 / 주요 단점을 나란히 놓는다. 단점 칸이 비어 있지 않다는 점이 이 서베이의 미덕이다.
• 실측 지향 표: Table 6은 파라미터 수·하드웨어·제어 주파수·클라우드 의존 여부를 한 표에 모은다(RT-1 35M ~3Hz, OpenVLA 7B/RTX4090 3–6Hz, Diffusion Policy ~200M* ~1Hz, ManiCM ~200M*/RTX4090 ~50–60Hz 등). Table 7은 시뮬레이터 6종, Table 8은 벤치마크 11종을 관측 모달리티·데이터 규모까지 포함해 비교한다.
• 연표: 부록 Table 11·12가 2018년(IPRO, exePlan 등 파서/LSTM 시대)부터 2026년(AffordanceGrasp-R1)까지 100편 이상을 연도 / 벤치마크 / 시뮬레이터 / 언어 모듈 / 인식 모듈 / 실기 실험 여부 / FM·RL·IL·MP 사용 여부로 표준화해 나열한다.
• 논쟁 3제(Sec. 9): VLA 스케일링, 월드모델, 실시간 제약 — 각각에 대해 찬반 근거를 모두 적고 결론을 유보한다.

결론:

이 서베이의 값은 “논문 목록”이 아니라 자르는 칼에 있다. 언어가 보상이 되는가, 조건이 되는가, 계획이 되는가, 아니면 아예 액션과 한 몸이 되는가 — 이 네 질문은 실제로 서로 다른 병목과 다른 실패 양상을 갖는다(❶은 보상 코드의 취약성, ❷는 샘플 비효율과 추론 지연, ❸은 환각과 그라운딩, ❹는 데이터 규모와 catastrophic forgetting). 반대로 이 서베이는 “어떤 방법이 얼마나 잘하는가”에 대해서는 정량 비교를 거의 제공하지 않는다 — 벤치마크가 제각각이라 그럴 수 없다는 것이 저자들의 입장이고, 그 자체가 이 분야의 진단이기도 하다.

---

🔔 Ring Review

🔔 Ring — An idea that echoes. Grasp the core and its value.

한 줄로 시작하면

“language-conditioned manipulation은 하나의 문제가 아니라 네 개의 문제다” — 이것이 이 서베이가 하는 유일하고도 충분한 주장이다.

기존 서베이들은 대체로 “무엇으로 만들었는가”(LLM/VLM/VLA)나 “어느 모듈인가”(perception/planning/control)로 정리했다. 그러면 SayCan과 Text2Reward가 “둘 다 LLM 활용”으로 묶이고, PerAct와 π0가 “둘 다 policy”로 묶인다. 실제로 이 조합들은 서로 배울 것이 거의 없다. 반대로 이 서베이의 축으로 자르면 Text2Reward는 EUREKA·VoxPoser와 한 방에 들어가고(모두 “언어→정량 함수”), SayCan은 SayPlan·Code as Policies와 한 방에 들어간다(모두 “언어 안에서의 계획”). 각 방 안에서는 실제로 같은 병목을 다르게 공격한 계보가 보인다. 이 서베이를 읽는 값은 그 계보를 따라가는 데 있다.

왜 또 서베이인가 — 기존 서베이와의 차이 (Sec. 1.2)

저자들은 자기 자리를 명시적으로 잡는다. LLM 이전에는 Tellex et al. (2020)이 “lexically grounded” vs “learning methods” 같은 기술적 토대로 언어 그라운딩을 정리했다. LLM 이후의 서베이들(Hu et al. 2023; Li et al. 2024a; Xiao et al. 2025)은 파운데이션 모델을 모델 종류와 대체되는 로봇 모듈로 조직했고, Firoozi et al. (2025)은 “Perception / Decision-making / Control”이라는 일반 로보틱스 능력으로 조직했다.

이 서베이는 자기 관점을 “distinct and orthogonal”하다고 표현한다. 즉 기존 축을 부정하는 것이 아니라 직교하는 축을 하나 더 놓는다는 주장이다. 실제로 그 직교성 때문에 Sec. 8이 필요해진다 — 기능적 역할로 자른 뒤, 공학적 축(granularity/data/cost/eval/spec)으로 다시 가로지르는 구조다.

💡 참고로 이 블로그에는 모델 종류 축으로 정리한 VLA for Embodied AI 서베이 리뷰와, 조작 대상 축으로 정리한 Dexterous Imitation Learning 서베이 리뷰가 이미 있다. 이 세 편은 겹치기보다 서로 다른 칼로 같은 덩어리를 자른 것에 가깝다.

배경: 왜 하필 언어인가 (Sec. 1)

Sec. 1은 “언어 조건화”의 근거를 세 가지로 정리한다. 흥미로운 것은 저자들이 언어를 이미지/영상 조건화와 경쟁 관계가 아니라 상보 관계로 두고 시작한다는 점이다(이 전제는 Sec. 8.5에서 다시 회수된다).

1. Accessibility and usability — Tellex et al. (2020)의 표현을 인용한다: “most future robot users will not be programmers.” 언어는 GUI나 스크립트 없이 목표를 지정하게 하는 “zero-learning” 인터페이스다.
2. Trust through bidirectional communication — 명령을 주는 채널이 곧 정정·해명을 받는 채널이 된다. 사용자가 “I have a trach and have to eat slowly” 라고 말하면 로봇이 근거를 되돌려줄 수 있다는 것.
3. Transferring textual knowledge to robotics — “stack the two lightest boxes” 같은 명령은 지각 질의 + 관계 추론 + 스킬 시퀀스로 분해된다. 언어는 물성·절차·안전 규칙 같은 상식을 제어계로 수입하는 압축 인터페이스다.

그리고 이 서베이의 핵심 프레이밍이 나온다: 언어는 외부 태스크 명세일 뿐 아니라 로봇 추론의 내부 인지 매체이기도 하다. ❸이 별도 갈래로 존재하는 이유가 여기 있다.

공통 언어: 서베이가 깔아두는 수식 기초 (Sec. 2)

Sec. 2는 MDP → RL(가치함수, 벨만) → IL(BC / GCIL / IRL) → diffusion policy → KB·KG·KGE → 멀티모달 융합 → 언어모델 계보(NLM → PLM → LLM → VLM → VLA)를 압축해 깐다. 서베이 치고 수식을 성실히 적어둔 편이고, 뒤 절들이 이 기호를 재사용하므로 건너뛰면 손해다. 특히 세 대목이 뒤에서 계속 쓰인다.

(a) GCIL과 hindsight relabeling. 목표 조건 설정에서 보상은 지시함수로 정의된다.

r(s_t, a_t, s_{t+1}, g) = \mathbb{1}\big[s_{t+1} = g\big]

그리고 전이 (s_t^j, a_t^j, s_{t+1}^j, g^j)는 (s_t^j, a_t^j, s_{t+1}^j,\, g'=s_{t+k}^j)로 재라벨링될 수 있다. HER(Andrychowicz et al. 2017)과 같은 원리다. 이 관점이 뒤에서 “play data를 사후에 언어로 라벨링해 쓴다”(Learning from Play, MCIL)로 이어진다.

(b) 확산 정책의 두 단계. 역방향(denoising) 갱신과 학습 목적:

\boldsymbol{A}_t^{k-1} = \alpha\big(\boldsymbol{A}_t^{k} - \gamma\,\varepsilon_\theta(\boldsymbol{O}_t, \boldsymbol{A}_t^k, k)\big) + \mathcal{N}(0, \sigma^2 I)

\mathcal{L} = \mathbb{E}_{k,\varepsilon}\Big[\big\|\varepsilon - \varepsilon_\theta(\boldsymbol{O}_t,\ \boldsymbol{A}_t^0 + \varepsilon,\ k)\big\|_2^2\Big]

여기서 k가 반복 횟수라는 사실이 Sec. 5.3·8.3의 “inference latency” 논의와 Table 6의 Diffusion Policy ~1Hz 수치로 직결된다.

(c) 지식 그래프. \mathcal{G} \subseteq \mathcal{E} \times \mathcal{R} \times \mathcal{E}, 임베딩은 M_\theta:\mathcal{E}\cup\mathcal{R}\to\mathbb{R}^d. Sec. 6.1(neuro-symbolic)의 전제이자, 그 계열이 왜 확장되지 않는지(KG 구축 비용)의 근거다.

분류체계 — 축이 실제로 무엇을 가르는가 (Sec. 3)

Sec. 3은 짧지만 이 서베이에서 가장 중요한 절이다. 저자들의 문장을 그대로 옮기면: “an RL agent might use language to shape its reward function or, in a completely different manner, to directly condition its policy learning. Although both involve RL methods, the function of language is fundamentally different.”

그리고 아래 그림이 전체 지도다. 왼쪽부터 ❶❷❸이 놓이고, ❸의 “Empowered by VLMs” 박스에서 아래로 화살표가 내려와 ❹로 연결된다(“VLMs driven”). 즉 저자들은 VLA를 갑자기 등장한 별종이 아니라 VLM 기반 계획·추론 계열의 연장선으로 배치한다.

전체 지도(Fig. 3) — 네 갈래와 그 아래 계보, 그리고 각 칸에 배치된 대표 연구들. 좌하단 범례의 아이콘(Expert Designed / Demonstrations / Knowledge Base)은 각 계열이 무엇에 의존하는지를 표시한다. ❹ 박스 안의 4개 불릿(Perception / Reasoning / Action / Adaptation)이 Sec. 7의 하위 축이다.

이 그림 한 장이 서베이 본문 40쪽의 목차다. 나열된 이름을 다 알 필요는 없고, 칸의 구조를 보면 된다. 예를 들어 ❶은 Reward Design/Learning과 Cost Functions Mapping 둘로 갈리는데, 전자는 학습 기반 에이전트(RL)를, 후자는 최적화 기반 모션 플래너를 겨냥한다. 같은 “언어→숫자”인데 소비자가 다르다.

---

❶ 언어로 상태를 평가한다 (Sec. 4)

핵심 질문: 언어를 어떻게 “태스크 진행도”의 정량 함수로 바꿀 것인가.

Sec. 4의 taxonomy(Fig. 5) — Reward Functions(4.1: Reward Design / Reward Learning / FM-driven Learning)와 Cost Functions(4.2: Specific Text2value Mapping / FM-driven Cost Mapping). 그림 하단에 코어 아이디어가 명시돼 있다: “Language to quantify task progress.”

4.1 보상: 수작업 설계 → 데이터 학습 → 파운데이션 모델 생성

이 절의 서사는 “보상 설계 노동을 누가 대신하는가”의 3세대 교체다.

• 1세대 — 언어→보상 신호 설계. ZSRM(Mahmoudieh et al. 2022)은 카메라 이미지와 목표 텍스트를 CLIP 인코더로 인코딩해 유사도를 보상으로 쓴다. 추가 학습 없이 새 목표를 지정할 수 있지만, CLIP의 공간 추론 능력이 상한이 된다. 밀집 보상 쪽에서는 PixL2R(Goyal et al. 2021)이 (언어, 궤적) 쌍에서 relatedness 모델을 학습해 매 스텝 shaping 보상을 만든다 — 학습 효율은 크게 오르지만 절대 점수를 정답으로 삼는 회귀/분류 목적이라 태스크 진행을 온전히 담지 못한다.
• 2세대 — 보상 함수 학습. LOREL(Nair et al. 2022)은 초기 상태 s_0, 현재 상태 s, 지시 l을 받아 “이 궤적이 지시를 만족하는가”를 판별하는 이진 분류기 R(s_0, s, l)을 오프라인 시연으로 학습한다. IRL 계열(Fu et al. 2019; MacGlashan et al. 2015)은 시연에서 보상 구조를 역추론한다. 서베이가 짚는 한계가 구체적이다 — “sort out the kitchen table and wiping a stain” 같은 복합 태스크에서는 전문가 시연의 궤적 분포 자체가 크게 갈라져서 진짜 목표와 허위 상관을 구분할 보상을 배우기 어렵다.
• 3세대 — FM이 보상을 만든다. Kwon et al. (2023)은 GPT-3을 프록시 보상으로 그대로 쓴다(궤적 요약을 넣고 “목표를 만족했는가”를 묻는다). Language2Reward(Yu et al. 2023c)와 Text2Reward(Xie et al. 2024)는 LLM에게 실행 가능한 Pythonic 보상 코드를 쓰게 한다. EUREKA(Ma et al. 2024)는 RL 성능을 fitness로 삼아 보상 프로그램 집단을 진화적으로 개선한다.

여기서 서베이가 잘 잡아낸 지점: 코드 생성은 문제를 옮겼을 뿐 없애지 않았다. 생성된 보상 코드는 Reward = 0.8×grasp_success − 0.2×dist_to_cube 처럼 정적인 수치 가중치를 갖고, 초안이 취약한 피처를 고르면 RL이 아예 학습하지 못한다. 그래서 다음 세대가 나온다 — Reward-Self-Align(Zeng et al. 2024)은 LLM이 피처 템플릿을 쓰게 하고 실제 롤아웃의 쌍대 랭킹으로 파라미터를 정렬하며, R*(Li et al. 2025a)는 구조 진화와 가중치 정렬을 분리해 크리틱이 보상 가중치를 사람 선호에 맞춘다.

또 하나의 축은 특권 정보 의존이다. LLM 코드 계열은 시뮬레이터 상태에 접근해야 한다. 이걸 벗어나려는 것이 VLM 기반 보상이다 — Video-Language Critic(Alakuijala et al. 2025)은 Open X-Embodiment 영상으로 시간 대조 VLM을 랭킹 손실로 학습해 픽셀-지시 쌍만으로 밀집·단조 증가 보상을 만들고, ReWiND(Zhang et al. 2025b)는 소수의 언어 주석 시연 + “video-rewind”로 만든 실패 예시로 진행도 예측 보상을 학습한다. ReWiND의 성공률은 Meta-World 시뮬레이션에서 베이스라인 대비 2×, 실제 양팔 셋업에서 5× 라는 것이 서베이가 인용하는 수치다.

4.2 비용: 모션 플래너를 위한 언어→비용 지도

같은 “언어→숫자”이지만 소비자가 최적화 기반 플래너일 때는 이야기가 다르다. 초기에는 Park et al. (2019)이 CRF로 명사구·부사(“upright”, “slowly”)를 궤적 최적화기의 연속 파라미터로 매핑했고, Sharma et al. (2022)은 “stay away from the yellow bottle” 같은 구어 정정을 잔차 비용 함수로 학습했다(단 2D 비용 지도에 한정).

3D로 넘어가는 분기점이 VoxPoser(Huang et al. 2023b)다. GPT-4가 OWL-ViT를 질의하는 Python 코드를 쓰고, 그 결과로 밀집 3D value map을 합성해 표준 모션 플래너가 그대로 궤적을 뽑는다. 플래너 재학습이 필요 없다는 것이 강점이고, 인식 모듈(OWL-ViT/SAM/XMEM)이 틀리면 비용 지도가 통째로 틀린다는 것이 약점이다. ReKep(Huang et al. 2025b)은 value map 대신 DINOv2 키포인트 위의 기호적 제약 코드를 VLM에게 쓰게 해, 어려운 기하 계산은 수치 솔버에 넘기고 VLM은 3D 점 관계만 추론하게 한다. IMPACT(Ling et al. 2025)는 다중뷰 RGBD를 GPT-4o에 넣어 물체별 “contact tolerance”를 0–10 척도로 매기고 이를 3D 비용 지도로 바꿔 RRT*에 넣는다 — 명시적 지시 없이도 부드러운 물체엔 접촉을 허용하고 깨지기 쉬운 것은 피하게 만드는, 꽤 실용적인 아이디어다(대신 정적 장면과 완벽한 분할을 가정한다).

관련: 이 계열의 최신 흐름(VLM이 만든 비용/제약을 디지털 트윈 위 MPC에 넣기)은 PWTF 리뷰에서, LLM 기반 보상 코드 생성의 원조 격은 Eureka 리뷰에서, 보상 설계·shaping 일반론은 Reward Engineering 리뷰에서 더 깊게 볼 수 있다.

Table 2 — Sec. 4 대표기법 (원문 표 재현)

Method	Signal Category	핵심 메커니즘	장점	단점
ZSRM (Mahmoudieh et al. 2022)	Sparse Reward Design	CLIP으로 카메라 이미지와 목표 텍스트의 유사도를 보상으로	추가 보상모델 학습 없이 일부 새 목표 지정 가능	CLIP의 공간 추론 능력이 근본 상한
PixL2R (Goyal et al. 2021)	Dense Reward Design	(언어, 궤적) 쌍에서 relatedness 모델 학습 → 밀집 shaping 보상	연속 가이드로 정책 학습 효율 크게 개선	절대 점수를 정답으로 의존, 다양한 언어 데이터셋 필요
LOREL (Nair et al. 2022)	Reward Learning	오프라인 전문가 시연으로 이진 분류기 학습	시각 관측+지시 → 보상 신호 변환을 자동화	세밀한 행동/다물체가 얽힌 복잡 조작에서 취약
Text2Reward (Xie et al. 2024)	FM-driven Reward Generation	LLM이 자연어 목표에서 밀집 Pythonic 보상 함수를 직접 작성	자율적 보상 생성, 시뮬 태스크에서 전문가 보상에 필적	생성 코드의 정확성에 크게 의존, 특권 시뮬레이터 상태 필요
ReWiND (Zhang et al. 2025b)	VLM-driven Reward Learning	언어 주석 시연 + 생성된 실패에서 진행도 예측 보상 학습	시뮬·실제 양팔 셋업 모두에서 성공률 유의미 개선	일반 보상을 배우려면 소수의 시연이 여전히 필요

---

❷ 언어를 정책의 조건으로 (Sec. 5)

핵심 질문: 언어가 어떻게 정책을 조건화해 올바른 행동을 내게 하는가. 언어의 지위가 goal specifier → behavior specifier로 바뀐다.

Sec. 5의 taxonomy(Fig. 6) — RL(5.1) → BC(5.2) → Diffusion-based Policy(5.3). 세 계열을 잇는 화살표에 “addresses limitations of”라고 적혀 있고, 각 화살표 옆에 극복 대상이 명시된다(RL의 보상 엔지니어링·비효율·약한 그라운딩 → BC의 준최적 행동 모사 → DP의 추론 지연). 캡션은 이것이 “엄격한 계층이나 완전한 대체가 아니다”라고 못 박는다. (원문 그림 라벨의 “Diffuison” 표기는 오타)

이 그림의 화살표는 이 서베이에서 가장 정직한 장치다. 보통 서베이의 계보도는 암묵적으로 “뒤에 나온 것이 낫다”를 시사하는데, 여기서는 “앞 계열의 실용적 한계를 완화한다”는 관계로만 정의하고 캡션에서 그 점을 명시한다.

5.1 RL 안의 언어

초기 언어 조건 RL은 사실 게임 도메인이었다(규칙이 명확하고 재현이 쉬워서). 조작으로 넘어오면서 첫 해법은 분리(decoupling) 였다 — LCGG(Colas et al. 2020)는 언어로 goal generator를 조건화하고 그 목표를 사전학습된 goal-conditioned 정책에 넘긴다. 어떤 RL 컨트롤러든 꽂을 수 있어 모듈적이지만, 언어가 정책망에 직접 닿지 않아서 저수준 행동을 언어 의도에 맞게 조정할 수 없고 색깔만 바뀌는 pick-and-place에 머문다.

그래서 언어를 루프 안으로 밀어 넣는 흐름이 이어진다. LanCon-Learn(Silva et al. 2021)은 언어 임베딩을 attention router에 넣어 공유 actor-critic 안의 여러 스킬 모듈을 매 스텝 재가중한다 — 표현력은 얻지만 라우터와 제어 정책을 동시에 배우는 것이 불안정하고 샘플을 많이 먹는다. MILLION(Bing et al. 2023a)은 Gated Transformer-XL 기반 메모리 메타러닝으로 “읽기 단계”와 “행동 단계”를 분리해 적응을 가속하고, Yao et al. (2023)은 지시가 “open left drawer” / “open right drawer” 처럼 대칭 쌍으로 오는 성질을 이용해 반의어 규칙으로 지시를 자동 생성·공동학습한다(다만 수작업 대칭 규칙이 항상 통하진 않는다).

또 다른 갈래는 자유형 언어를 구조화된 표현으로 압축하는 것이다. TALAR(Pang et al. 2023)는 VAE 기반 번역기로 자유형 텍스트를 이산 Task-Language 술어 집합으로 바꾸고 RL 정책은 그 위에서만 학습한다. LOVM(Ye et al. 2024)은 FiLM으로 이미지 피처를 지시에 따라 변조해 다운스트림 DQN의 물체 마스크를 예측한다(픽셀 수준 마스크 감독이 필요).

최근 흐름은 대규모 사전학습 정책을 미세조정하는 쪽이다. FLaRe(Hu et al. 2025a)는 사전학습된 비전-언어 트랜스포머 BC 정책을 희소 언어 보상으로 PPO 미세조정해 밀집 보상 베이스라인 대비 15배 빠른 학습과 빠른 embodiment 전이를 보고한다 — 대신 사전학습 BC 모델의 데이터 분포를 그대로 상속한다. V-GPS(Nakamoto et al. 2025)는 오프라인 RL로 언어 조건 가치함수를 배워 배포 시점에 정책의 행동을 재랭킹한다(정책 가중치에 손대지 않는다). LIMT(Aljalbout et al. 2025)는 Dreamer 파이프라인 안에서 언어로 월드모델의 latent dynamics를 조건화해, 상상 속 미래에까지 언어 정보가 들어가게 한다.

5.2 BC 안의 언어

BC 쪽 서사는 “3D 구조를 어떻게 싸게 얻을 것인가” 와 “언어 주석을 어떻게 아낄 것인가” 두 축으로 읽힌다.

• 데이터 절약: MCIL(Lynch and Sermanet 2021)은 태스크 ID·이미지·언어를 함께 학습해 시연의 1% 미만만 언어 주석이어도 학습이 된다는 것을 보였다. BC-Z(Jang et al. 2022)는 전문가 시연 + 저렴한 불완전 개입을 섞고, MimicPlay(Wang et al. 2023a)는 사람이 물체와 자유롭게 상호작용한 영상에서 배운다.
• 아키텍처: CLIPORT(Shridhar et al. 2022)가 CLIP의 넓은 의미 이해 + Transporter의 공간 정밀도를 결합한 이후, HiveFormer(Guhur et al. 2023)는 과거 시각-고유수용 토큰을 모두 이어붙여 부분관측성을 다루고 74개 RLBench 태스크에서 장기 성공률을 올렸다. PerAct(Shridhar et al. 2023)는 문제를 “detecting the next best voxel action” 으로 재정의해 RGB-D와 6-DoF 행동 공간을 모두 복셀화한다 — 강한 3D 귀납 편향을 얻는 대신 고해상도 격자의 연산 비용을 치른다.
• 복셀 비용 줄이기: Act3D(Gervet et al. 2023)는 3D feature field에 coarse-to-fine attention을, GNFactor(Ze et al. 2023)는 사전학습 2D VLM 피처를 3D 필드에 증류해 의미를 주입한다(100 시연으로 언어 조건 실제 주방 태스크 전이). RVT(Goyal et al. 2023)는 아예 복셀을 버리고 8–16개 가상 카메라로 포인트클라우드를 재렌더링해 멀티뷰 ViT를 쓴다 — PerAct 대비 36배 빠른 학습에 동등 성능. Σ-agent(Ma et al. 2025)는 여기에 대조 IL 손실을 더한다.
• 장기 태스크: HULC(Mees et al. 2022a) → HULC++(Mees et al. 2023, 시각 affordance + LLM 계획) → SPIL(Zhou et al. 2024a, 사전학습 스킬 prior). 다른 방향으로 ACT(Zhao et al. 2023a)의 action chunking과 시간적 앙상블, MT-ACT(Bharadhwaj et al. 2024)의 멀티태스크 확장, 수술 도메인의 SRT-H(Kim et al. 2025a, 고수준 트랜스포머가 언어 지시를 생성해 저수준 정책을 유도).

BC 계열의 고유 병목으로 서베이가 반복해 짚는 것은 compounding error다. 이것이 다음 절의 동기가 된다.

5.3 확산 정책 안의 언어

회귀 기반 BC는 다중모드 행동 분포를 평균 내버려 “보수적이거나 아예 유효하지 않은” 행동을 낸다. 확산 정책이 이를 푼다. 언어가 들어가는 방식은 네 가지로 정리된다.

1. 단일 스텝 목표 샘플링 — StructDiffusion(Liu et al. 2023c)은 “Set the table in the center left, relative to you” 를 고수준 제약으로 삼아 물체 중심 확산 모델이 물리적으로 타당하고 충돌 없는 목표 자세를 다물체에 대해 샘플링한다. 이후 저수준 정책의 능력이 상한이 된다.
2. 자기지도 데이터 큐레이션 — Scaling&Distilling(Ha et al. 2023)은 LLM이 서브태스크를 제안하고 시뮬레이션에서 실행한 뒤 성공 궤적만 언어 조건 확산 정책에 증류한다.
3. 스킬 발견·조합 — PlayFusion(Chen et al. 2023b)은 언어 주석 play를 약한 감독으로 삼아 자유 궤적을 이산 코드북 위의 latent skill로 분해한다. Ju et al. (2024), Wu et al. (2025a)는 VQ로 연속 행동을 이산 latent skill 공간에 매핑한다.
4. 장기 계획 분해 — ChainedDiffuser(Xian et al. 2023)는 전역 트랜스포머가 이산 키포즈 시퀀스를 예측하고 지역 궤적 확산기가 그 사이를 매끄럽게 잇는다. LCD(Zhang et al. 2024a)는 확산 모델을 저차원 latent 공간의 고수준 플래너로 쓴다.

배치를 가로막는 두 문제도 정리된다. 데이터 이질성(시뮬/실제 로봇/사람 영상)에 대해 PoCo(Wang et al. 2024c)는 정책 합성을 조건부 확산 합성 문제로 정식화해 사전학습된 여러 정책을 언어로 조합하고, RoLD(Tan et al. 2024)는 태스크 무관 오토인코더로 통합 latent action 공간을 만든 뒤 그 안에서 확산 정책을 학습해 cross-embodiment 전이를 노린다. 누락된 모달리티에 대해서는 MDT(Reuss et al. 2024)와 GR-MG(Li et al. 2025b)가 언어/이미지 어느 쪽이든 받도록 설계된다(GR-MG는 언어 지시로 목표 이미지를 확산 생성한 뒤 두 모달리티 모두로 정책을 조건화).

그리고 남는 병목은 하나로 수렴한다: 반복적 denoising의 추론 지연. 서베이는 (언어 조건은 아니지만) 일관성 제약으로 저지연 샘플링을 만드는 방향(Lu et al. 2024; Prasad et al. 2024)을 유망한 대안으로 제시한다.

Table 3 — Sec. 5 대표기법 (원문 표 재현)

Method	학습 패러다임	겨냥한 병목	장점	단점
MILLION (Bing et al. 2023a)	RL	탐색 중 샘플 비효율	메모리 기반 메타러닝으로 미학습 태스크에 빠르게 적응	읽기 단계와 행동 단계를 분리해야 함
FLaRe (Hu et al. 2025a)	RL	멀티태스크 행동을 처음부터 배우는 비효율	미세조정으로 밀집 보상 베이스라인 대비 15× 빠른 학습	사전학습 BC 모델의 데이터 분포 한계를 상속
PerAct (Shridhar et al. 2023)	BC	2D 투영에서 3D 공간 관계 학습	관측·행동 공간을 모두 복셀화해 강한 3D 구조 prior	조밀·고해상도 복셀화로 연산 비용 큼
HULC (Mees et al. 2022a)	BC	장기 태스크 학습과 일반화	트랜스포머 기반으로 강건한 언어 조건 표현 학습	표준 BC의 장기 구간 compounding error를 그대로 안음
StructDiffusion (Liu et al. 2023c)	Diffusion Policy	물리적으로 타당한 장면 배치에 언어 그라운딩	미학습 물체에도 다양·무충돌 목표 자세 샘플링	후속 저수준 정책의 능력이 성능 상한
ChainedDiffuser (Xian et al. 2023)	Diffusion Policy	장기 연속 궤적 생성	이산 키포즈 예측 + 지역 궤적 확산으로 매끄러운 모션	반복 denoising의 높은 추론 지연을 그대로 상속

---

❸ 언어로 계획하고 추론한다 (Sec. 6)

핵심 질문: 로봇이 언어 공간에서 어떻게 “생각”해 자기 행동을 구조화하는가. 여기서 언어는 외부 지시가 아니라 내부 추론 매체다.

Sec. 6의 taxonomy(Fig. 9) — 6.1 Classic Neuro-symbolic(learning for reasoning / reasoning for learning / learning-reasoning), 6.2 Empowered by LLMs(Planning / Reasoning / Structured Planning), 6.3 Empowered by VLMs(Contrastive / Generative / Autoregressive). 6.1의 Reasoning-Learning에서 6.2의 Structured Planning으로 “enhance” 화살표가 이어진다.

6.1 고전 뉴로심볼릭 — 그리고 그것이 왜 멈췄는가

Yu et al. (2023a)의 틀을 따라 세 갈래로 나눈다. Learning for reasoning(신경망이 지각·특징 추출을 맡고 심볼릭이 계획: Tenorth et al. 2010의 wikiHow 파싱 + WordNet/Cyc → STRIPS 계획, She et al. 2014의 “Grounded Action Frame”, HiTUT, DANLI), Reasoning for learning(심볼릭이 구조·규칙을 제공해 신경 학습을 유도: Misra et al. 2016의 verb clause CRF, Silver et al. 2023의 사전 정의 심볼 술어), Learning-reasoning(둘이 밀결합 루프로 공진화: Chai et al. 2018의 대화형 태스크 학습, K et al. 2023의 심볼릭 파서 + 신경 시각 추론기 + 신경 액션 시뮬레이터).

서베이가 이 계열의 한계를 네 개로 정리한 부분이 좋다. (i) 노동집약적 KG 구축 — DANLI나 KGE 기반 지속학습은 태스크별 KG를 전제하는데, 열린 세계에서는 새 물체·관계가 계속 나와 유지가 병목이 된다. (ii) 수작업 심볼 공학과 온톨로지 표류 — 새 도메인으로 확장하려면 사람이 온톨로지를 큐레이션하고 인식 모듈을 재학습해야 한다. (iii) 상식·실세계 지식 커버리지 부족 — 심볼 규칙은 명시적으로 인코딩된 것만 담는다. (iv) 장기 태스크에서의 확장성 — 계획 길이가 늘면 이산 연산자와 그라운딩 선택 위의 탐색이 조합적으로 폭발한다.

이 네 가지가 그대로 “왜 LLM이 이 자리를 대체했는가”의 답이다.

6.2 LLM이 들어온 뒤

LLM은 위의 (i)(ii)(iii)를 프롬프트 하나로 우회한다. 대신 자기 고유의 문제 셋을 들여온다. 서베이는 셋으로 정리한다: grounding problem(환경에 없는 물체를 쓰는 그럴듯하지만 실행 불가능한 계획), ambiguity in language(“moving faster”, “placing objects slightly left” 같은 공간·기하 표현), lack of feedback and reactivity(개루프 플래너는 실패를 모르고, 전자레인지에 금속을 넣는 계획을 낼 수 있다).

계획(6.2.1) 은 개루프와 폐루프로 갈린다.

• 개루프: SayCan(Brohan et al. 2023b)이 affordance 함수로 각 행동의 현재 상태 성공률을 정량화해 LLM의 예측을 재정렬한다. KnowNo(Ren et al. 2023a)는 conformal prediction으로 계획을 다지선다 QA로 만들고, 사용자가 정한 성공률로 임계값을 잡아 확신이 없으면 사람에게 묻는다(“Put a plastic bowl in the microwave” vs “metal bowl”). Huang et al. (2022)은 인과 LLM이 고수준 목표를 중간 계획으로 분해하고 마스크드 LLM이 그것을 실행 가능한 학습된 행동으로 번역하게 한다(“squeeze out a glob of lotion” → “pour the lotion into right hand”).
• 폐루프: SayPlan(Rana et al. 2023)은 계층적 3D scene graph로 환경을 표현해 술어·현재 상태·affordance를 텍스트 피드백으로 되먹인다(사무실 규모까지 확장). Text2Motion(Lin et al. 2023)은 STAP을 기하 타당성 검사로 쓰고 실패하면 다시 계획한다. SELP(Wu et al. 2025b)는 선형시제논리(LTL) 를 넣어 LLM의 위험한 계획을 가지치기한다(대신 환경별 LTL 명세를 미리 만들어야 한다).

추론(6.2.2) 은 네 갈래다. 요약(Tidybot이 few-shot 프롬프트로 “yellow shirts go in the drawer” + “white socks go in the drawer” 에서 “lighter-colored clothes go in the drawer” 라는 일반 전략을 뽑는다 — 다만 LLM의 태스크 무관 지식이 섞여 완전히 맞는 요약을 못 만들기도 한다), 프롬프트 엔지니어링(CoT, Socratic Models, ECoT), 코드 생성(Code as Policies, ProgPrompt, VOYAGER의 스킬 라이브러리 축적), 반복적 추론(Inner Monologue의 성공 감지기 + 장면 서술자 되먹임, REFLECT의 실패 설명 생성, HiCRISP의 계층적 오류 정정, DAHLIA의 “planner + reporter” 이중 루프, LYRA의 human-in-the-loop 스킬 축적).

여기서 서베이가 인용한 가장 구체적인 근거 하나: Mialon et al. (2023)에 따르면 GSM8K 벤치마크에서 코드 최적화된 code-davinci-002가 텍스트 최적화된 text-davinci-002를 능가한다 — code-as-policy 계열의 성능이 결국 어떤 파운데이션 모델을 골랐는가에 의해 상한이 정해진다는 뜻이다.

구조화된 계획(6.2.3) 은 LLM을 형식 체계와 결합한다. PDDL 결합의 세 난점(심볼릭 탐색 속도, 심볼 그라운딩, 복잡한 상호작용 표현)에 대해 각각 도메인 특화 미세조정(Capitanelli and Mastrogiovanni 2024), 실시간 센서 피드백으로 술어를 검사하는 IALP(Wang et al. 2025a), 촉각·힘토크 시연을 넣어 “케이블 장력” 같은 눈에 안 보이는 사건까지 술어로 정의하는 LEMMo-Plan(Chen et al. 2025b)이 대응한다. 행동트리(BT) 결합은 LLM-bt(런타임 계획 적응) → LLM-OBTEA(1차 논리 목표로 번역 후 Optimal BT Expansion으로 최소비용 BT를 보장) → BETR-XP-LLM(LLM을 “repair agent”로 써서 실패마다 최소 전제조건과 서브트리를 제안하고 검증 가능한 수정을 정책에 영구 통합)으로 이어진다.

6.3 VLM이 들어온 뒤

LLM의 근본 한계는 하나다: disembodied. 텍스트만 다루므로 환경을 직접 볼 수 없고, 물체 검출기 같은 중간 모듈이 정보를 잃는다. VLM은 이 다리를 없앤다.

• 대조 학습 계열: CLIPORT, Dream2Real(CLIP으로 가상 목표 상태를 “상상”해 평가), CLIP-Fields, EmbCLIP, MOO(OWL-ViT에게 “An image of an X” 로 관심 물체의 바운딩박스를 요청), LATTE, R+X(Gemini로 사람 시연 영상 중 관련 구간을 검색해 정책을 조건화).
• 생성 계열: 텍스트 생성(PaLM-E 562B가 단일 거대 모델로 로봇 태스크 특화 미세조정 거의 없이 실행 가능 계획을 만든다; Socratic Models가 전문 모델들을 언어로 대화시킨다; PIVOT이 조작을 VLM과의 반복적 시각 대화로 재구성), 이미지 생성(SuSIE가 이미지 편집 모델로 서브골 시퀀스를 만들어 저수준 컨트롤러에 넘긴다; Dall-E-Bot; 데이터 증강; GR-MG의 목표 이미지 생성; 미래 프레임 예측으로 역동역학을 배우는 월드모델 용법).

Table 4 — Sec. 6 대표기법 (원문 표 재현, 일부)

Method	인지 체계	추론 메커니즘	장점	단점
DANLI (Zhang et al. 2022)	Classic Neuro-symbolic	대화 이력과 심볼릭 서브골을 통한 learning-for-reasoning	진행 상황을 추론하고 오류에서 동적으로 복구	노동집약적·태스크 특화 KG 구축에 의존
SayCan (Brohan et al. 2023b)	LLM-Empowered	affordance 함수와 결합된 개루프 계획	자연어를 의미상 타당하고 물리적으로 실행 가능한 시퀀스로	스킬 실행이 무결하다고 가정, 재계획용 실시간 피드백 없음
SayPlan (Rana et al. 2023)	LLM-Empowered	3D scene graph + 의미 시뮬레이터 기반 폐루프 계획	지속적 텍스트 피드백으로 대규모 환경에서 동작	성능이 기반 LLM의 추론 능력에 갇히고 지연 가능성
Code as Policies (Liang et al. 2023)	LLM-Empowered	정책 로직을 조율하는 자기회귀 코드 생성	API 호출을 유연하게 재조합해 미학습 물체에 일반화	복잡한 명령에 취약, 존재하지 않는 함수를 호출하기도
PaLM-E (Driess et al. 2023)	VLM-Empowered	거대 단일 embodied 추론 모델의 텍스트 생성	일부 평가 설정에서 로봇 태스크 특화 미세조정 없이 실행 가능 계획	배포·구동에 매우 큰 자원 소요
SuSIE (Black et al. 2024)	VLM-Empowered	순차 서브골 시각화를 위한 이미지 생성	고수준 의미 이해와 저수준 제어 최적화를 분리	생성 이미지의 물리적 비현실 디테일이 제어 신호를 오염
LEMMo-Plan (Chen et al. 2025b)	LLM-driven 구조화 계획 (Symbolic)	촉각·힘토크 시연을 PDDL 심볼릭 계획에 통합	케이블 장력 같은 “보이지 않는” 사건을 힘 기반 스킬 조건으로 정의	PDDL 결합이 심볼릭 탐색을 느리게 해 행동을 지연
BETR-XP-LLM (Styrud et al. 2025)	LLM-driven 구조화 계획 (Behavior Trees)	LLM을 “repair agent”로 삼아 최소 전제조건·서브트리 제안	검증 가능한 수정을 정책에 영구 통합, 실패할수록 강건해짐	런타임 피드백·재계획에 LLM을 쓰면 토큰·지연 비용 증가

---

❹ 언어를 액션과 한 몸으로 — 통합 VLA (Sec. 7)

여기서 언어는 더 이상 외부 조건이 아니라 모델의 핵심 표현과 학습 목적 안에 함께 모델링된다.

주목할 점은 저자들이 VLA의 경계를 좁게 정의한다는 것이다. 넓은 입출력 정의(“시각 관측 + 언어 지시를 받아 로봇 행동을 낸다”)로는 CLIPORT도 초기 VLA로 볼 수 있지만, 이 서베이는 CLIPORT를 VLM-empowered 정책으로 분류한다 — CLIP이 고정된 의미 그라운딩 모듈이고 행동 생성은 Transporter 스타일 정책이 따로 하기 때문이다. 이 서베이가 말하는 VLA는 액션 생성이 시각-언어 표현과 밀결합해 학습되는 것(이산 액션 토큰의 디토크나이즈, 연속 액션 헤드, 확산 기반 생성, flow-matching 컨트롤러, VLM 백본에 붙은 action expert)을 뜻한다. 경계를 명시적으로 그은 서베이는 드물고, 이건 실제로 유용하다.

VLA taxonomy(Fig. 16) — Perception → Reasoning → Action → Adaptation의 최적화 방향으로 자른다. Group I: Perception(데이터 소스·증강, 공간 이해, 멀티모달 융합), Group II: Reasoning(장기 태스크, 지식 보존, 추론·월드모델), III: Policy execution, IV: Adaptation. (원문 캡션의 “Hierachical”, “fllows”는 오타)

7.2 Perception — 데이터, 3D, 그리고 촉각

데이터. 로봇 시연 수집 비용이 근본 병목이므로 사람 활동 데이터로 우회한다. EgoVLA(Yang et al. 2025d)는 1인칭 사람 영상으로 손목·손 동작을 예측하도록 사전학습한 뒤 소수의 로봇 시연으로 미세조정하고, H-RDT(Bi et al. 2026)는 이 2단계 패러다임을 20억 파라미터 확산 트랜스포머로 키운다. 다만 양을 늘리는 것만으로는 일반화가 오지 않는다 — Xing et al. (2025b)는 대규모 집합 데이터셋에서 shortcut learning이 생기는 두 원인을 짚는다: (1) 개별 서브데이터셋 내부의 다양성 부족, (2) dataset fragmentation(서로 다른 랩·로봇에서 온 서브데이터셋 간 분포 격차). 그래서 모델이 카메라 시점이나 배경 같은 태스크 무관 피처와 스킬을 연결한다. 대책은 새로운 시점 합성·장면 간 물체 교환 같은 로봇 데이터 증강이다.

3D. 2D VLM의 “공간 인식 격차”를 메우는 세 갈래가 뚜렷하다. (a) 2D 피처에 3D를 주입 — SpatialVLA(Qu et al. 2025)의 Ego3D Position Encoding + Adaptive Action Grids, PointVLA(Li et al. 2026a)는 별도 경량 인코더가 포인트클라우드를 처리해 동결된 action expert에 기하 피처만 주입(VLM 무결성 보존). (b) 3D를 2D로 재포맷 — BridgeVLA(Li et al. 2026b)는 포인트클라우드를 top/front/side 정사영 2D 이미지로 투영해 표준 VLM 백본에 넣고 같은 투영면 위의 2D 히트맵으로 행동을 예측한다. 입력과 출력을 하나의 2D 공간으로 통일하는 영리한 설계이고, 태스크당 3개 궤적이라는 샘플 효율이 인상적이다(대신 정사영에서 목표 키포인트가 가려질 수 있고 복잡한 장기 태스크에서 성능이 떨어진다). (c) 2D·3D 병렬 처리 후 융합 — GeoVLA(Sun et al. 2025)는 표준 VLM이 2D+언어를, 별도 네트워크가 포인트클라우드를 처리한 뒤 MoE 기반 3D-enhanced Action Expert로 융합한다.

촉각·힘. 조립·삽입 같은 접촉 과제에서는 시각만으로 부족하다. VTLA(Zhang et al. 2026a)는 촉각 이미지 시퀀스를 토큰화하고 DPO 2단계 학습으로 “VLM의 분류 목적 ↔︎ 연속 로봇 제어”의 불일치를 다룬다. Tactile-VLA(Huang et al. 2025a)는 정책 출력이 목표 힘과 목표 위치를 함께 예측하게 해 “gently”, “hard” 같은 힘 관련 부사를 이해하게 하고, 실패 시 촉각 피드백을 해석하는 CoT 메커니즘을 넣는다. 센서 이질성(GelSight류 vs 힘 기반)은 OmniVTLA(Cheng et al. 2025)의 이중 경로 인코더 + 교차모달 대조 학습으로, 융합 방식은 ForceVLA(Yu et al. 2026)의 force-aware MoE 기반 동적 late fusion으로 대응한다.

관련: 촉각을 VLA에 녹이는 계열은 이 블로그의 Tactile-VLA 리뷰에서 원 논문 수준으로 볼 수 있다. 접촉 상황의 컴플라이언스를 VLM으로 조절하는 최근 흐름은 CompliantVLA 리뷰를 참고.

7.3 Reasoning — 계획, 지식 보존, 월드모델

장기 계획 전략은 셋이다. 계층적 분해(LoHoVLA, DexVLA가 통합 모델이 먼저 언어 서브태스크를 생성하고 그 자기생성 지시로 행동을 예측 — “think before you act”), phase-aware control(Long-VLA가 각 서브태스크를 “moving phase”와 “interaction phase”로 나누고 phase-aware 입력 마스킹으로 이동 시엔 광각, 조작 시엔 그리퍼 뷰를 보게 강제 — skill chaining 문제를 겨냥), memory-augmented reasoning(MemoryVLA가 Perceptual-Cognitive Memory Bank로 저수준 지각 디테일과 고수준 의미 요약을 함께 저장·검색해, 주류 VLA가 사실상 “memoryless”인 문제를 푼다).

지식 보존은 이 절에서 가장 흥미로운 대목이다. VLA를 만드는 이유가 VLM의 방대한 의미 지식을 쓰기 위해서인데, 좁은 로봇 데이터로 미세조정하면 바로 그 능력이 사라진다(catastrophic forgetting). ChatVLA(Zhou et al. 2025b)는 원인을 둘로 진단한다 — spurious forgetting(로봇 데이터 학습이 시각-텍스트 정렬을 덮어씀)과 task interference(제어와 이해의 목적이 경쟁). 대응은 네 갈래로 갈린다:

• 아키텍처 격리: MoE로 한 모델 안에 “전문가”를 분리(ChatVLA, ChatVLA-2).
• 학습 동역학 보호: Driess et al. (2026)의 knowledge insulation — action expert에서 VLM 백본으로 가는 그래디언트를 끊고, 대신 이산화된 행동에 대한 자기회귀 다음 토큰 예측 손실을 병렬 학습 신호로 준다. MoE가 그래프의 “모델 구조”를 바꾸는 반면 이쪽은 “학습 그래프”를 바꾼다.
• 데이터 중심 co-training: InstructVLA(Yang et al. 2025e)는 catastrophic forgetting이 로봇 데이터셋의 지시 다양성 부족에서 악화된다고 보고 다양한 지시·캡션·QA 데이터셋을 큐레이션한다. GR-3(Cheang et al. 2025)는 웹 규모 비전-언어 데이터와의 대규모 co-training으로 같은 효과를 낸다.
• 추론 신호 주입: DiffusionVLA(Wen et al. 2025c)의 “reasoning injection module”이 자기생성 텍스트 추론을 확산 정책에 임베딩한다.

내부 월드모델: Seer(Tian et al. 2025)가 미래 시각 상태를 예측하고 역동역학으로 행동을 정하는 패러다임을 세웠고, CoT-VLA(Zhao et al. 2025)는 서브골 이미지를 명시적 추론 단계로 생성한다(“think visually”). WorldVLA(Cen et al. 2025)는 액션 모델과 월드모델을 하나의 자기회귀 프레임워크로 양방향 결합한다(상태+목표→행동, 상태+행동→다음 시각 상태). 픽셀 예측의 비효율(정적 배경 같은 무관 정보 포함)에 대해 DreamVLA(Zhang et al. 2026b)는 픽셀 대신 압축된 “world embedding” 을 예측하고 블록 단위 구조화 어텐션으로 지식 종류를 분리한다.

관련: “픽셀 재구성 대신 의미적 질의응답으로 세계를 모델링한다”는 대안적 접근은 Semantic World Models 리뷰에서 볼 수 있다. Sec. 9.2의 월드모델 논쟁과 함께 읽으면 좋다.

7.4 Action — 이산 토큰에서 연속 청크로

초기 VLA(OpenVLA 등)의 이산 액션 토큰은 연속 동작의 충실도와 부드러움을 제한했다. π0(Black et al. 2025b)는 사전학습 VLM 백본에 전용 action expert를 붙여 flow matching으로 연속 액션 청크(50 Hz 궤적)를 생성한다 — 정밀도 문제는 풀지만 학습 연산 비용이 늘고, 서베이 Table 5의 표현으로는 “대규모·다양한 학습 데이터(10,000시간)” 를 요구한다.

효율 쪽에서는 Pertsch et al. (2025)의 진단이 날카롭다: 자기회귀 VLA의 저조한 성능은 연속 액션 토큰들이 서로 매우 상관되어 다음 토큰 예측이 약한 학습 신호가 되기 때문이다. FAST(Frequency-space Action Sequence Tokeniser)는 이산 코사인 변환으로 액션 시퀀스를 주파수 영역에서 압축해 시간적 중복을 제거하고, 서베이 인용에 따르면 π0 flow matching과 동등한 성능을 최대 5배 짧은 학습 시간으로 달성한다. π0.5(Black et al. 2025a)는 사전학습엔 FAST 토크나이저를, 후학습엔 flow-matching action expert를 써 이산·연속을 함께 학습하고, 런타임에는 고수준 서브태스크(텍스트)를 먼저 예측한 뒤 연속 명령으로 정제한다. Discrete Diffusion VLA(Liang et al. 2025)는 아예 액션 청크를 단일 트랜스포머 안의 이산 확산 과정으로 모델링해 VLM 백본과 동일한 교차엔트로피 목적을 공유한다.

관련: π0의 원 논문 리뷰는 π0 리뷰에 있다. VLA에 온라인 RL을 붙여 정밀도를 올리는 흐름은 RL Token 리뷰 참고.

7.5 Adaptation — 배포 가능성의 문제

OpenVLA-OFT(Kim et al. 2025b)가 대표다. 병렬 디코딩 + action chunking + 연속 액션 예측(L1 회귀)으로 LIBERO 성공률 20% 개선, OpenVLA 대비 제어 주파수 26배(Sec. 7.5 본문)를 보고한다. 같은 논문에 대해 Table 5는 “추론 속도 25–50× 개선” 이라고 적는데, 두 수치는 측정 대상이 다르므로(제어 주파수 vs 추론 속도) 모순은 아니나 인용할 때 구분이 필요하다. ControlVLA(Li et al. 2025c)는 물체 중심 표현을 zero-initialized layer로 주입해 10–20개 시연만으로 새 물체·배경에 적응한다(GroundingDINO·SAM2 같은 외부 시각 모델에 의존, 평가가 단일 팔 실내로 한정). 후학습 계열로 ConRFT(Chen et al. 2025g)와 RIPT-VLA(Tan et al. 2025)가 태스크 보상·온라인 상호작용·사람 개입으로 실패를 교정한다.

Table 5 & Table 10 — VLA 계열 정리 (원문 표 재현)

Method	최적화 방향	핵심 메커니즘	장점	단점
EgoVLA (Yang et al. 2025d)	Perception	1인칭 사람 영상으로 행동 예측 사전학습 후 로봇 데이터로 미세조정	대규모·고비용 로봇 데이터 수집 의존을 크게 낮춤	사람↔︎로봇 “embodiment gap”을 메울 강건한 액션 리타게팅 필수
BridgeVLA (Li et al. 2026b)	Perception	3D 포인트클라우드를 다중뷰 2D로 투영하고 2D 히트맵으로 행동 예측	매우 높은 샘플 효율(태스크당 3궤적), 시각 교란·새 지시에 강건	2D 정사영에서 목표 키포인트 가림, 복잡한 다단계 장기 태스크에서 성능 하락
CoT-VLA (Zhao et al. 2025)	Reasoning	중간 서브골 이미지를 시각적 chain-of-thought로 자기회귀 생성	목표 상태를 명시적으로 시각화해 다단계 추론·복잡 지시 수행 개선	이미지 토큰 생성의 큰 연산 부담, OOD 서브골 합성에 취약
MemoryVLA (Shi et al. 2026)	Reasoning	태스크 맥락·시각 이력을 유지하는 명시적 메모리	장기 태스크의 맥락 손실 완화	커지는 메모리 버퍼의 관리·검색이 구조적·연산적 부담
π0 (Black et al. 2025b)	Action	사전학습 VLM에 flow-matching action expert를 붙여 고주파 연속 행동 출력	의미 추론과 정밀 연속 모터 제어를 연결, 고난도 다단계 태스크 가능	방대하고 다양한 학습 데이터 필요(10,000시간)
ControlVLA (Li et al. 2025c)	Adaptation	물체 중심 표현을 zero-initialized layer로 주입	매우 데이터 효율적(10–20 시연), 미학습 물체·배경에 강건	외부 시각 모델(GroundingDINO, SAM2) 의존, 평가가 단일 팔 실내로 한정
OpenVLA-OFT (Kim et al. 2025b)	Adaptation	자기회귀 이산 예측을 병렬 디코딩·action chunking·연속 L1 회귀로 대체	추론 속도 25–50× 개선, 실시간 제어 지연 감소, 성공률도 상승	복잡한 메모리 의존 태스크에 취약, 고도로 다중모드인 행동 분포 모델링 역량 부족 가능

(원문 Table 5의 “Adaptating” 표기는 오타로 보이며, 여기서는 Adaptation으로 옮겼다.)

부록 Table 10은 위 계열을 설계 차원의 체크박스 표로 확장한다. 관측(RGB/D/ROB/TX), 액션 생성(FM/DM/AR/DP), VLM 정책 메커니즘(CoT/Future Prediction/Memory), 사전학습(Multiple Datasets / Cross-embodiment), 평가 시나리오(Multi-scenario / Real World / Cross-embodiment Execution)를 한 눈에 대조한다. 이 표를 훑으면 CoT를 쓰는 VLA는 아직 소수이고, Future Prediction은 “Reasoning & World Models” 그룹에 몰려 있으며, 대부분이 RGB+ROB+TX라는 동일한 관측 조합에 수렴한다는 사실이 바로 보인다.

VLA 설계 차원 대조표(Table 10, 부록 A) — 최적화 방향별로 35개 모델을 관측·액션 생성·VLM 정책·사전학습·평가 시나리오로 정리한다. Time 열의 최신 항목은 2025-09(ForceVLA)다.

---

직교하는 5축 비교 분석 (Sec. 8)

여기부터가 “이 서베이를 읽는 이유”의 후반부다. 기능적 분류는 what role을 말해주지만, 배치 가능성은 다른 축에서 결정된다.

8.1 Action granularity — skill / trajectory / low-level

• Skill-level: 사전 정의된 스킬이나 API를 부른다(SayCan, Code as Policies, Inner Monologue, ReKep, TAMP 계열). 언어와 잘 맞는다(“스킬은 자연어 단위”). 주 실패 양상은 skill library uncoverage — 정책이 요구한 프리미티브가 라이브러리에 없다. 대응은 affordance/value 필터, 생성 코드의 스키마 검증, 장면 인지 성공 검사 + 재계획.
• Trajectory-level: 엔드이펙터 웨이포인트·궤적을 낸다(대부분의 언어 조건 IL, 확산 정책). 표현력과 언어 조건화의 균형점. 주 실패 양상은 covariate shift로 인한 궤적 표류와 compounding error, 대응은 receding-horizon 재계획과 개입 기반 데이터 집계.
• Low-level control: 100 Hz+ 관절 토크/속도. 접촉이 지배하는 과제(정교 조작, 변형체)에 필요하다. EUREKA가 펜 스피닝 같은 저수준 스킬의 보상을 진화적으로 만들고, Bi-LAT(Kobayashi et al. 2025)는 양측 제어(bilateral control) 원격조작으로 위치·속도뿐 아니라 관절 토크까지 기록해 “softly/strongly twist the sponge” 같은 지시가 힘 출력을 변조하게 한다. ManiFoundation(Xu et al. 2024)은 조작을 contact synthesis 문제로 재정식화한다. TA-VLA(Zhang et al. 2025d)는 “토크 인지 VLA”의 설계 공간을 정리한다 — (i) 토크 신호는 액션 디코더에 넣는 것이 좋고(관절각 같은 고유수용 신호와 정렬됨), (ii) 토크 이력은 단일 토큰으로 요약 가능하며, (iii) 미래 토크 예측 보조 태스크가 성능을 올린다.

서베이가 짚는, 왜 대부분이 여전히 궤적 수준에 머무는가에 대한 답 두 가지가 실용적이다: (a) 데이터 라벨링 — 정확한 힘 센싱과 관절별 캘리브레이션이 붙은 시간 정렬 토크 라벨은 비싸지만 궤적은 원격조작으로 쉽게 얻고 노이즈도 적다. (b) sim-to-real — 마찰·컴플라이언스·액추에이터 동역학 시뮬레이션이 어려워 토크 수준 정책은 시뮬레이터 물리에 과적합되지만, 궤적 출력은 강건한 저수준 컨트롤러가 추종해 주면 전이가 매끄럽다.

8.2 Data and supervision regimes

데이터 소스는 (i) 로봇 상호작용 데이터, (ii) 웹 규모 데이터로 나뉘고, 전자는 다시 전문가 시연(RT-1의 130k 시연 등, 고품질이지만 비싸다)과 비구조적 play data(라벨 없이 자유롭게 상호작용한 로그, 사후에 언어로 relabeling해 쓴다 — Learning from Play, MCIL은 1% 언어 라벨로 학습)로 갈린다.

감독 형태는 셋이다. Target labels(per-sample 정답 모사: RT-2, OpenVLA, Octo), Outcome evaluations(실행에서 나온 스칼라: 사람이 정의하거나 VLM 성공 감지기·LLM 보상 생성이 만든다), Auxiliary supervision(visual attention: region-text alignment·keypoint/graspability map / reconstruction: image·video 재구성 / future prediction: 다음 상태·keyframe 예측). 그리고 앞서 본 \mathcal{L}_{\text{final}} = \lambda_1 \mathcal{L}_{\text{targets}} + \lambda_2 \mathcal{L}_{\text{evaluations}} + \lambda_3 \mathcal{L}_{\text{auxiliary}} 로 묶인다. 세 계열의 감독을 하나의 목적함수와 커리큘럼으로 통합한 서술은 이 서베이의 독자적 기여에 가깝다.

8.3 System cost and latency — 이 서베이에서 가장 실용적인 표

학습 비용은 세 전략으로 나뉜다: from scratch(Gato처럼 토큰화된 이미지·텍스트·행동을 처음부터 — 엄청난 데이터·GPU 요구), fine-tuning(RT-2가 PaLI-X·PaLM-E 위에 로봇 데이터를 얹는 식 — 사전 지식을 살리지만 과적합·망각의 위험), prompt engineering(FM 동결, 추론 시 프롬프트로만 — 추가 로봇 학습이 0이고 개방형 지식이 그대로 오지만, 임베디먼트와 분리돼 개루프·환각·장기 태스크 취약).

추론 비용·지연(Table 6) — 파라미터 수, 하드웨어, 제어 주파수, 클라우드 의존 여부. ‘–’는 미보고,’*’는 아키텍처에서 추론한 값, Cloud는 원격 컴퓨트 추론을 뜻한다.

이 표의 값은 숫자보다 “무엇이 비어 있는가” 에 있다. RT-1(35M)이 ~3Hz, RT-2(5B/55B)가 TPU에서 1–3Hz, OpenVLA(7B)가 RTX 4090에서 3–6Hz, CLIP-RT(1B)가 8–16Hz. 확산 정책 쪽은 Diffusion Policy(~200M*)가 ~1Hz, DP3(~150M*)가 5–6Hz, ManiCM(~200M*)이 RTX 4090에서 ~50–60Hz. 그런데 PaLM-SayCan(540B)과 PaLM-E(562B)의 지연 칸은 ‘–’(미보고) 이고, 여러 항목의 하드웨어 칸도 비어 있으며, 확산 정책 파라미터 수는 저자들이 아키텍처에서 추정한 값이다.

이 공백이 곧 Sec. 9.3의 주장으로 이어진다. 원문 표현을 그대로 옮기면: “We note that latency is not consistently treated as a first-class evaluation metric in the literature, and often it is mentioned only in footnotes. To assess real-world feasibility, we strongly encourage authors to report latency prominently as a primary performance metric.” 서베이가 커뮤니티에 던지는 가장 구체적인 제안이고, 이 표는 그 제안의 증거물이다.

8.4 Environments and evaluations

시뮬레이터 6종(Table 7: PyBullet, MuJoCo, CoppeliaSim, NVIDIA Omniverse, Unity, UniSim)과 벤치마크 11종을 정리한다.

벤치마크 비교(Table 8) — 시뮬레이터/실기 데이터셋, embodiment, 데이터 규모, 관측(RGB/Depth/Masks), 도구 사용·멀티에이전트·장기 태스크 지원 여부. 위쪽 8개는 시뮬레이션, 아래 3개는 실기 데이터셋이다. (ARNOLD 행의 “Framka Panda”는 원문 오타)
벤치마크 스크린샷 모음(Fig. 17) — 위: CALVIN, Meta-world, RLbench, VIMAbench, LoHoRavens / 아래: ARNOLD, RoboGen, Open X-Embodiment, DROID, Galaxea Open-world.

본문에서 확인되는 규모 수치들: CALVIN은 PyBullet 기반 4개 환경 34개 태스크, 평가 지표가 MTLC와 LH-MTLC 둘. Meta-World는 MuJoCo 위 50개 태스크(ML10/ML45). RLBench는 CoppeliaSim/V-REP 위 100개 태스크. VIMAbench는 Ravens 기반 17개 탁상 태스크 템플릿, 약 650,000 전문가 궤적, 4단계 계층적 평가 프로토콜(무작위 물체 배치 → 완전히 새로운 태스크). LoHoRavens는 장기 태스크 10개. ARNOLD는 Omniverse 위 8개 언어 조건 태스크, 물체 40종·장면 20개, 10,000 전문가 시연. LIBERO는 SPATIAL/OBJECT/GOAL/-100 네 스위트 총 130개 태스크. 실기 쪽은 Open X-Embodiment(21개 기관, 22개 로봇, 527 스킬, 160,266 태스크, 2M+ 궤적), DROID(76k 궤적 ≈ 350시간, 564 장면, 52 건물, 86 태스크, Franka + Robotiq 2F-85, ZED 스테레오 3대), Galaxea Open-world(100k 궤적 ≈ 500시간, 150 태스크, 50 장면, 1,600+ 물체, 23-DoF Galaxea R1 Lite 양팔 모바일).

그리고 태스크 계열 3분류(Table 9)를 제안한다 — 이건 벤치마크 점수 해석용 장치다.

태스크 계열	예시	대표 벤치마크	지배적 난이도
Object-centric	물체 재배치, 쌓기, 자세 조작	Meta-World, RLBench, VIMAbench	시각-언어 그라운딩, 단기 visuomotor 제어
Interaction-centric	관절체 조작, 변형체 조작, 도구 매개 조작	ARNOLD, RoboGen, Open X-Embodiment	3D 공간 추론, 힘 제어, 촉각 피드백, 도구-물체 affordance
Long-horizon	다단계 재배치, 가사, 모바일 조작	CALVIN, LoHoRavens, LIBERO, Open X-Embodiment, DROID, Galaxea Open-world	태스크 분해, 서브골 시퀀싱, 메모리, 폐루프 재계획, 실패 복구

저자들의 경고가 중요하다 — 이 셋은 엄격한 난이도 위계가 아니고(관절체 태스크가 장기 계획을 요구할 수도, 변형체 조작이 짧은 다단계 강체 태스크보다 어려울 수도 있다), 상호배타적이지도 않다. 다만 보고된 성공률을 해석하는 렌즈로 쓸 수 있다: object-centric 벤치마크의 좋은 성적은 시각-언어 그라운딩과 단기 제어를 입증할 뿐이고, 물리 상호작용 모델링·메모리·폐루프 강건성은 다른 계열에서만 검증된다.

동시에 서베이는 “언어 그라운딩과 맥락 이해가 성능에 얼마나 기여하는지를 공정하게 정량화할 통합 평가 프로토콜이 아직 없다” 고 명시한다. 현행 벤치마크가 태스크 성공률에 집중해 의미 이해와 태스크 간 지식 전이를 놓친다는 진단이다.

관련: 시뮬레이터·데이터셋·벤치마크를 하나의 플랫폼으로 통합하려는 최근 시도는 RoboVerse 리뷰에서 볼 수 있다(이 서베이의 Table 7·8에는 포함돼 있지 않다).

8.5 Task specification — 언어 vs 이미지/영상

이 절이 이 서베이에서 가장 균형 잡힌 대목이다. 저자들은 언어를 경쟁 모달리티가 아니라 상보 모달리티로 놓고, 세 기능적 역할(state evaluation / policy condition / cognitive planning) 각각에서 언어와 시각 조건화를 나란히 비교한다.

• 상태 평가: 이미지/영상은 암묵적·밀집 진행 신호를 준다(XIRL이 영상에서 시간적 진행도를 배운다). 성공이 “페그가 삽입됐는가”, “기어가 정렬됐는가”처럼 지각 가능한 물리 상태로 정의될 때 강하다. 반대로 언어는 명시적 조합 의미론으로 목표를 준다 — 부정 제약(“stay away from the yellow bottle”), 안전 프로토콜(“slowly”, “upright” 같은 수식어를 궤적 최적화 파라미터로), 관계적 선호(“move farther from the stove”) 같은 시각 목표만으로는 추론할 수 없는 추상 제약을 강제한다. 대신 정확한 삽입 각도 같은 기하 디테일은 본질적으로 under-specify 한다.
• 정책 조건: 이미지 조건은 목표가 특정 공간 배치로 정의될 때 최적이고, 영상 조건은 접근 궤적·접촉 타이밍·속도 프로파일 같은 시공간 동역학을 암묵적으로 전달한다. 언어 조건 정책의 실용적 강점 셋: low-bandwidth specification(태스크 변형마다 새 시연을 녹화·렌더링할 필요 없음), compositional generalization(스킬·물체·공간 관계의 체계적 재조합), interactive editability(실시간 목표 정제와 구두 정정, 대화 기반 명확화).
• 계획: 영상은 밀집 운동학·구조 prior를 준다(One-shot visual imitation이 심볼릭 플래너 없이 다단계 조작 계획을 뽑는다 — 옷 접기처럼 언어로 표현하기 어려운 물리 조작에 특히 효과적). 언어 계획은 분기·제약이 많거나 상호작용적인 상황에서 강하다(“if the drawer is stuck, pull harder; otherwise, close it gently”). 저자들의 요약이 좋다: 시각 시연은 구체적 물리 경로를 정의하고, 언어는 논리 구조를 조직한다.

결론은 “hybrid”다. 언어로 무엇을(고수준 목표·논리 제약·사용자 선호), 이미지/영상으로 정확히 어떻게(공간 기하·운동학·접촉 동역학)를 지정하는 다중모달 명세 프레임워크로 수렴한다는 것.

---

논쟁 3제 (Sec. 9)

서베이 중반 이후의 백미다. 저자들은 결론을 내리지 않고 양쪽 근거를 정리한다.

9.1 VLA가 옳은 길인가?

회의 쪽 근거가 구체적이다. 순수 언어 모델링에서 스케일링 법칙이 통한 것은 데이터가 사실상 무한하고 균질하며 구조적 규칙성이 강했기 때문이다. 로봇은 다르다 — 오늘의 LLM은 보통 100B 파라미터를 넘고 수조 토큰으로 학습되지만, 대부분의 VLA는 7B 미만이고 수백만 개 수준의 로봇 궤적에 의존한다. 게다가 물리 세계에서는 작은 오류가 태스크 실패로 직결되고(언어·비전 태스크의 사소한 모호성과 달리), 로봇 데이터는 다양하고 비싸고 재현이 어려워 그 편향은 샘플을 더 모아서 보상할 수 없다.

대안 방향으로 저자들이 제시하는 것은 “유한 데이터 + 강한 구조적 의존성” 패러다임이다. 그리고 흥미로운 재정의를 한다 — 역사적으로 VLA의 진보는 모델 크기가 아니라 태스크 복잡도의 확장에서 왔다: 단일 팔 → 양팔, 고정 베이스 → 모바일, 강체 → 변형체, 독립 조작 → 인간-로봇 협업. “genuine scaling in robotics lies in expanding the task manifold, namely the complexity, diversity, and structure of interactions, rather than merely increasing model parameters.”

9.2 월드모델이 옳은 길인가?

찬성: 상상 롤아웃으로 샘플 효율과 장기 행동 학습을 얻고(DreamerV3 계열), 언어로 상상을 조건화하면 자유형 텍스트가 목표 인지적 미래가 되어 조합적 일반화를 지원한다(LIMT). 안전 측면도 있다 — 후보 행동 시퀀스를 “상상” 속에서 오프라인 평가해 위험하거나 실행 불가능한 계획을 실제 시도 전에 걸러낼 수 있다.

반대: 모델 편향과 분포 취약성. 월드모델은 근사 동역학이므로 접촉·마찰·물성의 작은 오차가 상상 롤아웃에서 누적된다. OOD 상황에서는 의미적으로는 그럴듯하지만 물리적으로 불가능한(운동학·안정성·접촉 제약 위반) 계획을 낼 수 있다. 즉 시뮬에서 멀쩡해 보이는 계획이 실기에서 실패한다. 게다가 생성 모델의 연산 부담이 실시간 제어 루프를 압박한다.

저자들의 정리는 신중하다 — “rather than definitive drawbacks, current limitations reflect an early methodological stage.” 열린 문제 셋: (i) 학습된 동역학에 구조적 prior(물리·기하·태스크 제약·상식) 주입, (ii) 모델 불확실성의 정량화·전파, (iii) 연산 효율적 모델로 실시간 마감 맞추기.

9.3 실시간 제약 아래서 스케일링이 도움이 되는가?

가장 실용적인 논쟁이다. 제어 주기마다 센싱·정책 추론·구동이 끝나야 하는 고정된 시간 예산이 있다. 모델을 키워 추론 시간이 이 예산을 넘으면 제어 루프가 마감을 놓쳐 jitter와 안정성 저하가 생기고, 접촉이 많은 상호작용에서 특히 치명적이다. LLM/VLM을 의사결정에 쓰면 (공격적으로 캐싱하지 않는 한) 초 단위 지연이 붙고, 완전 종단간 VLA도 임베디드 하드웨어에서 스텝당 연산·메모리를 요구한다. 확산 컨트롤러는 반복 샘플링의 “denoising tax”를 추가로 낸다.

실무적 완화책들: 압축·증류, 입력 토큰 가지치기, 모델 메모리 캐싱, 무거운 3D 볼류메트릭 지각 대신 다중뷰 2D 인코더, 그리고 분할 아키텍처(경량 온보드 컨트롤러가 즉각 피드백·안전 인터록을 맡고, 무거운 숙고—고수준 계획·서브골 생성—는 비동기 또는 오프보드로). 클라우드 오프로딩은 처리량을 주지만 예측 불가능한 네트워크 지연과 안전 임계 상황에서 경계 짓기 어려운 실패 모드를 들여온다. Sec. 10.2.3은 여기에 통신 보안까지 덧붙인다 — 산업 환경에서 수백 대의 로봇이 공유 클라우드 모델을 동시 질의하고, 에이전트당 50 Hz를 넘는 제어 갱신이 필요하며(Belkhale et al. 2024), 명령 하이재킹이나 모델 가중치 오염이 물리적 안전 위협이 된다.

---

열린 문제와 미래 방향 (Sec. 10)

두 축으로 정리된다: 일반화 능력과 실세계 안전.

10.1 일반화

데이터 가용성과 그 한계. play data가 라벨링 비용을 줄이지만, “relying solely on play data and generative VLMs may not be sufficient to train a robust FM for robot manipulation”. 그리고 “beyond web-scale data” 라는 도발적 질문을 던진다 — 인간의 조작 숙련은 훨씬 적고 맥락화된 경험에서 나온다. 데이터가 제한적일 때 딥러닝 모델은 학습셋의 허위 상관(shortcut) 에 과적합되므로, “데이터를 더 모으면 된다”가 유일한 길이 아닐 수 있다. 여기서 뉴로심볼릭이 데이터 효율 대안으로 다시 호출된다.

벤치마킹의 문제도 정직하다 — 대부분이 시뮬레이터에서 평가하고 통합·표준화된 실기 평가 벤치마크가 없다. 시뮬 성능이 실기 성공으로 이어지지 않는 이유는 시각 외형, 센서 노이즈, 물리 동역학, 그리고 언어적 맥락의 해석이 갈라지기 때문이다. 유망한 방향으로 real-to-sim-to-real(실기 상호작용 데이터로 시뮬레이터를 캘리브레이션 → 정렬된 시뮬에서 학습 → 실기 재배치)을 든다.

Lifelong learning과 cross-embodiment alignment. 후자는 taxonomy와 연결해 세 층위에서 설명된다 — 지각 층(센서 구성·카메라 배치·작업공간 기하가 달라 같은 지시가 다른 시각 그라운딩을 낳는다), 제어 층(DoF·관절 한계·엔드이펙터가 다르면 학습된 정책이 유효한 행동을 못 낸다), 계획·추론 층(같은 계획이 다른 능력의 로봇에서 실행 가능해야 한다).

Zero-shot의 실효성(10.1.4) — 이 서베이에서 가장 값진 한 절이다. 저자들은 zero-shot이 균일한 속성이 아니라 무엇을 일반화하느냐에 달린 것이라고 잘라 말한다.

• 의미·계획 층에서 가장 강하다: ZSRM이 CLIP으로 목표 이미지-텍스트를 매칭해 태스크 특화 재학습 없이 보상을 만들고, SayCan이 LLM 추론 + affordance 점수로 스킬 시퀀스를 만들고, Code as Policies가 미학습 물체에 대해 API 호출을 재조합한다. 그러나 여전히 취약하다 — SayCan은 스킬 실행이 무결하다고 가정하고, Code as Policies는 실행 불가능한 단계나 존재하지 않는 함수를 낼 수 있으며, ZSRM은 CLIP의 약한 공간 추론이 상한이다.
• 정책 층에서는 더 제한적이다: 대개 기존 스킬 재조합이나 광범위한 사전학습 표현에 기댄다. LanCon-Learn의 라우팅+제어 공동 학습은 취약하고 샘플을 많이 먹으며, RT-2의 이득도 사전학습 분포의 커버리지와 embodied 로봇 데이터의 가용성에 강하게 묶여 있다.
• 물리 실행에 가까워질수록 더 약해진다: 장기·접촉 과다·동적·cross-embodiment 태스크에서 그라운딩·지각·동역학·피드백의 오차 누적이 지배한다.

결론 문장이 정확하다: 현재 시스템의 zero-shot은 “partial and conditional rather than universal” — 의미 명세와 고수준 계획에서 가장 강하고, 정책 전이에서는 유망하지만 여전히 취약하며, 상당한 novelty 아래의 신뢰성 있는 실기 조작에서는 여전히 제한적이다.

10.2 안전

언어의 모호성(10.2.1). 예시가 인상적이다 — “Remove the chemicals from the table.” 사용자는 화학물질 용기를 지정된 보관 장소로 안전하게 옮기기를 의도했을 수 있지만, 로봇은 이를 물리적으로 치워 없애기(엎거나 잘못 다루기)로 해석해 화학물질 유출과 위험을 낳을 수 있다. 완화책은 능동적 명확화 질의(“Do you want me to move the chemicals to storage, or should I dispose of them?”)와 행동 전 해석 확인 되먹임(“I understood that I should carefully move the containers to the storage area. Is this correct?”). 여기에 3D 세계 그라운딩의 난점이 겹친다 — VLM은 환각하기 쉽고, 공간 표현을 해석할 때 관점 취하기(taking spatial perspectives) 를 못 한다.

실패 복구(10.2.2). 소프트웨어 측(LLM 환각 → 존재하지 않는 물체 참조, 논리적으로 모순된 계획, 안전하지 않은 제어 코드)과 하드웨어 측(추론 지연으로 인한 행동 지연, 고동적 모션에서의 모터 과열 셧다운, 조명·반사면에 취약한 깊이 센서, 제한된 배터리)을 모두 든다. 하드웨어 실패 양상까지 구체적으로 열거한 서베이는 흔치 않다.

실시간 성능(10.2.3). 압축·양자화·지식 증류, 그리고 시간 임계 결정은 경량 로컬 모델에 위임하고 복잡한 추론은 큰 모델에 오프로딩하는 하이브리드.

---

비판적으로 보면

강점

1. 분류축이 실제로 일을 한다. “언어의 기능적 역할”이라는 축은 단순한 재배열이 아니다. 이 축으로 자르면 같은 방에 모인 연구들이 같은 병목을 다르게 공격한 계보로 읽힌다(Sec. 4의 “보상 설계 노동을 누가 대신하는가” 3세대, Sec. 5의 “앞 계열의 한계를 완화한다” 사슬, Sec. 6.1→6.2의 “심볼릭의 4대 한계 → LLM이 우회 → LLM의 3대 신규 문제”). 서베이의 가치는 목록이 아니라 이런 인과 서사에 있고, 이 논문은 그걸 갖췄다.
2. 경계를 명시적으로 긋는다. VLA를 넓게 정의하면 CLIPORT도 VLA지만, 이 서베이는 “액션 생성이 시각-언어 표현과 밀결합해 학습되는가”로 좁혀 잡고 그 이유를 각주까지 달아 설명한다. 서베이가 자기 용어의 경계를 방어하는 경우는 생각보다 드물다.
3. 단점 칸을 비우지 않는다. Table 2~5의 “Key Disadvantages”는 형식적 문구가 아니라 구체적이다(“특권 시뮬레이터 상태 필요”, “2D 정사영에서 키포인트 가림”, “후속 저수준 정책이 상한”, “메모리 버퍼 관리 비용”).
4. 지연시간을 1급 지표로 밀어붙인다. Table 6과 Sec. 9.3의 결합은 이 서베이가 커뮤니티에 남기는 가장 실천적인 요구다. 심지어 자기 표의 빈칸(‘–’ = 미보고)을 근거로 삼는다.
5. 논쟁을 봉합하지 않는다. Sec. 9는 “VLA 스케일링이 답이다”라고 말하지 않고, 대신 “로봇의 진짜 스케일링은 파라미터가 아니라 태스크 매니폴드의 확장”이라는 반대 명제를 제시한 뒤 열어 둔다.
6. 최신성이 실제로 높다. v7(2026-06-22)은 π0.5, FAST 토크나이저, DreamVLA, MemoryVLA, ForceVLA, knowledge insulation, Discrete Diffusion VLA 같은 2025~2026년 흐름을 반영한다. 부록 Table 12에는 2026년 항목도 있다. 2023년 초판만 보고 “낡은 서베이”로 판단하면 안 된다.

약점·한계

1. 정량 비교가 사실상 없다. 4개의 대표기법 표는 모두 정성 서술(메커니즘/장점/단점)이고, 성공률·SR·일반화 점수를 나란히 놓은 표가 없다. 저자들은 벤치마크가 제각각이라 공정 비교가 불가능하다고 Sec. 8.4에서 명시하고, 그 진단 자체는 옳다. 하지만 그 결과 독자는 “어떤 계열이 지금 얼마나 되는가”를 이 서베이만으로는 알 수 없다. Table 6조차 절반이 비어 있다. 즉 이 서베이는 지도이지 성적표가 아니다.
2. 깊이가 절마다 고르지 않다. Sec. 4·5·6은 계보 서사가 촘촘한데, Sec. 7(VLA)은 방법 나열의 밀도가 훨씬 높아 “이 방법은 이걸 하고, 저 방법은 저걸 한다” 식 서술이 길게 이어진다. 분야가 빠르게 움직여서일 텐데, Sec. 7만 따로 읽으면 축이 잘 안 잡힌다(Fig. 16과 Table 10을 먼저 보고 들어가는 편이 낫다).
3. 분류축이 실제 연구를 깔끔히 가르지 못하는 지점이 있다. 저자들도 Fig. 16 각주에서 “we focus on delineating the primary contribution of each method … even though most methods involve multiple aspects” 라고 인정한다. π0.5는 “고수준 서브태스크(텍스트) 예측 후 연속 명령 정제”인데 이건 ❸(언어로 계획)과 ❹(통합 VLA)에 걸친다. LoHoVLA·DexVLA의 “자기생성 언어 서브골”도 마찬가지다. ❸과 ❹의 경계는 실제로 흐려지는 중이고, 서베이의 축은 이 수렴을 잘 담지 못한다.
4. 커버리지의 구멍이 있다. 시뮬레이터 표(Table 7)에 Isaac Lab/Isaac Sim, Genesis, SAPIEN, ManiSkill이 없다(SAPIEN·ManiSkill은 부록 Table 11·12의 개별 논문 행에만 등장한다). 벤치마크 표(Table 8)에도 RoboCasa, BEHAVIOR, SIMPLER 같은 축이 빠져 있다. 모델 쪽에서도 SmolVLA·MolmoAct 계열(효율 지향 소형 VLA, 액션 추론 모델)이 본문에 없다. 부록 Table 10의 최신 항목이 2025-09라는 점도 함께 보면, v7의 실질적 커버리지 컷오프는 2025년 하반기로 보는 것이 정확하다(본문 인용 연도가 2026인 항목들도 대부분 2025년 arXiv 프리프린트의 정식 게재본이다).
5. 인용 연도 표기가 두 벌로 돌아간다. 본문은 “Li et al. 2026b(BridgeVLA)”인데 Table 10의 Time 열은 “2025-06”이다. 두 값 모두 맞지만(게재 연도 vs arXiv 최초 공개), 같은 문서 안에서 두 기준이 섞이면 독자가 어떤 것이 최신인지 판단하기 어렵다. 이 서베이를 인용할 때는 Table 10·11·12의 Time/Years 열을 기준으로 잡는 편이 안전하다.
6. 편집 품질의 잔 흠. Fig. 5의 “VLM-dirven”, Fig. 6의 “Diffuison-based”, Fig. 16 캡션의 “Hierachical”·“fllows”, Table 5의 “Adaptating”, Table 8의 “Framka Panda”. 내용에 영향은 없지만 IJRR 승인본이라는 점을 생각하면 아쉽다.
7. “안전” 절이 서술적이다. Sec. 10.2는 문제를 잘 열거하지만(모호성/실패 복구/실시간/통신 보안), 정형 검증·런타임 모니터·안전 필터 같은 형식적 안전 기법의 계보는 거의 다루지 않는다. LTL을 쓰는 SELP, conformal prediction을 쓰는 KnowNo가 단발로 언급될 뿐, “안전”을 taxonomy의 한 축으로 승격시키지는 않는다.

2026년 시점에서 유효한 부분 / 낡은 부분

여전히 유효한 부분은 taxonomy 자체와 Sec. 8·9다. “언어가 보상인가 조건인가 계획인가 표현인가”라는 질문은 모델이 몇 번 더 세대교체해도 유지되는 축이고, action granularity·latency·data regime 같은 공학 축은 오히려 시간이 갈수록 중요해진다. Sec. 9.3(실시간 제약)과 Sec. 10.1.4(zero-shot의 조건부 성격)는 지금 읽어도 가장 정직한 진단이다. Sec. 4(보상/비용)와 Sec. 6.1(뉴로심볼릭)은 최근 논문에서 잘 안 다루는 계보를 촘촘히 남겨둔 아카이브적 가치가 있다.

빠르게 낡는 부분은 Sec. 7의 개별 방법 목록과 Table 10이다. 커버리지 컷오프가 2025년 하반기이므로, 2026년 상반기 이후의 VLA(대규모 co-training 전략, 액션 추론 모델, 소형·온디바이스 VLA)는 이 서베이 밖에서 따로 따라가야 한다. Table 7의 시뮬레이터 구성도 현재 생태계와 어긋난다.

결론적으로 이 서베이를 읽을 값은 이렇다. ① 이 분야에 처음 들어오는 사람에게는 Fig. 3 한 장 + Sec. 3만으로 지형이 잡힌다. ② 특정 계열을 파는 사람에게는 해당 절(4/5/6/7)의 계보 서사와 Table 2~5의 단점 칸이 “내 방법이 어느 병목을 공격하는지”를 정확히 위치시켜 준다. ③ 시스템을 만드는 사람에게는 Sec. 8(5축)과 Table 6~9가 가장 실용적이다 — 특히 지연시간과 태스크 계열 3분류는 실험 설계에 바로 쓸 수 있다. ④ 반대로 “어떤 방법이 SOTA인가”를 알고 싶다면 이 서베이는 답하지 않는다.

---

관련 연구와의 자리 매김

이 블로그의 기존 리뷰들과 엮으면 이 서베이는 허브 노드로 쓸 수 있다.

• 다른 축의 서베이: VLA for Embodied AI(모델 종류 축), Dexterous Imitation Learning(조작 대상 축). 세 편을 겹쳐 읽으면 같은 문헌 집합의 서로 다른 단면이 보인다.
• ❶ 상태 평가 계열의 원 논문: Eureka(LLM 보상 코드 진화), Reward Engineering(보상 설계·shaping 일반론), PWTF(VoxPoser/ReKep 계열의 후속 — VLM이 만든 비용을 디지털 트윈 MPC에 넣기).
• ❹ VLA 계열의 원 논문: π0(flow matching action expert), Tactile-VLA(Sec. 7.2.3에 직접 인용), CompliantVLA(저수준 컴플라이언스 — Sec. 8.1.3의 low-level control 축), RL Token(Sec. 7.5 후학습 계열).
• 서베이 밖의 최신 흐름: SmolVLA(온디바이스 소형 VLA — Sec. 9.3의 실시간 논쟁에 대한 직접적 응답), MolmoAct2(액션 추론 모델), RoboVerse(Table 7·8에 없는 통합 플랫폼), Semantic World Models(Sec. 9.2 월드모델 논쟁의 대안적 정식화).

---

요약

• 한 문장: 언어 조건 로봇 조작을 “알고리즘 종류”가 아니라 “언어가 제어 루프에서 맡는 기능적 역할” — 상태 평가 ❶ / 정책 조건 ❷ / 인지적 계획·추론 ❸ / 통합 VLA ❹ — 로 자르고, 이와 직교하는 5개 공학 축(granularity, data/supervision, cost/latency, environments/evaluation, task specification)으로 다시 가로지른 IJRR 승인 서베이(v7, 2026-06).
• 무엇을 얻는가: ① 이 분야의 지형도 한 장(Fig. 3), ② 네 갈래 각각의 계보 서사(누가 어떤 병목을 어떻게 물려받아 공격했는가), ③ 대표기법의 단점까지 적힌 비교표 4장, ④ 파라미터·하드웨어·제어 주파수·클라우드 의존을 모은 지연시간 표, ⑤ 시뮬레이터 6종·벤치마크 11종·태스크 계열 3분류, ⑥ 봉합하지 않은 논쟁 3제, ⑦ 2018→2026 연표(부록 Table 11·12).
• 무엇을 못 얻는가: 방법 간 정량 성능 비교, 2026년 상반기 이후 VLA, Isaac/Genesis/ManiSkill 계열 시뮬레이션 생태계, 형식적 안전 기법의 계보.
• 읽는 순서 추천: Sec. 3(분류 정의) → Fig. 3 → 관심 있는 갈래 1개(Sec. 4~7 중) → Sec. 8(5축) → Sec. 9(논쟁) → Sec. 10.1.4(zero-shot의 조건부 성격). 시간이 없으면 Sec. 3 + Sec. 8 + Sec. 9만 읽어도 이 서베이의 고유 기여는 대부분 회수된다.