가정용 로봇 제로샷 실험, 처음 보는 30개 집에서의 성공률에 대해
인간은 처음 가보는 낯선 집에 들어가더라도 침대 높이나 가구 배치가 다르다는 이유로 침대 정리하는 법을 다시 배우지 않습니다. 물리 세계에 대한 인간의 상식과 경험은 새로운 공간에서도 자연스럽게 전이되기 때문입니다. 반면에 지금까지의 로보틱스 시스템은 작업을 수행할 바로 그 장소에서 수많은 궤적 데이터를 미리 수집하고 미세 조정을 거친 뒤에야 겨우 작동하는 구조를 벗어나지 못했습니다.
이러한 근본적 한계를 극복하기 위해 많은 휴머노이드 로봇 기업들의 최근 관심사이자 개발 목표는 낯선 곳에서의 빠른 적응을 위한 AI 연구였습니다. 그리고 스타트업 Figure가 이런 공개에 가장 적극적이었고, 이미 여러 영상을 통해 세상의 관심을 끌어 모은 바 있습니다.
피규어AI가 공개한 Helix 2.5 기술 리포트는 피지컬 AI 연구계에서 앞서서 이 문제를 다루며 선두에 서 있는 모습이빈다. 타사가 내부적으로 어떻게 진행 되고 있는지 알 수 없으므로, 가장 공개적으로 많은 영상과 대외 마케팅을 하는 피규어를 눈여겨 볼 수 밖에 없습니다.
이번에 사전에 단 한 번도 데이터를 수집하지 않은 30곳의 실제 일반 가정에 휴머노이드를 투입하여 거실 정리와 수건 개기 그리고 침대 정리라는 세 가지 전신 작업을 제로샷으로 수행하게 한 실험 결과를 피규어AI가 공개 했습니다. 회사 측은 기본 성공률이 56퍼센트에 달했다고 발표하며 파운데이션 모델을 통한 일반화의 문을 열었다고 강조합니다. 하지만 이 숫자를 로봇이 곧 가사 노동을 완벽히 대체한다는 신호로 곧이곧대로 받아들이는 것은 엔지니어링 현실을 오독하는 일입니다. 이번 글에서는 56퍼센트라는 수치가 갖는 진정한 기술적 진전과 함께 상용화 관점에서 마주하는 냉정한 장벽을 차분하게 짚어보겠습니다.
9퍼센트에서 56퍼센트로 도약한 사전학습의 힘
Helix 2.5 실험에서 가장 주목할 만한 엔지니어링 성과는 대규모 인간 행동 데이터셋인 Index 사전학습의 효과를 정량적으로 증명했다는 점입니다. 연구진은 신경망 아키텍처와 태스크 특화 데이터 그리고 평가 환경을 완전히 동일하게 고정한 상태에서 Index 사전학습 유무만을 변수로 두고 비교 평가를 진행했습니다.
그 결과 사전학습 없이 작업별 데이터로만 학습된 기존 정책은 낯선 30개 가정 환경에서 불과 9퍼센트의 제로샷 성공률을 기록하는 데 그쳤습니다. 새로운 조명 환경과 가구의 질감 그리고 처음 보는 물체의 위치에 전혀 대응하지 못하고 궤적이 붕괴한 것입니다. 반면에 인간의 일상 행동 영상과 센서 데이터를 방대하게 사전학습한 Helix 2.5는 동일한 조건에서 56퍼센트라는 비약적인 성공률 향상을 달성했습니다.
더욱 인상적인 대목은 작업별 데이터의 효율성입니다. 이전 세대인 Helix 02 모델이 단일 환경에서 장시간 자율 작업을 수행하기 위해 소모했던 태스크 데이터의 절반 수준만 투입하고도, 적용 대상 공간의 범위는 단일 장소에서 30개 가정으로 서른 배나 확장되었습니다. 이는 언어 모델에서 거대 말뭉치 사전학습이 다운스트림 작업의 퓨샷 성능을 끌어올렸던 스케일링 법칙이 피지컬 AI의 전신 제어 영역에서도 재현될 수 있음을 보여주는 강력한 실험적 증거입니다.
56퍼센트라는 분모 뒤에 숨겨진 현실적 조건들
그러나 56퍼센트라는 수치를 기술적 돌파구로 칭찬하는 것과 상용 서비스로서의 완성도로 평가하는 것은 완전히 다른 차원의 문제입니다. 테크 독자라면 이 성공률이 산출된 실험의 분모와 통제 조건을 세심하게 들여다보아야 합니다.
첫째로 실험이 수행된 세 가지 작업의 성격입니다. 거실 물건 정리와 수건 개기 그리고 침대 정리는 분명 전신 이동과 양손 협응 그리고 시각 인지가 유기적으로 결합된 고난도 장기 과제입니다. 하지만 이번 평가에서 성공 판정은 사전에 정의된 특정 물체 집합과 비교적 정돈된 작업 시나리오를 전제로 이루어졌습니다. 가정 환경은 낯선 곳이었지만 로봇이 다루어야 하는 물체들의 변형 범위나 바닥의 장애물 분포는 극한의 혼돈 상태를 가정한 것이 아닙니다.
둘째로 가장 결정적인 부분은 44퍼센트에 달하는 실패율의 의미입니다. 웹 브라우징 에이전트나 챗봇의 경우 실패율이 다소 높더라도 재시도 버튼을 누르거나 사용자가 개입하여 교정할 수 있습니다. 하지만 무게 70킬로그램이 넘는 금속 휴머노이드가 사람과 함께 생활하는 가정 공간에서 작동할 때는 44퍼센트의 실패율이 곧 물건 파손이나 전도 위험 그리고 심각한 안전사고로 직결될 수 있습니다. 상용 가전이나 자율주행 차량이 시장에 진입하기 위해 최소 99.9퍼센트 이상의 신뢰성을 요구받는 점을 고려하면 56퍼센트는 훌륭한 학술적 이정표일 뿐 실생활 배치의 관점에서는 여전히 거대한 공학적 간극이 존재합니다.
변형체 조작과 접촉 역학이 만드는 물리의 벽
실제 가정 환경에서 로봇을 가로막는 가장 까다로운 난제는 바로 변형체 조작과 접촉 역학의 불확실성입니다. 딱딱한 컵이나 상자를 집어 옮기는 강체 조작과 달리 수건이나 침대 시트처럼 유연하게 구겨지는 직물은 물리 시뮬레이터로 완벽히 예측하기가 불가능에 가깝습니다.
Figure의 기술 리포트에서도 드러나듯 수건을 집어 올리는 순간 옷감의 접힌 형태가 달라지거나 침대 시트를 당길 때 매트리스와의 마찰력 차이로 인해 로봇의 손가락 끝에 가해지는 힘의 벡터가 시시각각 변화합니다. 순수 비전 기반의 파운데이션 모델은 카메라 이미지상으로 그럴듯한 궤적을 계획할 수는 있지만 천의 탄성과 미세한 미끄러짐을 촉각 피드백 없이 실시간 보정하는 데는 한계가 드러날 수밖에 없습니다.
결국 시각 정보에 의존하는 거대 모델에 고해상도 촉각 센서 데이터와 임피던스 제어 기술이 얼마나 정밀하게 통합되는가가 다음 단계의 핵심 열쇠가 될 것입니다. 전신을 움직여 낯선 방을 이동하는 로코모션 문제는 사전학습 모델로 상당 부분 해결의 실마리를 찾았으나, 손끝에서 일어나는 비선형적 접촉 역학은 여전히 데이터 크기만으로 밀어붙이기 어려운 고유의 영역으로 남아있습니다.
과장된 기대를 걷어내고 바라봐야 할 지점
Figure의 Helix 2.5 실험은 휴머노이드 로봇이 개별 환경의 족쇄에서 벗어나 범용 물리 에이전트로 진화할 수 있다는 가능성을 세계 최초로 대규모 실증했다는 점에서 매우 기념비적인 연구입니다. 인간의 지능이 환경을 가리지 않고 작동하듯 로봇의 인공신경망 역시 인간 행동 데이터의 축적을 통해 낯선 방에서도 기본 동작을 발현시킬 수 있음을 입증했기 때문입니다.
어차피 타사도 갈 것 같지만, 이런 분야는 선두에 먼저 진입한 곳의 축적 노하우가 생각 보다 중요해서, 앞서 도전하는 모습이 갖는 의미가 적지 않습니다. 기술력으로도 인정 받는 곳의 도전이라 더욱 의미를 갖고 있고 말입니다.
다만, 테크 업계와 산업계가 경계해야 할 것은 데모 영상과 단편적인 성공률 수치가 만들어내는 조급한 낙관론입니다. 실험실 밖 실제 가정은 로봇 친화적으로 설계되어 있지 않으며 매 순간 예측할 수 없는 변수가 발생합니다. 9퍼센트에서 56퍼센트로 올라선 첫걸음은 눈부시지만 56퍼센트에서 99퍼센트로 올라서는 여정은 지금까지 걸어온 길보다 훨씬 더 험난한 하드웨어 내구성과 엣지 연산 그리고 안전성 검증의 터널을 통과해야 합니다.
로보틱스의 역사는 언제나 화려한 첫 시연 뒤에 찾아오는 지루하고 끈질긴 신뢰성 확보의 싸움이었습니다. Helix 2.5가 증명한 사전학습의 스케일링 법칙이 물리적 접촉의 한계를 뚫고 다음 세대 모델에서 어떻게 진화할지 차분한 시선으로 지켜볼 때입니다.