
마음AI는 글로벌 건설장비 기업 두산밥캣과 지난 6월 업무협약을 체결한 지 약 5개월 만에, 실제 산업현장에서 두산밥캣 건설장비의 자율작업 실증에 성공했다고 16일 밝혔다. ⓒ 마음AI
[프라임경제] 피지컬 AI 풀스택 기업 마음AI(377480)는 글로벌 건설장비 기업 두산밥캣과 지난 6월 업무협약(MOU)을 체결한 지 약 5개월 만에, 실제 산업현장에서 두산밥캣 건설장비의 자율작업 실증에 성공했다고 16일 밝혔다.
경기도 평택의 소 축사에서 진행된 이번 실증에는 마음AI가 자체 개발한 피지컬 AI 모델인 월드액션모델(World Action Model)이 적용됐다.
마음AI는 두산밥캣의 소형 건설장비인 스키드 로더에 월드액션모델을 적용하고, 실제 축사 환경에 맞춰 모델을 고도화해 장비가 주변 상황을 스스로 인식하고 작업 경로와 동작을 판단하며 분뇨 처리 작업을 수행하도록 구현했다.
두산밥캣은 장비의 동작 및 제어 신호를 PoC 관련 기술 개발에 손쉽게 활용할 수 있는 환경을 구축해 개발 효율성과 속도를 높였다.
마음AI는 앞서 독자 개발한 로봇 파운데이션 모델 'PonderPounce'로 글로벌 로봇 AI 벤치마크 'RoboMME'에서 세계 1위를 기록한 바 있으며, 최근에는 미래 환경을 예측하는 월드모델 기술을 결합해 작업 성공률을 67.42%까지 끌어올리는 등 피지컬 AI 모델 개발 역량을 입증한 바 있다.
◆ 숙련자의 손길을 AI로 재현… 실제 축사에서 고난도 자율작업 성공
이번 시연에서는 분뇨 운반은 물론, 숙련 작업자의 경험과 노하우가 요구되는 정교하고 복잡한 작업까지 자율적으로 수행하며 주목을 받았다.
첫 번째 시연에서 스키드 로더는 분뇨 더미를 향해 부드럽게 접근했다. 더미 앞에서 버킷을 낮춘 로더는 분뇨를 적정량 퍼 담은 뒤, 버킷을 들어 올린 채 지정된 장소로 이동했다.
이어 약 2.4m 높이의 트레일러 앞에서 붐과 버킷의 각도를 조절해 분뇨를 쏟아냈다. 차체의 이동부터 버킷의 정교한 움직임까지, 마치 숙련 운전자가 조종하는 듯한 작업이 이어졌지만 운전석에는 사람이 없었다. 로더는 이 작업을 자율적으로 반복하며 첫 번째 시연을 마쳤다.
이어진 두 번째 시연에서는 한층 복잡한 작업이 펼쳐졌다. 바닥에는 분뇨가 일정한 형태 없이 불규칙하게 흩어져 있었다. 로더는 분뇨의 분포를 인식하고 경로를 스스로 판단한 뒤, 버킷을 지면 가까이 낮추고 이동하며 분뇨를 한곳으로 모으기 시작했다.
정해진 경로만 반복하는 것이 아니라, 분뇨가 남아 있는 위치에 맞춰 이동 방향과 버킷의 움직임을 조절하는 모습이었다. 이후 수거한 분뇨를 지정된 장소에 적재하며 연속 작업을 완료했다.
두 시연 모두 성공적으로 완료됐으며, 전 과정은 분당두산타워로 실시간 중계돼 두산밥캣 경영진이 직접 참관했다.
◆ 주행하면서 유압 작업기까지 제어하는 '움직이는 조작기'
이번 성과는 기존 자동화 기술로 대응하기 어려웠던 비정형 산업현장에서 피지컬 AI의 실질적인 활용 가능성을 입증했다는 점에서 의미가 크다.
특히 두산밥캣의 스키드 로더는 일반적인 로봇팔처럼 한자리에 고정된 장비가 아니다. 수 톤에 달하는 차체가 이동하는 동시에 붐(팔)과 버킷(삽)을 유압으로 움직여 작업하는 일종의 '움직이는 조작기(Mobile Manipulator)'다.
이동과 조작을 동시에 수행해야 한다는 점에서 고정형 로봇팔은 물론, 일반적인 자율주행 로봇과도 근본적으로 다른 기술적 난제가 드러난다.
가령 버킷이 분뇨 더미에 닿는 순간, 작업물의 저항이 차체에 전달되면서 장비가 밀리거나 바퀴가 미끄러질 수 있다. 버킷을 조금만 과도하게 내리면 시멘트 바닥과 충돌해 고가의 장비가 손상될 수 있고, 반대로 지나치게 높이 들면 무게중심이 흔들려 차체의 안정성이 저하될 수 있다.
더욱 까다로운 점은 작업이 반복될수록 분뇨의 위치와 양이 달라진다는 것이다. 이미 수거한 자리에는 분뇨가 줄어들기 때문에, 장비는 이전 작업 상태를 기억하고 버킷을 점차 더 깊숙이 진입시키는 등 변화하는 환경에 맞춰 동작을 정교하게 조절해야 한다.
자율주행 로봇이나 고정된 위치에서 물체를 조작하는 로봇팔보다 훨씬 복합적인 판단과 제어가 요구되는 이유다.
마음AI는 이를 피지컬 AI의 주요한 난제 중 하나인 '이동형 조작(Mobile Manipulation)' 문제로 정의했다. 기존 공개 VLA 모델을 그대로 적용하는 대신, 중장비의 이동과 유압 작업기 제어라는 특수한 요구에 맞춰 모델의 입력과 출력 구조를 새롭게 설계했다.
주변 환경을 인식하는 데 그치지 않고 실제 장비의 움직임으로 연결하는 독자적인 VLA 기술을 통해, 기존 규칙 기반 자동화로는 대응하기 어려웠던 복합 작업을 구현한 것이다.
축사는 분뇨의 형태와 분포가 일정하지 않고 작업 환경이 수시로 달라져, 사전에 정해진 규칙과 경로에 의존하는 기존 자동화 방식으로는 대응하기 어렵다. 특히 축산농가는 인구 감소와 고령화로 만성적인 인력난을 겪고 있으며, 분뇨 처리는 심한 악취와 높은 작업 강도로 인해 기피되는 작업인 만큼 자율화의 필요성이 더욱 크다.

마음AI는 글로벌 건설장비 기업 두산밥캣과 지난 6월 업무협약을 체결한 지 약 5개월 만에, 실제 산업현장에서 두산밥캣 건설장비의 자율작업 실증에 성공했다고 16일 밝혔다. ⓒ 마음AI
◆ 자격증만으로는 부족한 숙련자의 노하우…수십 종 작업 데이터로 AI 학습
이처럼 작업자의 숙련도에 크게 의존하는 현장을 자율화하기 위해, 마음AI는 AI 개발진이 직접 건설장비 조종을 배우는 것부터 시작했다. 실제로 연구원들이 로더 조종 자격을 취득하고, 20년 이상 경력의 숙련 조종 전문가를 영입해 작업 데이터를 직접 수집했다.
이 과정에서 확인한 것은 로더 조종 자격을 취득하는 것과 실제 축사에서 분뇨를 능숙하게 처리하는 것 사이에 상당한 기술적 격차가 존재한다는 사실이었다.
기본적인 주행과 버킷 조작은 교육을 통해 쉽게 익힐 수 있지만, 분뇨의 상태와 저항을 고려해 한 번에 적정량을 퍼 담고, 장비의 미끄러짐을 최소화하며 효율적으로 작업하는 능력은 오랜 현장 경험을 통해 축적되는 것이다.
실제 데이터 수집 과정에서도 초보 조종자와 숙련 전문가 사이에는 작업의 완성도와 정교함에서 뚜렷한 차이가 나타났다.
마음AI 연구진은 이처럼 말로 설명하기 어려운 숙련자의 작업 노하우를 AI가 학습할 수 있도록, 작업 과정을 수십 종의 세부 동작으로 구분하고 각각에 대한 작업 레이블을 구축했다. 분뇨 더미에 버킷을 적절한 각도로 밀어 넣고, 들어 올려 운반하는 일련의 작업을 학습 가능한 행동 데이터로 변환한 것이다.
여기에 엔비디아 아이작 심(NVIDIA Isaac Sim) 기반의 물리 시뮬레이션 기술을 활용해 다양한 축사 내 작업 상황을 가상환경에 구현하고, 실제 현장에서 확보한 데이터와 함께 모델 학습 및 검증에 활용했다.
현장 숙련자의 경험을 데이터로 확보하고, 물리 시뮬레이션을 통해 다양한 상황에 대한 학습을 보완한 것이 이번 고난도 자율작업 구현의 핵심이다.
◆ 글로벌 1위 모델 기술력, 실제 산업현장으로… 피지컬 AI 상용화 영역 확대
이러한 접근은 마음AI가 강조해 온 피지컬 AI 상용화 전략과도 맞닿아 있다. 뛰어난 AI 모델을 개발하는 데 그치지 않고, 고객사의 실제 작업을 이해하고 필요한 데이터를 직접 확보해 자율작업을 구현하는 것이다.
특히 이번 프로젝트는 글로벌 벤치마크에서 검증된 독자 모델 개발 역량을 실제 건설장비의 복합적인 물리 작업에서 증명해냈다는 점에서 주목을 받는다. AI 모델의 성능을 평가하는 것과 수 톤의 중장비를 실제 현장에서 움직이게 하는 것은 전혀 다른 차원의 과제다.
마음AI는 독자 피지컬 AI 모델 설계부터 현장 데이터 수집, 물리 시뮬레이션, 장비 제어 시스템과의 통합, 실증에 이르는 기술 역량을 결합해 이를 구현했다.
마음AI는 앞서 농업용 자율주행 방제기에 피지컬 AI 기술을 적용해 한국과 일본 시장에 출시하고, 100대 규모의 양산 계약을 체결한 바 있다. 이번 두산밥캣과의 프로젝트는 농업용 방제기에 이어 축산·건설장비까지 적용 영역을 확대한 사례로, 서로 다른 장비와 작업 환경에서도 피지컬 AI를 구현하는 기술력을 보여줬다.
마음AI 최홍섭 기술총괄CEO는 "피지컬 AI의 핵심은 우수한 모델을 넘어 산업현장의 이해와 숙련자의 노하우를 실제 장비의 움직임으로 구현하는 데 있다"며 "두산밥캣과의 협력을 확대하고, 현재 프로젝트를 진행 중인 제조·용접 등 다양한 산업 분야에서도 피지컬 AI의 현장 적용과 상용화를 가속화하겠다"고 전했다.
박현철 두산밥캣 최고전략책임자(CSO) 부사장은 "이번 실증은 지난 6월부터 양사가 함께 이어온 기술 검증의 첫 결실"이라며 "글로벌 연구개발 부서간 협업 및 국내외 다양한 파트너와의 협력을 확대해 자율작업과 무인화 기술을 고도화하고, 고객의 생산성과 작업 효율을 높이는 실질적인 솔루션으로 발전시켜 나갈 것"이라고 말했다.