[케이스 스터디] 건설 장비의 유지에 증강현실 활용한 HD현대인프라코어
산업 현장의 기술 통합 돕는 AR 가이던스
증강현실(AR)의 본질은 눈으로 보는 현실의 모습에 가상의 디지털 콘텐츠를 겹쳐 보여줌으로써 쉽게 이해를 돕고 빠르게 커뮤니케이션할 수 있도록 도와주는 데에 있다. 이번 호에서는 이러한 증강현실의 본질을 건설 기계 장비 유지에 도입한 HD현대인프라코어의 AR 가이던스(AR Guidance)를 소개한다. ■ 자료 제공 : 유니티 코리아
AR 가이던스는 복잡한 건설 장비의 고장이 발생하였을 때 장비의 고장 위치를 이해하기 쉽도록 3D 모델링을 증강현실을 통해 제공한다. 바닥에 오브젝트 형상을 불러오는 바닥 증강 방식을 통해 장비의 형상 정보 및 고장진단 정보를 확인할 수 있으며, 앱 형태로 제공되는 콘텐츠는 모바일, 태블릿 등의 기기로 사용이 가능하다. 산업 현장의 이해와 기술이 녹아 있는, 고객들의 니즈에 맞춰 있는 건설 기계 업계에서 상용화된 설루션이다.
사용자, 딜러, 서비스 인원 모두에게 필요한 설루션 고민
HD현대인프라코어는 2019년 건설 장비를 소유한 고객을 대상으로 인터뷰를 진행하면서, 장비를 사용하는 과정에서 필요한 것과 불만 사항을 수집하였다. 수집된 고객의 니즈를 빠르게 충족할 수 있는 방법을 찾기 위해 서비스 부문에서는 IT를 결합한 다양한 서비스 설루션을 기획하였다. 그 중 하나가 장비의 정보를 고객이 쉽게 파악하게 할 수 있게 3D 모델링을 원하는 장소에 불러올 수 있는 증강현실(AR)을 사용하는 것이었다.
3D 모델링과 함께 어떤 콘텐츠를 고객에게 제공하면 좋을지 고민한 HD현대인프라코어는 고장 진단 가이드(troubleshooting guide)의 내용과 모델링을 결합한 콘텐츠를 제작하게 되었다. 이 콘텐츠로 사용자는 장비의 기본 형상 정보부터 고장이 발생하였을 때 어떤 절차를 통해 고장 진단을 하여야 하는지에 대한 가이드를 습득할 수 있다.
직면했던 문제
건설 기계의 내부는 복잡한 와이어와 유압 호스, 파이프 라인으로 이루어져 있는데, 내부 정보를 파악하기 쉽지 않아 고장 위치를 파악하는 데 많은 시간이 소요된다. 본사 전문가의 경우 장비 3D 모델링을 통해 장비의 내부와 부품 정보를 쉽게 파악할 수 있는 반면, 딜러 혹은 딜러 서비스 인원은 제한된 접근으로 정보 활용이 어려웠다.
HD현대인프라코어의 장비를 예를 들면 크게 유압, 전장 시스템 회로도, 엔진의 구성도가 있다. 딜러 서비스 인원이 장비의 구조와 로직을 파악하기 위해 DWG 기반의 시스템 회로도를 확인하는데, 이 회로도 구조를 통해 로직을 파악해도 실제 장비에서 주요 부품의 위치를 찾아내는 데에는 많은 시간이 소요된다. 숙련되지 않은 딜러 서비스 인원은 더욱 많은 시간을 할애하게 된다.
딜러는 딜러 서비스 인원이 빠르게 업무에 투입하고 서비스를 전문적으로 제공할 수 있는 수단이 필요했고, 딜러 서비스 인원은 기존 텍스트 기반의 서비스 머티리얼보다 더욱 직관적으로 장비 정보를 이해할 수 있는 콘텐츠 제공이 필요했다. HD현대인프라코어는 정형화된 정보보다는 쉽게 체득할 수 있는 직접적인 제어를 통해 사용자가 원하는 정보를 얻을 수 있는 설루션이 필요하다고 판단하였다.
이러한 현장의 어려움을 바탕으로, HD현대인프라코어는 주요 부품의 위치 표시, 부품의 상세 정보로 이어지는 기능 등 기본적인 요소 콘텐츠에 대한 니즈를 AR 가이던스 시범 운영으로 확인할 수 있었다.
유니티를 통해 만난 기술과 건설 기계
HD현대인프라코어가 AR 가이던스 개발을 시작할 당시 증강현실을 활용한 게임으로는 대중적이고 다양한 게임이 많았으나, 건설 기계 시장에서는 유니티를 도입한 사례가 많지 않았다. HD현대인프라코어는 “다만 점차 유니티에 대해 알아갈수록 전 세계에 많은 유니티 크리에이터가 있고, 그들이 제공하는 정보와 유니티에서 제공하는 튜토리얼, 매뉴얼 등 다양한 머티리얼을 통해 쉽게 시작할 수 있다고 판단했다”고 전했다.
HD현대인프라코어는 게임 혹은 다른 비 게임 분야의 다양한 유니티 활용 사례를 참고하면서, 타 산업에서 활발하게 사용되고 있는 유니티의 기술을 건설 기계 산업에서도 활용할 수 있다는 판단을 내렸다.
AR 가이던스의 구성 요소
AR 가이던스는 크게 증강 방식의 사용 유무에 따라 ‘가이던스’와 ‘3D 모델 뷰어’라는 두 가지 모듈로 구성되어 있다.
가이던스
▲ 가이던스
가이던스는 장비의 3D 모델링을 보여주며 증강 기술을 통해 장비 고장 진단을 위한 가이드를 사용자에게 제공한다. 세 가지 콘텐츠를 통해 사용자가 직접 장비의 고장을 확인하고 해결할 수 있다.
센서 시그널 모니터링(Sensor Signal Monitoring) : 장비 상태 파악
고장 진단(Troubleshooting) : 오류 코드(fault code)가 발생한 하자 현상에 대해 원인 및 고장 진단 가이드 제공
시운전 기준 가이드(Performance Test) : 고장 진단 및 장비 수리 이후 장비가 올바르게 수리가 되었을 때 올바른 장비 성능이 나오는지를 측정하기 위한 가이드를 제공하고 성능값을 입력 및 전송
3D 모델 뷰어
AR 기술을 사용하지 않는 3D 모델 뷰어는 더 가볍게 3D 모델링을 컨트롤하고, 이후 단계에서 시스템 회로도와 각 부품의 연관을 지으면서 많은 정보를 부여하자는 의도에서 시작했다. 이를 통해 3D 프로덕트 비주얼라이제이션 서비스를 처음 시작하는 사람도 장비를 쉽고 편리한 방법으로 이해하는 것을 목표로 했다.
▲ 3D 모델 뷰어
개발의 시작과 문제의 해결
AR 가이던스 프로젝트는 콘텐츠 내용을 정리하여 제공하는 것으로 시작됐다. 다만 산업 전반의 기술에 대한 경험을 바탕으로 어떠한 콘텐츠를 제공하여 사용자의 니즈를 풀어나가야 할 지는 파악이 됐지만, 유니티를 통해 어떻게 구현할 수 있는 지와 어떤 기능을 활용할 수 있을 지에 대한 사전 지식은 부족했다. 이 부분은 초기부터 함께 프로젝트를 시작하고 진행해 온 기술원의 담당자와 개발 인원이 지원을 해주었고, 유니티에서 제공하는 여러 교육 프로그램과 경기도 콘텐츠 진흥원에서 제공하는 교육을 통해 부족한 부분의 갭을 줄여나갈 수 있었다.
데이터 매니지먼트
▲ 데이터 매니지먼트
센서 시그널 모니터링 시스템을 구현할 때, 3D 모델링 상에서 위치와 상태 값을 보여주기 위해서는 장비로부터 너무 많은 데이터를 불러와 충돌을 일으킬 수 있어 데이터의 분류와 선택이 필요했다. 각 기종별로 데이터를 하나씩 확인해가며, 증강된 3D 모델링과 연결을 할 데이터와 그렇지 않은 것을 구분하는 것은 어려운 작업이었다. 또한 윈도우 기반의 진단 프로그램의 모델을 가져와 모바일 앱 형태로 변환하며, 장비 상태 신호를 받아오는 연결을 하는 과정에서 발생하는 오류를 수정하는데 시간이 많이 들었다.
장비 진단 프로그램이 윈도우로만 개발이 되어서 모바일 기반의 진단 프로그램에 대한 니즈는 지속적으로 발생했다. HD현대인프라코어는 AR 가이던스에서 윈도우 기반의 진단 프로그램의 일부 기능인 센서 시그널 모니터링을 가져와 증강시킨 장비의 3D 모델링과 함께 보여 준다면, 장비 상태 정보를 명확하게 사용자에게 제공할 수 있다고 생각했다.
우선 3D PDM(제품 데이터 관리)으로부터 가져온 3D 모델링 데이터 중 장비 정보를 전달할 수 있는 최소한의 구성을 제외하고 삭제했다. 또한 콘텐츠를 구조화함으로써 각 콘텐츠에서 불러오는 중복된 데이터의 용량을 줄여나갔고 이 부분에 큰 공을 들였다.
고장 진단
오류 코드(fault code) 발생에 따라 커넥터 PIN 번호, 색상, 흐름도 등 세세한 정보를 제공하며 와이어와 커넥터 형상과 함께 3D 모델링 증강을 통해 고장 진단을 제공하는 트러블슈팅 콘텐츠는 AR 가이던스의 메인이 되는 콘텐츠이다. 이 콘텐츠가 개발이 됨으로써 오류 코드에 대한 와이어 배선 고장 진단에 대한 콘텐츠 기준이 수립되었다.
▲ 고장 진단
거친 현장에서 진행하는 안정적인 성능 검사
건설 기계는 주로 척박한 작업 환경에서 작동한다. 이런 환경에서 모바일 디바이스를 기반으로 AR 기술을 활용하는 것이기 때문에, HD현대인프라코어는 3D 모델링이 안정적으로 증강되어 장비 정보를 확인할 수 있도록 하기 위해 신경을 썼다. 또한 원 소스 멀티 유즈를 통해 비교적 적은 용량으로도 콘텐츠를 구성하여, 데이터 다운로드 속도나 실행 속도를 빠르게 하는 것을 목표로 두었다.
특히 수리 완료 후 정확한 검증을 위해서는 장비의 모든 동작에서 성능 검사를 실행해 보아야 한다. 성능 검사의 경우 정확한 데이터 추출을 위해 성능 검사 조건과 절차를 준수해야 한다. 다만 텍스트 기반으로 제공되는 시험 운전 기준은 이러한 성능 검사 조건과 절차를 가이드하기에는 다소 명확하지 않은 부분이 있다. 또한 날씨, 작업자의 컨트롤 방식 등 정확한 데이터를 추출하기 어렵게 만드는 변수가 많다. 따라서, AR 가이던스는 3D 모델링을 통해 각 단계별로 시험 조건과 절차를 따라가며 성능 검사를 할 수 있도록 가이드를 제공하여 올바른 장비 성능 데이터를 받을 수 있는 콘텐츠를 제공하였다.
AR 가이던스 도입 후 달라진 것
긍정적인 사용자 반응
AR 가이던스의 경우, 사용자의 편의성과 콘텐츠 생성의 안정성을 가장 우선시하였다. 사용자가 쉽고 편리하게 장비 정보를 얻을 수 있도록 복잡하지 않은 구조를 선택하고, 사용자의 국가와 사용 환경에 맞춰 안정적으로 앱을 사용할 수 있도록 용량을 최소화하였다.
그 결과 유럽 서비스 인원을 대상으로 AR 가이던스 베타 버전을 론칭하였을 때, 많은 호평을 받으며 가치 있는 피드백도 많이 받을 수 있었다. 실제로 주요 부품 정보에 대한 콘텐츠 구현을 요청받았으며, 이 요청은 추후 3D 모델 뷰어 콘텐츠를 개발하는 초석이 되었다. 다만 피드백 수집 과정에서 다양한 국가를 대상으로 피드백을 받다 보니, 피드백 간의 상충되는 사항들이 발생하거나 개발 의도를 벗어난 내용의 요구사항도 있었다.
HD현대인프라코어는 이렇게 대립되는 의견과 개발 시 고려했던 사항에서 벗어난 피드백에 대해 무조건 배제하기 보다는, 개발 의도와 반영할 수 없는 사유에 대해 설명하려고 노력하였다. 메일로 설명하기 보다는 가급적 딜러/딜러 서비스 워크숍이나 출장 방문을 통해 직접 설명을 하여 이해를 도왔고, 이 과정에서 또 다른 유의미한 아이디어나 피드백을 수집할 수 있었다.
건설 기계 제조 회사를 보는 새로운 시각
AR 가이던스는 건설 기계 기술 지원 서비스에 대한 인식을 바꾸는데 일조하였다. HD현대인프라코어에서는 기존의 서비스 형태에서 벗어나 디지털이 활용된 다양한 서비스를 제공하고, 프리미엄 서비스 전략으로 기술 지원을 진행하고 있다. AR가이던스 설루션을 통해 보다 혁신적인 디지털 서비스를 제공해 고객 만족도를 높였으며, 기업 이미지 향상에도 도움이 되고 있다.
효율적인 문제 해결
문서 기반의 서비스 가이드에 의존했던 것과 달리, AR 가이던스를 활용하여 장비의 고장 정보를 좀 더 쉽고 명확하게 파악하고 고장 가이드를 확인할 수 있어 딜러 서비스 인원의 서비스 소요 시간을 단축하였다. 그리고 딜러 서비스가 직접 해결하지 못하는 문제에 본사 서비스가 지원을 하는 경우에도, 딜러 서비스에게 AR 가이던스를 통해 제공된 정보로 인해 장비 고장 정보에 대한 소통 시간이 단축이 되는 효과를 보았다.
▲ 안정적 성능 검사
AR 가이던스의 미래
AR 가이던스의 첫 번째 목표는 글로벌 서비스 인원의 사용률을 80% 이상으로 끌어올리는 것이다. 현재 글로벌에서 판매하고 있는 장비를 모두 구현하지 않았기 때문에, 사용률 증대를 위해서는 구현된 대상 장비의 확대가 가장 먼저 이루어져야 한다. 글로벌 서비스 인원의 만족도를 더 끌어올리기 위해 서비스 리드 타임을 지표화하여, 소통 시간을 얼마나 감소했고 빠르게 사용자를 만족시켰는지 확인하는 것도 하나의 목표이다.
두 번째로는 기본적인 모바일 환경을 벗어나 AR 글래스를 적용하는 것이다. AR 가이던스는 개발 시작 당시 가장 쉽게 상호작용이 가능한 디바이스가 모바일이었기에 모바일부터 적용하기 시작하였다. AR 가이던스 공급의 최종 목표는 AR 글래스 적용이고, HD현대인프라코어는 이 목표 달성을 위해 지금도 시중에 출시된 여러 디바이스에 AR 가이던스 설루션을 적용해보고 있다.
세 번째로는 AR 기반으로 장비의 고장 진단 정비에 대한 콘텐츠를 개발을 지속적으로 하면서 VR 기반으로도 콘텐츠를 개발할 예정에 있다. 현업에서는 장비의 고장을 기준으로 사전 서비스와 사후 서비스라는 개념이 있다. 이 두 가지 서비스 영역에 맞춰, 사전 서비스에서 VR을 활용하여 장비 주기 점검과 올바른 장비 작동을 가이드할 수 있는 VR 설루션을 제공할 예정이다.
또한, HD현대인프라코어는 사후 서비스에서도 장비 주기 점검과 장비의 올바른 작동을 가이드할 수 있는 VR 설루션을 제공하고자 한다. 사후 서비스에는 AR 가이던스를 활용하여 장비의 고장 진단 가이드를 제공하여, 서비스 시간을 줄이고 장비 업타임을 증대하는 계획을 가지고 있다. 이에 따라 AR 가이던스는 모바일로 제공하는 기존의 형태가 아닌, AR 글래스를 활용하여 양손을 자유롭게 하여 정비를 하면서 활용할 수 있는 형태로 제공될 것이다.
HD현대인프라코어 관계자는 “이 과정에서 유니티의 역할이 중요하다고 느낀다. 유니티 코리아를 통해 문제를 해결하거나 많은 유니티 크리에이터 커뮤니티를 통해 기존 개발 사례를 참고하는 등, 문제에 직면했을 때 다양한 소통을 통해 해결할 수 있었다”면서, “마케팅에서 제공하는 백서, 튜토리얼, 웨비나 등 다양한 유니티 설루션이 여러 방식으로 유니티 크리에이터에게 제공되기 때문에, 간편한 방법으로 정보를 습득할 수 있어 앞으로가 기대된다”고 전했다.
AR 가이던스는 HD현대인프라코어와 같이 발전하고 있다. 건설 기계 장비는 배기 규제에 따라 장비의 세대(generation)가 변화한다. HD 현대인프라코어에서는 꾸준히 새로운 세대의 장비를 개발 중에 있고, 이 장비를 대상으로도 AR 가이던스 콘텐츠 개발을 지속적으로 진행할 예정이다. 지속적인 개발을 통해 다음 세대는 도입 시작부터 AR 가이던스를 통해 고장 진단 가이드를 함께 제공하여 활용도를 증대시킬 수 있다는 기대를 가지고 있다. HD현대인프라코어는 다양한 차세대 장비를 개발하고 있으며, 이 장비 또한 AR 가이던스에서 구현하여 관련 콘텐츠 개발을 지속적으로 이뤄나갈 예정이다.
HD현대인프라코어의 이인근 책임매니저는 “건설 기계 장비가 새롭게 출시할 때마다 장비가 변화됨에 따라 콘텐츠와 UI도 많이 변경될 것이다. 기존과 마찬가지로 유니티의 빠른 지원과 다양한 플랫폼을 활용하게 되면, 신규 세대의 장비에 맞고 고객의 니즈에 빠르게 부합할 수 있는 콘텐츠 제작이 가능할 것”이라고 전했다.
■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2025-03-06
