사실적인 렌더링 및 실시간 반응으로 디지털 휴먼의 가능성 제시     언택트 시대가 정착하며 비대면 서비스 니즈에 따라 인공지능 기술이 통합된 ‘디지털 휴먼(Digital Human)’이 기업, 공공기관 등에 도입되고 있다. 사회적 거리두기와 재택근무 등이 장기화되면서 언택트(비대면) 서비스가 급부상하고 있는 것이다. 이처럼 업계의 관심이 디지털 휴먼에 쏠리고 있는 가운데, 유니티 유저에게 더없이 친숙한 얼굴이 있다. 바로 2020년 6월, 유니티 코리아 공식 홍보모델로 활동을 시작하며 디지털 셀럽으로 첫 발을 내딛은 디지털 휴먼, ‘수아’이다. ■ 자료제공 : 유니티코리아 수아를 향한 관심은 그 어느 때보다 뜨겁다. 2020년 11월에는 유니티 코리아 웨비나를 통해 리얼타임 모션 캡처와 페이셜 캡처를 선보이자 웨비나 접속자가 큰 폭으로 증가했다. 뿐만 아니라 온마인드의 김형일 대표는 유나이트 서울 2020(Unite Seoul 2020)에서 ‘Digital Celebrity SUA - 디지털 셀럽 ‘수아’를 만나다’를 주제로 현시점의 그래픽 기술 발전과 디지털, 버추얼 휴먼 제작 과정을 설명하며 대중들의 지적 호기심을 충족시키기도 했다.   ▲ 온마인드 김형일 대표   디지털 셀럽이란 디지털 휴먼, 버추얼 휴먼, 버추얼 인플루언서, 가상 유튜버 등 디지털 휴먼을 지칭하는 말은 다양하다. 이 단어들이 갖는 공통점은 인간과 가까운 ‘디지털’ 존재라는 의미를 담고 있다는 것이다. ‘디지털 셀럽’이라는 용어 역시 사람들에게 사랑받는 셀럽이 되고자 하는 수아의 바람이 담겨 있다.  온마인드는 향후 수아가 디지털 셀럽으로서 활동을 펼쳐 나갈 수 있도록 만반의 준비를 가하고 있다. 모델, 가수, 배우 등 다양한 역할을 소화하는 멀티 연예인이 되는 것을 목표로, 모든 가능성을 열어두고 있다. 온마인드 김형일 대표는 “수아는 이제 갓 데뷔를 앞두고 있는 신인과 다름없다”면서 “대중들에게 사랑받는 셀럽이 되기 위해서는 일반 연예인과 마찬가지로 대중들의 관심과 사랑을 받으면서 성장하는 일련의 과정이 필요하다”고 강조했다.   ▲ 2020년 8월, 이케아가 일본 도쿄에 매장을 내면서 버추얼 인플루언서 ‘이마(IMMA)’를 모델로 기용해 화제가 됐다.   리얼타임 라이브로 움직이는 수아, 무엇이 특별한가 수아가 전세계적으로 주목받는 이유는 리얼타임 렌더링을 통해 실시간으로 반응하는 디지털 휴먼이라는데 있다. 전신이 실시간으로 움직이는 디지털 휴먼은 전세계 최초이다.  리얼타임(실시간) 렌더링의 장점은 빠른 렌더링 속도와 인터랙션에 있다. 리얼타임이 아닌, 오프라인 렌더링이 일반적으로 사용되는 영화나 애니메이션은 미리 렌더링해놓은 이미지를 프레임마다 나열하여 동영상이 되는 방식이다. 각 신마다 콘텐츠 제작자가 원하는 앵글과 모습으로 렌더링을 하도록 설정해 놓고, 고품질의 그래픽을 만들어 내기 위해 많은 연산과 렌더링 시간을 투자한다. 고품질의 한 프레임 스틸컷은 몇 시간 혹은 수십, 수백 시간에 걸쳐 컴퓨터가 렌더링을 연산한다. 한 시간 분량의 영상을 제작하려면 최소 수백 시간 또는 그 이상의 렌더링 연산이 요구되면서 오프라인 렌더링에서는 많은 데이터와 렌더링 시간이 소요된다.  그에 비해 수아는 실시간 렌더링을 통해 4K 리얼타임 라이브로 사용자와 인터랙션하는 콘텐츠를 구현할 수 있다. 최소 30FPS, 즉 1초에 30번의 프레임을 그려내고 있어 오프라인 렌더링과 차원이 다른 빠른 속도와 렌더링 퀄리티를 보여준다. 김형일 대표는 “수아는 지금까지의 디지털 휴먼과는 다르게 실시간으로 반응하는 ‘리얼타임’ 디지털 휴먼이다”라며 “언젠가는 수아와 비슷한 퀄리티의 결과물들이 나타나겠지만, 수아 프로젝트를 통해 고퀄리티의 실시간 디지털 휴먼을 누구보다 먼저 구현했다는데 큰 자부심을 느낀다고 말했다”고 말했다.   ▲ 수아는 유니티 코리아 웨비나에서 리얼타임으로 시연한 바 있다.   HDRP를 이용한 사실적인 렌더링 수아는 유니티 HDRP를 이용해서 실사에 가까운 렌더링을 구현했다. HDRP는 유니티 SRP(Scriptable Render Pipeline)으로 제작된 렌더링 파이프라인으로, 고품질 프로젝트에 사용할 수 있게끔 다음 원칙에 따라 설계되었다.  물리 기반 렌더링(Physically Based Rendering)  통일되고 일관적인 조명 렌더링 경로와 독립적으로 구동되는 기능 이전의 렌더 파이프라인은 사용자가 렌더링 파이프라인을 수정할 수 없었는데, SRP를 통해 사용자가 직접 렌더 파이프라인을 수정할 수 있게 되었고, 하나의 예제(Template)로 만들어진 것이 HDRP이다. 김형일 대표는 “HDRP의 막강한 성능이 수아를 실사와 비슷하게 구현하는데 큰 도움이 되었다”고 말했다.  수아의 피부 표현에는 Unity ShaderGraph의 Stacklit 셰이더가 사용되었고, 머리카락은 헤어 셰이더가 사용됐다. 이처럼 모두 유니티에서 기본적으로 제공하고 있는 셰이더에 텍스처를 연결하여도 HDRP로 인해 실사처럼 표현될 수 있다. 완벽한 피지컬 라이팅을 가진 HDRP의 등장과 가역한 컴퓨트 셰이더가 탑재되는 등 하드웨어의 발전과 함께 불쾌한 골짜기 현상(인간이 로봇 등 인간이 아닌 존재를 볼 때, 그것과 인간 사이의 유사성이 높을수록 호감도도 높아지지만, 일정 수준에 다다르면 오히려 불쾌감을 느낀다는 이론)을 넘어 실사에 가까운 모델이 구현되었다. 김형일 대표는 “유니티 웨비나에서 시연했던 이미지는 배경까지 3D로 구현했다”면서 “그 공간에서 수아가 자유롭게 움직이도록 했는데, 3D 배경은 Archviz Pro의 배경을 다운받아 사용했다. 라이트프로브와 리플렉션 프로브가 캐릭터에 어떻게 반응하는지 테스트해봤는데, 생각보다 HDRP 성능이 좋았고, 리얼한 느낌을 잘 표현해주었다”고 설명했다.   ▲ 리얼타임 페이셜 캡처를 통해 다양한 표정을 지을 수 있는 수아   HDRP 뿐만 아니라 수아를 실시간으로 구현하는데는 페이셜 캡처, 모션 캡처, 손가락 캡처, 버추얼 카메라를 사용하는 기술이 필요하다. 자연스러운 표정을 표현하기 위해 페이셜 캡처에는 아이폰을 사용했다. 실시간 캡처용으로 사용해도 좋을 만큼 성능이 좋았고, 무엇보다 수작업으로 모델링을 한 수아를 작업하는데 적당한 블렌드 셰이프를 가지고 있어 큰 메리트가 있었다. 이외에도 모션 캡처에는 발이 땅에 잘 닿지 않는 문제를 방지하기 위해 리깅 세팅에 신경썼고, 정교한 움직임을 표현하기 위해 손가락 캡처 장비를 이용하여 손가락의 자연스러운 구현을 위해 힘쓰고 있다. 라이브를 진행하며 카메라 워킹 부분에 아쉬움이 있었다는 김형일 대표는 “버추얼 카메라를 도입하여 가상 공간에서 자연스러운 컷을 촬영하는 시도를 하기도 했다”면서 “VR 기기를 착용했을 때와 비슷한 느낌을 줄 수 있는 버추얼 카메라의 도입으로, 더욱 다양한 카메라 구도 속에서 움직이는 수아를 보여줄 예정”이라고 밝혔다.   ▲ 유니티 공식 홍보모델로 활동하고 있는 수아   디지털 휴먼, 어디까지 가능할까 온마인드는 가까운 시일 내에 AI 기술과 디지털 휴먼 기술이 같이 발전하며 서비스로의 디지털 휴먼으로의 도약이 필요하게 될 것이라 전망했다. 또한 음성인식, 음성합성, 이미지 인식, 제스처 인식, 대화모델(챗봇) 등의 소프트웨어적인 기능을 인공지능이 보다 자연스럽게 수행해 현재 적용된 서비스의 정확도와 만족도를 향상시켜 인공지능 상용화의 새로운 패러다임을 열 수 있을 것으로 기대된다.  김형일 대표는 “서비스뿐만 아니라 영화나 엔터테인먼트, 심지어 공연까지도 온라인으로 즐길 수 있는 시대가 다가왔다”면서 “디지털 휴먼이 셀럽으로 활동하기 위해서는 시대 상황과 기술 발전이 잘 맞물려야 하는데, 시대는 디지털화에 맞게 가속화되고 있다고 생각한다”고 밝혔다.  이어 “유명 엔터테인먼트가 선보인 걸그룹 컨셉도 현실의 멤버가 가상의 디지털 휴먼이 서로 소통하며 교류한다는 설정으로 주목받았던 것처럼 디지털 휴먼이 셀럽이 될 날이 아주 가깝게 다가오지 않았나 싶다”고 전했다.     기사 내용은 PDF로도 제공됩니다.