[케이스 스터디] 아울케미 랩스와 함께 살펴보는 공간 컴퓨팅의 미래
XR 콘텐츠 개발 과정에서 발견한 가능성과 교훈
공간 컴퓨팅의 새로운 시대가 열리고 있다. 개발자는 강력한 XR(확장 현실) 툴과 유연한 워크플로를 사용하여 상호작용을 추가하고, 그래픽스를 확장하거나 축소하고, 프로토타입을 제작하며, 에디터 내에서 테스트할 수 있다.
유니티는 2024 유니티 게임 업계 보고서에서 밝힌 바와 같이 XR 게임에 대한 수요가 늘어날 것으로 예상하고 있으며, 보고서 작성에 도움을 제공한 많은 스튜디오 또한 이러한 전망에 동의한다. ■ 자료 제공 : 유니티 코리아
유니티의 시니어 애드보킷 앤토니아 포스터는 아울케미 랩스(Owlchemy Labs)의 CEO 앤드루 아이헤와 만나 공간 컴퓨팅의 미래에 대한 전망과 애플 비전 프로(Apple Vision Pro)용 앱 개발에 대한 실용적인 팁을 듣는 시간을 가졌다.
VR과 공간 컴퓨팅의 미래
앤토니아 포스터 : 미래에 대한 전망부터 이야기해 보겠다. VR과 공간 컴퓨팅의 미래를 어떻게 내다보고 있나?
앤드루 아이헤 : 우선 가장 큰 변화를 꼽자면, 도메인별 작업을 위한 일반적인 공간 컴퓨팅 환경으로 XR(확장현실) 기기를 사용하기 시작했다는 점이 있다. 애플 비전 프로 및 메타(Meta)의 운영체제 변화가 그러한 방향성을 선도하고 있다. 우리는 현재 매우 특수한 워크로드가 아닌 일반적인 워크로드에서 VR(가상현실)을 활용하는 패러다임의 변화를 적극적으로 수용하기 위해 노력하고 있다.
실제로 XR에서 작업하려면 어떻게 해야 할까? 우리는 기존 작업을 공간 환경 내의 동일한 패러다임으로 이전하려는 작업을 하고 있다. 아마 개발자들은 빠르게 적응할 것이며, 우리도 이러한 미디어의 범위와 깊이를 파악할 수 있을 것이다.
이 작업은 XR 기술의 유용성과 직관성을 발견할 수 있다는 점에서 매우 중요하다. 이 업계에서 플랫폼은 이러한 지표 스펙트럼에 따라 분류되며, 채택 가능성이 가장 높은 플랫폼은 유용성과 직관성이 모두 높은 부류에 속한다. 우리는 VR을 통해 스마트폰과 PC, 스마트 TV처럼 매우 유용하고 직관적인 방향으로 발전해 나가고자 한다.
미래를 전망할 때 공간 컴퓨팅에 관한 아이디어는 VR을 더 유용하게 만드는 데 도움이 되지만, 아직은 실현 가능성을 더 높여야 할 필요가 있다. 어떻게 하면 될까? 플레이어가 가장 집중하는 플랫폼인 모바일에 맞춰 기본 입력 벡터를 변경해야 한다. 그런 다음 핸드 트래킹을 구현하고, 헤드셋의 무게를 줄이고, 광학 장치를 개선하여 사용성을 향상하는 데 집중해야 한다.
▲ 아울케미 랩스의 직업 시뮬레이터(Job Simulator)
XR 기술 트렌드에 대한 전망
포스터 : 향후 몇 년 동안 XR에 영향을 줄 수 있는 다른 기술 트렌드는 무엇이라고 생각하는지?
아이헤 : 가우시안 스플래팅(gaussian splatting)이 인상적이다. 앞으로는 캡처와 애니메이션을 이해하는 수준이 더 높아질 것이라고 생각한다. 우리는 3차원 캡처와 관련하여 잘못된 문제를 해결했다. 공간과 카메라를 덮거나 광원 필드를 사용하면 된다고 생각했는데, 투명 가우시안(transparent gaussian)처럼 더 뛰어난 기술이 있다. 앞으로는 이 기술에 대한 연구와 최적화 방법을 찾는 데 많은 노력을 기울이게 될 것이다.
AI도 큰 영향을 미치게 될 것 같다. 내가 기대하는 흥미로운 사용 사례 중 하나는 전체 프레임을 렌더링할 필요 없이 일부만 렌더링하는 것이다. 만약에 30% 정도만 렌더링하고 TPU(텐서 프로세싱 유닛)에 넘겨서 모든 이전 및 이후 데이터를 기반으로 나머지 부분을 채우도록 할 수 있다면 어떨까? 헤드셋에 탑재된 그래픽스 칩이 PC처럼 작동할 수 있을 것이다. 엔비디아 RTX에서 실제로 반사를 그렇게 구현한다는 점에서 이미 그러한 방향으로 나아가고 있다고 볼 수 있다.
또한 AI가 웨이트 페인팅의 공백을 메울 수도 있고, 생성형 AI가 트위닝(tweening)으로 가장 적합한 알고리즘을 대체할 수도 있다. 최적의 알고리즘에 구성 가능한 부분이 있고 각 부분 사이에 최적의 지점이 있다고 했을 때, 생성형 AI를 사용하여 중간에서 슬라이더를 움직이는 방식은 흥미롭고 유용하며 아티스트의 제어도 가능하다. 이러한 방식은 주요 포즈를 만드는 데 집중하고 트위닝에 시간을 낭비하고 싶지 않은 애니메이터에게 유용할 것이다. AI가 도와줄 것이며, 애니메이터는 결과물을 보고 정리하기만 하면 된다.
공간 컴퓨팅 개발자를 위한 조언
포스터 : XR 분야의 현재 트렌드를 바탕으로, 공간 컴퓨팅의 시대를 향해 나아가는 개발자에게 조언을 준다면?
아이헤 : 상호작용 디자인 관점에서 무언가와 상호작용하는 방식을 세분화해야 한다. 둥근 구멍에 네모난 못을 끼우느라 애쓰는 상황이 발생하면 안 된다. 개발자로서 곧바로 공간 컴퓨팅 분야에 뛰어들고 연구하고 싶겠지만, 나는 초보 개발자의 태도로 천천히 접근할 것을 권장한다. 시간을 충분히 들여 단계별로 올바른 기초를 구축하기를 바란다.
직업 시뮬레이터(Job Simulator)를 포팅할 때를 예로 들면, 우리는 먼저 운영체제 수준의 상호작용을 사용할 적절한 시점부터 고려했다. 비전 프로 버전에서는 스위프트UI(SwiftUI) 창을 띄울 때 핀치를 사용할 시점을 논의했다. 애플은 핀치의 사용 시점과 용도에 대해 매우 구체적인 가이드라인을 제공하기 때문에, 그 방식을 그대로 따랐다.
창과 상호작용하고 있지 않은 경우에는 3D 오브젝트와 상호작용하고 있는 것이다. 이때는 2D 모니터에서 보는 앱이라는 생각을 버리고 실제 오브젝트를 만드는 물리적인 제품 디자인처럼 생각해야 한다. 현실의 오브젝트 디자인 원칙을 따라 직관적인 방식으로 오브젝트를 디자인해야 한다는 말이다. 사용자 경험을 계속 테스트해야 한다는 점을 잊지 말고, 중요한 것은 현실의 공간에서 실제 사용자가 기기를 사용해 실제로 게임을 테스트할 때라는 사실을 염두에 두기를 바란다. 직접 해 보는 것이 중요하다.
핵심은 직접 기기를 들고 다른 사람과 상호작용해 보는 것이다. 시간을 충분히 투자하여 수정 작업을 진행하는 것이 좋다. 그리고 플랫폼에 따라 경험이 다르게 느껴질 수 있다. 사양이 다를 수도 있으므로 유연하게 대처해야 한다.
끝으로, VR의 특징이 탐색 방식에 있다는 점을 기억하기를 바란다. 우리 버전에서는 서랍이 닫혀 있는 책상에 앉아 서랍을 뒤지는 동작도 탐색에 포함된다. 각 오브젝트를 집어서 어떻게 작동하고 상호작용하는지 살펴보는 것도 흥미롭다. 플레이어가 이런 상호작용을 선호하는 주요 이유는 직접 사물을 집을 수 있고, 주변의 월드와 실제로 상호작용할 수 있으며, 월드가 어떤 느낌인지 확인해 볼 수 있기 때문이다. 멀리 떨어져 있거나 손에 쥐고 있지 않은 물건과는 상호작용하도록 구현하지 않는다.
▲ 아울케미 랩스의 직업 시뮬레이터
포스터 : 공간 컴퓨팅에 관한 팁을 조금 더 세분화해서, 비전 프로용 게임을 개발하거나 포팅하려는 개발자에게는 어떤 조언을 해 줄 수 있는지? 작업 시뮬레이터를 포팅하며 이용 중인 유니티의 비전OS(visionOS) 지원에 대해서는 어떻게 생각하는지?
아이헤 : 우리는 유니티 및 애플과 긴밀하게 협력하며, 희망과 비전을 실현할 수 있는 최선의 방법을 찾기 위해 노력했다. 그 결과 직업 시뮬레이터를 비전 프로에서 매우 빨리 실행하게 되었고, iOS에서 빌드하는 작업과 유사하게 사용했다. 시간이 오래 걸렸던 작업은 완전한 몰입형 게임으로 만드는 일이었다. 유니티에서 함수를 호출해 원하는 출력을 애플 운영체제에 전달해야 했다. 그렇게 하기 전에는 평평한 창이 계속 나타났고, 창을 닫으면 게임이 종료되는 문제가 반복되었다.
우리는 완전한 몰입형 게임을 개발하는 중이었고, 일반적인 컴퓨팅 운영체제에서는 게임을 벗어난다는 개념이 생소했다. PC용으로 개발할 때는 플레이어가 X를 누르기만 하면 되기 때문에, 애플리케이션을 종료하는 두 번째 단계를 구현한 적이 없다. 메타 퀘스트(Quest)에 적용할 때도 게임은 실제로 실행 중이거나 그렇지 않은 두 가지 상태 중 하나였다. 그런데 비전 프로 기기에서는 게임이 백그라운드에서도 실행될 수 있었고, 따라서 애플리케이션을 실질적으로 종료하는 방법을 고안해야만 했다.
조언을 하자면, 항상 협조적이고 개방적인 태도를 유지할 필요가 있다. 지금 내가 겪는 병목 현상을 나중에 누군가가 해결해 줄 수도 있다. 당사자뿐만 아니라 커뮤니티 전체에 좋은 일이다. 우리는 토론 포럼에 활발하게 참여하고 있으며, 적극적으로 유니티에 지원을 요청하거나 유니티와 소통하고 있다. 이를 통해 커뮤니티의 다른 구성원에게도 도움이 되는 솔루션을 찾을 수 있다. 포럼에 버그 리포트를 제출하면서 비슷한 상황을 겪고 있는 다른 개발자들과 함께 작업하는 기회도 얻었다. 덕분에 학습 속도를 빠르게 높일 수 있었고, 개발에도 많은 도움을 받고 있다.
다음 프로젝트를 위한 교훈
포스터 : 마지막으로, 비전OS 개발과 관련해 얻은 교훈 중에서 다음 비전 프로 프로젝트에 적용할 수 있는 가장 가치 있는 교훈은 무엇인지?
아이헤 : 우리는 수년 동안 윈도우 PC와 안드로이드의 두 생태계에 있었다. 다른 애플 운영체제와 비슷한 점이 많은 비전OS용 앱 개발을 시작하며, 우리가 어떤 부분에서 잘못된 가정을 하고 잘못된 방식으로 운영체제에 의존했는지 알게 되었다. 더 잘할 수 있었던 부분도 알 수 있었다.
한 가지 더 명심해야 할 것은 페이스타임(Facetime)과 화면 공유로 디버깅 등을 비롯해 현재 겪고 있는 상황을 다른 사람에게 공유하는 기능의 가치이다. 애플리케이션이나 코드를 실행 중인 화면을 공유하면 다른 사람들이 상황을 정확하게 볼 수 있다. 다른 헤드셋을 사용할 때는 이 기능을 사용하기 어렵지만, 비전 프로를 사용하면 손쉽게 공유할 수 있다. 이것이 내가 줄 수 있는 가장 유용한 팁이다.
■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2024-08-02