BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 챗GPT 4.0(ChatGPT 4.0)과 같은 LMM(Large langauge Multi-modal Model : 멀티모달 대규모 언어 모델)인 LLaVA(Large Language and Vision Assistant : 라바) 기반 멀티모달 생성형 AI 서비스 개발 방법을 설명한다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   라바는 이미지 투 텍스트(Image To Text)와 같은 언어-이미지 시각 어시스턴스(Language-Image Visual Assistant)를 지원하기 위해 ViT(Visual Instruction Tuning : 시각적 지시 조정)을 기반으로 개발된 멀티모달 모델 오픈소스이다. 예를 들어, 이미지를 단순히 분류해 주는 것이 아닌, 이미지 내 특정 객체들을 인식하고 관계를 설명할 수 있는 기술을 지원한다.   그림 1. 단독 로컬 서버 PC에서 라바 서비스 모습   참고로, ViT는 이미지의 특정 위치에 대한 객체 정보를 인식할 수 있도록 학습하는 기술이다. 예를 들어, GPT-4는 특정 부분의 시각적 특징을 인코딩하기 위해 YOLO 모델과 같이 경계 상자를 사용하고, CLIP 모델과 같이 해당 부분에 대한 텍스트 임베딩을 입력하여 학습한다. Visual Instruction Tuning : https://arxiv.org/abs/2304.08485   그림 2. ViT의 개념   라바의 NeXT 버전은 구글 제미나이 프로의 성능을 능가했다고 밝혔으며, 이전 버전인 라바 1.5에 비해 이미지 해상도, OCR 기능 등이 개선되었다고 한다.    그림 3. 라바 아키텍처   이번 호에서는 Ollama를 이용해 라바 NeXT를 로컬 PC에서 실행하는 방법을 따라해 본다.    라바의 개요 라바는 대형 멀티모달 모델로, GPT-4.0과 유사한 LMM을 개발하고자 마이크로소프트 연구팀에서 오픈소스로 개발되었다. MS는 라바의 논문, 깃허브(GitHub) 코드, 데모 사이트 등을 공개하였다.  LLaVA Demo : https://llava.hliu.cc LLaVA paper(Visual Instruction Tuning - Microsoft Research) : https://www.microsoft.com/en-us/research/publication/visual-instruction-tuning 라바 LMM은 비전 인코더, LLM 모델을 기반으로 개발되었으며, 이미지 투 텍스트에서 인상적인 성능을 보여준다. 라바는 비전 인코더로 오픈AI(OpenAI)에서 공개한 CLIP 모델을 사용했으며, 메타(페이스북)에서 공개한 LLaMA 기반 Vicuna LLM 모델을 사용했다. 학습은 A100 GPU×8×1 Day 와 60만개 데이터셋을 사용했다. 라바를 설치하고 실행해 보기 위해서는 다음의 개발 환경이 컴퓨터에 미리 설치되어 있다고 가정한다.(우분투, 엔비디아, 쿠다 등의 설치 방법은 지난 연재를 참고하기 바란다.) NVIDIA driver, CUDA, Python, anaconda, Ubuntu 22.04 Tensorflow, PyTorch Ollama(https://ollama.com/download)     ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 생성형 AI의 멀티모달 딥러닝 기술 확산의 계기가 된 오픈AI(OpenAI)의 CLIP(Contrastive Language-Image Pre-Training, 2021) 코드 개발 과정을 분석하고, 사용하는 방법을 정리한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast CLIP은 구글이 개발한 자연어 번역 목적의 트랜스포머 모델, 비전 데이터 변환에 사용되는 VAE(Variational Autoencoder) 개념을 사용하여 멀티모달 학습 방식을 구현하였다. 이번 호에서는 그 과정을 설명하고 파이토치로 직접 구현하는 과정을 보여준다. CLIP을 이용하면 유튜브, 넷플릭스와 같은 영상에서 자연어로 질의해 해당 장면을 효과적으로 검색할 수 있다. 참고로, CLIP에서는 트랜스포머가 핵심 컴포넌트로 사용되었다. CLIP과 같이 트랜스포머가 자연어 번역 이외에 멀티모달의 핵심 기술이 된 이유는 비정형 데이터를 연산 가능한 차원으로 수치화할 수 있는 임베딩 기술의 발전과 트랜스포머의 Key, Query, Value 입력을 통한 여러 학습 데이터 조합이 가능한 특징이 크게 작용했다.    그림 1. 멀티모달 시작을 알린 오픈AI의 CLIP 모델(Learning Transferable Visual Models From Natural Language Supervision, 2021)   트랜스포머와 VAE를 이용한 멀티모달 CLIP 네트워크를 좀 더 깊게 파헤쳐 보도록 한다. 앞서 설명된 트랜스포머, 임베딩과 관련된 개념에 익숙하다면, CLIP을 이해하고 구현하는 것이 그리 어렵지는 않을 것이다.    CLIP에 대한 이해 오픈AI에서 개발한 CLIP 모델은 공유 임베딩 공간 내에서 이미지 및 텍스트 형식을 통합하는 것을 목표로 했다. 이 개념은 기술과 함께 이미지와 텍스트를 넘어 다른 양식을 수용한다.(멀티모달) 예를 들어, 유튜브 등 비디오 애플리케이션 내에서 텍스트 검색 성능을 개선하기 위해 공통 임베딩 공간에서 비디오 및 텍스트 형식을 결합하여 모델을 학습시켰다. 사실, 임베딩 텐서를 잠재 공간(Latent Space)으로 이기종 데이터를 변환, 계산, 역변환할 수 있다는 아이디어는 VAE 기술, 구글의 트랜스포머 논문(2017)을 통해 개발자들 사이에 암시되어 있었다. 이를 실제로 시도해본 연구가 CLIP이다.  참고로, CLAP(Contrastive Language-Audio Pretraining)은 동일한 임베딩 공간 내에서 텍스트와 오디오 형식을 통합하는 또 다른 모델로, 오디오 애플리케이션 내에서 검색 기능을 개선하는 데 유용하다. CLIP은 다음과 같은 응용에 유용하다. 이미지 분류 및 검색 : CLIP은 이미지를 자연어 설명과 연결하여 이미지 분류 작업에 사용할 수 있다. 사용자가 텍스트 쿼리를 사용하여 이미지를 검색할 수 있는 보다 다양하고 유연한 이미지 검색 시스템을 허용한다. 콘텐츠 조정 : CLIP은 부적절하거나 유해한 콘텐츠를 식별하고 필터링하기 위해 이미지와 함께 제공되는 텍스트를 분석하여, 온라인 플랫폼의 콘텐츠를 조정하는 데 사용할 수 있다. 참고로, 메타 AI(Meta AI)는 최근 이미지, 텍스트, 오디오, 깊이, 열, IMU 데이터 등 6가지 양식에 걸쳐 공동 임베딩을 학습하는 이미지바인드(ImageBind)를 출시했다. 두 가지 모달리티를 수용하는 최초의 대규모 AI 모델인 CLIP은 이미지바인드 및 기타 다중 모달리티 AI 시스템을 이해하기 위한 전제 조건이다. CLIP은 배치 내에서 어떤 N×N(이미지, 텍스트) 쌍이 실제 일치하는지 예측하도록 설계되었다. CLIP은 이미지 인코더와 텍스트 인코더의 공동 학습을 통해 멀티모달 임베딩 공간을 만든다. CLIP 손실은 트랜스포머의 어텐션 모델을 사용하여, 학습 데이터 배치에서 N개 쌍에 대한 이미지와 텍스트 임베딩 간의 코사인 유사성을 최대화하는 것을 목표로 한다.  다음은 이를 설명하는 의사코드이다. 1. img_en = image_encoder(I)   # [n, d_i] 이미지 임베딩 인코딩을 통한 특징 추출  2. txtxt_emdn = textxt_emdncoder(T)    # [n, d_t] 텍스트 임베딩 인코딩을 통한 특징 추출 3. img_emd = l2_normalize(np.dot(img_en, W_i), axis=1)    # I×W 결합(조인트) 멀티모달 임베딩 텐서 계산 4. txt_emd = l2_normalize(np.dot(txtxt_emdn, W_t), axis=1)  # T×W 결합(조인트) 멀티모달 임베딩 텐서 계산 5. logits = np.dot(img_emd, txt_emd.T) * np.exp(t)   # I×T * E^t 함수를 이용한 [n, n]코사인 유사도 계산 6. labels = np.arange(n) 7. loss_i = cross_entropy_loss(logits, labels, axis=0)  # 이미지 참값 logits과 예측된 label간 손실 8. loss_t = cross_entropy_loss(logits, labels, axis=1)  # 텍스트 참값 logits과 예측된 label간 손실 9. loss = (loss_i + loss_t)/2   # 이미지, 텍스트 손실 평균값   실제 오픈AI 논문에는 <그림 2>와 같이 기술되어 있다.(동일하다.)   그림 2     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 새로운 RTX 500과 RTX 1000 에이다 제너레이션(Ada Generation) 노트북 GPU가 모바일 워크스테이션에 제공될 예정이라고 밝혔다. 이로써 엔비디아는 RTX 2000, 3000, 3500, 4000, 5000 에이다 제너레이션 노트북 GPU를 포함한 엔비디아 에이다 러브레이스(Lovelace) 아키텍처 기반 라인업을 확장하게 됐다. 생성형 AI와 하이브리드 업무 환경이 새로운 표준이 되고 있다. 이에 따라 콘텐츠 제작자, 연구원, 엔지니어 등 많은 전문가들이 이동 중에도 어려운 작업을 처리할 수 있도록 강력한 AI(인공지능) 가속 노트북이 요구되고 있다. AI는 전문적인 디자인, 콘텐츠 제작 워크플로, 일상적인 생산성 애플리케이션 전반에서 효율성을 높이기 위해 도입되고 있으며, 이에 따라 강력한 로컬 AI 가속과 충분한 처리 능력을 갖춘 시스템의 중요성이 더욱 강조되고 있다.     RTX 500과 RTX 1000 GPU를 비롯한 에이다 제너레이션 GPU가 탑재된 차세대 모바일 워크스테이션에는 CPU의 구성 요소인 신경망처리장치(NPU)가 포함된다. 또한 AI 처리용 텐서 코어(Tensor Core)가 탑재된 엔비디아 RTX GPU도 장착된다. NPU는 간단한 AI 작업을 처리하는 데 도움을 주며, GPU는 더 고난도의 일상적인 AI 워크플로를 위해 최대 682 TOPS의 AI 성능을 추가로 제공한다. GPU가 제공하는 높은 수준의 AI 가속은 다양한 AI 기반 작업을 처리하는 데 유용하다. 예를 들어, 고품질 AI 효과를 지원하는 화상 회의, AI 업스케일링이 적용된 비디오 스트리밍, 생성형 AI와 콘텐츠 제작 애플리케이션을 통한 신속한 업무 처리 등이 있다. 엔비디아는 “새로운 RTX 500 GPU는 CPU만 사용하는 구성에 비해 스테이블 디퓨전(Stable Diffusion)과 같은 모델에서 최대 14배의 AI 생성 성능, 최대 3배의 AI 사진 편집 속도, 최대 10배의 3D 렌더링 그래픽 성능을 제공한다. 이는 기존과 새로운 워크플로에서 생산성을 크게 높일 수 있다”고 전했다. RTX 500과 RTX 1000 GPU는 콤팩트한 디자인으로 어디서든 노트북 사용자의 AI 워크플로를 향상시킨다. 비디오 편집자는 AI로 배경 노이즈 제거와 같은 작업을 간소화할 수 있다. 그래픽 디자이너는 AI 업스케일링으로 흐릿한 이미지에 생동감을 불어넣을 수 있다. 전문가들은 이동 중에도 고품질의 화상 회의와 스트리밍 환경을 위해 AI를 활용한 작업이 가능하다. 엔비디아의 에이다 러브레이스 아키텍처를 기반으로 하는 RTX 500과 RTX 1000 GPU에 탑재된 3세대 RT 코어는 이전 세대 대비 최대 2배 향상된 레이 트레이싱(ray tracing) 성능으로 고품질의 사실적인 렌더링을 지원한다. 4세대 텐서 코어를 탑재해 이전 세대 대비 최대 2배의 처리량으로 딥러닝 훈련, 추론, AI 기반 크리에이티브 워크로드 등을 가속화하며, 에이다 제너레이션 쿠다(CUDA) 코어는 이전 세대 대비 최대 30% 향상된 FP32 처리량으로 그래픽과 컴퓨팅 워크로드 성능을 높인다. RTX 500 GPU에는 4GB, RTX 1000 GPU에는 6GB의 전용 GPU 메모리가 탑재됐다. 이를 통해 사용자는 까다로운 3D와 AI 기반 애플리케이션을 실행하며 대규모 프로젝트, 데이터 세트 그리고 멀티 앱 워크플로를 처리할 수 있다. 이외에도 RTX 500 및 RTX 1000 GPU는 AI 기반으로 그래픽을 개선하고 고품질 프레임을 추가로 생성해 성능을 높이는 DLSS 3 및 AV1을 지원해 H.264보다 최대 40% 더 효율적인 8세대 엔비디아 인코더(NVENC) 등을 지원한다.

엔비디아가 차세대 AI 가속화 시대를 위한 엔비디아 RTX 2000 에이다 제너레이션 GPU(NVIDIA RTX 2000 Ada Generation GPU)를 출시했다고 밝혔다. 현재 산업 전반에 걸쳐 변화를 주도하고 있는 생성형 AI의 이점을 활용하기 위해 기업들은 워크플로를 작동시킬 수 있는 적절한 하드웨어를 선택해야 한다. 엔비디아 RTX 2000 에이다 제너레이션은 최신 AI, 그래픽, 컴퓨팅 기술을 컴팩트 워크스테이션에 적용해 전문가용 워크플로에서 이전 세대 RTX A2000 12GB 대비 최대 1.5배의 성능을 제공한다. 새로운 GPU는 정교한 3D 환경 제작부터 복잡한 설계 검토의 간소화, 산업 디자인에 이르기까지 다양한 기능을 처리할 수 있다. 향상된 기능은 전문가들이 성능의 저하 없이 더 많은 것을 실현할 수 있도록 지원하며 AI로 가속화된 미래를 위한 기반을 제공한다. AI 기반 도구, 멀티 디스플레이 설정, 고해상도 콘텐츠 등과 같은 최신 멀티 애플리케이션 워크플로에는 GPU 메모리에 대한 요구가 상당히 높다. 전문가들은 RTX 2000 에이다 제너레이션의 16GB 메모리를 통해 최신 기술과 도구를 활용해 데이터를 더욱 빠르고 효과적으로 작업할 수 있다. 엔비디아 RTX 기술로 구동되는 새로운 GPU는 엔비디아 DLSS를 통해 그래픽에 높은 사실감을 부여한다. 이를 통해, 이전보다 3배 이상 빠른 초고화질의 실사에 가까운 레이 트레이싱 이미지를 제공할 수 있다. 또한, RTX 2000 에이다 제너레이션은 제품 디자인과 엔지니어링 설계 검토와 같은 엔터프라이즈 가상 현실 워크플로에 몰입감 높은 경험을 제공한다.     성능과 활용성에 AI 기능까지 결합된 RTX 2000 에이다 제너레이션은 다양한 산업 분야의 전문가들이 효율성을 달성할 수 있도록 지원한다. 건축가와 도시 설계사는 시각화 워크플로와 구조 분석을 가속화해 설계 정밀도를 높일 수 있다. 산업용 PC를 사용하는 제품 디자이너와 엔지니어는 빠르고 사실적인 렌더링과 AI 기반 생성 디자인을 통해 제품 디자인의 반복 작업을 수행할 수 있다. 콘텐츠 크리에이터는 고해상도 동영상과 이미지를 원활하게 편집하고, AI를 활용한 사실적인 시각 효과를 연출해 콘텐츠 제작에 도움을 받을 수 있다. 아울러 중요한 임베디드 애플리케이션과 에지 컴퓨팅에서 RTX 2000 에이다 제너레이션은 의료 기기의 실시간 데이터 처리를 지원한다. 또한, 예측 유지보수를 통해 제조 공정을 최적화하거나 유통  환경에서 AI 기반 인텔리전스를 구현할 수 있다. 엔비디아 RTX 2000 에이다 제너레이션은 엔비디아 에이다 러브레이스(Lovelace) GPU 아키텍처의 최신 기술을 탑재하고 있다. 여기에는 ▲최대 1.7배 빠른 레이 트레이싱 성능으로 충실하고 사실적인 렌더링이 가능한 3세대 RT 코어 ▲이전 세대 대비 최대 1.8배의 AI 처리량, 구조화된 희소성, FP8 정밀도로 AI 가속 도구와 애플리케이션에 더 높은 추론 성능을 제공하는 4세대 텐서 코어 ▲이전 세대 대비 최대 1.5배의 FP32 처리량으로 그래픽과 컴퓨팅 워크로드의 성능이 향상된  쿠다(CUDA) 코어 ▲이전 세대와 동일한 70W의 전력으로 전문가용 그래픽, 렌더링, AI, 컴퓨팅 워크로드 전반에서 최대 2배의 성능 향상 ▲이전 세대 대비 가상 현실 워크플로 성능 최대 3배 향상 ▲더 큰 규모의 프로젝트를 처리할 수 있는 16GB의 GPU 메모리 및 오류 수정 코드 메모리 ▲AI 기반 그래픽을 개선하고 고품질 프레임을 추가로 생성해 성능을 높이는 DLSS 3 ▲AV1을 지원하며 H.264보다 효율을 40% 높인 8세대 엔비디아 인코더(NVENC) 등이 있다. 한편, 엔비디아는 RTX 엔터프라이즈 드라이버의 최신 업데이트에 그래픽 워크플로를 개선하는 다양한 기능과 함께 RTX 2000 에이다 지원을 포함한다고 밝혔다. 여기에는 ▲AI 기반의 표준 다이나믹 레인지(SDR)에서 하이 다이나믹 레인지(HDR)로 톤 매핑을 지원하는 비디오 트루HDR(Video TrueHDR) ▲엔비디아 GPU에서 최신 대규모 언어 모델(LLM)에 대한 추론 성능을 최적화하고 가속화하는 오픈소스 라이브러리인 텐서RT-LLM(TensorRT-LLM) ▲비트 심도 확장 기술과 새로운 저지연 B프레임을 통한 비디오 품질 개선과 비디오 코덱의 코딩 효율 향상 ▲더 빠른 작업 완료를 위해 실행 간접 확장 엔비디아 API를 사용해 CPU에서 GPU로 작업을 오프로드하는 기능 ▲데스크톱의 엔비디아 제어판(NV Control Panel)에서 GPU 일련 번호를 표시하는 기능 등이 있다. RTX 2000 에이다 제너레이션의 성능을 앞서 활용하고 있는 기업으로는 솔리드웍스(SOLIDWORKS) 애플리케이션을 보유한 다쏘시스템, 롭 월커스 디자인 앤 엔지니어링(Rob Wolkers Design and Engineering), WSP 등이 있다. 다쏘시스템이 2월 11일~14일 미국 댈러스에서 진행한 ‘3D익스피리언스 월드’에서는 엔비디아 RTX 2000 에이다로 구동되는 다쏘시스템 솔리드웍스 애플리케이션의 실시간 데모가 진행되기도 했다. 다쏘시스템 솔리드웍스 그래픽 애플리케이션 연구개발 책임자인 올리비에 제그던(Olivier Zegdoun)은 “고효율 차세대 아키텍처, 저전력 소비, 대용량 프레임 버퍼를 갖춘 새로운 엔비디아 RTX 2000 에이다는 솔리드웍스 사용자에게 큰 도움이 될 것이다. 이 제품은 디자이너와 엔지니어가 더 큰 데이터세트에서도 완전한 모델 충실도로 혁신적인 제품 경험을 빠르게 개발할 수 있도록 뛰어난 성능을 제공한다”고 말했다.  엔비디아 RTX 2000 에이다는 현재 애로우 일렉트로닉스(Arrow Electronics), 잉그램 마이크로(Ingram Micro), 리드텍(Leadtek), PNY, 료요 엘렉트로(Ryoyo Electro), TD시넥스(TD SYNNEX) 등 글로벌 유통 파트너를 통해 구매할 수 있다. 오는 4월부터는 델 테크놀로지스, HP, 레노버 등에서도 구매 가능하다.

AMD가 게임스컴 2023(Gamescom 2023)에서 새로운 AMD 라데온 RX 7800 XT 및 라데온 RX 7700 XT(AMD Radeon RX 7800 XT and Radeon RX 7700 XT) 그래픽 카드를 공개했다. 신규 라데온 그래픽 카드는 최신 1440p 해상도 고주사율 게이밍 및 이스포츠 환경에서 높은 성능을 제공한다. 또한, 차세대 업스케일링 기술 AMD 피델리티 FX 슈퍼 해상도 3(AMD FidelityFX Super Resolution 3, 이하 AMD FSR 3) 지원으로 일부 게임 타이틀에서 성능 향상을 지원한다. AMD RDNA 3 아키텍처 기반으로 제작된 라데온 RX 7800 XT 및 RX 7700 XT 그래픽 카드는 차세대 하드웨어 및 소프트웨어 기능을 통해 1440p 해상도 환경에서 60 FPS 이상의 몰입감 있는 게임 플레이를 지원한다. 이를 기반으로 일부 게임 타이틀에서 경쟁사 동급 제품 대비 뛰어난 가격 대비 성능을 지원한다. 또한, 고해상도 게이밍 환경에서 각각 16GB 및 12GB의 고속 GDDR6 VRAM과 경쟁사 대비 최대 2배 높은 메모리 대역폭은 물론, 신규 AMD HYPR-RX 기술과 같은 고급 기능을 지원해 한 층 더 향상된 성능 및 시각적 충실도를 제공한다. 라데온 RX 7800 XT 그래픽 카드는 1440p 해상도 게이밍을 위한 최상급 제품으로 60개의 AMD RDNA 3 통합 컴퓨팅 유닛을 탑재했다. AMD는 "경쟁사 대비 평균 20% 더 뛰어난 가격 대비 성능을 제공해 1440p 해상도에 최적의 효율을 보여준다"고 밝혔다. 라데온 RX 7700 XT 그래픽 카드는 54개의 AMD RDNA 3 컴퓨팅 유닛을 탑재했으며, AMD에 따르면 경쟁사 대비 평균 20% 더 향상된 달러당 성능을 제공한다.   ▲ AMD 라데온 RX 7800 XT 그래픽 카드   AMD RDNA 3 아키텍처 기반의 새로운 컴퓨팅 유닛은 통합 레이 트레이싱 및 AI 가속기와 2세대 AMD 인피니티 캐시 기술이 적용되어, 한 단계 더 높은 수준의 그래픽과 전력 효율성을 제공한다. 새로운 AI 가속기는 최신 AI 워크로드에 최적화되어 있으며, 새로운 전용 AI 및 데이터 처리율(throughput)은 이전 AMD RDNA 2 아키텍처 대비 2배 이상의 성능을 제공한다. 이번 신제품은 AMD 인코더를 통해 스트리밍 및 녹화 시 보다 향상된 그래픽 품질을 제공한다. AMD 미디어 프레임워크(AMD Media Framework)에 통합된 AMD AI 및 콘텐츠 어댑티브 머신러닝 기술을 적용해 낮은 비트율 및 해상도의 스트리밍 환경에서도 선명한 화면을 구현한다. UHD 인코딩을 지원하는 인코딩/디코딩 미디어 엔진은 새로운 멀티미디어 경험을 제공하며 AV1 인코딩/디코딩, 넓은 색역 및 HDR 향상을 지원한다. AMD 래디언스 디스플레이 엔진은 디스플레이 포트 2.1 및 HDMI 2.1a 기반 디스플레이를 지원해 게임 및 콘텐츠 제작 워크로드에서 초고해상도와 높은 주사율을 제공한다. 또한, 12 비트의 HDR과 REC2020 컬러 스페이스(REC2020 Color Space) 지원으로 8K 비디오 재생 시 최적의 색상 정확도를 구현한다. 한편, AMD는 차세대 업스케일링 기술인 AMD 피델리티FX 슈퍼 해상도(FSR) 3을 공개했다. AMD FSR 3은 AMD 플루이드 모션 프레임(AMD Fluid Motion Frames) 및 게임 모션 벡터 데이터를 활용한 프레임 생성 기술로 프레임률 향상을 지원한다. 또한, 경쟁사 제품 및 게임 콘솔을 포함한 보다 폭넓은 플랫폼 및 게임 타이틀에서 뛰어난 성능과 이미지 품질을 경험할 수 있도록 설계됐다. AMD FSR 3은 오는 가을 스퀘어 에닉스(Square Enix)의 '포스포큰(Forspoken)'과 어센던트 스튜디오(Ascendant Studios) 및 EA의 '이모탈스 오브 아베움(Immortals of Aveum)'을 시작으로 10개 게임을 추가 지원 예정이다. 이외에도, AMD는 향상된 성능 및 기능으로 한 차원 높은 게이밍 경험을 제공하는 최신 AMD 소프트웨어 : 아드레날린 에디션(AMD Software : Adrenalin Edition) 애플리케이션을 발표했다. 9월 6일 출시 예정인 신규 AMD HYPR-RX는 AMD 라데온 슈퍼 레졸루션(AMD Radeon Super Resolution : RSR), AMD 라데온 안티랙(AMD Radeon Anti-Lag), AMD 라데온 부스트(AMD Radeon Boost) 등 기능의 동시 운용을 지원해 손쉬운 성능 스택 효과를 제공한다. 이번 AMD HYPR-RX 기술은 게임 프로필별 안티랙 지원해 사용자의 입력 지연을 최소화하고 게임 반응성을 한 차원 더 끌어올리는 새로운 AMD 라데온 안티랙+(Anti-Lag+) 기술이 포함된다. AMD 라데온 RX 7800 XT 및 RX 7700 XT 그래픽 카드는 9월 6일부터 애즈락(ASRock), 에이수스(ASUS), 바이오스타(Biostar), 기가바이트(Gigabyte), 파워컬러(PowerColor), 사파이어(Sapphire), 배스트아머(Vastarmor), XFX, 예스톤(Yeston) 등 주요 메인보드 제조사 및 유통 업체에서 구매할 수 있으며, AMD 라데온 RX 7800 XT는 AMD 공식 웹사이트에서도 구매할 수 있다. AMD의 스콧 허클만(Scott Herkelman) 그래픽 사업부 부사장 겸 총괄 매니저는 "최신 고주사율 1440p 해상도 디스플레이는 게이머들이 기대하는 생생한 그래픽과 부드러운 게임 플레이를 지원하며 게이머들에게 가장 선호하는 게임 환경으로 채택되고 있다"면서, “신규 라데온 그래픽 카드의 뛰어난 성능과 시각적 충실도를 통해 최신 게임에서도 색다른 경험을 이어갈 수 있길 기대한다”고 밝혔다.

엔비디아가 지포스 RTX 4060 GPU 제품군을 발표했다. 이번에 발표된 그래픽카드는 지포스 RTX 4060 Ti(GeForce RTX 4060 Ti)와 지포스 RTX 4060(GeForce RTX 4060)의 2종으로, DLSS 3 뉴럴 렌더링과 3세대 레이 트레이싱 기술을 포함한 엔비디아 에이다 러브레이스(NVIDIA Ada Lovelace) 아키텍처의 발전된 기능을 높은 프레임률로 제공한다. 엔비디아는 "지포스 RTX 4060 Ti와 지포스 RTX 4060은 최신 게임 콘솔의 2배에 달하는 강력한 성능을 제공하며, 여기에는 최고의 게임에서 프리미엄 이미지 품질을 즐기기 위한 레이 트레이싱도 포함된다"면서, "지포스 RTX 4060 Ti는 RTX 2060 슈퍼 GPU보다 평균 2.6배, 지포스 RTX 3060 Ti GPU보다 1.7배 더 빠르다. 프레임 생성이 없는 타이틀의 경우, RTX 4060 Ti는 RTX 2060 슈퍼 GPU보다 1.6배 빠르다"고 밝혔다.     지포스 RTX 4060 제품군은 현재 DLSS를 지원하는 300개 이상의 게임 및 애플리케이션에 대한 액세스를 제공한다. '반지의 제왕 : 골룸(The Lord of the Rings : Gollum)'과 '디아블로 IV(Diablo IV)'에 DLSS 3가 포함될 예정이며, 언리얼 엔진 5용 DLSS 3 플러그인도 곧 출시될 예정이다. DLSS 3는 더욱 부드러운 게임플레이를 위한 새로운 고품질 프레임을 생성하여 실시간 게임에서 AI의 중요성이 커지고 있음을 보여준다. AI를 사용하여 저해상도 인풋에서 고해상도 프레임을 제공하는 DLSS 초해상도(Super Resolution)와 함께 사용하면 성능이 향상되며, 인풋 지연을 줄여주는 엔비디아 리플렉스(NVIDIA Reflex)를 통해 높은 반응성을 유지한다. RTX 4060 Ti의 메모리 서브시스템은 32MB의 L2 캐시(cache)와 8GB 또는 16GB의 초고속 GDDR6 메모리를 갖추고 있다. RTX 4060에는 24MB의 L2 캐시와 8GB의 GDDR6가 있다. L2 캐시는 GPU의 메모리 인터페이스에 대한 요구를 줄여 궁극적으로 성능과 전력 효율을 향상시킨다. 셰이더 실행 재정렬(Shader Execution Reordering), 최첨단 오파시티 마이크로맵(Opacity Micromap), 변위된 마이크로 메시 엔진(Displaced Micro-Mesh Engines)등의 발전 덕분에 레이 트레이싱 성능이 이전 세대보다 향상되었다. 이 덕분에 까다로운 게임도 여러 레이 트레이싱 효과를 동시에 구현할 수 있으며, 패스 트레이싱이라고도 하는 풀 레이 트레이싱까지 구현하여 높은 사실감과 몰입감을 제공할 수 있게 됐다. 299달러부터 시작하는 지포스 4060 GPU 제품군은 크리에이터에게 보다 접근하기 쉬운 시작 가격으로 RTX 가속 및 AI 도구를 제공하는 엔비디아 스튜디오(NVIDIA Studio) 플랫폼과 함께 제공된다. 이 플랫폼은 라이브 스트리머, 영상 편집자, 3D 아티스트 등을 지원하며 110개 이상의 크리에이티브 앱을 슈퍼차지하고, 엔비디아 스튜디오 드라이버(NVIDIA Studio Drivers)를 통해 지속적인 안정성을 제공하며, 엔비디아 옴니버스(NVIDIA Omniverse), 캔버스(Canvas) 및 브로드캐스트(Broadcast)와 같은 AI 기반 스튜디오 소프트웨어 제품군을 포함한다. 다양한 분야의 크리에이터는 이전 세대에 비해 AI 툴의 성능이 향상된 새로운 4세대 텐서 코어(Tensor Cores)의 이점을 누릴 수 있다. 가속화된 AI 기능을 통해 크리에이터는 지루한 작업을 자동화하고 고급 효과를 쉽게 적용할 수 있다. 엔비디아에 따르면, 고해상도 레이 트레이싱 장면을 렌더링하는 3D 모델러는 이전 세대 지포스 RTX 3060 제품군보다 최대 45% 더 빠른 성능을 기대할 수 있다. 기존 3D 워크플로를 상호 연결하여 선형 파이프라인을 라이브 동기화 제작 및 실시간 협업으로 대체하는 허브인 옴니버스에 AI 기반 DLSS 3를 추가하면 실시간 3D 렌더링 애플리케이션에서 뷰포트가 크게 가속화되어 전체 조명, 재료 및 물리학으로 보다 유연한 편집 환경을 구현할 수 있다. 방송사는 동급 최고의 AV1 하드웨어 인코딩을 갖춘 8세대 엔비디아 비디오 인코더인 NVENC를 사용하여 40% 향상된 인코딩 효율성의 이점을 누릴 수 있다. 이는 라이브스트림의 비트레이트가 40% 증가한 것처럼 보이는 효과를 제공해 OBS 스튜디오(OBS Studio)와 같은 인기 있는 방송 앱의 이미지 품질이 향상된다. 또한 방송사는 마이크와 웹캠을 개선하여 회의실을 홈 스튜디오로 바꿔주는 엔비디아 브로드캐스트 및 AI 효과 세트의 이점을 누릴 수 있다. 영상 편집자는 자동 리프레임, 스마트 오브젝트 선택, 깊이 추정과 같은 다양한 AI 툴을 어도비 프리미어 프로(Adobe Premiere Pro), 다빈치 리졸브(DaVinci Resolve)와 같은 주요 애플리케이션에서 사용할 수 있으며, AV1로 내보내 파일 크기를 줄일 수 있다. 지포스 RTX 4060 Ti 8GB는 5월 24일부터 399달러에 구매할 수 있다. 지포스 RTX 4060 Ti 16GB 버전은 499달러부터 시작하며 7월에 출시될 예정이다. 지포스 RTX 4060도 7월에 출시될 예정이며 299달러부터 구매할 수 있다.

  개발 및 공급 : 엔비디아 주요 특징 : 에이다 러브레이스 아키텍처 기반으로 AI 및 레이 트레이싱을 위한 코어 증가, DLSS 3 지원, 실시간 레이 트레이싱 향상, 1440p 해상도에서 최대 설정으로 최신 게임 플레이 지원, RTX 가속 및 고급 AI 도구로 더 빠른 스트리밍 및 제작 지원 등 가격 : 599달러(출시 시작 가격)   엔비디아가 출시한 지포스(GeForce) RTX 4070 GPU는 DLSS 3 뉴럴 렌더링, 실시간 레이 트레이싱 기술, 대부분의 최신 게임을 1440p 해상도에서 초당 100프레임 이상으로 실행할 수 있는 기능 등 엔비디아 에이다 러브레이스(NVIDIA Ada Lovelace) 아키텍처의 발전된 기능을 제공한다.  QHD 144Hz 해상도 및 4K 모니터의 사용이 증가하면서, 더 높은 수준의 시각적 경험을 원하는 PC 게이머들이 점점 늘어나고 있다. 엔비디아에 따르면, 지포스 RTX 40 시리즈를 사용하는 데스크톱 게이머의 83%는 레이 트레이싱을 활성화하고 있으며, 79%는 성능을 향상시키는 AI 기반 그래픽 기술인 DLSS(Deep Learning Super Sampling)를 사용한다.    인공지능 기반 프레임 생성 및 레이 트레이싱 향상 엔비디아의 RTX GPU 제품군에는 AI(인공지능) 가속을 위한 텐서 코어(Tensor Core)와 레이 트레이싱으로 그래픽 성능을 높이는 RT 코어(RT Core)가 탑재되어 있다. 반도체의 성능 향상만으로는 대응이 힘든 대용량의 그래픽 연산을 AI로 커버함으로써, 고품질의 그래픽을 효율적으로 구현하는 것이 핵심이다. RTX 4070은 DLSS의 최신 세대인 DLSS 3를 지원한다. 이를 통해 다양한 최신 게임을 초당 100프레임 이상에서 실행할 수 있다. 또한 DLSS 2와 하위호환을 지원하기 때문에 기존의 인기 게임도 향상된 성능으로 실행할 수 있다. 엔비디아는 “게임 개발사에서 DLSS 3의 채택이 늘고 있어, 향후 더 많은 게임이 DLSS 3를 지원하게 될 것”으로 기대하고 있다.   ▲ DLSS의 AI 기반 프레임 생성 기능(이미지 출처 : 엔비디아)   DLSS 3의 AI 기반 프레임 생성 기능은 한 장면의 8개 픽셀 중 7개의 픽셀을 렌더링해 새로운 고품질 프레임을 생성하여 더욱 매끄러운 게임 플레이를 지원한다. 더불어 디바이스와 모니터 간의 입력 지연을 줄여주는 엔비디아 리플렉스(NVIDIA Reflex)를 통해 높은 반응성을 유지한다. 셰이더 실행 재정렬(Shader Execution Reordering : SER), 최첨단 오파시티 마이크로맵(Opacity Micromap), 변위된 마이크로 메시 엔진(Displaced Micro-Mesh Engines) 등의 발전으로, 지포스 RTX 4070에서는 레이 트레이싱 성능도 향상됐다. 이러한 혁신을 통해 복잡한 게임에서도 여러 레이 트레이싱 효과 또는 패스 트레이싱(path tracing)이라고도 하는 풀 레이 트레이싱을 동시에 구현하여, 높은 현실감과 몰입감을 제공한다. 엔비디아는 “3세대 레이 트레이싱과 DLSS의 조합으로 픽셀당 레이 트레이싱 연산이 지난 5년 동안 16배 증가했다”면서, “도입률도 급증하여 현재 400개 이상의 RTX 게임과 애플리케이션이 사용 가능하며, DLSS 3의 채택 속도도 이전 버전보다 7배 빨라졌다”고 소개했다.   그래픽 처리 성능 향상 및 전력 소비 감소 엔비디아는 지포스 RTX 4070에서 DLSS 3를 사용하면 RTX 2070 SUPER 대비 평균 2.6배 더 빠르며, 지포스 RTX 3080에서의 DLSS 3와 비교하면 평균 1.4배 더 빠르다고 설명했다. 또한, 레이 트레이싱 및 DLSS와 같은 고급 기능이 포함되지 않은 기존 게임에서도 향상된 성능을 보여준다.  기존의 래스터화된 게임에서 지포스 RTX 4070은 거의 절반의 전력으로 지포스 RTX 3080과 동등한 성능을 지원하는 한편, 2GB의 추가 메모리도 제공한다. 또한 RTX 4070의 메모리 서브시스템은 36MB의 L2 캐시와 12GB의 초고속 GDDR6X 메모리로 향상됐다.   ▲ 지포스 RTX 4070의 기반이 된 신규 아키텍처는 3070 대비 증가한 코어 및 메모리를 통해 향상된 성능과 함께, 더 적은 전력 소비를 지원한다.(이미지 출처 : 엔비디아)   콘텐츠 크리에이터를 위한 솔루션 제공 엔비디아 RTX의 AI 기능은 게임 외에 크리에이티브 영역에서도 효과적으로 활용할 수 있다. 지포스 RTX 4070 GPU는 콘텐츠 크리에이터가 RTX 가속 및 AI 도구로 더 빠르고 스마트하게 작업할 수 있도록 지원하는 엔비디아 스튜디오(NVIDIA Studio) 플랫폼을 기반으로 한다. 이 플랫폼은 라이브 스트리머부터 영상 편집자까지 다양한 크리에이터를 지원하는 100개의 크리에이티브 앱을 강화하고, 엔비디아 스튜디오 드라이버(NVIDIA Studio Drivers)를 통해 지속적인 안정성을 제공하며, 엔비디아 옴니버스(NVIDIA Omniverse), 캔버스(Canvas) 및 브로드캐스트(Broadcast)와 같은 스튜디오 앱 제품군을 포함한다. 엔비디아 옴니버스는 기존 3D 워크플로를 상호 연결하고 실시간 협업을 위한 라이브 동기화 제작으로 선형 파이프라인을 대체하는 허브이다. 이러한 엔비디아 옴니버스의 AI 기반 DLSS 3로 4K 장면을 렌더링하는 3D 모델러는 이전 세대의 지포스 RTX 3070 Ti보다 2.8배 빠른 성능을 기대할 수 있다. 또한, AV1 코덱을 지원하는 8세대 엔비디아 비디오 인코더 NVENC를 사용하는 방송사는 40% 향상된 효율성을 누릴 수 있다. 라이브 스트림은 마치 비트율이 40% 증가한 것처럼 보여 OBS 스튜디오와 같은 실시간 스트리밍 앱의 이미지 품질이 크게 향상된다. AV1은 디스코드(Discord)에서 이미 지원되고 있으며, 곧 OBS 스튜디오(Studio)를 통해 유튜브에 풀 버전으로 출시될 예정이다. 영상 편집자는 지포스 RTX 4070의 8세대 엔비디아 인코더와 인기 영상 편집 앱에 통합된 AV1을 통해 20% 빨라진 동영상 내보내기 속도를 제공받을 수 있다. 또한 모든 크리에이터는 이전 세대보다 성능이 크게 향상된 새로운 4세대 AI 도구용 텐서 코어(Tensor Core)의 이점을 누릴 수 있다. 엔비디아는 이외에도 AI로 비디오 재생 품질을 높이는 RTX 비디오 수퍼 레졸루션(RTX Video Super Resolution), 기존의 게임 애셋을 다시 렌더링해 풀 레이 트레이싱을 구현하는 RTX 리믹스(RTX Remix) 등의 툴을 제공해, RTX 4070의 AI 성능을 활용할 수 있도록 한다.   ▲ 지포스 RTX 4070은 콘텐츠 제작 영역에서도 AI 기반의 성능 및 효율 증가를 지원한다.(이미지 출처 : 엔비디아)     ■ 기사 내용은 PDF로도 제공됩니다.

어도비가 어도비 크리에이티브 클라우드(Adobe Creative Cloud)의 주요 동영상 편집 애플리케이션인 프리미어 프로(Premiere Pro)와 애프터 이펙트(After Effects)의 새로운 혁신 기능을 발표했다. 이번 업데이트는 오랜 시간이 소요되는 작업을 자동화해 영상 편집 전문가와 모션 디자이너의 워크플로를 개선하고, 크리에이티브 전문가가 스토리 구상에 더 많은 시간을 할애하도록 지원하는 데 중점을 두고 있다. 이와 함께 어도비는 크리에이티브 생성형 AI 모델군인 파이어플라이(Firefly)에 기반한 영상 및 오디오 편집용 초기 콘셉트도 공개했다. 지난 2년간 2배로 증가한 콘텐츠에 대한 수요가 향후 2년 동안 5배 늘어날 것으로 예상됨에 따라, 영상 제작자는 그 어느 때보다도 빠르게 우수한 콘텐츠를 제공할 수 있는 툴을 필요로 하고 있다. 프리미어 프로와 애프터 이펙트는 어도비의 머신러닝 및 AI 프레임워크인 어도비 센세이(Adobe Sensei)를 통해 영상 워크플로를 간소화하고, AI 기반 편집 기능을 제공함으로써 제작 팀이 시간과 비용을 절감할 수 있도록 지원한다.   ▲ 프리미어 프로의 텍스트 기반 편집   프리미어 프로는 텍스트 기반 편집(Text-Based Editing) 기능을 통합한 전문가용 영상 편집 소프트웨어로, 간편한 영상 편집을 지원해 제작자의 작업 방식을 개선한다. 이번 업데이트에서는 어도비 센세이로 구동되는 텍스트 기반 편집 기능이 추가됐다. 이 기능은 클립을 자동 분석하고 자막을 생성해 사용자가 원하는 순서대로 문장을 배열하면 타임라인에 즉시 반영되며, 자막창에서 특정 단어와 문구를 검색하는 것도 가능해 빠르게 영상을 편집할 수 있다. 또한 사용자는 자동 톤 매핑(Automatic Tone Mapping) 및 로그 색상 감지(Log Color Detection) 기능으로 다양한 출처의 HDR 영상을 동일한 SDR 프로젝트에 조합해 균일한 색감을 표현하고, 색상 검색 테이블(LUTs)을 사용하거나 영상 밸런스를 수동으로 조정할 필요 없이 고품질 이미지를 얻을 수 있다. 이번 업데이트로 속도가 향상된 프리미어 프로는 백그라운드 자동 저장, 시스템 재설정 옵션, 효과 관리자(Effects Manager) 플러그인 등의 신규 기능도 선보였다. 특히 GPU 가속을 지원하는 영상 범위, 전환, 타이틀 템플릿과 더불어 AVC Intra 및 ARRI RAW, RED RAW, 소니 베니스(Sony Venice) V2 등 전문가용 포맷에 대한 GPU 가속을 통해 사용자가 8K 영상을 작업할 수 있는 빠른 편집 환경을 제공한다. 편집 중인 작업자가 공동 작업자를 보기 전용으로만 접근하도록 설정할 수 있는 시퀀스 잠금(Sequence Locking), 공유 프로젝트에서 현재 작업 중인 사람을 확인할 수 있는 상태 표시(Presence Indicators), 오프라인 작업 후 온라인에서 다른 작업자의 내용을 덮어쓰지 않고 변경 사항을 게시할 수 있는 오프라인으로 작업(Work While Offline) 등 공동 편집을 위한 기능도 한층 강화했다. 이와 함께 크리에이티브 클라우드에 포함된 프레임닷아이오(Frame.io)의 직접 내보내기, 업로드, 검토를 위한 공유(Share for Review) 기능으로 보다 안전한 프로젝트 공유, 공동 검토 및 관리를 지원한다. 이 밖에도 프리미어 프로는 RED V-Raptor X, ARRI Alexa 35 및 소니 베니스 V2 카메라 등에 대한 향상된 포맷 지원, 네덜란드어, 노르웨이어, 스웨덴어 및 덴마크어에 대한 음성을 텍스트로 변환(Speech-to-Text) 기능 확대, 디베이어링(debayering) 및 전환 효과를 위한 GPU 가속, 간소화된 트랙 타기팅, 어도비 미디어 인코더(Adobe Media Encoder)로 직접 내보내기 및 렌더링 기능을 이번 업데이트에서 추가했다.   ▲ 애프터 이펙트의 속성 패널   애프터 이펙트의 새로운 속성 패널(Properties Panel)은 단일 패널에서 애니메이션 설정에 빠르고 쉽게 접근할 수 있도록 한다. 이는 상황에 따라 주요 제어 기능을 자동으로 표시하고 타임라인 탐색 시간을 단축하며, 초보자도 쉽게 학습할 수 있도록 돕는다. 이번 업데이트로 ACES(Academy Color Encoding System) 및 OpenColorIO에 대한 지원이 추가돼, 다른 후반 제작 애플리케이션과 애셋 공유 시 색상을 균일하게 유지하며 사용자가 원하는 사실적인 이미지를 한층 빠르고 간편하게 제작할 수 있도록 한다. 또한 타임라인 레이어 선택 속도 향상, 모양(shape)의 멀티 프레임 렌더링과 같은 성능 최적화 기능과 더불어 선택 가능한 트랙 매트(Selectable Track Mattes)용 신규 단축키도 새롭게 추가했다. 한편 어도비는 영상, 오디오, 애니메이션 및 모션 그래픽 디자인 애플리케이션에 생성형 AI를 도입할 수 있는 방법을 보여주기 위해 크리에이티브 생성형 AI 모델군인 파이어플라이의 비전을 확장하고 있다. 제작자는 파이어플라이를 통해 아이디어를 내는 과정을 강화하고, 후반 제작 시간을 며칠에서 몇 분으로 단축하며, 워크플로에 직접 통합된 생성형 AI를 통해 강력한 신규 기능을 바로 사용할 수 있다.   ▲ 파이어플라이 기반의 텍스트로 색상 조정   파이어플라이를 활용한 텍스트로 색상 조정 기능은 이미 녹화된 영상에서 색 구성표, 시간대 또는 계절을 변경해 특정 톤과 느낌을 내도록 분위기와 설정을 바꿀 수 있다. 또한 “이 장면을 따뜻하고 포근한 느낌으로 만들어줘”와 같은 간단한 프롬프트로 원하는 결과물을 빠르게 얻을 수 있다. 고급 음악 및 음향 효과를 통해 사용자는 특정 분위기와 장면에 어울릴 만한 로열티 없는 사용자 지정 사운드와 음악을 쉽게 생성, 임시 또는 최종 트랙용으로 사용 가능하다. 간단한 단어로 단 몇 분 만에 자막, 로고, 타이틀 카드 및 맞춤형 애니메이션을 생성할 수도 있다. 스크립트를 텍스트로 변환하는 AI 분석을 통해 스토리보드와 사전 시각화를 자동으로 생성하고, B-roll 클립을 추천하는 등 사전 제작, 촬영, 후반 제작 워크플로를 가속화한다. 생성형 AI 기반의 개인화된 ‘하우 투(how-to)’ 가이드를 통해 사용자는 새로운 기술을 습득하고 초기 구상부터 제작 및 편집에 이르는 프로세스를 가속화할 수 있다. 어도비의 애슐리 스틸(Ashley Still) 크리에이티브 제품 그룹 및 디지털 미디어 성장 부문 수석 부사장은 “영상 전문가들은 오늘날 모든 플랫폼과 디바이스에서 우수한 콘텐츠에 대한 끊임없는 수요를 충족하기 위해 경쟁하고 있다”면서, “프리미어 프로와 애프터 이펙트의 혁신을 통해 워크플로를 개선하고 창의성을 발현하는 데 영감을 불어넣어 크리에이티브 전문가들이 콘텐츠 아이디어 구상, 제작 및 전달에 소모되는 시간을 줄이고 창작에 집중할 수 있도록 지원할 것”이라고 말했다.

엔비디아가 www.nvidia.co.kr 지포스(GeForce) RTX 4070 GPU를 출시한다고 발표했다. 새로운 지포스 RTX 4070 GPU를 사용하면 DLSS 3 뉴럴 렌더링, 실시간 레이 트레이싱 기술, 대부분의 최신 게임을 1440p 해상도에서 초당 100프레임 이상으로 실행할 수 있는 기능 등 엔비디아 에이다 러브레이스(NVIDIA Ada Lovelace) 아키텍처의 발전된 기능을 실행할 수 있다. 지포스 RTX 40 시리즈 데스크톱 게이머의 83%는 레이 트레이싱을 활성화하며, 79%는 성능을 대폭 향상시키는 AI 기반 그래픽의 혁신적인 전환점인 DLSS를 사용한다. 최신 버전인 DLSS 3를 지원하는 RTX 4070을 사용하면 플래그 테일: 레퀴엠(A Plague Tale: Requiem), 다잉 라이트 2(Dying Light 2), 마이크로소프트 플라이트 시뮬레이터(Microsoft Flight Simulator), 워해머 40,000: 다크타이드(Warhammer 40,000: Darktide) 및 기타 타이틀과 같은 최신 게임을 초당 100프레임 이상에서 실행할 수 있다. 또한 DLSS 2 지원으로 배틀필드 2042(Battlefield 2042), 콜 오브 듀티: 모던 워페어 II 2022(Call of Duty: Modern Warfare II), 마블의 가디언즈 오브 갤럭시(Marvels Guardians of the Galaxy)와 같은 인기 게임도 실행할 수 있다. DLSS 3의 AI 기반 프레임 생성 기능은 한 장면의 8픽셀 중 7픽셀을 렌더링해 새로운 고품질 프레임을 생성하여 더욱 매끄러운 게임 플레이를 지원한다. 더불어 디바이스와 모니터 간의 입력 지연을 줄여주는 엔비디아 리플렉스(NVIDIA Reflex)를 통해 높은 반응성을 유지한다. 셰이더 실행 재정렬(Shader Execution Reordering, SER), 최첨단 오파시티 마이크로맵(Opacity Micromap), 변위된 마이크로 메시 엔진(Displaced Micro-Mesh Engines) 등의 발전으로 레이 트레이싱 성능도 크게 향상됐다. 이러한 혁신을 통해 가장 복잡한 게임에서도 여러 레이 트레이싱 효과 또는 패스 트레이싱(path tracing)이라고도 하는 풀 레이 트레이싱을 동시에 구현하여 높은 현실감과 몰입감을 제공한다. 3세대 레이 트레이싱과 DLSS의 강력한 조합으로 픽셀당 레이 트레이싱 연산이 지난 5년 동안 16배 증가했다. 도입률도 급증하여 현재 400개 이상의 RTX 게임과 애플리케이션이 사용 가능하며, DLSS 3의 채택 속도도 이전 버전보다 7배 빨라졌다. 지포스 RTX 4070은 DLSS 3를 사용하면 RTX 2070 SUPER 대비 평균 2.6배 더 빠르며, 지포스 RTX 3080에서의 DLSS 3와 비교하면 평균 1.4배 더 빠르다. DLSS 3는 에이다 러브레이스 GPU에 엄청난 성능 향상을 제공하지만, 지포스 RTX 4070은 레이 트레이싱 및 DLSS와 같은 고급 기능이 포함되지 않은 기존 게임에서도 높은 성능을 보여준다. 기존의 래스터화된 게임에서 지포스 RTX 4070은 거의 절반의 전력으로 지포스 RTX 3080과 동등한 성능을 지원하는 한편, 2GB의 추가 메모리도 제공한다. 또한 RTX 4070의 메모리 서브시스템은 36MB의 L2 캐시와 12GB의 초고속 GDDR6X 메모리로 향상됐다.     지포스 RTX 4070 GPU는 콘텐츠 크리에이터가 RTX 가속 및 AI 도구로 더 빠르고 스마트하게 작업할 수 있도록 지원하는 엔비디아 스튜디오(NVIDIA Studio) 플랫폼을 기반으로 한다. 이 플랫폼은 라이브 스트리머부터 영상 편집자까지 다양한 크리에이터를 지원하는 100개의 크리에이티브 앱을 강화하고, 엔비디아 스튜디오 드라이버(NVIDIA Studio Drivers)를 통해 지속적인 안정성을 제공하며, 엔비디아 옴니버스(NVIDIA Omniverse), 캔버스(Canvas) 및 브로드캐스트(Broadcast)와 같은 강력한 스튜디오 앱 제품군을 포함한다. 엔비디아 옴니버스는 기존 3D 워크플로를 상호 연결하고 실시간 협업을 위한 라이브 동기화 제작으로 선형 파이프라인을 대체하는 허브다. 이러한 엔비디아 옴니버스의 AI 기반 DLSS 3로 4K 장면을 렌더링하는 3D 모델러는 이전 세대의 지포스 RTX 3070 Ti보다 2.8배 빠른 성능을 기대할 수 있다. AV1을 지원하는 8세대 엔비디아 비디오 인코더 NVENC를 사용하는 방송사는 40% 향상된 효율성을 누릴 수 있다. 라이브 스트림은 마치 비트율이 40% 증가한 것처럼 보여 OBS 스튜디오와 같은 방송 앱의 이미지 품질이 향상된다. AV1은 디스코드(Discord)에서 이미 지원되고 있으며, 곧 OBS 스튜디오(Studio)를 통해 유튜브에 풀 버전으로 출시될 예정이다. 영상 편집자는 지포스 RTX 4070의 8세대 엔비디아 인코더와 인기 영상 편집 앱에 통합된 AV1을 통해 20% 빨라진 동영상 내보내기 속도를 제공받을 수 있다. 또한 모든 크리에이터는 이전 세대보다 성능이 크게 향상된 새로운 4세대 AI 도구용 텐서 코어(Tensor Core)의 이점을 누릴 수 있다. 지포스 RTX 4070 그래픽카드는 갤럭시코리아(Galax 브랜드), 디앤디컴(Gainward 브랜드), 아이노비아(Inno3D 브랜드), 엠에스아이코리아(MSI 브랜드), 웨이코스(Colorful, Manli 브랜드), 이엠텍(EMTEK 브랜드), 인텍앤컴퍼니(ASUS 브랜드), 제이씨현시스템(Gigabyte, PNY 브랜드), 조텍코리아(Zotac 브랜드), 피씨디렉트(Gigabyte 브랜드), 한미마이크로닉스(PNY 브랜드) 등 엔비디아 국내 공식 파트너사를 통해서 공급될 예정이다. 엔비디아 자체 파운더스 에디션(Founders Edition) 디자인은 11번가에서 추후 구매 가능하다. 지포스 RTX 4070의 출시 가격은 599달러부터 시작한다.

AMD가 새로운 대규모 라이브 양방향 스트리밍 서비스 트렌드에 대응하고자 특수 제작된 2개의 5nm ASIC을 기반으로 AV1 압축 표준을 지원하는 비디오 프로세싱 유닛(VPU: Video Processing Unit)을 탑재한 AMD 알베오(Alveo) MA35D 미디어 가속기를 발표했다. 현재 글로벌 비디오 시장은 라이브 콘텐츠가 70% 이상 차지하고 있으며1, 워치 파티(Watch Party)와 라이브 쇼핑, 온라인 경매 및 소셜 스트리밍과 같은 새로운 유형의 저지연, 대규모 양방향 스트리밍 애플리케이션이 빠르게 부상하고 있다.  알베오 MA35D 미디어 가속기는 카드당 최대 32x 1080p60 스트리밍이 가능한 높은 채널 밀도와 전력 효율성 및 초저지연 성능을 제공하며, 이를 통해 컴퓨팅 집약적인 콘텐츠 제공에 필요한 인프라 비용을 절감할 수 있도록 지원한다. 알베오 MA35D는 이전 세대 알베오 U30 미디어 가속기에 비해 4K 해상도 기준 최대 4배 더 증가된 채널 밀도2와 4배 더 짧은 지연시간3, 1.8배 높은 압축 효율4을 제공하여 VMAF를 통한 일반 비디오 품질 측정 기준으로 동일한 성능을 발휘한다.  AMD의 AECG 데이터센터 그룹 총괄 책임자인 댄 기븐스(Dan Gibbons)는 “우리는 고객 및 파트너들과 긴밀히 협력하여 기술적 요구사항은 물론, 대규모 양방향 스트리밍 서비스의 수익성을 높이기 위해 필요한 인프라 문제를 파악하는 데 주력했다.”며, “이를 기반으로 대규모 콘텐츠 제작자들과 사용자들이 몰입형 경험을 제공하는데 소요되는 자본 및 운영 비용을 절감하고 공급업체들의 개별 요구사항에 부합하는 ASIC 아키텍처 기반의 알베오 MA35D를 개발했다.”고 밝혔다. 한편, 알베오 MA35D는 특수 제작된 비디오 프로세싱 유닛(VPU)을 활용하여 전체 비디오 파이프라인을 가속화한다. 이 VPU 상에서 모든 비디오 프로세싱 기능을 처리함으로써 CPU와 가속기 간의 데이터 이동을 최소화하여 전체 지연시간을 줄이고, 카드당 최대 32x 1080p60, 8x 4Kp60 또는 4x 8Kp30 스트리밍으로 채널 밀도를 극대화한다. 이 플랫폼은 주로 사용되는 H.264 및 H.265 코덱에 대한 초저지연 성능을 제공하며, 차세대 AV1 트랜스코더 엔진을 통해 동급 소프트웨어 대비 최대 52%의 비트레이트 감소로 대역폭 절감 효과도 제공한다. 오픈 미디어 얼라이언스 의장인 매트 프로스트(Matt Frost)는 "AMD의 새로운 알베오 MA35D 발표는 데이터 센터를 위한 비디오 가속 제품 분야의 의미있는 발전이자, 로열티가 없는 고화질 비디오 장치, 제품 및 서비스를 지원하기 위한 본격적인 생태계 구축에 있어 중요한 과정이다.”며, "라이브 스트리밍 제공업체들은 더 높은 밀도, 저전력, 저지연 AV1 솔루션을 찾고 있으며, AMD와 같은 얼라이언스 회원사들이 이러한 문제를 해결함으로써 AV1 배포와 채택을 촉진하고 있다"고 말했다. 본 가속기 제품은 AI 프로세서와 전용 비디오 품질 엔진을 통합하여 감소된 대역폭에서도 체감품질을 개선하도록 설계됐다. AI 프로세서는 콘텐츠를 프레임별로 평가하고, 인코더 설정을 동적으로 조정하여 시각적 품질을 향상하는 동시에 비트레이트(Bitrate)를 최소화한다. 최적화 기법으로는 텍스트 및 안면 해상도 개선을 위한 관심영역(ROI: Region-of-Interest) 인코딩, 복잡하거나 모션이 포함된 장면을 수정하는 아티팩트 감지(Artifact Detection), 비트레이트 최적화에 필요한 예측 인사이트를 지원하는 콘텐츠 인식 인코딩 등이 있다.  대용량 스트리밍 서비스를 확장하기 위해서는 서버당 채널 수를 극대화하면서도 스트림당 전력 및 대역폭을 최소화해야 한다. 알베오 MA35D 가속기 카드는 스트림당 1와트에서 카드당 최대 32x 1080p60 스트리밍을 지원6함으로써 8개의 카드를 장착한 1U 랙 서버로 최대 256개의 채널을 제공할 수 있어 서버, 랙 또는 데이터센터당 스트리밍 수를 극대화할 수 있다.  이 플랫폼은 업계에서 널리 사용되는 FFmpeg 및 GStreamer 비디오 프레임워크를 지원하는 AMD 미디어 가속 소프트웨어 개발 키트(SDK: Software Development Kit)를 통한 용이한 개발 환경도 제공한다.  알베오 MA35D 미디어 가속기는 현재 샘플 공급 중이며, 3분기에 양산 제품이 출하될 예정이다. 인증된 고객들은 보다 신속한 개발을 위해 아키텍처 탐색을 위한 소프트웨어 툴 및 포괄적인 문서와 함께 얼리 액세스 프로그램(Early Access Program)을 이용할 수 있다. 한편, AMD는 지난 3월 29일 온라인 기자간담회를 열고 새로운 알베오(Alveo) MA35D 하드웨어 가속기 포트폴리오를 주제로  소개했는데, 최근 '5nm ASIC 기반 알베오(Alveo) 미디어 가속기 카드를 출시하게 됐다고 밝혔다. 이번 간담회에는 AMD의 비디오 전력 및 개발 책임자인 션 가드너(Sean Gardner)와 AMD 제품 관리 및 마케팅 이사 그리쉬 말리페디(Girish Malipeddi)가 발표자로 참석해 국내 반도체 및 IT 산업 기자들을 대상으로 새로운 알베오 하드웨어 가속기에 대한 주요 정보를 소개해 관심을 모았다. 앞서 이야기했던 것처럼 AMD는 대화형 미디어 및 대용량 라이브 스트리밍 애플리케이션을 위한 초저지연, AI 지원 영상 처리를 제공하고자 새로운 알베오 미디어 가속기 카드 제품을 개발했다고 밝혔다. 새로운 알베오 미디어 가속기는 보다 비용  효율적인 영상 콘텐츠 배포를 위한 애플리케이션 성능, 전력 및 채널 밀도 요구 사항을 충족하는 차세대 제품이다. 라이브 콘텐츠가 현재 전 세계 영상 콘텐츠 시장을 주도하는 가운데, 저지연의 새로운 대용량 대화형 미디어 애플리케이션이 속속 등장하고 있어 주목된다.