엔비디아가 ‘슈퍼컴퓨팅 2024(SC24)’ 콘퍼런스에서 ‘엔비디아 옴니버스 블루프린트(NVIDIA Omniverse Blueprint)’를 발표했다. 이는 소프트웨어 개발업체가 항공우주, 자동차, 제조, 에너지, 기타 산업의 컴퓨터 지원 엔지니어링(CAE) 고객들이 실시간 상호작용이 가능한 디지털 트윈을 제작할 수 있도록 지원한다. 알테어, 앤시스, 케이던스, 지멘스와 같은 소프트웨어 개발업체는 실시간 CAE 디지털 트윈을 위한 엔비디아 옴니버스 블루프린트를 사용해 고객이 개발 비용과 에너지 사용량을 절감하면서 시장 출시 기간을 단축할 수 있도록 지원한다. 엔비디아는 이 블루프린트가 1200배 빠른 시뮬레이션과 실시간 시각화를 달성하기 위한 엔비디아 가속 라이브러리, 물리-AI 프레임워크, 대화형 물리 기반 렌더링을 포함하는 레퍼런스 워크플로라고 설명했다. 블루프린트의 첫 번째 적용 분야 중 하나는 전산유체역학(CFD) 시뮬레이션이다. 이는 자동차, 비행기, 선박 등 여러 제품의 설계를 가상으로 탐색하고 테스트하며 개선하는데 있어 중요한 단계이다. 기존의 엔지니어링 워크플로는 물리 시뮬레이션부터 시각화와 설계 최적화에 이르기까지 완료하는 데 몇 주 또는 몇 달이 걸릴 수 있다. 실시간 물리 디지털 트윈을 구축하려면 실시간 물리 솔버(solver) 성능과 대규모 데이터 세트의 실시간 시각화라는 2가지 기본 기능이 필요하다. 옴니버스 블루프린트는 이러한 기능을 달성하기 위해 엔비디아 쿠다-X(CUDA-X) 라이브러리를 활용해 솔버 성능을 가속화한다. 또한, 엔비디아 모듈러스(Modulus) 물리-AI 프레임워크를 사용해 플로 필드를 생성하기 위한 모델을 훈련하고 배포한다. 마지막으로, 엔비디아 옴니버스 애플리케이션 프로그래밍 인터페이스를 통해 3D 데이터 상호운용성과 실시간 RTX 지원 시각화를 제공한다.      앤시스는 옴니버스 블루프린트를 채택해 유체 시뮬레이션 소프트웨어인 앤시스 플루언트(Ansys Fluent)에 적용해 전산 유체 역학 시뮬레이션을 가속화했다. 앤시스는 텍사스 첨단 컴퓨팅센터에서 320개의 엔비디아 GH200 그레이스 호퍼 슈퍼칩(Grace Hopper Superchip)으로 플루언트를 실행했다. 2,048개의 x86 CPU 코어에서는 거의 한 달이 걸리던 25억 셀의 자동차 시뮬레이션을 6시간 만에 완료했다. 이를 통해 밤새 고충실도 CFD 분석을 수행할 수 있는 실현 가능성을 향상시키고 새로운 업계 벤치마크를 수립했다. 루미너리 클라우드 또한 블루프린트를 채택하고 있다. 엔비디아 모듈러스를 기반으로 구축된 이 회사의 새로운 시뮬레이션 AI 모델은 GPU 가속 CFD 솔버에서 생성된 훈련 데이터를 기반으로 기류장과 자동차 형상 간의 관계를 학습한다. 이 모델은 솔버 자체보다 훨씬 빠른 속도로 시뮬레이션을 실행해 옴니버스 API를 사용해 시각화된 실시간 공기 역학 흐름 시뮬레이션을 가능하게 한다. 엔비디아와 루미너리 클라우드는 SC24에서 가상 풍동을 시연했다. 이는 터널 내부에서 차량 모델을 변경하더라도 실시간으로 상호작용하는 속도로 유체 역학을 시뮬레이션하고 시각화할 수 있다. 엔비디아는 알테어, 비욘드 매스, 케이던스, 헥사곤, 뉴럴 컨셉, 지멘스, 심스케일, 트레인 테크놀로지스 등이 자체 애플리케이션에 옴니버스 블루프린트 도입을 검토하고 있다고 밝혔다. 옴니버스 블루프린트는 아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트 애저를 비롯한 주요 클라우드 플랫폼에서 실행할 수 있다. 엔비디아 DGX 클라우드(DGX Cloud)에서도 사용할 수 있다.  리스케일은 엔비디아 옴니버스 블루프린트를 사용해 단 몇 번의 클릭만으로 맞춤형 AI 모델을 훈련하고 배포할 수 있도록 지원한다. 리스케일 플랫폼은 전체 애플리케이션-하드웨어 스택을 자동화하며, 모든 클라우드 서비스 제공업체에서 실행될 수 있다. 조직은 어떤 시뮬레이션 솔버를 사용해도 훈련 데이터를 생성하고, AI 모델을 준비, 훈련, 배포하며, 추론 예측을 실행하고, 모델을 시각화하고 최적화할 수 있다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “우리는 모든 사물이 디지털 트윈을 가질 수 있도록 옴니버스를 구축했다. 옴니버스 블루프린트는 엔비디아 옴니버스와 AI 기술을 연결하는 레퍼런스 파이프라인이다. 이는 선도적인 CAE 소프트웨어 개발자가 설계, 제조부터 운영에 이르기까지 세계 최대 산업을 위해 산업 디지털화를 혁신할 획기적인 디지털 트윈 워크플로를 구축할 수 있도록 지원한다”고 말했다.

델 테크놀로지스는 자사의 AI 설루션 포트폴리오인 ‘델 AI 팩토리(Dell AI Factory)’에 AI 구축 간소화를 위한 신규 인프라 설루션과 전문 서비스를 추가했다고 밝혔다. 델은 확장된 라인업을 통해 기업 및 기관이 AI 워크로드를 가속하고 데이터 관리를 효율화할 수 있도록 지원할 계획이다. 올해 새롭게 공개된 통합 랙 스케일러블 시스템인 ‘델 IRSS(Integrated Rack Scalable Systems)’는 플러그 앤 플레이 방식의 랙 스케일 시스템을 제공하는 공장 통합형 턴키 프로그램으로, 델 스마트 쿨링(Dell Smart Cooling) 기술이 적용되어 있다. IRSS는 전체 랙에 대한 원콜 서비스 및 지원 옵션을 통해 에너지 효율적인 AI 인프라스트럭처 구축을 더욱 간소화한다. 설치가 완료되면 델에서 패키징 폐기물 및 재활용을 처리하고 기존 노후 하드웨어의 재활용까지 지원한다. 표준 19인치 모델인 ‘델 IR5000(Dell Integrated Rack 5000)’에 탑재되는 서버로 ‘델 파워엣지 XE9685L(Dell PowerEdge XE9685L)’ 및 ‘델 파워엣지 XE7740(Dell PowerEdge XE7740)’이 추가됐다. 델 IR5000은 공간 효율적인 폼 팩터로 고집적 애플리케이션을 위해 설계되었으며, 고성능을 제공하는 동시에 에너지 효율을 유지한다.  델 파워엣지 XE9685L은 AI, 머신러닝, 고성능 컴퓨팅(HPC) 및 기타 데이터 집약적인 워크로드를 위해 설계된 고집적 4U 수랭식 서버이다. 최대 12개의 PCIe 젠 5.0 슬롯과 함께 엔비디아 HGX (NVIDIA HGX) H200 및 B200 GPU와 페어링된 듀얼 AMD 5세대 에픽(EPYC) CPU는 특정 컴퓨팅 요구 사항을 충족하는 맞춤형 구성, 최적화된 스토리지 연결 및 까다로운 워크로드를 위한 최대 IO 처리량을 지원한다. 이 플랫폼은 랙당 최대 96개의 엔비디아 GPU를 탑재할 수 있어 업계 최고 수준의 GPU 집적도를 제공한다.   ▲ 델 파워엣지 XE7740 서버   델 파워엣지 XE7740은 공랭식의 4U 모델로 2개의 인텔 제온 6(Intel Xeon) P-코어 프로세서와 인텔 가우디(Intel Gaudi) 3 PCIe 가속기 또는 엔비디아 H200 NVL 등 최대 8개의 더블 와이드 가속기, 또는 엔비디아 L4 텐서 코어(Tensor Core) GPU 등의 최대 16개의 싱글 와이드 가속기를 사용할 수 있다. 델은 “다양한 선택의 폭이 제공되는 만큼 생성형 AI 모델의 미세 조정이나 추론에서부터 대규모 데이터 세트에 대한 가치 추출에 이르기까지 규모에 맞게 서버 구성의 적절히 조정할 수 있다”고 설명했다.   델은 곧 출시될 엔비디아 GB200 그레이스 블랙웰 NVL4 슈퍼칩(Grace Blackwell NVL4 Superchip)을 델 IR7000용으로 설계된 새로운 델 파워엣지 XE 서버를 통해 50OU 표준 랙에서 랙당 최대 144개의 GPU를 지원할 계획이다. IR7000 랙은 100%에 가까운 열 포집 능력으로 고전력 및 액체 냉각을 필요로 하는 대규모 HPC 및 AI 워크로드를 지원한다. 또한, 델 테크놀로지스는 AI 작업을 위해 데이터를 효율적으로 관리하고 분석할 수 있는 최신 아키텍처 수요에 대응하게 위해 ‘델 데이터 레이크하우스(Dell Data Lakehouse)’도 업데이트 했다. 이 플랫폼은 AI에 최적화된 하드웨어와 풀 스택 소프트웨어 제품군을 기반으로 구축되었으며, 향후 대규모 분산 데이터 처리를 위한 아파치 스파크(Apache Spark)를 포함하도록 확장될 예정이다. 대량의 데이터를 관리하는 기업의 경우, 이를 통해 데이터 애널리틱스와 관리 및 처리에 이르기까지 통합된 접근 방식을 확보함으로써 효율성을 높이고 보다 신속하게 실행 가능한 인사이트를 얻을 수 있다. 한편, 델은 AI 에코시스템 전반의 파트너와 협력하여 AI 구축을 강화하고 간소화하는데 노력하고 있다고 전했다. 엔비디아 기반 델 AI 팩토리(Dell AI Factory with NVIDIA)는 AI 운영 및 활용 사례 구축을 위해 성능을 보다 가속화한다. 새로운 엔비디아 HGX H200 및 H100NVL 지원 옵션은 엔비디아 HGX H100 대비 최대 1.9배 더 높은 성능을 제공한다. 엔비디아 기반 델 AI 팩토리의 일부인 ‘엔비디아 기반 델 에이전틱 RAG(Dell Agentic RAG with NVIDIA)’를 통해 고객은 복잡한 쿼리를 수행하고 검색 증강 생성(RAG) 작업을 가속할 수 있다. 대규모 데이터 세트를 보유한 조직에서는 델의 이 설계를 기반으로 AI 에이전트를 사용하여 RAG 워크플로 성능을 개선하고, 복잡한 쿼리를 처리하며, 더 높은 품질의 결과를 제공할 수 있다. 이 설루션은 델 파워엣지와 델 파워스케일(Dell PowerScale)을 비롯해 니모 리트리버(NeMo Retriever) 마이크로서비스, 멀티모달 PDF 데이터 추출을 위한 ‘엔비디아 AI 블루프린트(NVIDIA AI Blueprint)’ 등 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise) 소프트웨어를 활용한다. AI PC를 위한 델 검증 설계(Dell Validated Designs for AI PCs)는 NPU 기술이 탑재된 델 AI PC에서 AI 애플리케이션 개발을 촉진하기 위해 설계된 오픈 소스 가이드이다. 개발자는 모듈식 설계를 쉽게 맞춤화하여 LLM, 비전, 텍스트 및 음성 등의 기능을 애플리케이션에 통합할 수 있다. 또한 다양한 프로세서 종류나 플랫폼에 걸쳐 AI 애플리케이션을 배포할 수 있다. 이러한 확장 가능한 접근 방식을 통해 온디바이스 AI에서 일상적인 프로세스를 자동화하고 시간과 비용을 절감하고 데이터 보안을 개선할 수 있다. 델 프로페셔널 서비스(Dell Professional Services)는 AI 관련 전략 개발이나 구현에 어려움을 겪는 기업과 기관들이 AI 목표를 보다 효율적으로 달성할 수 있도록 지원한다. ‘지속 가능한 데이터 센터를 위한 자문 및 구현 서비스(Advisory and Implementation Services for Sustainable Data Centers)’는 지능형 전력 및 냉각 관리를 통해 저탄소, 에너지 효율적인 데이터 센터를 위한 전략을 수립하고 구현하는데 필요한 전문 지식을 제공한다. ‘데이터 관리 서비스(Data Management Services)’는 데이터를 검색, 분류, 정제하여 AI-레디 카탈로그를 제공하고 체계화된 고품질 데이터에 대한 안정적이고 간소화된 액세스를 보장한다. ‘AI 네트워킹을 위한 설계 서비스(Design Services for AI Networking)’는 더 빠른 속도, 지연 시간 단축, 향상된 확장성을 통해 AI 워크로드에 최적화된 네트워크 설계를 제공한다. ‘서비스나우 나우 어시스트를 위한 구현 서비스(Implementation Services for ServiceNow Now Assist)’는 AI 기반 요약을 통해 콘텐츠 수집을 간소화하여 결과를 자동화하고 생산성을 향상시키는 ‘나우 어시스트’를 통해 서비스 관리 워크플로에 생성형 AI 기능을 통합한다. 한국 델 테크놀로지스의 김경진 총괄사장은 “여러 고객들이 AI를 구축하고 실행하기까지 점점 더 다양한 도전과제에 직면하게 된다”면서, “델은 계속해서 진일보한 AI 오퍼링을 선보임으로써 고객이 AI를 통해 보다 스마트하고 유연하게 대응할 수 있는 미래를 만들어갈 수 있도록 하는데 집중하고 있다”고 밝혔다. 델 파워엣지 XE9685L과 델 파워엣지 XE7740은 2025년 1분기에 전 세계에 출시될 예정이며, 델 데이터 레이크하우스 업데이트는 현재 전세계에서 이용 가능하다. AI PC를 위한 델 검증 설계는 현재 전 세계에서 이용 가능하며, 엔비디아 기반의 델 생성형 AI 설루션의 GPU 업데이트는 올해 내에 제공될 예정이고, 엔터프라이즈 RAG 업데이트는 현재 이용이 가능하다. ‘델 데이터 관리 서비스’와 ‘지속 가능한 데이터 센터를 위한 델 서비스,’ ‘AI 네트워킹을 위한 델 설계 서비스,’ ‘서비스나우 나우 어시스트를 위한 델 구현 서비스’는 현재 일부 국가에서 제공되고 있다.

뉴타닉스는 새로운 클라우드 네이티브 제품인 ‘뉴타닉스 엔터프라이즈 AI(Nutanix Enterprise AI, 이하 NAI)’를 출시했다고 발표했다. NAI는 기업의 AI 인프라 플랫폼을 확장하며, 에지, 코어 데이터센터와 아마존 EKS(Amazon Elastic Kubernetes Service), 애저 쿠버네티스 서비스(Azure Kubernetes Service : AKS), 구글 쿠버네티스 엔진(Google Kubernetes Engine : GKE)과 같은 퍼블릭 클라우드 서비스 등 모든 쿠버네티스 플랫폼에 배포될 수 있다. NAI는 가속화된 AI 워크로드를 위한 일관된 하이브리드 멀티클라우드 운영 모델을 제공한다. 이를 통해 조직은 선택한 안전한 위치에서 모델과 데이터를 활용하면서 투자 수익(ROI)을 개선할 수 있다. 엔비디아 NIM(NVIDIA Inference Microservices)을 활용해 파운데이션 모델의 성능을 최적화한 NAI는 조직이 대규모 언어 모델(LLM)의 추론 엔드포인트를 안전하게 배포, 실행 및 확장할 수 있게 한다. 이로써 생성형 AI 애플리케이션을 몇 분 내에 배포할 수 있다. 생성형 AI는 본질적으로 하이브리드 워크로드로, 새로운 애플리케이션은 주로 퍼블릭 클라우드에서 구축되고, 사설 데이터를 사용한 모델의 미세 조정은 온프레미스에서 이루어진다. 추론은 비즈니스 로직과 가장 가까운 곳에 배포되는데, 이는 에지, 온프레미스 또는 퍼블릭 클라우드일 수 있다. 이러한 분산된 하이브리드 생성형 AI 워크플로는 복잡성, 데이터 프라이버시, 보안 및 비용 측면에서 조직에게 과제를 제시할 수 있다.     NAI는 일관된 멀티클라우드 운영 모델과 엔비디아 NIM에 최적화된 추론 마이크로서비스 및 허깅페이스(Hugging Face)의 오픈 파운데이션 모델을 사용해 LLM을 안전하게 배포, 확장 및 실행할 수 있는 간단한 방법을 제공한다. 이를 통해 고객은 비즈니스 핵심 애플리케이션에 필요한 복원력, 데이 2(day 2) 운영 역량 및 보안성을 갖춘 엔터프라이즈 생성형 AI 인프라를 온프레미스 또는 아마존 EKS, 애저 쿠버네티스 서비스, 구글 쿠버네티스 엔진에 구축할 수 있다. 또한, NAI는 예측하기 어려운 사용량 또는 토큰 기반 가격 책정과는 달리, 인프라 리소스를 기반으로 한 투명하고 예측 가능한 가격 모델을 제공한다. 이는 생성형 AI 투자에서 ROI를 최대화하려는 고객에게 중요하다. 뉴타닉스는 NAI가 ▲AI 기술 격차 해소 ▲ AI 준비 플랫폼 구축의 장벽 제거 ▲데이터 프라이버시 및 보안 우려 해소 ▲ 생성형AI 워크로드에 엔터프라이즈급 인프라 제공 등의 이점을 고객에게 제공한다고 설명했다. NAI는 뉴타닉스 GPT인어박스(Nutanix GPT-in-a-Box) 2.0의 구성 요소이다. GPT 인어박스에는 뉴타닉스 클라우드 인프라(Nutanix Cloud Infrastructure : NCI), 뉴타닉스 쿠버네티스 플랫폼(Nutanix Kubernetes Platform : NKP), 뉴타닉스 통합 스토리지(Nutanix Unified Storage : NUS)와 함께 온프레미스 훈련 및 추론을 위한 맞춤형 서비스가 포함된다. 퍼블릭 클라우드 배포를 원하는 고객은 NAI를 모든 쿠버네티스 환경에 배포될 수 있으며, 온프레미스 배포와 운영 일관성을 유지할 수 있다. NAI는 엔비디아 전체 스택 AI 플랫폼과 함께 배포될 수 있으며 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼으로 검증됐다. 여기에는 엔비디아 NIM이 포함되는데, 이는 고성능 AI 모델 추론을 안전하고 안정적으로 배포하기 위해 설계된 사용하기 쉬운 마이크로서비스 세트이다. 또한 뉴타닉스 GPT인어박스는 엔비디아 인증시스템(NVIDIA-Certified System)으로 성능의 안전성을 보장한다.  뉴타닉스는 NAI를 활용하는 주요 사용 사례로 ▲고객 피드백과 문서 분석을 통한 생성형 AI로 고객 경험 개선 ▲코파일럿과 지능형 문서 처리를 활용한 코드 및 콘텐츠 생성 가속화 ▲특정 도메인 데이터로 모델을 미세 조정해 코드 및 콘텐츠 생성 효율화 ▲사기 탐지, 위협 탐지, 경고 강화, 자동 정책 생성을 위한 AI 모델 활용으로 보안 강화 ▲사내 데이터로 미세 조정된 모델을 활용한 분석 개선 등을 소개했다. 뉴타닉스의 토마스 코넬리(Thomas Cornely) 제품 관리 부문 수석 부사장은 “뉴타닉스는 NAI를 통해 고객이 온프레미스나 퍼블릭 클라우드에서 생성형 AI 애플리케이션을 쉽고 안전하게 실행할 수 있도록 지원하고 있다”면서, “NAI는 모든 쿠버네티스 플랫폼에서 실행 가능하며, 고객의 AI 애플리케이션을 예측 가능한 비용으로 안전한 환경에서 운영할 수 있게 한다”고 말했다. 엔비디아의 저스틴 보이타노(Justin Boitano) 엔터프라이즈 AI 부사장은 “생성형 AI 워크로드는 본질적으로 하이브리드 특성을 가지고 있어, 훈련, 맞춤화, 추론이 퍼블릭 클라우드, 온프레미스 시스템, 에지 환경에 걸쳐 이루어진다”면서, “엔비디아 NIM을 NAI에 통합하면 안전한 API를 갖춘 일관된 멀티클라우드 모델을 제공해, 고객이 비즈니스 핵심 애플리케이션에 필요한 높은 성능과 보안으로 다양한 환경에서 AI를 배포할 수 있게 된다”고 말했다.

HPE는 리더십급 ‘HPE 크레이 슈퍼컴퓨팅 EX’ 설루션과 대규모 언어 모델(LLM) 학습, 자연 언어 프로세싱(NLP) 및 멀티 모달 모델 학습에 최적화된 시스템 2종을 포함한 새로운 HPC 및 인공지능(AI) 인프라 포트폴리오를 발표했다. HPE 크레이 슈퍼컴퓨팅 EX 시스템을 기반으로 하는 전체 리더십급 HPC 포트폴리오의 신제품은 세계의 난제 해결을 맡은 연구 기관과 소버린 AI 이니셔티브를 개발하는 정부 기관을 위해 설계되었다. 이 포트폴리오는 100% 팬리스 직접 수냉 방식(Fanless DLC) 시스템 아키텍처를 기반으로 하며 컴퓨팅 노드, 네트워킹, 스토리지를 포함한 HPE 슈퍼컴퓨팅 설루션의 모든 레이어에 걸쳐 새로운 소프트웨어 오퍼링으로 보완된다. 단일 캐비닛에서 최대 9만 8304개의 코어를 제공할 수 있는 HPE 크레이 슈퍼컴퓨팅 EX4252 2세대 컴퓨팅 블레이드(HPE Cray Supercomputing EX4252 Gen 2 Compute Blade)는 슈퍼컴퓨팅을 위한 강력한 원랙 유닛 시스템을 구현하는 제품이다. 8개의 5세대 AMD 에픽(EPYC) 프로세서를 탑재한 이 컴퓨팅 블레이드는 CPU 집적도의 이점을 제공하여 고객이 동일한 공간 내에서 더 높은 성능의 컴퓨팅을 실현할 수 있도록 지원한다. HPE Cray 슈퍼컴퓨팅 EX4252 2세대 컴퓨팅 블레이드는 2025년 봄에 출시될 예정이다.     슈퍼컴퓨팅 워크로드를 완료하는 데 걸리는 시간을 단축하기 위해 HPE 크레이 슈퍼컴퓨팅 EX154n 가속기 블레이드(HPE Cray Supercomputing EX154n Accelerator Blade)는 단일 캐비닛에 최대 224개 엔비디아 블랙웰(NVIDIA Blackwell) GPU를 탑재할 수 있다. 각 가속기 블레이드는 엔비디아 GB200 그레이스 블랙웰 NVL4 슈퍼칩(NVIDIA GB200 Grace Blackwell NVL4 Superchip)을 탑재하고 있으며, 엔비디아 NV링크-C2C를 통해 2개의 엔비디아 그레이스 CPU와 통합된 4개의 엔비디아 NV링크 연결 블랙웰(NVIDIA NVLink-connected Blackwell) GPU를 보유하고 있다. HPE 크레이 슈퍼컴퓨팅 EX154n 가속기 블레이드는 2025년 말에 공급될 예정이다. 차세대 엑사스케일 지원 HPE 인터커넥트 포트폴리오는 초당 400GB 속도의 네트워크 인터페이스 컨트롤러(NIC), 케이블 및 스위치를 제공한다. HPE 슬링샷 인터커넥트 400(HPE Slingshot interconnect 400)은 이전 세대보다 2배 빠른 회선 속도를 제공하는 동시에 자동화된 혼잡 관리 및 초저 테일 레이턴시(ultra-low tail latency)를 위한 어댑티브 라우팅과 같은 기능을 제공하여 고객이 더 적은 네트워크 인프라로 대규모 워크로드를 실행할 수 있도록 지원한다. 이 버전의 HPE 슬링샷은 2025년 하반기부터 HPE Cray 슈퍼컴퓨팅 EX 시스템 기반 클러스터에 적용될 예정이다 HPE 크레이 슈퍼컴퓨팅 스토리지 시스템 E2000은 이전 세대 대비 입출력(I/O) 성능이 두 배 이상 향상되었다. 대규모 슈퍼컴퓨터용으로 설계된 이 시스템은 오픈 소스 러스터(Lustre) 파일 시스템을 기반으로 하며, I/O 작업 중 유휴 시간을 줄여 CPU 및 GPU 기반 컴퓨팅 노드 모두의 활용도를 높일 수 있다. 이 HPC 스토리지 시스템은 2025년 초에 HPE 크레이 슈퍼컴퓨팅 EX 시스템에서 일반적으로 제공될 예정이다. 또한, HPE는 컴퓨팅 집약적 워크로드 실행의 사용자 경험을 개선하는 새로운 소프트웨어 제품을 출시한다. 현재 이용 가능한 HPE 크레이 슈퍼컴퓨팅 사용자 서비스 소프트웨어에는 고객이 시스템 효율성을 최적화하고 전력 소비를 조절하며 슈퍼컴퓨팅 인프라에서 다양한 워크로드를 유연하게 실행하는 데 도움이 되는 기능이 포함되어 있다. 한편, HPE는 고객이 대규모 고성능 AI 클러스터를 간소화할 수 있도록 지원하는 새로운 카테고리의 서버를 계속 선보이고 있다고 전했다. 자체 AI 모델을 학습하는 SP와 대기업을 위해 설계된 HPE 프로라이언트 컴퓨트 XD 서버는 대규모 AI 시스템 설치 및 배포에 대한 HPE의 전문성을 활용한다. HPE의 최첨단 제조 시설 내에서 설루션의 구축, 맞춤화, 통합, 검증, 전체 테스트를 지원하는 HPE 서비스 옵션을 활용하면 신속한 온사이트 배포가 가능하다. HPE 프로라이언트 컴퓨트 서버에서만 사용 가능한 HPE iLO(Integrated Lights-Out) 관리 기술을 사용하면 일부 권한이 있는 직원이 서버에 대한 대역 외 원격 제어 액세스를 허용하여 표준 대역 내 네트워크 액세스보다 보안을 강화할 수 있다. 가격 대비 성능을 염두에 두고 최적화된 공냉 방식 HPE 프로라이언트 컴퓨트 XD680 서버는 복잡한 AI 학습, 튜닝 및 추론 워크로드를 처리하도록 설계되었다. HPE가 설계한 섀시에는 단일 컴팩트 노드에 8개의 인텔 가우디 3 AI 가속기가 탑재되어 있다. 인텔 가우디 3가 탑재된 HPE 프로라이언트 컴퓨트 XD680 서버는 2024년 12월에 출시될 예정이다. HPE는 성능, 경쟁 우위, 에너지 효율성을 우선시하는 고객을 위해 대규모의 복잡한 AI 모델에 대한 학습을 가속화할 수 있는 엔비디아 GPU가 탑재된 새로운 버전의 HPE 프로라이언트 컴퓨트 XD685 서버가 출시될 예정이다. 이 서버는 5개의 랙 유닛 섀시에 8개의 엔비디아 H200 SXM 텐서 코어 GPU 또는 엔비디아 블랙웰 GPU로 구동되며, 수냉식 냉각 분야에서 수십 년간 쌓아온 HPE의 전문성을 활용하여 GPU, CPU 및 스위치를 효율적으로 냉각시킨다. HPE 프로라이언트 컴퓨트 XD685 서버의 엔비디아 HGX H200 8-GPU 버전은 2025년 초에 출시될 예정이며, 엔비디아 블랙웰 GPU 버전은 출시에 맞춰 선보일 예정이다. HPE의 트리시 댐크로거(Trish Damkroger) HPC 및 AI 인프라 설루션 부문 수석 부사장 겸 총괄은 “소버린 AI 이니셔티브에 투자하는 서비스 제공업체와 국가들은 발견과 혁신을 가속화하기 위한 대규모 AI 학습을 가능하게 하는 중요한 백본으로 HPC를 점점 더 많이 고려하고 있다”면서 “고객은 세계 최고의 HPC 설루션과 완전 통합형 시스템 제공, 배포 및 서비스 분야에서 수십 년간 쌓아온 경험을 활용하여 더 빠르고 효율적으로 가치를 실현하면서 AI 시스템 배포를 빠르게 진행하기 위해 HPE에 주목하고 있다”고 밝혔다.

엔비디아가 ‘엔비디아 AI 서밋 재팬’ 이벤트에서 소프트뱅크와의 협업을 발표했다. 이를 통해 엔비디아는 일본의 소버린 AI 이니셔티브를 가속화하고 글로벌 기술 리더십을 강화하기 위해 지원할 계획이다. 또한 이 협업은 전 세계 통신 사업자에게 수십억 달러의 AI 수익 기회를 창출할 것을 목표로 한다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 엔비디아 AI 서밋 재팬의 기조연설에서 소프트뱅크가 엔비디아 블랙웰(Blackwell) 플랫폼을 사용해 일본에서 가장 강력한 AI 슈퍼컴퓨터를 구축하고 있다고 말했다. 아울러 차기 슈퍼컴퓨터에 엔비디아 그레이스(Grace) 블랙웰 플랫폼을 사용할 계획이라고 발표했다. 아울러 엔비디아는 소프트뱅크가 엔비디아 AI 에리얼(Aerial) 가속 컴퓨팅 플랫폼을 사용해 AI와 5G 통신 네트워크를 결합한 시범 서비스에 성공했다. 이는 통신 사업자에게 잠재적으로 수십억 달러 상당의 AI 수익원을 열어주는 컴퓨팅 기술이다. 또한 엔비디아는 소프트뱅크가 엔비디아 AI 엔터프라이즈 소프트웨어를 사용해 로컬 보안 AI 컴퓨팅에 대한 수요를 충족할 수 있는 AI 마켓플레이스를 구축할 계획이라고 발표했다. 소프트뱅크는 AI 훈련과 에지 AI 추론을 지원하는 새로운 서비스를 통해 일본의 산업, 소비자, 기업 전반에 걸쳐 AI 서비스의 생성, 배포, 사용을 위한 새로운 비즈니스 기회를 촉진할 예정이다. 소프트뱅크는 세계 최초로 엔비디아 DGX B200 시스템을 공급받을 예정이며, 이는 새로운 엔비디아 DGX SuperPOD 슈퍼컴퓨터의 빌딩 블록 역할을 할 것이다. 소프트뱅크는 자체 생성형 AI 개발과 AI 관련 사업뿐만 아니라 일본 전역의 대학, 연구 기관, 기업에서 블랙웰 기반 DGX SuperPOD을 사용할 계획이다. 엔비디아는 “이 프로젝트가 완료되면 소프트뱅크의 DGX SuperPOD이 일본에서 가장 뛰어난 성능을 발휘할 것”이라면서, “이 시스템은 엔비디아 AI 엔터프라이즈 소프트웨어와 엔비디아 퀀텀-2 인피니밴드(Quantum-2 InfiniBand) 네트워킹을 갖추고 있어 대규모 언어 모델(LLM) 개발에도 이상적”이라고 전했다. 소프트뱅크는 DGX SuperPOD 외에도 극도로 컴퓨팅 집약적인 워크로드를 실행하기 위해 또 다른 엔비디아 가속 슈퍼컴퓨터를 구축할 계획이다. 이 슈퍼컴퓨터의 초기 계획은 엔비디아 그레이스 블랙웰 플랫폼 설계를 기반으로 하고 있다. 이 설계는 엔비디아 블랙웰 GPU와 Arm 기반 엔비디아 그레이스 CPU를 결합한 엔비디아 GB200 NVL72 멀티노드 수냉식 랙 스케일 시스템을 갖추고 있다.     한편, 소프트뱅크는 엔비디아와 협력해 AI와 5G 워크로드를 동시에 실행할 수 있는 새로운 종류의 통신 네트워크인 AI-RAN(artificial intelligence radio access network)을 개발했다. 이 새로운 유형의 인프라는 통신 사업자에게 기지국을 비용 센터에서 AI 수익 창출 자산으로 전환할 수 있는 기능을 제공해, 통신 업계의 생태계 지원을 받고 있다. 소프트뱅크는 일본 가나가와 현에서 실시한 실외 실험을 통해 엔비디아 가속 AI-RAN 설루션이 캐리어급 5G 성능을 달성했으며, 네트워크의 초과 용량을 사용해 AI 추론 워크로드를 동시에 실행할 수 있음을 입증했다. 기존 통신사 네트워크는 피크 부하를 처리하도록 설계돼 평균적으로 해당 용량의 3분의 1만 사용했다. 한편, AI-RAN이 제공하는 공통 컴퓨팅 기능을 활용하면 나머지 3분의 2 용량을 AI 추론 서비스를 위해 수익화할 수 있을 것으로 예상된다. 엔비디아와 소프트뱅크는 통신 사업자가 새로운 AI-RAN 인프라에 1달러의 자본을 투자할 때마다 약 5달러의 AI 추론 수익을 얻을 수 있을 것으로 예상하고 있다. 소프트뱅크는 운영 비용과 자본 비용을 고려할 때, 인프라에 추가하는 모든 AI-RAN 서버에 대해 최대 219%의 수익을 달성할 수 있을 것으로 예상하고 있다. 소프트뱅크는 실험을 통해 엔비디아 AI 엔터프라이즈를 사용해 자율주행 자동차 원격 지원, 로보틱스 제어, 에지에서의 멀티모달 검색 자동 생성을 포함한 실제 AI 추론 애플리케이션을 구축했다. 모든 추론 워크로드는 소프트뱅크의 AI-RAN 네트워크에서 최적으로 실행될 수 있었다. 젠슨 황 CEO는 “일본은 전 세계에 영향을 미치는 기술 혁신을 선도해온 오랜 역사를 갖고 있다. 소프트뱅크가 엔비디아의 풀스택 AI, 옴니버스(Omniverse), 5G AI-RAN 플랫폼에 대한 막대한 투자를 함으로써 일본은 AI 산업 혁명의 글로벌 리더로 도약하고 있다. 일본은 통신, 교통, 로보틱스, 의료 산업 전반에 걸쳐 새로운 성장의 시대를 주도해 AI 시대에 인류에게 큰 혜택을 제공할 것”이라고 말했다. 소프트뱅크의 미야카와 준이치(Junichi Miyakawa) 사장 겸 CEO는 “전 세계 국가와 지역이 사회와 경제 성장을 위해 AI 도입을 가속화하고 있으며, 사회는 중대한 변화를 겪고 있다. 소프트뱅크는 엔비디아와의 오랜 협력을 통해 이러한 변화를 최전선에서 주도하고 있다. 매우 강력한 AI 인프라와, AI를 위한 5G 네트워크를 재창조하는 새로운 분산형 AI-RAN 설루션 '아이트라스(AITRAS)'를 통해 일본 전역과 전 세계에서 혁신을 가속화할 것”이라고 말했다.

에픽게임즈 코리아는 게임 개발자와 모든 산업의 크리에이터를 위해 다양한 툴세트와 기능을 새롭게 추가하고 개선한 언리얼 엔진 5.5 버전을 정식 출시했다고 밝혔다. 이번 언리얼 엔진 5.5 업데이트에서는 ▲애니메이션 제작 ▲렌더링 ▲버추얼 프로덕션 ▲모바일 게임 개발 ▲개발자 반복작업 등에서 향상이 이뤄졌다.     애니메이션 제작 영역에서는 에디터에서 고퀄리티 애니메이션 제작 워크플로를 지원하는 신규 및 향상된 기능을 제공하여 상황에 맞는 애니메이션을 제작할 수 있으므로, DCC 애플리케이션을 오가며 작업할 필요성이 줄어들었다. 또한, 애니메이션 게임플레이 제작 툴세트에도 새로운 기능이 추가됐다. 언리얼 엔진의 비선형 애니메이션 에디터인 ‘시퀀서’가 개선돼 더 나은 필터링과 속성을 더욱 쉽게 사용할 수 있어 인터페이스상에서 더 쉽게 제어할 수 있으며, 변경 유지 애니메이션 레이어가 추가되어 기존 DCC 애플리케이션에서만 볼 수 있었던 추가적인 제어 기능과 유연성을 제공한다. ‘조건부 상태 변경’, ‘커스텀 바인딩’ 등과 같은 기능으로 다양한 다이내믹 시네마틱 시나리오를 작동하도록 설정하는 것 역시 더욱 쉬워졌다. 컨트롤 릭에서 애니메이션을 적용할 수 있는 ‘애니메이션 디포머’를 만들어 클릭 한 번만으로 시퀀서의 캐릭터에 쉽게 적용할 수 있는 기능이 추가되어 더욱 사실적인 애니메이션 이펙트를 제작할 수 있다. 또한, 애니메이션에 바로 사용하거나 자신만의 릭으로 구동되는 디포머 또는 헬퍼 릭을 제작하는데 예제로 활용할 수 있는 ‘애니메이터 키트 플러그인’도 제공된다. 다양한 UI 및 UX 개선, 새로운 사족 보행 및 비클 모듈 등을 지원하는 ‘모듈형 컨트롤 릭’이 베타 버전으로 제공되며, 더 빠르고 간소화된 페인팅 워크플로 및 가중치 편집 등의 다양한 개선 사항이 포함된 ‘스켈레탈 에디터’를 정식 버전으로 만나볼 수 있다. 언리얼 엔진용 메타휴먼 플러그인 중 하나인 ‘메타휴먼 애니메이터’ 역시 향상됐다. 이제 오디오만으로 얼굴 상단 부분의 표정을 추론하여 고퀄리티의 페이셜 애니메이션을 생성할 수 있게 됐다. 로컬 오프라인 설루션으로서 다양한 음성 및 언어와 함께 작동되며, 다른 메타휴먼 애니메이터 입력과 함께 일괄 처리 및 스크립팅할 수 있다. 런타임에 동적으로 변경되는 콘텐츠를 개발하는 게임 개발자에게 도움이 될 ‘뮤터블 캐릭터 커스터마이제이션 시스템’도 새롭게 추가됐다. 이 시스템은 캐릭터, 동물, 소품, 무기 등의 다이내믹 스켈레탈 메시, 머티리얼, 텍스처를 생성하는 동시에 메모리 사용량을 최적화하고 셰이더 비용 및 드로 콜 수를 줄여주며, 많은 파라미터와 텍스처 레이어, 복잡한 메시 상호작용 등을 처리할 수 있는 심층적인 커스터마이징을 지원한다. 하드웨어 레이 트레이싱 기반 시스템에 많은 향상이 이루어지면서, 이제 하드웨어 지원을 제공하는 플랫폼에서 ‘루멘’을 60Hz로 실행할 수 있다. 또한, 물리적으로 정확한 DXR 가속 프로그레시브 렌더링 모드인 ‘패스 트레이서’가 정식 버전으로 제공되어, 비선형 애플리케이션 또는 모든 기능을 갖춘 실사 레퍼런스 이미지의 최종 픽셀을 제작할 때 높은 퀄리티를 제공한다. 5.2 버전에서 실험단계로 선보인 머티리얼 제작 프레임워크인 ‘서브스트레이트’가 베타 버전으로 전환되면서 이제 언리얼 엔진이 지원하는 모든 플랫폼과 기존 머티리얼의 모든 기능이 지원된다. 선형 머티리얼 제작에 정식으로 사용할 수 있으며, 룩 개발 아티스트는 이 프레임워크를 활용하여 오브젝트의 룩 앤 필을 더 제어할 수 있게 됐다. 5.4 버전에서 실험단계로 도입되었던 ‘무비 렌더 그래프’ 역시 베타 버전으로 전환되면서 커스텀 EXR 메타데이터를 사용하는 기능, 컬렉션의 스포너블 지원 그리고 오브젝트 ID 지원과 같은 기존 프리셋 구성의 호환성 향상 등을 제공한다. 또한, 패스 트레이서용 ‘스파시오 템포럴 디노이저’를 신규로 제공해 선형 시퀀스에 고퀄리티의 결과를 구현할 수 있다. 신에 제약 없이 다이내믹한 그림자를 만드는 수백 개의 라이트를 추가할 수 있는 ‘메가라이트’를 통해 라이팅 아티스트는 이제 콘솔과 PC에서 소프트 섀도와 함께 텍스처가 적용된 에어리어 라이트, 라이트 함수, 미디어 텍스처 재생, 볼류메트릭 섀도를 자유롭게 사용해 볼 수 있다. ‘SMPTE 2110’의 정식 지원으로 수많은 안정성 개선, 프레임록 손실 자동 감지 및 복구, 타임코드로 PTP 지원 추가 등에 대한 개선이 이뤄졌다. ‘카메라 캘리브레이션’ 솔버 역시 정식 버전으로 제공되면서 렌즈 및 카메라 파라미터 추정 정확도가 향상됐다. 또한, 5.4 버전에서 처음 도입되었던 ‘버추얼 스카우팅’ 툴세트도 정식 버전으로 업데이트됐다. 이제 OpenXR 호환 HMD를 사용해 강력한 경험을 곧바로 활용할 수 있으며, 광범위한 API를 통한 새로운 커스터마이징도 제공한다. 한편, 이전에는 ICVFX 에디터에서만 제공됐던 ‘컬러 그레이딩 패널’이 이제 언리얼 에디터의 일반 기능으로 사용할 수 있게 돼 nDisplay로 작업하는 사용자뿐만 아니라 모든 아티스트에게 향상된 컬러 그레이딩 경험을 제공하며, 포스트 프로세스 볼륨, 시네 카메라 및 색 보정 영역도 지원한다. ‘모바일 포워드 렌더러’에 플랫폼의 비주얼 퀄리티를 높일 수 있는 다양한 신규 기능이 추가됐다. 뿐만 아니라 5.4 버전에서 도입된 런타임 자동 PSO(Pipeline State Object) 프리캐싱이 이제 기본 활성화되어 수동 PSO 수집 워크플로에 대한 쉽고 빠른 대안을 제공한다. ‘모바일 프리뷰어’의 경우 모바일 게임 콘텐츠 개발에 도움이 되는 다양한 개선이 이뤄져, 특정 안드로이드 디바이스 프로필을 캡처 및 프리뷰하는 기능과 함께 반정밀도 16비트 플로트 셰이더를 에뮬레이션하여 오류를 쉽게 확인하고 대응할 수 있는 기능을 제공한다. 개발자 반복작업의 경우, 최적화된 신규 캐시 데이터 스토리지 및 네트워크 커뮤니케이션 아키텍처인 ‘언리얼 젠 서버’가 정식 버전으로 제공돼 공유 파생 데이터 캐시로 사용될 수 있다. 또한, 이번 버전에서는 젠 서버가 타깃 플랫폼으로 쿠킹된 데이터의 스트리밍을 지원해 개발 중에도 PC, 콘솔, 모바일 등의 타깃 플랫폼에서 게임이 어떻게 보이고 작동하는지 보다 빠르고 쉽게 평가할 수 있다. 또한, 에디터 시스템과 쿠킹 프로세스에 최적화된 애셋 로딩 경로를 제공하는 ‘언리얼 젠 로더’, 더 빠른 C++ 및 셰이더 컴파일을 제공하는 ‘언리얼 빌드 액셀러레이터’, 더욱 효율적이고 확장 가능한 개발 워크플로를 제공하는 ‘언리얼 호드 지속적 통합 및 원격 실행’ 등 다양한 기능이 정식 버전으로 제공된다. 에픽게임즈 코리아는 10월 정식 출시된 새로운 통합 콘텐츠 마켓플레이스 ‘팹’이 언리얼 엔진 5.5에 통합되어 퀵셀 메가스캔과 같은 개별 애셋을 신으로 직접 드래그 앤 드롭할 수 있으며, 팹의 애셋 팩을 콘텐츠 브라우저에 추가할 수 있게 됐다고 밝혔다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 고급 훈련, 시뮬레이션, 추론 등 세 가지 컴퓨터 시스템을 통해 차세대 AI 기술로 불리는 ‘물리적 AI’ 구축을 지원하며, 이를 통해 로보틱스 생태계 강화에 나선다고 밝혔다. 챗GPT(ChatGPT)로 시작된 생성형 AI는 콘텐츠 제작, 고객 서비스, 소프트웨어 개발, 지식 근로자를 위한 비즈니스 운영 등 디지털 업무를 혁신하는 데에 도움을 주고 있다. 그러나 휴머노이드, 공장, 기타 산업 시스템 내 장치 등에서 인공지능을 구현하는 물리적 AI는 아직 획기적인 전환점을 경험하지 못했으며 교통, 모빌리티, 제조, 물류, 로보틱스와 같은 산업이 제약을 받아왔다는 것이 엔비디아의 시각이다. 엔비디아는 고급 훈련, 시뮬레이션, 추론을 결합한 3가지 컴퓨터 시스템을 통해 이러한 상황에 변화를 가져올 수 있을 것으로 보고 있다.  대규모 언어 모델(LLM)은 문자나 단어와 같은 모드에서 다음 토큰을 예측할 수 있는 1차원적인 모델이다. 이미지와 비디오 생성 모델은 다음 픽셀을 예측할 수 있는 2차원 모델이다. 하지만 이러한 모델들은 3차원 세계를 이해하거나 해석할 수 없다.  엔비디아는 물리적 AI 모델이 생성형 AI를 통해 물리적 세계를 인식하고, 이해하고, 상호 작용하고, 탐색할 수 있다고 밝혔다. 가속 컴퓨팅을 기반으로 한 멀티모달 물리적 AI의 혁신과 대규모 물리 기반 시뮬레이션을 통해 로봇을 활용한 물리적 AI의 가치를 실현할 수 있게 됐다는 것이다. 로봇은 지각, 추론, 계획, 행동, 학습을 할 수 있는 시스템으로, 자율 주행 로봇(AMR), 조작기 팔 또는 휴머노이드 외에도 다양한 유형의 로봇이 존재한다. 가까운 미래에는 수술실부터 데이터 센터, 창고, 공장, 교통 관제 시스템이나 스마트 시티에 이르기까지 움직이는 모든 것, 또는 움직이는 사물을 모니터링하는 모든 것이 자율 로봇 시스템이 될 것으로 보이는데, 이러한 시스템은 주변 환경을 감지하고 이에 대응할 수 있는 능력을 갖추게 된다.     엔비디아는 특히 인간을 위해 설계된 환경에서 효율적으로 작동할 수 있는 휴머노이드 로봇에 주목하고 있다. 휴머노이드 로봇을 개발하려면 물리적 AI와 로봇 훈련, 시뮬레이션, 런타임을 처리하는 세 가지의 가속화된 컴퓨터 시스템이 필요하다. 엔비디아는 개발자가 물리적 AI를 제작할 수 있도록 3가지 컴퓨터 시스템과 가속화된 개발 플랫폼을 구축했다고 전했다. 먼저, 개발자는 엔비디아 DGX 플랫폼에서 엔비디아 네모(NeMo)를 사용해 파운데이션 모델과 생성형 AI 모델을 훈련하고 미세 조정할 수 있다. 또한 자연어를 이해하고 인간의 행동을 관찰해 움직임을 모방할 수 있는 휴머노이드 로봇을 위한 범용 파운데이션 모델을 개발하는 이니셔티브인 엔비디아 프로젝트 GR00T(Project GR00T)를 활용할 수도 있다. 둘째, 엔비디아 OVX 서버에서 실행되는 엔비디아 옴니버스(Omniverse)는 물리적 AI를 테스트하고 최적화하기 위한 개발 플랫폼과 시뮬레이션 환경을 제공한다. 이는 엔비디아 아이작 심(Isaac Sim)과 같은 애플리케이션 프로그래밍 인터페이스와 프레임워크를 통해 활용된다. 개발자들은 아이작 심을 사용해 로봇 모델을 시뮬레이션하고 검증하거나, 물리 기반 합성 데이터를 대량 생성해 로봇 모델 훈련을 진행할 수 있다. 또한 연구원과 개발자는 로봇 강화 학습과 모방 학습을 지원하는 오픈 소스 로봇 학습 프레임워크인 엔비디아 아이작 랩(Isaac Lab)을 사용해 로봇 정책 훈련과 개선을 가속화할 수 있다. 마지막으로 훈련된 AI 모델이 실행 컴퓨터에 배포된다. 엔비디아 젯슨 토르(Jetson Thor) 로봇 컴퓨터는 콤팩트한 온보드 컴퓨팅 요구 사항을 위해 특별히 설계됐다. 제어 정책, 비전, 언어 모델로 구성된 모델 집합이 로봇 두뇌를 구성하고, 에너지 효율적인 온보드 엣지 컴퓨팅 시스템에 배포된다. 로봇 제조업체와 파운데이션 모델 개발자는 워크플로우와 도전 과제에 따라 필요한 만큼의 가속 컴퓨팅 플랫폼과 시스템을 사용할 수 있다.

엔비디아가 로봇 콘퍼런스인 로스콘(ROSCon)에서 로봇 운영체제(ROS) 개발자를 위한 생성형 AI 설루션을 발표했다. 이번 로스콘은 덴마크 오덴세에서 10월 21일부터 사흘 간 진행됐으며, 엔비디아는 로봇 생태계 파트너들과 함께 ROS 개발자를 위한 생성형 AI 툴, 시뮬레이션, 인식 워크플로를 공개했다. 여기에는 에지 AI와 로보틱스용 엔비디아 젯슨(Jetson) 플랫폼에 배포하는 ROS 개발자를 위한 새로운 생성형 AI 노드와 워크플로가 포함됐다. 생성형 AI를 통해 로봇은 주변 환경을 인식하고 이해하며, 인간과 자연스럽게 소통하고, 자율적으로 상황에 맞는 결정을 내릴 수 있다. ROS 2를 기반으로 구축된 리맴버(ReMEmbR)는 생성형 AI를 사용해 로봇의 추론과 행동을 향상시킨다. 이는 대규모 언어 모델(LLM), 비전 언어 모델(VLM), 검색 증강 생성(RAG)을 결합한다. 이를 통해 로봇이 장기적인 의미 기억을 구축하고 쿼리하며 환경을 탐색하고 상호 작용하는 능력을 향상시킨다. 음성 인식 기능은 위스퍼TRT(WhisperTRT) ROS 2 노드에 의해 구동된다. 이 노드는 엔비디아 텐서RT(TensorRT)를 사용해 오픈AI(OpenAI)의 위스퍼(Whisper) 모델을 최적화해 엔비디아 젯슨에서 지연 시간이 짧은 추론을 가능하게 함으로써 인간과 로봇의 즉각적인 상호 작용을 가능하게 한다. 음성 제어 기능을 갖춘 ROS 2 로봇 프로젝트는 엔비디아 리바(Riva) ASR-TTS 서비스를 사용해 로봇이 음성 명령을 이해하고 이에 응답할 수 있도록 한다. 나사 제트추진연구소(The NASA Jet Propulsion Laboratory)는 ROS용 AI 기반 에이전트인 로사(ROSA)를 독자적으로 선보였다. 이는 네뷸라-SPOT(Nebula-SPOT) 로봇과 엔비디아 아이작 심(Isaac Sim)의 엔비디아 노바 카터(Nova Carter) 로봇에서 작동했다.     개발자는 이제 로봇 기능을 향상하기 위해 엔비디아 젯슨에 최적화된 LLM과 VLM을 제공하는 생성형 AI용 ROS 2 노드를 사용할 수 있다. 시뮬레이션은 배포 전에 AI 지원 로봇을 안전하게 테스트하고 검증하기 위해 중요한 작업이다. 오픈USD(OpenUSD)를 기반으로 구축된 로봇 시뮬레이션 플랫폼인 엔비디아 아이작 심(Isaac Sim)은 ROS 개발자에게 로봇을 ROS 패키지에 쉽게 연결해 테스트할 수 있는 가상 환경을 제공한다.  오픈 소스 ROS 2 소프트웨어 프레임워크를 기반으로 구축된 엔비디아 아이작 ROS는 로보틱스 개발을 위한 가속 컴퓨팅 패키지와 AI 모델의 모음이다. 곧 출시될 3.2 버전은 로봇의 인식, 조작, 환경 매핑을 향상시킨다. 엔비디아 아이작 매니퓰레이터(Isaac Manipulator)의 주요 개선 사항에는 파운데이션포즈(FoundationPose)와 cu모션(cuMotion)을 통합하는 새로운 레퍼런스 워크플로가 포함된다. 이는 로보틱스에서 픽앤플레이스(pick-and-place)와 객체 추적 파이프라인의 개발을 가속화한다. 아울러 엔비디아 아이작 퍼셉터(Isaac Perceptor)도 개선됐다. 이는 새로운 시각적 SLAM 레퍼런스 워크플로, 향상된 다중 카메라 감지, 3D 재구성을 특징으로 자율 주행 로봇(autonomous mobile robot, AMR)의 환경 인식과 창고와 같은 동적인 환경에서의 성능을 개선한다.