인텔은 메타(Meta)의 최신 LLM(대규모 언어 모델)인 라마 3.1(Llama 3.1)에 데이터센터, 에지 및 클라이언트 AI 제품 전반에 걸친 성능 데이터 및 최적화를 제공한다고 밝혔다. 인텔은 ‘AI 에브리웨어’ 전략을 위해 AI 소프트웨어 생태계에 지속적으로 투자하고 있으며, 새로운 모델이 인텔의 AI 하드웨어에 최적화되도록 보장하고 있다. 메타는 지난 4월 라마 3 출시에 이어, 7월에는 현재까지 가장 성능이 뛰어난 모델인 라마 3.1을 출시했다. 라마 3.1은 공개적으로 사용 가능한 가장 큰 파운데이션 모델인 라마 3.1 405B(4천 50억개 모델)를 포함해 다양한 규모와 기능에서 여러 새로운 업데이트 모델을 제공한다. 이 새로운 모델들은 파이토치(PyTorch) 및 인텔 파이토치 익스텐션(Intel Extension for PyTorch), 딥스피드(DeepSpeed), 허깅 페이스 옵티멈 라이브러리(Hugging Face* Optimum libraries), vLLM 등 개방형 생태계 소프트웨어를 통해 인텔 AI 제품에서 활성화 및 최적화된다. 또한 생태계 전반에서 최고의 혁신을 활용하는 개방형, 멀티 벤더, 강력하고 컴포저블한 생성형 AI 솔루션을 만들기 위한 LF AI 및 데이터 재단(LF AI & Data Foundation)의 새로운 오픈 플랫폼 프로젝트인 OPEA(Open Platform for Enterprise AI) 역시 이 모델들을 지원한다. 라마 3.1 다국어 LLM 컬렉션은 8B, 70B, 405B 크기(텍스트 인/텍스트 아웃)의 사전 학습 및 조정(인스트럭션 튜닝)된 생성 모델 컬렉션으로, 모든 모델은 8개 구술어에 걸쳐 긴 컨텍스트 길이(128k)를 지원한다. 라마 3.1 405B는 일반 지식, 조작성, 수학, 도구 사용 및 다국어 번역에 있어 최첨단 기능을 갖추고 있다. 이를 통해 커뮤니티는 합성 데이터 생성 및 모델 증류(model distillation)와 같은 새로운 기능을 활용할 수 있게 될 것이다. 한편, 인텔은 생성형 AI 및 대형 언어 모델(LLM)의 고성능 가속을 위한 가우디(Intel Gaudi) 가속기 및 일반 컴퓨팅의 유비쿼터스 백본 역할을 하는 인텔 제온(Intel Xeon) 프로세서, 클라이언트와 에지에서 높은 온디바이스 AI 추론 성능을 제공하는 인텔 코어 울트라(Intel Core Ultra) 프로세서 및 인텔 아크(Intel Arc) 그래픽이 탑재된 AI PC를 포함해 인텔 AI 제품 포트폴리오 상에서의 라마 3.1 모델 초기 성능 측정 결과를 소개했다.   ▲ 16대의 인텔 가우디 가속기 상에서의 라마 3.1 405B 추론 결과   ▲ 5세대 인텔 제온 스케일러블 프로세서 상에서의 라마 3.1 추론 지연 시간   ▲ 인텔 아크 GPU가 내장된 인텔 코어 울트라 7 165H 기반의 AI PC에서 라마 3.1 추론 다음 토큰 대기 시간

개발 및 공급 : 지멘스 EDA 사업부 주요 특징 : 하드웨어 에뮬레이션·엔터프라이즈 프로토타이핑· 소프트웨어 프로토타이핑을 통합, IC 검증 주기 가속화 및 총 소요 비용의 절감 지원, 모든 플랫폼에서 재사용 가능한 소프트웨어로 전체 시스템 워크로드 실행 및 디버그 시간을 가속화, 모듈식 확장형 상호 연결 블레이드 풋프린트로 고정된 크기의 섀시 제거 및 다양한 크기의 설계에 하드웨어 기반 검증 툴 제공 등     지멘스 디지털 인더스트리 소프트웨어, 지멘스 EDA 사업부는 하드웨어 기반 인증 및 검증 시스템(hardware-assisted verification and validation system)인 벨로체 CS(Veloce CS)를 출시했다. EDA(전자 설계 자동화) 분야의 하드웨어 에뮬레이션, 엔터프라이즈 프로토타이핑 및 소프트웨어 프로토타이핑을 통합한 벨로체 CS 는 에뮬레이션을 위해 제작된 지멘스의 새로운 크리스탈 가속기 칩(Crystal accelerator chip)과 엔터프라이즈 및 소프트웨어 프로토타이핑을 위한 AMD Versal Premium VP1902 FPGA adaptive SoC(시스템 온 칩) 등 두 가지 첨단 집적 회로(IC)를 기반으로 구축되었다.   신규 하드웨어 솔루션 제공 벨로체 CS 솔루션에는 다음의 세 가지 새로운 제품이 포함된다. 에뮬레이션용 벨로체 스트라토 CS 하드웨어(Veloce Strato CS hardware for emulation) 엔터프라이즈 프로토타이핑을 위한 벨로체 프리모CS 하드웨어(Veloce Primo CS hardware for enterprise prototyping) 소프트웨어 프로토타이핑을 위한 벨로체 proFPGA CS 하드웨어(Veloce proFPGA CS hardware for software prototyping) 세 플랫폼 모두에서 일관성, 속도 및 모듈성을 위해 설계된 벨로체 CS 시스템은 4000만 개의 게이트부터 최대 400억 개 이상의 게이트를 통합하는 설계까지 지원한다. 또한 벨로체 CS는 각 작업마다 고유한 요구 사항이 있는 작업에 적합한 툴을 선택하여, 가시성과 일관성을 제공하면서 전체 시스템 워크로드를 실행한다. 이를 통해 프로젝트 완료 시간을 단축하고 검증 주기당 비용을 절감할 수 있다.   새로운 소프트웨어 아키텍처 지멘스는 주요 고객 및 파트너와 협력하여 하드웨어와 완전히 통합되는 새로운 소프트웨어 아키텍처를 개발했다. 벨로체 스트라토 CS(Veloce Strato CS)는 벨로체 스트라토에 비해 에뮬레이션 성능이 최대 5배까지 향상되어 완전한 가시성을 유지하며 4000만 게이트(MG)에서 400억 개 이상의 게이트(BG)로 확장할 수 있다. AMD의 최신 버설 프리미엄(Versal Premium) VP1902 FPGA를 기반으로 하는 벨로체 프리모 CS(Veloce Primo CS)는 정합적인 엔터프라이즈 프로토타이핑 시스템으로, 역시 40MG에서 40+BG까지 확장할 수 있다. 벨로체 스트라토 CS와 벨로체 프리모 CS 솔루션은 모두 동일한 운영 체제에서 실행되므로, 플랫폼 간에 원활하게 이동할 수 있는 자유도를 제공하면서 높은 정합성을 제공한다. 따라서 램프업(ramp up), 설정 시간, 디버그 및 워크로드 실행을 가속화할 수 있다. 벨로체 proFPGA CS는 AMD 버설 프리미엄 VP1902 FPGA 기반 적응형 SoC를 활용하여 빠르고 포괄적인 소프트웨어 프로토타이핑 솔루션을 제공하며, 하나의 FPGA에서 수백 개까지 확장할 수 있다. 이런 성능은 유연한 모듈식 설계와 함께 고객이 펌웨어, 운영 체제, 애플리케이션 개발 및 시스템 통합 작업을 가속화할 수 있도록 지원한다.   반도체 개발 검증을 위한 포괄적 솔루션 포트폴리오 제공 전체 벨로체 CS 시스템은 간편한 설치, 저전력, 뛰어난 냉각, 컴팩트한 설치 공간을 위해 최신 데이터센터 요구 사항을 준수하는 모듈식 블레이드 구성으로 제공된다. 또한 벨로체 proFPGA CS 솔루션은 데스크톱 랩 버전을 제공하여 추가적인 사용자의 유연성을 높여준다. 벨로체 CS는 최신 AMD 에픽(EPYC) CPU 기반의 HP DL385g11 서버와 함께 실행할 수 있는 인증을 받았다. AMD의 알렉스 스타(Alex Starr) 기업 연구원은 “지난 10년 동안 SoC 및 시스템 레벨 설계의 발전으로 인해 하드웨어 기반 검증 작업이 그 어느 때보다 더 필요해지고 중요해지는 많은 변화가 있었다”고 말하며, “우리는 성능과 확장성을 향상시키기 위해 지멘스와 긴밀히 협력하여 AMD의 선도적인 버설 프리미엄 VP1902 장치를 벨로체 프리모 CS 및 벨로체 proFPGA CS 시스템의 핵심에 통합하고, 전체 벨로체 CS 시스템에서 사용할 수 있도록 AMD 에픽 CPU 기반 HP DL385 gen11 서버를 인증해왔다. 벨로체 스트라토 CS 에뮬레이션 플랫폼을 포함한 벨로체 CS 시스템은 지멘스가 고객의 요구에 어떻게 대응하고 있는지 보여주고 벨로체 그룹에서 일어나고 있는 혁신의 증거”라고 말했다. 고객은 포괄적인 앱 및 솔루션 포트폴리오를 이용할 수 있으며, 세 가지 새로운 벨로체 CS 시스템 제품 모두에서 공통적으로 사용할 수 있다. 벨로체 스트라토 CS 시스템은 현재 일부 파트너 고객에게 제공된다. 세 가지 하드웨어 플랫폼의 일반 출시는 2024년 여름으로 예정되어 있다. 벨로체 CS 시스템은 클라우드 지원과 함께 일반 출시될 예정이다. Arm의 트랜 누웬(Tran Nguyen) 설계 서비스 수석 디렉터는 “시장 출시에 소요되는 기간은 전체 Arm 파트너 에코시스템에 매우 중요하며, IP 및 SoC 검증을 위한 모듈성, 세분성, 속도를 제공하는 툴의 필요성이 강조되고 있다”고 말하며, “지멘스의 벨로체 플랫폼은 Arm 개발 프로세스의 필수적인 부분이 되었으며, 하드웨어 설계 가속화 및 소프트웨어 개발을 위한 새로운 벨로체 스트라토 CS 시스템의 이점을 계속 확인하고 있다”고 말했다. 지멘스 디지털 인더스트리 소프트웨어의 장 마리 브루넷(Marie Brunet) 하드웨어 기반 검증 부문 부사장 겸 총괄 매니저는 “벨로체 CS는 세 가지 시스템이 일치하는 고속 모듈식 하드웨어 기반 검증 시스템을 제공한다”고 말하며, “벨로체 CS 시스템을 통해 우리는 진보된 전자 제품을 제공하는 데 필수적인 역할을 하는 하드웨어, 소프트웨어 및 시스템 엔지니어의 특정 요구 사항을 해결하고 있다. 작업에 적합한 툴을 제공함으로써 전체 검증 프로세스의 속도를 높이고 총 소요 비용을 절감하여 수익성을 높일 수 있는 벨로체 CS의 혁신을 실현하고 있다”고 말했다.     ■ 기사 내용은 PDF로도 제공됩니다.

아마존웹서비스(AWS)가 연례 클라우드 기술 콘퍼런스인 ‘AWS 서밋 서울 2024(AWS Summit Seoul 2024)’를 5월 16~17일 진행했다. 이번 AWS 서밋에서는 생성형 AI와 클라우드 분야의 기술 혁신과 미래 비전에 관한 내용이 소개됐다. ■ 정수진 편집장     AWS는 10주년을 맞은 이번 행사에 10만 명 이상이 참석했다고 밝혔다. 이틀 동안 진행된 AWS 서밋에서는 다양한 산업 분야와 기술 주제에 대한 100여 개 이상의 강연이 진행됐으며, 생성형 AI 솔루션 데모 및 산업별 클라우드 활용 관련 세션과 데모가 선보였다. AWS코리아의 함기호 대표이사는 개회사에서 “AWS는 국내 AWS 리전에 200개 이상의 서비스를 출시하는 등 지난 15년간 국내에 투자를 이어오면서, 다양한 산업 분야에서 혁신 기업 고객을 지원해 왔다. 앞으로도 국내 기업을 위한 클라우드를 제공하면서 이들의 혁신을 뒷받침할 것”이라고 소개했다. 또한, 생성형 AI 혁신을 주도하기 위한 앤트로픽(Anthropic)과의 전략적 파트너십에 대해서도 소개했다. 앤트로픽은 대화형 인공지능인 클로드(Claude)를 AWS의 생성형 AI 애플리케이션 구축 서비스인 아마존 베드록(Amazon Bedrock)에 제공하며, AI 연구개발과 모델 구축/배포에 AWS의 서비스와 프로세서를 사용한다. 또한 AWS는 앤트로픽에 대규모 투자를 진행할 예정이다.   혁신을 위한 인공지능 기술의 장벽 허문다 AWS의 프로페셔널 서비스 및 생성형 AI 혁신센터를 총괄하는 프란체스카 바스케즈(Francessca Vasquez) 부사장은 AWS 서밋 첫째 날 기조연설에서 생성형 AI를 통한 비즈니스 혁신 방법에 대해 소개했다. 바스케즈 부사장은 “디지털 기술 혁신은 새로운 가능성을 열어왔다. 클라우드 컴퓨팅은 다양한 기업이 비즈니스를 개발하고 확장할 수 있도록 지원했고, AWS는 네트워크, 스토리지, 데이터베이스, 컴퓨팅 등의 서비스를 제공하면서 클라우드 기술에 대한 접근성을 높여왔다”고 설명했다. 클라우드 다음의 혁신 기술로 AWS는 인공지능에 주목하고 있다. 작년에 특히 두드러진 생성형 AI의 발전은 데이터를 해석하고 상호작용하는 방법을 완전히 바꿔놓았으며, 제품을 개발하고 비즈니스를 개척하는 방식을 근본적으로 변화시켰다는 것이 바스케즈 부사장의 설명이다. 그는 “AWS는 업무 효율뿐 아니라 복잡한 추론 작업의 자동화를 위해 AI 기술의 장벽을 허물도록 지원하고자 한다”고 전했다.   ▲ 생성형 AI를 위한 AWS의 포괄적 기술 스택   생성형 AI 위한 포괄적 기술 지원 많은 기업이 생성형 AI에 주목하고 있지만, 한편으로 생성형 AI를 도입하는 과정에서 어려움을 겪고 있다. 이를 지원하기 위해 AWS는 ▲파운데이션 모델의 훈련 및 추론을 위한 인프라 ▲파운데이션 모델 및 LLM(대규모 언어 모델) 기반 애플리케이션 개발 플랫폼 ▲파운데이션 모델 및 LLM의 활용을 위한 애플리케이션 등 생성형 AI를 위한 포괄적인 기술을 제공한다.   파운데이션 모델 훈련·추론 인프라 AWS는 자사 클라우드에서 엔비디아 H100 GPU를 제공하고, GPU의 운영을 최적화하도록 지원한다. 그리고 프로젝트 세이바(Project Ceiba)를 통해 엔비디아 GPU를 탑재한 AI 슈퍼컴퓨터를 구축하고 있다. 한편으로 AWS는 AI 맞춤형 칩셋의 자체 개발도 진행 중이다. 여기에는 기계학습 가속기인 트레이니움(AWS Trainium)과 딥러닝/생성형 AI 추론 애플리케이션을 위한 가속기인 인퍼런시아(AWS Inferentia) 등이 있는데, AWS는 이를 통해 AI 학습과 추론에 드는 비용을 줄이면서 성능과 에너지 효율을 높일 수 있을 것으로 기대하고 있다.   파운데이션 모델·LLM 기반 앱 개발 플랫폼 완전 관리형 서비스인 아마존 베드록(Amazon Bedrock)은 다양한 파운데이션 모델(FM)을 API를 통해 사용할 수 있게 해 준다. 사용자는 베드록이 제공하는 모델 평가 도구를 활용해 목적에 맞는 고성능 FM을 선택할 수 있다. 베드록에서 제공하는 미세 조정(fine-tuning), 검색 증강 생성(RAG) 등의 기능 세트와 보안 기능은 기업이 자체 데이터를 이용하여 비즈니스 관련 애플리케이션을 안전하게 구축할 수 있도록 돕는다. 바스케즈 부사장은 “현대의 모든 비즈니스는 데이터 비즈니스라고 할 수 있다. AWS는 포괄적인 데이터 서비스 세트를 제공하며, 데이터의 활용을 극대화하기 위한 클라우드 활용 방안을 제시한다. 그리고 베드록을 통해 맞춤화된 엔터프라이즈 데이터를 활용한 앱 개발을 지원한다”고 소개했다.   파운데이션 모델·LLM 활용 앱 AWS의 생성형 AI 기반 어시스턴트인 아마존 Q(Amazon Q)는 다양한 비즈니스 요구에 대응해 최적화가 가능하다는 점을 내세운다. AI 코딩 어시스턴트인 아마존 Q 디벨로퍼(Amazon Q Developer)가 한 가지 사례이다.  아마존 Q는 애플리케이션의 개발부터 구축까지 모든 단계에서 효율을 높일 수 있도록 지원하며, 아마존 Q와 베드록은 개발자가 복잡한 생성형 AI 애플리케이션을 빠르고 효율적으로, 안전하게 구축할 수 있도록 돕는다.   ▲ AWS와 현대자동차는 클라우드로 자동차의 다양한 정보를 분석하고, 생성형 AI로 새로운 콘텐츠를 제안해 주는 기술 데모를 선보였다.   클라우드/AI 활용한 산업 혁신 사례와 인사이트 소개 이틀 간 진행된 이번 AWS 서밋의 기조연설에서는 우아한형제들의 송재하 CTO, SK텔레콤의 정석근 AI 사업 총괄, 인프랩의 이동욱 CTO, 카카오페이증권의 조지훈 실장, 샌드버드의 구정진 CTO 등이 AWS 기술에 기반한 혁신 사례에 대해 소개했다. 그리고 아마존의 워너 보겔스(Werner Vogels) CTO와 맷 우드(Matt Wood) AI 서비스 부사장이 온라인 대담을 통해 클라우드 및 AI 기술에 대한 인사이트를 공유했다. 강연 세션에서는 기술 트렌드와 함께 제조/하이테크, 금융/핀테크, 통신/미디어 및 엔터테인먼트, 유통/소비재 상품 등 산업분야별로 비즈니스 트렌드 및 기술 활용 사례가 소개됐다. 이 중 제조/하이테크 분야에서는 ▲현대자동차의 실시간 차량 데이터 수집과 활용을 통한 인포테인먼트 진화 ▲GS에너지의 AI 전략 및 통합 분석 플랫폼 ▲두산디지털이노베이션의 AI 및 머신러닝을 활용한 설비 관리 전략 ▲한화큐셀의 가상 파워 플랜트 플랫폼 구축 ▲인코어드의 에너지 솔루션 고도화 등 AWS 기술 활용 사례가 발표됐다.     ■ 기사 내용은 PDF로도 제공됩니다.

AMD가 컴퓨텍스 2024 개막 기조연설에서 데이터 센터 및 PC에 이르기까지 엔드 투 엔드 AI 인프라를 지원하는 자사의 새로운 CPU, NPU 및 GPU 아키텍처를 공개했다.  AMD는 확장된 AMD 인스팅트(AMD Instinct) 가속기 로드맵을 공개하고 2024년 4분기 출시 예정인 인스팅트 MI325X 가속기를 포함한 AI 가속기 개발 계획을 소개했다. AMD는 5세대 AMD 에픽(AMD EPYC) 서버 프로세서도 발표했다. 이는 높은 성능과 효율성을 갖춘 제품으로, 2024년 하반기 출시를 목표로 하고 있다. 이와 함께 AMD는 AI 지원 모바일 프로세서의 3세대 제품인 AMD 라이젠 (AMD Ryzen) AI 300 시리즈와 노트북 및 데스크톱 PC용 라이젠 9000 시리즈 프로세서도 공개했다. AMD는 여러 세대에 걸친 가속기 로드맵을 공개했으며, 생성형 AI의 연간 주기에 따른 향후 성능 개발 및 메모리 탑재 등의 계획을 설명했다. 확장된 로드맵에는 2024년 4분기에 출시되는 AMD 인스팅트 MI325X 가속기도 포함되어 있는데, 이 제품은 288GB의 초고속 HBM3E 메모리를 탑재할 예정이다. 2025년 출시가 예상되는 차세대 AMD CDNA 4 아키텍처는 AMD 인스팅트 MI350 시리즈에 활용되며, 기존 AMD CDNA 3가 탑재된 AMD 인스팅트 MI300 시리즈 대비 최대 35배 향상된 AI 추론 성능을 제공할 전망이다. 또한, 지속적 성능 및 기능 개선을 통해 2026년 출시 계획인 MI400 시리즈 가속기에는 CDNA ‘넥스트(Next)’ 아키텍처를 활용할 계획이다.     리사 수 CEO는 마이크로소프트, HP, 레노버, 에이수스 등의 경영진과 함께 3세대 AMD 라이젠 AI 300 시리즈 프로세서 및 AMD 라이젠 9000 시리즈 데스크톱 프로세서로 구동되는 새로운 PC 경험에 대해 설명했다. 그리고 슈퍼컴퓨터와 클라우드에서 PC에 이르기까지 높은 성능과 에너지 효율 제공을 염두에 두고 개발된 차세대 ‘젠 5’ CPU 코어에 대한 정보를 공개했다. 또한, 생성형 AI 워크로드에서 50 TOPs의 AI 연산 성능, 이전 세대 대비 최대 2배의 예상 전력 효율성을 제공하는 AMD XDNA 2 NPU 코어 아키텍처를 발표했다. 한편, 이번 컴퓨텍스 기조 연설에서 AMD는 자사의 AI 및 적응형 컴퓨팅 기술이 어떻게 에지 AI 혁신의 차세대 물결을 이끌어 나가고 있는지 설명했다. AMD는 전체 에지 AI 애플리케이션 가속화에 필요한 모든 IP를 결합할 수 있는 기업이라는 점을 내세운다. 새로운 AMD 버설 AI 에지(AMD Versal AI Edge) 시리즈의 2세대 제품은 실시간 프리-프로세싱을 위해 프로그래밍 가능한 FPGA 로직, 효율적인 AI 추론을 위한 XDNA 기술 기반 차세대 AI 엔진, 포스트-프로세싱을 위한 임베디드 CPU를 결합하여 고성능을 갖춘 단일 칩 기반의 적응형 솔루션을 에지 AI 환경에 제공한다. AMD의 리사 수(Lisa Su) CEO는 “최근 AI 도입의 가속화로 인해 AMD의 고성능 컴퓨팅 플랫폼에 대한 수요가 증가하고 있다. 이번 컴퓨텍스에서 차세대 라이젠 데스크톱 및 노트북 프로세서 기반 제품을 출시할 마이크로소프트, HP, 레노버, 에이수스 등 전략적 파트너들과 함께 하게 되어 자랑스럽다. 또한, 차세대 에픽 프로세서의 선도적인 성능을 미리 공개하고, 향후 AMD 인스팅트 AI 가속기의 로드맵을 발표하게 되어 기쁘다”고 밝혔다.

지멘스 디지털 인더스트리 소프트웨어, 지멘스 EDA 사업부는 애플리케이션별 집적 회로(ASIC) 및 시스템 온 칩(SoC)에서 신경망 가속기의 상위수준합성(HLS) 솔루션인 캐터펄트 AI NN(Catapult AI NN)을 발표했다.  캐터펄트 AI NN은 AI 프레임워크에서 신경망 기술(neural network description)에서 시작하여 C++로 변환하고, 이를 반도체칩 설계의 프로그램 언어인 베릴로그(Verilog) 또는 VHDL의 RTL(register transfer level) 가속기로 합성하여 실리콘에서 전력, 성능 및 면적(PPA)에 최적화된 하드웨어 설계를 변환 및 최적화시켜 구현할 수 있도록 지원하는 솔루션이다. 캐터펄트 AI NN은 머신 러닝 하드웨어 가속을 위한 오픈 소스 패키지인 hls4ml과 상위수준합성(HLS)을 위한 지멘스의 캐터펄트 HLS 소프트웨어를 결합시켰다. 캐터펄트 AI NN은 미국 에너지부 산하 연구소인 페르미연구소(Fermilab) 및 기타 hls4ml의 주요 기여자들과 협력하여 개발되었으며, 맞춤형 실리콘의 전력, 성능 및 면적에 대한 머신러닝 가속기 설계의 고유한 요구 사항을 해결한다.     AI(인공지능)의 실행시간 및 머신러닝 작업이 기존 데이터센터는 물론, 소비자 가전부터 의료 기기까지 모든 분야로 이전됨에 따라, 전력 소비를 최소화하고 비용을 절감하며 최종 제품의 차별화를 극대화하기 위한 ‘적절한 크기의’ AI 하드웨어에 대한 요구가 빠르게 증가하고 있다. 그러나 대부분의 머신러닝 전문가들은 합성 가능한 C++, Verilog 또는 VHDL보다는 텐서플로우(TensorFlow), 파이토치(PyTorch), 케라스(Keras)와 같은 반도체칩 설계 프로그램 언어 도구로 작업하는 것이 더 익숙하다. AI 전문가가 적절한 크기의 ASIC 또는 SoC 구현으로 머신러닝 애플리케이션을 가속화할 수 있는 간편한 방법이 지금까지는 없었다. 머신러닝 하드웨어 가속을 위한 오픈 소스 패키지인 hls4ml를 사용하면 텐서플로우와 파이토치, 케라스 등과 같은 AI 프레임워크에 기술된 신경망에서 C++를 생성하여 이러한 간극을 매울 수 있다. 그런 다음 C++를 FPGA, ASIC 또는 SoC 구현을 위해 배포할 수 있다. 캐터펄트 AI NN은 hls4ml의 기능을 ASIC 및 SoC 설계로 확장한다. 여기에는 ASIC 설계에 맞게 조정된 특별한 C++ 머신 러닝 함수의 전용 라이브러리가 포함되어 있다. 설계자는 이러한 함수를 사용하여 C++ 코드로 구현함에 있어 지연 시간 및 리소스 절충을 통해 PPA를 최적화할 수 있다. 또한 설계자는 이제 다양한 신경망 설계의 영향을 평가하고 하드웨어에 가장 적합한 신경망 구조를 결정할 수 있다.  캐터펄트 AI NN은 현재 얼리 어댑터들이 사용 가능하며, 2024년 4분기에 모든 사용자가 사용할 수 있게 될 예정이다. 지멘스 디지털 인더스트리 소프트웨어의 모 모바헤드(Mo Movahed) 상위수준설계, 검증 및 전력 부문 부사장 겸 총괄 매니저는 “소프트웨어 신경망 모델을 하드웨어로 구현하기 위해 수작업으로 변환하는 과정은 매우 비효율적이고 시간이 많이 걸리며 오류가 발생하기 쉽다. 특히 특정 성능, 전력 및 면적에 맞춘 하드웨어 가속기의 변형을 만들고 검증할 때 더욱 그렇다”면서,  “과학자와 AI 전문가가 신경망 모델 설계와 같은 산업 표준 AI 프레임워크를 활용하고 이러한 모델을 전력, 성능 및 면적(PPA)에 최적화된 하드웨어 설계를 위해 원활하게 합성할 수 있도록 지원함으로써 AI 및 머신러닝 소프트웨어 엔지니어에게 완전히 새로운 가능성의 영역을 개척하고 있다. 새로운 캐터펄트 AI NN 솔루션을 통해 개발자는 소프트웨어 개발 과정에서 최적의 PPA를 위한 신경망 모델을 자동화하고 동시에 구현할 수 있어 AI 개발의 효율성과 혁신의 새로운 시대를 열 수 있다”고 전했다.

AMD는 ‘마이크로소프트 빌드(Microsoft Build)’ 콘퍼런스에서 마이크로소프트 고객 및 개발자를 위한 최신 엔드투엔드 컴퓨팅 및 소프트웨어 기능을 공개했다. 마이크로소프트는 AMD 인스팅트(AMD Instinct) MI300X 가속기, ROCm 개방형 소프트웨어, 라이젠(Ryzen) AI 프로세서 및 소프트웨어와 알베오(Alveo) MA35D 미디어 가속기 등 AMD의 솔루션을 통해 광범위한 시장에 걸쳐 AI 기반을 구축할 수 있는 툴을 지원한다. 마이크로소프트의 새로운 애저(Azure) ND MI300X 가상머신(VM)은 현재 공식 출시되었으며, 까다로운 AI 워크로드를 처리해야 하는 허깅 페이스(Hugging Face)와 같은 고객에게 높은 성능과 효율성을 제공한다. 2023년 11월 프리뷰로 발표된 애저 ND MI300x v5 가상머신 시리즈는 고객들이 AI 워크로드를 실행할 수 있도록 캐나다 중부 지역에 공식 배포되고 있다. 최상급의 성능을 제공하는 이러한 가상머신은 높은 HBM 용량과 메모리 대역폭을 제공함으로써 고객들이 GPU 메모리에 더 큰 모델을 탑재하거나 더 적은 GPU를 이용해 궁극적으로 전력, 비용 및 솔루션 구현 시간을 절감할 수 있도록 지원한다. 또한, 이러한 가상머신과 이를 지원하는 ROCm 소프트웨어는 애저 오픈AI 서비스를 비롯한 애저 AI 프로덕션 워크로드에도 사용되고 있어, 고객들이 GPT-3.5 및 GPT-4 모델에 액세스할 수 있도록 지원한다. 마이크로소프트는 AMD 인스팅트 MI300X와 ROCm 개방형 소프트웨어 스택을 통해 GPT 추론 워크로드에서 높은 수준의 가격 대비 성능을 달성했다고 설명했다.   ▲ AMD 인스팅트 MI300X   한편, AMD 라이젠 AI 소프트웨어는 개발자들이 AMD 라이젠 AI 기반 PC에서 AI 추론을 최적화하고 구축할 수 있도록 지원한다. 라이젠 AI 소프트웨어를 이용하면 AI 전용 프로세서인 AMD XDNA 아키텍처 기반 신경망 처리장치(NPU)를 통해 애플리케이션을 실행할 수 있다. AI 모델을 CPU 또는 GPU에서만 실행하면 배터리가 빠르게 소모될 수 있지만, 라이젠 AI 기반 노트북은 임베디드 NPU을 활용해 AI 모델이 구동하기 때문에 CPU 및 GPU 리소스를 다른 컴퓨팅 작업에 활용할 수 있다. 이를 통해 배터리 수명을 늘리는 것은 물론, 개발자가 온디바이스 LLM AI 워크로드와 애플리케이션을 로컬에서 동시에 효율적으로 실행할 수 있다. 4세대 AMD 에픽 프로세서는 애저에서 사용되는 범용 가상머신을 비롯해 메모리 집약적, 컴퓨팅 최적화 및 가속 컴퓨팅 가상머신 등 수많은 솔루션을 지원하고 있다. 이러한 가상머신은 클라우드 분야에서 AMD 에픽 프로세서의 성장 및 수요 증가를 이끌고 있으며, 더욱 향상된 가격 대비 성능으로 범용 및 메모리 집약적 가상머신의 성능을 최대 20%까지 향상시키는 것은 물론, 애저를 지원하는 이전 세대 AMD 에픽 프로세서 기반 가상머신에 비해 컴퓨팅 최적화 가상머신에 대한 CPU 성능을 최대 2배까지 높일 수 있다. 프리뷰로 공개되었던 Dalsv6, Dasv6, Easv6, Falsv6 및 Famsv6 가상머신 시리즈는 향후 수개월 이내에 정식 공급될 예정이다. AMD의 빅터 펭(Victor Peng) 사장은 “AMD 인스팅트 MI300X 및 ROCm 소프트웨어 스택은 세계에서 가장 까다로운 AI 워크로드 중 하나인 애저 오픈AI(OpenAI) 챗GPT(Chat GPT) 3.5 및 4 서비스를 지원하고 있다”면서, “애저의 새로운 가상머신이 공식 출시됨에 따라 AI 고객들이 더욱 폭넓게 MI300X에 액세스하여 AI 애플리케이션을 위한 고성능, 고효율의 솔루션을 활용할 수 있게 되었다”고 밝혔다. 마이크로소프트의 최고기술책임자인 케빈 스콧(Kevin Scott) AI 부문 수석 부사장은 “마이크로소프트와 AMD는 PC를 시작으로, 엑스박스(Xbox)용 맞춤형 실리콘과 HPC, 현재의 AI에 이르기까지 여러 컴퓨팅 플랫폼에 걸쳐 다양한 파트너십을 이어오고 있다”면서, “최근에는 놀라운 AI 성능과 가치를 제공하기 위해 강력한 컴퓨팅 하드웨어와 최적화된 시스템 및 소프트웨어의 결합이 중요하다는 점에 주목했다. 우리는 마이크로소프트의 AI 고객 및 개발자들이 최첨단 컴퓨팅 집약적인 프론티어 모델에 대해 탁월한 가격 대비 성능 결과를 달성할 수 있도록 AMD의 ROCm 및 MI300X를 이용했다. 앞으로도 AI 발전을 가속화하기 위해 AMD와의 협력에 주력할 것”이라고 말했다.

인텔은 연말 시즌을 겨냥해 2024년 3분기에 차기 클라이언트 프로세서(코드명 루나 레이크)를 20개 OEM 사의 80여개 이상 신규 랩톱 모델에 탑재하고, 코파일럿플러스(Copilot+) PC에 AI 성능을 제공한다고 발표했다. 루나 레이크는 출시 후 업데이트를 통해 리콜(Recall)과 같은 코파일럿플러스 기능을 제공할 예정이다. 인텔은 인텔 코어 Ultra(Intel Core Ultra) 프로세서에 루나 레이크까지 추가함으로써, 올해 4000만 대 이상의 AI PC 프로세서를 출하할 계획이다. AI PC에는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 신경 처리 장치(NPU)가 있으며, 각각 특정 AI 가속 기능을 갖추고 있다. NPU는 클라우드에서 처리할 데이터를 전송하는 대신 PC에서 바로 AI 및 머신러닝(ML) 작업을 효율적으로 처리하는 전문 가속기이다. PC에서 작업을 자동화, 간소화, 최적화해야 할 필요성이 커짐에 따라 AI PC의 중요성이 점점 더 커지고 있다.     인텔은 루나 레이크가 이전 세대 대비 3배 이상 향상된 AI 성능을 갖춘 AI PC용 모바일 프로세서가 될 것으로 기대하고 있다. 이 차세대 프로세서는 40 NPU TOPS(초당 테라 연산) 이상으로 코파일럿플러스 경험에 필요한 성능을 제공할 것이다. 루나 레이크는 향상된 NPU 성능 외에도 60 GPU TOPS 및 100 플랫폼 TOPS 이상을 지원할 수 있다. AI에 대한 포괄적 접근 방식에는 하드웨어 혁신과 함께 소프트웨어 지원 인프라가 필요하다. 인텔은 AI PC 가속화 프로그램의 일환으로 100개 이상의 독립 소프트웨어 공급업체(ISV)와 협력하여 개인 비서, 오디오 효과, 콘텐츠 제작, 게임, 보안, 스트리밍, 비디오 협업 등을 위한 AI PC 경험을 향상하고 있다고 밝혔다. 마이크로소프트의 파반 다불루리(Pavan Davuluri) 윈도우+디바이스 부문 코퍼레이트 부사장은 “루나 레이크의 출시는 인텔과의 긴밀한 공동 엔지니어링 파트너십에 힘입어 보안, 배터리 수명 등 여러 측면에서 의미 있는 근본적인 개선을 가져올 것이다. 루나 레이크가 출시되면 시장에 40 이상 TOPS NPU 성능으로 마이크로소프트 코파일럿플러스 경험을 대규모로 제공할 수 있게 될 것으로 큰 기대를 하고 있다”고 밝혔다. 인텔의 미셸 존스턴 홀타우스(Michelle Johnston Holthaus) 클라이언트 컴퓨팅 그룹 총괄 수석 부사장은 “획기적인 전력 효율성, x86 아키텍처의 신뢰할 수 있는 호환성, 업계에서 가장 심층적인 CPU, GPU 및 NPU 지원 소프트웨어 구현을 통해 인텔은 루나 레이크 및 코파일럿플러스와 함께 역사상 가장 경쟁력 있는 공동 클라이언트 하드웨어 및 소프트웨어 제품을 제공할 것”이라고 밝혔다.  

슈퍼마이크로컴퓨터가 ‘국제 슈퍼컴퓨팅 컨퍼런스(ISC 2024)’에 참가해 데이터센터 전력 소모량 감축과 동시에 AI 및 HPC 용량 확장을 목표로 할 때 직면하는 까다로운 요구사항을 충족할 수 있는 방안을 발표했다.   슈퍼마이크로는 콜드 플레이트, CDU, CDM, 냉각탑 전체 등을 포함한 수냉식 냉각 솔루션을 제공한다. 데이터센터에 수냉식 냉각 서버 및 인프라를 도입할 경우 데이터센터의 PUE가 크게 감소해 총 전력 소비량을 최대 40%까지 줄일 수 있다.   슈퍼마이크로 애플리케이션에 최적화된 고성능 서버는 높은 성능의 CPU 및 GPU를 탑재해 시뮬레이션, 데이터 분석 및 머신러닝에 적합하다. 슈퍼마이크로 4U 8-GPU 수냉식 냉각 서버는 엔비디아 H100/H200 HGX GPU를 통해 집적도가 높은 폼팩터에서 페타플롭스(PetaFlops) 수준의 AI 컴퓨팅 성능을 제공한다. 슈퍼마이크로는 곧 수냉식 X14 8U/6U 슈퍼블레이드, 랙마운트 X14 하이퍼, 그리고 슈퍼마이크로 X14 빅트윈을 출시할 예정이다. 다양한 HPC 최적화 서버 플랫폼이 P 코어(성능 코어)를 탑재한 콤팩트 멀티 노드 폼팩터 형태로 인텔 제온 6900을 지원한다.   슈퍼마이크로는 광범위한 수냉식 냉각 MGX 제품 포트폴리오를 지속적으로 출시하고 있다. 최근에는 새로운 인텔 가우디 3 가속기 및 AMD MI300X 가속기와 함께 인텔의 최신 가속기 지원을 확정했다. 랙당 최대 120개의 노드를 제공하는 슈퍼마이크로 슈퍼블레이드를 사용하면 대규모 HPC 애플리케이션을 단 몇 개의 랙에서 실행할 수 있다. 슈퍼마이크로는 인텔 제온 6 프로세서를 통합한 슈퍼마이크로 X14 서버를 비롯해 다양한 제품군을 ISC 2024에서 선보였다.     한편, 슈퍼마이크로는 ISC 2024에서 HPC 및 AI 환경을 위해 설계된 다양한 솔루션을 선보였다. 슈퍼마이크로의 새로운 4U 8-GPU 수냉식 냉각 서버는 엔비디아 HGX H100 및 H200 GPU를 탑재한 대표적인 제품군이다. 해당 제품을 비롯한 다양한 서버들이 출시되는 대로 엔비디아 B200 HGX GPU를 지원할 예정이다. 새로운 시스템은 고급 GPU를 탑재했으며, 고속 HBM3 메모리를 사용해 기존 시스템보다 더 많은 데이터를 GPU에 보다 가까이 가져와 AI 훈련 및 HPC 시뮬레이션을 가속화한다.    또한, 슈퍼마이크로는 ISC 2024에서 인텔 가우디 3 AI 액셀러레이터를 탑재한 8U 서버를 소개했다. 이 신규 서버는 AI 훈련 및 추론을 위해 설계됐으며, 기존 이더넷 패브릭과 직접 연결될 수 있다. 모든 인텔 가우디 3 가속기에 24개의 200Gb 이더넷 포트가 통합돼 유연한 개방형 표준 네트워킹을 제공한다. 또한 128GB의 HBM2e 고속 메모리가 포함된다. 인텔 가우디 3 가속기는 단일 노드에서 수천 개의 노드까지 효율적으로 확장 및 추가될 수 있도록 설계됐다. 이로 인해 생성형 AI 모델의 까다로운 요구 사항의 충족이 가능하다. 슈퍼마이크로의 찰스 리앙(Charles Liang) CEO는 “슈퍼마이크로는 데이터센터에 종합 수냉식 냉각 솔루션과 같은 최신 기술을 도입하기 위해 AI 및 HPC 고객과 지속적으로 협력하고 있다”며, “슈퍼마이크로의 완전한 수냉식 냉각 솔루션은 랙당 최대 100kW를 처리할 수 있다. 이로 인해 데이터센터의 TCO(총 소유 비용) 감축과 AI 및 HPC 컴퓨팅의 집적도 향상이 가능하다. 당사는 빌딩 블록 아키텍처를 통해 최신 GPU와 가속기를 시장에 출시하고 있다. 또한, 새로운 랙 스케일 솔루션을 지속적으로 출시함으로써 고객에게 보다 신속하게 제품을 공급하고 있다. 이 프로세스는 검증된 공급업체와 함께 이루어진다”고 설명했다.

지멘스 디지털 인더스트리 소프트웨어, 지멘스 EDA 사업부는 하드웨어 기반의 인증 및 검증 시스템인 벨로체 CS(Veloce CS)를 출시했다. 하드웨어 에뮬레이션, 엔터프라이즈 프로토타이핑 및 소프트웨어 프로토타이핑을 통합한 벨로체 CS는 에뮬레이션을 위해 제작된 지멘스의 새로운 크리스탈 가속기 칩(Crystal accelerator chip)과 엔터프라이즈 및 소프트웨어 프로토타이핑을 위한 AMD 버설 프리미엄(Versal Premium) VP1902 FPGA adaptive SoC(시스템 온 칩) 등 두 가지 첨단 집적 회로(IC)를 기반으로 구축되었다. 벨로체 CS 솔루션에는 ▲ 에뮬레이션용 벨로체 스트라토 CS 하드웨어(Veloce Strato CS hardware for emulation) ▲ 엔터프라이즈 프로토타이핑을 위한 벨로체 프리모 CS 하드웨어(Veloce Primo CS hardware for enterprise prototyping) ▲ 소프트웨어 프로토타이핑을 위한 벨로체 proFPGA CS 하드웨어(Veloce proFPGA CS hardware for software prototyping) 등 세 가지 새로운 제품이 포함된다. 세 플랫폼 모두에서 일관성, 속도 및 모듈성을 위해 설계된 벨로체 CS 시스템은 4000만 개의 게이트부터 최대 400억 개 이상의 게이트를 통합하는 설계까지 지원한다. 또한 벨로체 CS는 각 작업마다 고유한 요구 사항이 있기 작업에 적합한 툴을 선택하여 향상된 가시성과 일관성으로 전체 시스템 워크로드를 실행한다. 이를 통해 프로젝트 완료 시간을 줄이고 검증 주기당 비용을 절감할 수 있다.     지멘스는 주요 고객 및 파트너와 협력하여 하드웨어와 완전히 통합되는 새로운 소프트웨어 아키텍처를 개발했다. 벨로체 스트라토 CS는 기존 벨로체 스트라토에 비해 에뮬레이션 성능이 최대 5배까지 향상되어 높은 가시성을 유지하며, 4000만 게이트(MG)에서 400억 개 이상의 게이트(BG)로 확장할 수 있다. AMD의 최신 버설 프리미엄 VP1902 FPGA를 기반으로 하는 벨로체 프리모 CS는 정합적인 엔터프라이즈 프로토타이핑 시스템으로, 역시 40MG에서 40+BG까지 확장할 수 있다. 벨로체 스트라토 CS와 벨로체 프리모 CS 솔루션은 모두 동일한 운영체제에서 실행되므로, 플랫폼 간에 원활하게 이동할 수 있는 자유도와 함께 정합성을 제공한다. 따라서 램프업(ramp up), 설정 시간, 디버그 및 워크로드 실행을 가속화할 수 있다. 또한, 벨로체 proFPGA CS는 AMD 버설 프리미엄 VP1902 FPGA 기반 적응형 SoC를 활용하여 빠르고 포괄적인 소프트웨어 프로토타이핑 솔루션을 제공하며, 하나의 FPGA에서 수백 개까지 확장할 수 있다. 향상된 성능을 바탕으로 유연한 모듈식 설계와 함께 고객이 펌웨어, 운영 체제, 애플리케이션 개발 및 시스템 통합 작업을 가속화할 수 있도록 지원한다. 벨로체 CS는 최신 AMD 에픽(EPYC) CPU 기반 HP DL385g11 서버와 함께 실행할 수 있는 인증을 받았다. 전체 벨로체 CS 시스템은 간편한 설치, 저전력, 뛰어난 냉각, 컴팩트한 설치 공간을 위해 최신 데이터센터 요구 사항을 완벽하게 준수하는 모듈식 블레이드 구성으로 제공된다. 또한 벨로체 proFPGA CS 솔루션은 데스크톱 랩 버전을 제공하여 추가적인 사용자의 유연성을 높여준다. 벨로체 스트라토 CS 시스템은 현재 일부 파트너 고객에게 제공되고 있으며, 세 가지 하드웨어 플랫폼의 일반 출시는 2024년 여름으로 예정되어 있다. 벨로체 CS 시스템은 클라우드 지원과 함께 일반 출시될 예정이다. 지멘스 디지털 인더스트리 소프트웨어의 장 마리 브루넷(Marie Brunet) 하드웨어 기반 검증 부문 부사장 겸 총괄 매니저는 “벨로체 CS는 세 가지 시스템이 완벽하게 일치하는 고속 모듈식 하드웨어 기반 검증 시스템을 제공한다”면서, “벨로체 CS 시스템을 통해 우리는 진보된 전자 제품을 제공하는 데에 필수적인 역할을 하는 하드웨어, 소프트웨어 및 시스템 엔지니어의 특정 요구 사항을 해결하고 있다. 작업에 적합한 툴을 제공함으로써 전체 검증 프로세스의 속도를 높이고 총 소요 비용을 절감하여 수익성을 높일 수 있는 벨로체 CS의 혁신을 실현하고 있다”고 전했다.