엔비디아가 기업용 생성형 AI 구축을 가속화하는 엔비디아 NIM 에이전트 블루프린트(NVIDIA NIM Agent Blueprints)를 공개했다. 최근 고급 오픈소스 기반 모델의 가용성과 AI 워크플로의 효율성 및 자율성을 개선하는 에이전트 AI의 발전이 이어지고 있다. 다양한 산업 분야의 기업들은 구글 젬마(Google Gemma), 라마 3.1(Llama 3.1) 405B, 마이크로소프트 파이(Microsoft Phi), 믹스트랄(Mixtral), 네모트론(Nemotron)과 같은 모델을 사용해 비즈니스 성장을 지원하고 생산성을 향상시키는 자체 AI 애플리케이션을 개발할 수 있다. 비즈니스 혁신을 가속하기 위해 기업은 디지털 휴먼 고객 서비스 챗봇, 검색 증강 생성(RAG), 신약 개발과 같은 표준 생성형 AI 워크플로에 대한 청사진을 필요로 한다. 엔비디아는 NIM 마이크로서비스를 통해 이러한 모델을 효율적이고 엔터프라이즈에서 사용할 수 있도록 지원하고 있으나, 엔터프라이즈 생성형 AI 애플리케이션 구축은 복잡하고 여러 단계를 거쳐야 하는 프로세스이다. 이번에 발표한 엔비디아 NIM 에이전트 블루프린트에는 엔터프라이즈 개발자가 비즈니스 목표에 부합하는 맞춤 생성형 AI 애플리케이션을 구축하고 배포하는 데에 필요한 기능을 제공한다.     NIM 에이전트 블루프린트는 특정 사용 사례에 맞게 조정된 레퍼런스 AI 워크플로다. 여기에는 엔비디아 NIM과 파트너 마이크로서비스로 구축된 샘플 애플리케이션, 레퍼런스 코드, 사용자 정의 문서, 배포를 위한 헬름차트(Helm chart)가 포함된다. 개발자는 NIM 에이전트 블루프린트를 통해 각 사용 사례에 대한 엔비디아의 고급 AI 도구와 엔드 투 엔드 개발 환경을 바탕으로 자체 애플리케이션을 손쉽게 제작할 수 있다. 블루프린트는 수정과 개선이 가능하도록 설계됐다. 또한, 개발자는 복잡한 작업을 수행할 수 있는 정보 검색과 에이전트 기반 워크플로를 모두 활용할 수 있다. 아울러 NIM 에이전트 블루프린트는 개발자가 AI 수명 주기 전반에 걸쳐 애플리케이션을 개선하는 데 도움을 준다. 사용자가 AI 애플리케이션과 상호작용을 하면 새로운 데이터가 생성된다. 이 데이터는 지속적인 학습 주기를 통해 모델을 개선하고 향상시키는 데 사용되며, 이로써 데이터 기반 생성형 AI 플라이휠(flywheel)을 만들 수 있다. NIM 에이전트 블루프린트는 기업이 모델과 데이터를 연결하는 애플리케이션을 통해 자체적인 생성형 AI 플라이휠을 구축할 수 있도록 지원한다. 엔비디아 네모(NeMo)는 이 프로세스를 용이하게 하고, 엔비디아 AI 파운드리(AI Foundry)는 플라이휠을 실행하기 위한 생산 환경 역할을 한다. 엔비디아는 사용 가능한 첫 번째 NIM 에이전트 블루프린트로 ▲고객 서비스를 위한 디지털 휴먼 ▲신약 개발 가속화를 위한 생성형 가상 스크리닝 ▲엔터프라이즈 RAG를 위한 멀티모달 PDF 데이터 추출 등을 소개했다. 이외에 고객 서비스, 콘텐츠 생성, 소프트웨어 엔지니어링, 소매 쇼핑 자문 서비스, R&D 등을 위한 생성형 AI 애플리케이션을 제작하기 위한 더 많은 NIM 에이전트 블루프린트가 개발 중이다. 엔비디아는 매달 새로운 NIM 에이전트 블루프린트를 선보일 계획이다. 생성형 AI는 이제 개발자와 데이터 과학자 간의 협업을 촉진하고 있다. 개발자는 NIM 에이전트 블루프린트를 기반으로 애플리케이션을 구축하고, 데이터 과학자는 데이터 플라이휠을 구현해 맞춤형 NIM 마이크로서비스를 지속적으로 개선한다. NIM이 개선되면 관련 애플리케이션도 개선돼 지속적인 성능 향상과 데이터 생성의 순환이 이루어진다. 엔비디아는 “NIM 에이전트 블루프린트와 엔비디아 파트너의 지원을 통해 기업은 생성형 AI를 애플리케이션에 원활하게 통합해 산업 전반의 효율성과 혁신을 주도할 수 있다”고 전했다. 한편, 엔비디아는 글로벌 시스템 통합업체 및 서비스 제공 파트너인 액센츄어(Accenture), 딜로이트(Deloitte), 소프트서브(SoftServe), 퀀티파이(Quantiphi), 월드 와이드 테크놀로지(World Wide Technology) 등 파트너 에코시스템이 전 세계 기업에 NIM 에이전트 블루프린트를 제공하고 있다고 전했다. NIM 에이전트 블루프린트는 고객 상호작용 데이터를 사용해 엔비디아 파트너 에코시스템에서 제공하는 툴을 통해 최적화될 수 있다. 모델 미세 조정, 관리, 모니터링을 위한 데이터이쿠(Dataiku)와 데이터로봇(DataRobot), 워크플로 구축을 위한 딥셋(Deepset), 라마 인덱스(LlamaIndex), 랭체인(Langchain), 생성형 AI 애플리케이션 평가를 위한 웨이트 앤 바이어스(Weights and Biases. W&B), 추가적인 보안을 위한 크라우드스트라이크(CrowdStrike), 데이터독(Datadog), 피들러 AI(Fiddler AI), 뉴렐릭(New Relic), 트렌드 마이크로(Trend Micro) 등이 있다. 뉴타닉스(Nutanix), 레드햇(Red Hat), 브로드컴(Broadcom)을 비롯한 인프라 플랫폼 제공업체는 자사의 엔터프라이즈 솔루션에서 NIM 에이전트 블루프린트를 지원할 예정이다. 고객은 시스코, 델 테크놀로지스, 휴렛팩커드 엔터프라이즈(HPE), 레노버와 같은 제조업체의 엔비디아 인증 시스템에서 NIM 에이전트 블루프린트를 구축하고 배포할 수 있다. 또한, 아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트릭처(OCI)의 엔비디아 가속 클라우드 인스턴스에서도 이용 가능하다. NIM 에이전트 블루프린트는 기업이 생성형 AI 애플리케이션에서 데이터를 활용할 수 있도록 코히시티(Cohesity), 데이터스택스(Datastax), 드롭박스(Dropbox), 넷앱(NetApp), 바스트 데이터(VAST Data)와 같은 엔비디아 파트너의 데이터, 스토리지 플랫폼과 통합할 수 있다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 챗GPT(ChatGPT)와 같은 AI 전문가 서비스 개발을 위한 LLM(Large Language Model, 대규모 언어 모델) 기술 중 하나인 LLM 기반 구조화된 형식의 데이터 생성하는 방법을 간략히 소개한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   LLM을 다양한 시스템과 연동해 사용하려면, LLM의 출력이 기계가 이해 가능한 JSON, SQL, Code 형태여야 한다. 이번 호에서는 JSON 입출력이 가능하도록 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 처리하는 방법을 개발한다.  이를 잘 이용하면, 건설, 건축 분야의 PDF 파일 등을 학습하고, 필요한 정보를 기계 처리 가능한 형식으로 출력해 계산 가능한 표, 수식 등의 형식으로 정보를 생성할 수 있다.   그림 1. LLM 기반 텍스트 입력 및 구조화된 JSON 형식 생성 절차 개념도   이번 호에서는 오픈AI(OpenAI) 챗GPT와 같이 API를 사용하려면 구독해야 하는 상용 모델 대신 라마, 미스트랄과 같은 오픈소스 모델을 사용한다. LLM 모델을 컴퓨터에 다운로드받고 구동하기 위해 올라마(Ollama)를 이용하고, LLM 프롬프트와 RAG 처리를 위해 랭체인(LangChain)을 사용한다.   개발 환경 준비 다음과 같이 개발 환경을 설치한다. 그리고 올라마(https://ollama.com) 도구를 설치하도록 한다.   pip install llama-cpp-python pip install 'crewai[tools]' pip install langchain   Text to JSON  라마 모델을 로딩하고 JSON 문법으로 출력하도록 GBNF(GGML BNF) 문법 정의를 이용해 JSON 출력을 생성한다. 다음 코드를 실행한다.   from llama_cpp.llama import Llama, LlamaGrammar import httpx grammar_text = httpx.get("https://raw.githubusercontent.com/ggerganov/llama.cpp/master/grammars/json_arr.gbnf").text grammar = LlamaGrammar.from_string(grammar_text) llm = Llama("llama-2-13b.Q8_0.gguf") response = llm(     "JSON list of name strings of attractions in SF:",     grammar=grammar, max_tokens=-1 ) import json print(json.dumps(json.loads(response['choices'][0]['text']), indent=4))   출력 결과는 다음과 같이 샌프란시스코에 있는 놀이 시설을 보여준다.    [     {         "address": {             "country": "US",             "locality": "San Francisco",             "postal_code": 94103,             "region": "CA",             "route": "Museum Way",             "street_number": 151         },         "geocode": {             "latitude": 37.782569,             "longitude": -122.406605         },         "name": "SFMOMA",         "phone": "(415) 357-4000",         "website": "http://www.sfmoma.org/"     } ]   이와 같이 LLM 출력을 컴퓨터 처리하기 용이한 구조로 생성할 수 있다. 참고로, 여기서 사용한 JSON 문법은 <그림 2>와 같이 정형 규칙 언어로 정의된 것을 사용한 것이다.    그림 2. json.gbnf(https://github.com/ggerganov/llama.cpp/tree/master/grammars)     ■ 자세한 기사 내용은 PDF로 제공됩니다.

오라클은 트랜잭션 및 레이크하우스 규모 분석을 위한 오픈소스 기반의 MySQL 데이터베이스 처리 서비스인 히트웨이브(HeatWave)를 제공하고 있다. 여기에 생성형 AI를 통합한 서비스가 히트웨이브 생성형 AI(HeatWave GenAI)이다. 히트웨이브 생성형 AI는 인-데이터베이스(in-database) 대규모 언어 모델(LLM), 자동화된 인-데이터베이스 벡터 저장소, 확장 벡터 처리 및 비정형 콘텐츠 기반의 맥락화된 자연어 대화 기능 등을 제공한다. ■ 정수진 편집장   오라클의 니푼 아가르왈(Nipun Agarwal) MySQL & 히트웨이브 개발 수석부사장은 “히트웨이브는 완전 관리형 데이터베이스 처리 서비스로서 멀티 클라우드 환경에서 제공된다. 초기에는 MySQL 기반의 OLTP(온라인 트랜잭션 처리) 서비스로 제공되었고, 이후 꾸준히 기능을 강화해 왔다. 이번에 생성형 AI 및 벡터 저장소 기능을 포함하게 되면서, 단일 서버 위에서 더욱 다양한 기능을 제공하게 되었다”고 설명했다. 히트웨이브 생성형 AI는 인-데이터베이스 자동 백터 저장소, 인-데이터베이스 LLM, 확장형 벡터 처리, 히트웨이브 챗(HeatWave Chat) 등 네 가지의 새로운 기능을 선보였다.   ▲ 오라클은 데이터베이스에서 생성형 AI를 활용하기 위한 서비스를 선보였다.   기업의 비정형 콘텐츠에 LLM의 강점을 결합 벡터 저장소는 비정형 콘텐츠에 LLM을 활용하도록 지원함으로써, 기업의 내부 콘텐츠에 LLM의 강점을 적용할 수 있게 돕는다. 히트웨이브에 인-데이터베이스 자동 벡터 저장소를 추가함으로써 비정형 데이터에 대한 시맨틱 검색을 지원하는 등 전통적인 데이터 처리와 다른 방식을 구현한다는 것이 오라클의 설명이다. 아가르왈 수석부사장은 “오브젝트 스토리지의 데이터를 생성형 AI가 히트웨이브 내부에서 처리함으로써 생성형 AI의 강점을 데이터베이스 내부로 가져올 수 있는 독보적인 아키텍처를 구현했다”면서, “데이터 처리 작업 과정을 히트웨이브 내에서 진행함으로써 스토리지의 비용을 줄이고, 확장성과 안정성을 높은 수준으로 구현할 수 있다”고 설명했다. 오라클 인-데이터베이스 벡터 저장소는 벡터 저장소의 생성 과정을 단순화하고 자동화함으로써, 벡터 저장소 생성의 퍼포먼스를 높이고 비용을 줄일 수 있도록 했다. 생성형 AI 앱의 개발은 먼저 벡터 스토어를 구성한 뒤 LLM을 활용해 이 벡터 스토어를 적용하는 과정으로 진행된다. 오라클은 이 두 단계를 합치고 단계별로 하나의 호출 커맨드만으로 처리할 수 있다면서, 앱이 생성형 AI를 활용하는 방식을 단순화할 수 있다고 설명했다. 또한 데이터가 데이터베이스 밖으로 나가지 않기 때문에 보안도 강화할 수 있다.   LLM 활용의 비용은 줄이고 속도는 높인다 히트웨이브 생성형 AI는 데이터베이스 내부에서 CPU를 사용해 LLM을 구동할 수 있도록 했다. LLM을 구축 및 활용하기 위해 GPU 서비스를 추가로 사용하지 않아도 된다는 것이다. 아가르왈 수석부사장은 인-데이터베이스 LLM의 이점으로 단순화, 저비용, 유연성, 보안/퍼포먼스 등을 꼽았다. 추가 클라우드 서비스나 GPU가 필요 없고, 동일한 서비스를 여러 클라우드에서 사용할 수 있으며, 데이터가 데이터베이스 밖으로 나가지 않기 때문이다. 아가르왈 부사장은 “물론 외부 LLM을 적용하는 것도 가능하다. 오라클 클라우드 인프라스트럭처(OCI)에서 제공하는 GPU 기반의 생성형 AI 서비스를 활용할 수 있지만, 전력 소비 등에서 CPU 기반 인-데이터베이스 LLM의 이점이 크다고 본다”고 전했다. 인-데이터베이스 LLM의 또 다른 이점은 히트웨이브를 사용할 수 있는 모든 클라우드 환경에서 LLM을 사용할 수 있으며, 히트웨이브의 오토ML과 연동해 LLM을 활용한 쿼리 정확도 및 성능의 향상이 가능하다는 점이다. 오라클은 오토ML이 인풋 데이터의 양을 줄여줘서 LLM 호출 비용을 줄일 수 있다는 설명도 덧붙였다. 또한, 히트웨이브 내에서 벡터 프로세싱 지원이 추가됐다. 히트웨이브 MySQL에서 신규 벡터 데이터타입을 지원해 MySQL의 쿼리를 효율적으로 사용할 수 있게 됐다. 아가르왈 수석부사장은 “인 메모리 프로세싱이 가능해지면서 여러 노드에서 확장이 용이해졌고, 낮은 비용으로 빠른 벡터 처리를 지원할 수 있게 됐다. 스노우플레이크, 데이터브릭스, 구글 빅쿼리 등과 쿼리 처리 성능을 비교한 자체 테스트에서는 15~30배 높은 속도를 보였다”고 전했다. 이번에 함께 선보인 히트웨이브 챗(HeatWave Chat)은 SQL 또는 자연어를 기반으로 히트웨이브와 시각적으로 상호작용하는 인터페이스를 제공한다. 이는 히트웨이브 생성형 AI에 기반한 여러 앱 중 하나로 서버 내 채팅 이력, 인용 내용, LLM 옵션 등을 저장하고, 히트웨이브 환경 내에서 자유롭게 챗을 사용할 수 있게 한다.   ▲ 오라클의 니푼 아가르왈 수석부사장은 히트웨이브 생성형 AI를 추기 비용 없이 사용할 수 있다고 소개했다.   자동화, 단순화, 안전성 등을 강점으로 내세워 오라클은 히트웨이브 생성형 AI가 인-데이터베이스에서 통합된 자동화 솔루션으로 높은 안전성과 앱 개발의 단순성을 제공한다고 설명했다. 이를 통해 앱 개발 비용을 줄이면서 보안도 강화할 수 있다는 것이다. 비용과 관련해 아가르왈 수석부사장은 “히트웨이브는 완전 관리형 서비스로 제공되며 라이선스 단위로 관리하지 않기 때문에, 히트웨이브 내에서 생성형 AI를 활용하기 위한 추가 비용이 없다”면서, “다른 업체는 머신러닝, OLTP, 생성형 AI 등을 별도의 서비스로 구성하고 있지만, 오라클은 모든 고객이 모든 데이터에 AI를 사용할 수 있도록 하기 위해 데이터 처리 플랫폼에 생성형 AI 기능을 내장했으며, 유료화나 가격 인상 계획 또한 없다”고 설명했다. 오라클은 보안 관점에서 인-데이터베이스 벡터 저장소가 유용하다는 점도 강조했다. 많은 LLM이 공개된 콘텐츠를 활용하지만, 기업 내부 콘텐츠에 LLM을 적용하고자 하는 요구도 있다. 오라클은 기업 데이터를 기반으로 LLM을 추가 생성할 필요가 없이, 벡터 저장소의 결과값을 LLM의 입력값으로 피딩하면 기업 데이터의 유출 없이 LLM을 사용할 수 있다는 점을 내세운다. 기업 데이터의 이력을 저장하지 않고 입력값으로만 사용하기 때문에 데이터 보호 수준이 높다는 것이다.  아가르왈 수석부사장은 “인-메모리 데이터베이스 안에서 모든 데이터를 스캔해 결과를 도출하기 때문에 정확한 벡터 처리 결과값을 얻을 수 있다. 여기에 RAG(검색 증강 생성)를 사용한다면 공개 데이터를 사용하는 것과 다르게 LLM의 문제로 꼽히는 환각현상을 줄일 수 있다”고 전했다. 한편, 한국어 지원에 대해서는 “현재 히트웨이브 생성형 AI는 메타의 라마 3(Llama 3)를 기반 LLM 모델로 사용하는데, 영어만큼 정확도가 높지는 않지만, 기술이 빠르게 발전하고 있어 수개월 내에 한국어의 정확도가 더욱 높아질 것으로 본다”고 밝혔다.     ■ 기사 내용은 PDF로도 제공됩니다.

인텔은 메타(Meta)의 최신 LLM(대규모 언어 모델)인 라마 3.1(Llama 3.1)에 데이터센터, 에지 및 클라이언트 AI 제품 전반에 걸친 성능 데이터 및 최적화를 제공한다고 밝혔다. 인텔은 ‘AI 에브리웨어’ 전략을 위해 AI 소프트웨어 생태계에 지속적으로 투자하고 있으며, 새로운 모델이 인텔의 AI 하드웨어에 최적화되도록 보장하고 있다. 메타는 지난 4월 라마 3 출시에 이어, 7월에는 현재까지 가장 성능이 뛰어난 모델인 라마 3.1을 출시했다. 라마 3.1은 공개적으로 사용 가능한 가장 큰 파운데이션 모델인 라마 3.1 405B(4천 50억개 모델)를 포함해 다양한 규모와 기능에서 여러 새로운 업데이트 모델을 제공한다. 이 새로운 모델들은 파이토치(PyTorch) 및 인텔 파이토치 익스텐션(Intel Extension for PyTorch), 딥스피드(DeepSpeed), 허깅 페이스 옵티멈 라이브러리(Hugging Face* Optimum libraries), vLLM 등 개방형 생태계 소프트웨어를 통해 인텔 AI 제품에서 활성화 및 최적화된다. 또한 생태계 전반에서 최고의 혁신을 활용하는 개방형, 멀티 벤더, 강력하고 컴포저블한 생성형 AI 솔루션을 만들기 위한 LF AI 및 데이터 재단(LF AI & Data Foundation)의 새로운 오픈 플랫폼 프로젝트인 OPEA(Open Platform for Enterprise AI) 역시 이 모델들을 지원한다. 라마 3.1 다국어 LLM 컬렉션은 8B, 70B, 405B 크기(텍스트 인/텍스트 아웃)의 사전 학습 및 조정(인스트럭션 튜닝)된 생성 모델 컬렉션으로, 모든 모델은 8개 구술어에 걸쳐 긴 컨텍스트 길이(128k)를 지원한다. 라마 3.1 405B는 일반 지식, 조작성, 수학, 도구 사용 및 다국어 번역에 있어 최첨단 기능을 갖추고 있다. 이를 통해 커뮤니티는 합성 데이터 생성 및 모델 증류(model distillation)와 같은 새로운 기능을 활용할 수 있게 될 것이다. 한편, 인텔은 생성형 AI 및 대형 언어 모델(LLM)의 고성능 가속을 위한 가우디(Intel Gaudi) 가속기 및 일반 컴퓨팅의 유비쿼터스 백본 역할을 하는 인텔 제온(Intel Xeon) 프로세서, 클라이언트와 에지에서 높은 온디바이스 AI 추론 성능을 제공하는 인텔 코어 울트라(Intel Core Ultra) 프로세서 및 인텔 아크(Intel Arc) 그래픽이 탑재된 AI PC를 포함해 인텔 AI 제품 포트폴리오 상에서의 라마 3.1 모델 초기 성능 측정 결과를 소개했다.   ▲ 16대의 인텔 가우디 가속기 상에서의 라마 3.1 405B 추론 결과   ▲ 5세대 인텔 제온 스케일러블 프로세서 상에서의 라마 3.1 추론 지연 시간   ▲ 인텔 아크 GPU가 내장된 인텔 코어 울트라 7 165H 기반의 AI PC에서 라마 3.1 추론 다음 토큰 대기 시간

엔비디아가 메타(Meta)의 오픈소스 AI 모델 컬렉션인 라마 3.1(Llama 3.1)을 통해 전 세계 기업의 생성형 AI를 강화하는 엔비디아 AI 파운드리(NVIDIA AI Foundry) 서비스와 엔비디아 NIM 추론 마이크로서비스를 발표했다. 이를 통해 기업과 국가는 엔비디아 AI 파운드리를 통해 라마 3.1과 엔비디아 소프트웨어, 컴퓨팅, 전문성을 활용해 도메인별 산업 사용 사례에 맞는 맞춤형 ‘슈퍼모델’을 만들 수 있다. 기업은 자체 데이터는 물론, 라마 3.1 405B와 엔비디아 네모트론(Nemotron) 리워드 모델에서 생성된 합성 데이터로 이러한 슈퍼모델을 훈련할 수 있다. 엔비디아 AI 파운드리는 높은 수준의 퍼블릭 클라우드와 공동 설계된 엔비디아 DGX 클라우드(DGX Cloud) AI 플랫폼으로 구동된다. 이를 통해 AI 수요 변화에 따라 쉽게 확장할 수 있는 방대한 컴퓨팅 리소스를 기업에게 제공한다. 새로운 서비스는 기업뿐만 아니라 독자적인 AI 전략을 개발 중인 국가들의 맞춤형 대규모 언어 모델(LLM) 구축을 지원한다. 이들은 고유한 비즈니스나 문화를 반영하는 생성형 AI 애플리케이션을 위해 도메인별 지식을 갖춘 맞춤형 LLM을 구축하고자 한다. 엔비디아는 프로덕션 AI용 라마 3.1 모델의 엔터프라이즈 배포를 강화하기 위해 라마 3.1 모델용 엔비디아 NIM 추론 마이크로서비스를 다운로드할 수 있도록 제공한다. NIM 마이크로서비스는 프로덕션 환경에서 라마 3.1 모델을 배포하는 빠른 방법이며, NIM 없이 추론을 실행하는 것보다 최대 2.5배 더 높은 처리량을 제공한다. 기업은 라마 3.1 NIM 마이크로서비스를 새로운 엔비디아 네모 리트리버(NeMo Retriever) NIM 마이크로서비스와 결합해 AI 코파일럿, 어시스턴트, 디지털 휴먼 아바타를 위한 최첨단 검색 파이프라인을 구축할 수 있다.     엔비디아 AI 파운드리는 맞춤형 슈퍼모델을 빠르게 구축할 수 있는 엔드투엔드 서비스를 제공한다. 이는 엔비디아 소프트웨어, 인프라, 전문성 등을 개방형 커뮤니티 모델, 기술, 엔비디아 AI 에코시스템의 지원에 결합한다. 기업은 엔비디아 AI 파운드리를 통해 라마 3.1 모델과 엔비디아 네모(NeMo) 플랫폼을 사용해 맞춤형 모델을 만들 수 있다. 여기에는 허깅 페이스 리워드 벤치(Hugging Face RewardBench)에서 1위를 차지한 엔비디아 네모트론-4 340B 리워드 모델이 포함된다. 맞춤형 모델이 생성되면, 기업은 선호하는 클라우드 플랫폼과 글로벌 서버 제조업체의 엔비디아 인증 시스템(Certified Systems)에서 원하는 MLOps와 AIOps 플랫폼을 사용할 수 있다. 이를 통해 프로덕션 환경에서 실행할 수 있는 엔비디아 NIM 추론 마이크로서비스를 생성한다. 엔비디아 AI 엔터프라이즈(AI Enterprise) 전문가와 글로벌 시스템 통합 파트너는 AI 파운드리 고객과 협력해 개발부터 배포에 이르는 전체 프로세스를 가속화한다. 도메인별 모델을 만들기 위해 추가 훈련 데이터가 필요한 기업은 맞춤형 라마 슈퍼모델을 만들 때 라마 3.1 405B와 네모트론-4 340B를 함께 사용해 합성 데이터를 생성하면 모델 정확도를 높일 수 있다. 자체 훈련 데이터를 보유한 고객은 도메인 적응형 사전 훈련(DAPT)을 위해 엔비디아 네모로 라마 3.1 모델을 맞춤화해 모델 정확도를 더욱 높일 수 있다. 또한, 엔비디아와 메타는 개발자가 생성형 AI 애플리케이션을 위한 소규모 맞춤형 라마 3.1 모델을 구축하는 데 사용할 수 있는 라마 3.1의 증류 레시피를 제공하기 위해 협력하고 있다. 이를 통해 기업은 AI 워크스테이션과 노트북 같은 광범위한 가속 인프라에서 라마 기반 AI 애플리케이션을 실행할 수 있다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “메타의 오픈소스 모델인 라마 3.1은 전 세계 기업에서 생성형 AI 채택하는 데 있어 중요한 순간이다. 라마 3.1은 모든 기업과 업계가 최첨단 생성형 AI 애플리케이션을 구축할 수 있는 문을 열었다. 엔비디아 AI 파운드리는 라마 3.1을 전체적으로 통합했으며, 기업이 맞춤형 라마 슈퍼모델을 구축하고 배포할 수 있도록 지원할 준비가 돼 있다”고 말했다. 메타의 마크 저커버그(Mark Zuckerberg) CEO는 “새로운 라마 3.1 모델은 오픈소스 AI에 있어 매우 중요한 단계이다. 기업들은 엔비디아 AI 파운드리를 통해 사람들이 원하는 최첨단 AI 서비스를 쉽게 만들고 맞춤화하며, 엔비디아 NIM을 통해 배포할 수 있다. 이러한 서비스를 사람들에게 제공할 수 있게 돼 기쁘다”고 말했다.

SAP가 미국 올랜도에서 열린 연례 콘퍼런스 ‘SAP 사파이어(SAP Sapphire)’에서 AI 시대에 비즈니스를 한 단계 더 발전시키는 방법을 보여주는 혁신적인 AI 혁신과 파트너십을 공개했다. SAP는 미션 크리티컬한 프로세스를 지원하는 엔터프라이즈 클라우드 포트폴리오에 비즈니스 AI(Business AI)를 도입하고 AI의 한계를 뛰어넘는 기업들과 협력함으로써, 글로벌 비즈니스에 새로운 인사이트와 독창성을 불어넣는다는 비전을 소개했다. SAP는 엔터프라이즈 솔루션 전반에 비즈니스 AI를 탑재해 사용자에게 풍부한 인사이트를 제공함으로써, 더 나은 결과를 제공하고 창의적인 문제 해결력을 높일 수 있도록 지원한다. ▲보상 추천 기능으로 인사 관리자를 지원하는 SAP 석세스팩터스(SAP SuccessFactors)의 AI 생성 보고서 ▲판매가 가장 높을 것으로 예측되는 영업사원과 제품의 조합을 예측하는 SAP 세일즈 클라우드(SAP Sales Cloud)의 예측 기능 등이 대표적인 사례이다. 한편, SAP 비즈니스 테크놀로지 플랫폼(SAP BTP)은 아마존웹서비스(AWS), 메타 및 미스트랄 AI의 대규모 언어 모델을 생성형 AI 허브에 추가하고 있다. SAP AI 코어(AI Core)의 이 기능을 통해 SAP 애플리케이션용 생성형 AI 사용 사례를 더 쉽게 구축할 수 있다. SAP의 자연어 생성형 AI 코파일럿 솔루션인 ‘쥴(Joule)‘도 SAP 솔루션 포트폴리오 전반으로 확장하고 있다. 쥴은 여러 시스템의 데이터를 신속하게 정렬하고 맥락화하여 스마트한 통찰력을 제공하는 생성형 AI다. 2023년 가을 SAP 석세스팩터스 솔루션에 도입되었으며, 현재 SAP S/4HANA 클라우드 솔루션과 SAP 빌드, SAP 통합 스위트(SAP Integration Suite) 등에도 내장돼 있다. 오는 연말까지 SAP 아리바(SAP Ariba)와 SAP 애널리틱스 클라우드(SAP Analytics Cloud) 솔루션에도 적용될 예정이다. 또한 SAP는 쥴을 마이크로소프트 365의 코파일럿(Copilot)과 통합해 쥴의 활용 범위를 확장할 계획도 발표했다. 이 통합은 사용자에게 워크플로에 내장된 통합 환경을 제공하고, SAP와 마이크로소프트 365의 비즈니스 애플리케이션이 상호작용하면서 사용자가 정보에 원활하게 접근할 수 있게 해준다.   ▲ 사파이어 2024에서 기조연설을 진행한 SAP 크리스찬 클라인 CEO   SAP의 크리스찬 클라인(Christian Klein) CEO는 “사파이어 2024에서 발표한 혁신적인 비즈니스 AI가 업무 방식 전반에 변화를 가져올 것”이라면서, “SAP는 빠르게 변화하는 비즈니스 환경에서 고객이 민첩함과 독창성을 발휘할 수 있도록 실제 성과에 기여하는 혁신 기술을 제공하겠다“고 말했다. 한편, SAP는 업계 기술 기업과 파트너십을 맺고 생성형 AI가 엔터프라이즈 수준에서 구현할 수 있는 한계를 뛰어넘기 위해 노력하고 있다고 소개했다. SAP는 “AWS 및 마이크로소프트와의 협력 확대와 더불어 구글 클라우드, 메타, 미스트랄 AI, 엔비디아와의 파트너십을 통해 AI 지원 기술의 힘을 활용하여 빠른 속도로 혁신하고 더욱 풍부한 실제 결과를 제공할 수 있을 것”이라고 전했다. SAP와 구글 클라우드는 쥴 및 SAP 공급망용 통합 비즈니스 플래닝(SAP Integrated Business Planning for Supply Chain)에 구글 클라우드의 제미나이(Gemini) 모델 AI 어시스턴트 및 구글 클라우드 코텍스(Google Cloud Cortex) 프레임워크의 데이터 기반을 통합할 예정이다. SAP는 메타의 라마 3(Llama 3)를 활용해 SAP 애널리틱스 클라우드에서 고도로 맞춤화된 분석 애플리케이션을 렌더링하는 스크립트를 생성할 예정이다. 메타의 차세대 AI 모델은 언어의 뉘앙스와 문맥 이해에 강점을 갖고 있어, 기업의 비즈니스 요구 사항을 가시적인 성과로 전환하는 데에 적합하다. 그리고 SAP는 미스트랄 AI의 새로운 대규모 언어 모델도 SAP AI 코어의 생성형 AI 허브에 추가할 예정이다. 또한, SAP는 엔터프라이즈급 비즈니스 애플리케이션에 최첨단 기술을 탑재하기 위해 엔비디아와 제품 간 파트너십을 강화할 계획이다. SAP는 쥴을 라이즈 위드 SAP(RISE with SAP) 구현을 위한 AI 어시스턴트 역할을 하도록 훈련시키면, 엔비디아의 최첨단 AI 모델이 SAP 컨설팅 자산을 선별하여 구현 관련 질문에 대한 관련성 있고 정확한 답변을 제공할 수 있다고 밝혔다. 이외에도 SAP 인텔리전트 제품 추천 솔루션에 생성형 AI를 도입함에 따라, 엔비디아 옴니버스 클라우드 API(NVIDIA Omniverse Cloud API)는 복잡한 제조 제품 및 구성을 산업용 디지털 트윈으로 시뮬레이션할 수 있도록 지원한다.

스노우플레이크가 미국 샌프란시스코에서 열린 ‘스노우플레이크 서밋 2024’에서 기업들이 자사 플랫폼에서 엔비디아 AI를 기반으로 맞춤형 AI 데이터 애플리케이션을 구축할 수 있도록 엔비디아와의 협력을 강화한다고 발표했다.  스노우플레이크와 엔비디아는 양사의 AI 기반 애플리케이션, 모델 및 하드웨어를 통합해 고객이 비즈니스 전반에 걸쳐 쉽고 효율적이며 안전하게 엔터프라이즈 AI를 도입할 수 있도록 지원할 계획이다. 스노우플레이크는 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise) 소프트웨어를 적용해, 네모 리트리버(NeMo Retriever) 마이크로서비스를 완전 관리형 LLM(대규모 언어 모델) 및 벡터 검색 서비스인 스노우플레이크 코텍스 AI(Snowflake Cortex AI)에 통합했다. 이를 통해 고객들은 맞춤형 모델을 다양한 비즈니스 데이터에 원활히 연결하고 정확한 응답을 제공할 수 있게 된다.  개방성을 특징으로 내세우는 엔터프라이즈급 LLM인 스노우플레이크 아크틱(Snowflake Arctic)은 엔비디아 텐서RT-LLM(TRT-LLM) 소프트웨어를 지원해 최적화된 성능을 제공한다. 또한, 엔비디아 NIM(NVIDIA Inference Microservice) 추론 마이크로서비스로도 사용할 수 있게 돼 더 많은 개발자가 아크틱에서 인사이트를 얻을 수 있다.     기업들은 AI를 적용할 수 있는 다양한 방법들을 모색하고 있고, 맞춤화된 모델을 생성하기 위해 데이터 활용은 더욱 중요해졌다. 스노우플레이크와 엔비디아는 기업이 맞춤형 사례별 AI 솔루션을 빠른 속도로 구축하고, 엔터프라이즈 AI의 잠재력을 실현할 수 있도록 돕는다는 비전을 밝혔다. 스노우플레이크와 엔비디아는 네모 리트리버와 같은 엔비디아의 AI 엔터프라이즈(NVIDIA AI Enterprise) 소프트웨어 제품군의 핵심 기술을 코텍스 AI에 통합하기 위해 협력하고 있다. 이를 통해 기업들은 AI 투자를 극대화하는 맞춤형 AI 기반 애플리케이션을 효율적으로 구축하고 활용할 수 있게 된다.  또한, 양사의 협력을 통해 고객들은 엔비디아 AI 소프트웨어 기반의 AI 솔루션 NIM을 스노우파크 컨테이너 서비스(Snowpark Container Services)에 네이티브 앱의 형태로 배포해 사용할 수 있다. 이를 통해 기업은 스노우플레이크 내 일련의 파운데이션 모델을 쉽게 배포할 수 있게 된다.  지난 4월 출시된 스노우플레이크 아크틱은 엔비디아 H100 텐서 코어 GPUs(H100 Tensor Core GPUs)를 통해 학습되었으며, 엔비디아 NIM에 통합돼 사용할 수 있어 몇 초 만에 시작할 수 있다. 엔비디아가 호스팅하는 아크틱 NIM은 엔비디아 AI 카탈로그(AI Catalog)를 통해 실시간으로 제공돼 개발자가 무료 크레딧을 사용하여 선호하는 인프라를 선택해 개방성이 높은 기업용 LLM을 배포할 수 있도록 지원한다.  스노우플레이크의 슈리다 라마스워미(Sridhar Ramaswamy) CEO는 “엔비디아의 풀스택 가속 컴퓨팅 및 소프트웨어와 스노우플레이크의 최신 AI 기능을 코텍스 AI에 통합시키는 것은 시장 판도를 바꿀 것”이라며, “양사는 모든 산업과 모든 기술 수준의 고객이 쉽고 효율적이며 안전하게 맞춤형 AI 애플리케이션을 기업 데이터에 구축할 수 있는 AI 의 새로운 시대를 열고자 노력하고 있다”고 강조했다.  엔비디아의 젠슨 황(Jensen Huang) CEO는 “데이터는 AI 산업 혁명의 필수재다. 두 기업의 협력으로 고객이 기업 고유의 데이터를 정제하고 가치 있는 생성형 AI로 전환할 수 있도록 지원할 것”이라고 말했다.

델 테크놀로지스는 DTW(델 테크놀로지스 월드) 행사에서 ‘델 AI 팩토리(Dell AI Factory)’를 발표하면서 디바이스, 데이터센터, 클라우드에 걸친 광범위한 AI 포트폴리오를 제시했다.  ‘델 AI 팩토리’는 PC, 서버, 스토리지, 데이터 보호 및 네트워킹을 아우르는 델의 엔드-투-엔드 AI 포트폴리오를 바탕으로 구성됐다.  델은 증가하는 AI 수요를 충족하기 위한 목적형 설계의 오퍼링들을 추가하며 이 포트폴리오를 확장하고 있다. 기업과 기관에서는 델과 델의 파트너사들이 구성한 개방형 생태계를 바탕으로 각각의 고유한 목적에 부합하는 AI 애플리케이션을 구축할 수 있다.     델은 스냅드래곤 X 엘리트(Snapdragon X Elite) 및 스냅드래곤 X 플러스(Snapdragon X Plus) 프로세서를 기반으로 새로운 마이크로소프트 AI 경험을 제공하는 신제품 코파일럿+ PC(Copilot+ PC) 제품군을 공개했다. 이 제품들은 전문가 및 일반 소비자를 대상으로 하며, 향상된 성능과 배터리 지속시간을 갖춘 내장형 AI가 포함되어 있다. 사용자는 GPU, CPU, NPU 전반에 걸친 로컬 컴퓨팅 및 프로세싱을 기반으로 사용자들은 혁신적인 PC 환경을 경험할 수 있다. 델 파워스케일 F910(Dell PowerScale F910) 올플래시 파일 스토리지는 최대 127% 향상된 성능과 높은 상면 효율을 바탕으로 AI 워크로드의 까다로운 문제들을 해결하고 AI 인사이트 도출 시간을 단축한다. 파워스케일 ‘프로젝트 라이트닝(Project Lightning)’은 새로운 고성능 병렬 파일 시스템(parallel file system) 소프트웨어 아키텍처로 향후 ‘델 파워스케일’ 제품군에 통합될 예정이며, 대규모의 복잡한 AI 워크플로의 학습 시간을 단축한다. AI 데이터 보호를 위한 델 솔루션(Dell Solution for AI Data Protection)은 델의 데이터 보호 소프트웨어, 어플라이언스 및 레퍼런스 구성을 기반으로 중요한 AI 애플리케이션 및 AI 데이터를 효과적으로 보호한다. 델 파워스위치 Z9864F-ON(Dell PowerSwitch Z9864F-ON)은 브로드컴 토마호크 5(Broadcom Tomahawk 5) 칩셋과 최신 네트워크 아키텍처를 기반으로 뛰어난 처리량, 짧은 지연시간, 간편한 확장성을 제공하며, AI 애플리케이션의 네트워크 성능을 2배로 높여 가장 까다로운 네트워킹 환경도 충족할 수 있게끔 설계됐다. 델 파워엣지 XE9680(Dell PowerEdge XE9680) 서버는 브로드컴 400G PCIe 5.0세대 이더넷 어댑터를 지원한다. 파워엣지 서버와 파워스위치 Z9864F-ON, 그리고 400G PCIe 5.0세대 이더넷 어댑터의 조합으로 강력한 이더넷 패브릭을 구축하고 성능, 확장성 및 효율성을 향상시킬 수 있다.  또한, 델은 파트너들과 긴밀한 협력을 통해 고객들이 쉽게 AI를 시작할 수 있도록 견고하게 통합된 솔루션을 제공한다고 설명했다. 델 테크놀로지스는 생성형 AI의 온프레미스 구축과 관련해 허깅 페이스와 협력한 인프라 솔루션 공급업체로서 ‘델 엔터프라이즈 허브 온 허깅페이스(Dell Enterprise Hub on Hugging Face)’를 새롭게 소개했다. 허깅페이스의 오픈 플랫폼을 활용해 기업들은 온프레미스 델 인프라에서 손쉽고 안전하게 맞춤형의 개방형 LLM(대규모 언어 모델)을 훈련하고 구축할 수 있으며 챗봇이나 고객지원과 같은 AI 서비스를 더 빨리 구축할 수 있다. 델은 메타(Meta)와의 협력을 공고히 하면서 메타 라마 3(Meta Llama 3) 모델을 온프레미스 델 인프라 상에 간편하게 구축하도록 지원하고, 테스트 결과, 성능 데이터, 구축 레시피 등을 제공한다. 마이크로소프트 애저 AI 서비스를 위한 델 솔루션(Dell Solution for Microsoft Azure AI Services)은 음성 트랜스크립션 및 번역 기능과 같은 AI 서비스의 구축 속도를 높여주며, ‘마이크로소프트 애저를 위한 델 에이펙스 클라우드 플랫폼(Dell APEX Cloud Platform for Microsoft Azure)’ 상에서 구동된다. 이외에도 델은 AI 이니셔티브를 통해 비즈니스 성과를 개선할 수 있도록 광범위한 AI 프로페셔널 서비스 포트폴리오를 지속적으로 확장해 나가고 있다고 전했다. 마이크로소프트 코파일럿 솔루션을 위한 구축 서비스(Implementation Services for Microsoft Copilot solutions)는 깃허브, 보안, 윈도, 및 세일즈 등 다양한 분야에서 코파일럿 환경을 도입 시 필요한 전문가 지침을 제공해 업무생산성을 향상시키도록 지원한다. 델 엔터프라이즈 허브 온 허깅페이스 가속 서비스(Accelerator Services for Dell Enterprise Hub on Hugging Face)는 허깅 페이스 내 델 포털을 사용할 때 신속한 AI 프로토타이핑을 할 수 있도록 각종 툴 및 모델을 선택하고 활용 사례를 적용할 수 있도록 전략적 조언을 제공한다. 한국 델 테크놀로지스의 김경진 총괄 사장은 “AI는 전례없는 속도로 비즈니스를 혁신하고 있다. 이제 모든 데이터센터는 AI의 속도와 규모를 다룰 수 있도록 설계되어야 하며, AI PC는 생산성 및 협업 방식을 혁신할 것”이라면서, “델은 광범위한 ‘델 AI 팩토리’ 포트폴리오와 파트너 생태계를 통해 온프레미스와 엣지, 클라우드 환경 전반에서 완벽하게 제어할 수 있는 AI 구축을 지원하고자 한다”고 전했다.