뉴타닉스는 새로운 클라우드 네이티브 제품인 ‘뉴타닉스 엔터프라이즈 AI(Nutanix Enterprise AI, 이하 NAI)’를 출시했다고 발표했다. NAI는 기업의 AI 인프라 플랫폼을 확장하며, 에지, 코어 데이터센터와 아마존 EKS(Amazon Elastic Kubernetes Service), 애저 쿠버네티스 서비스(Azure Kubernetes Service : AKS), 구글 쿠버네티스 엔진(Google Kubernetes Engine : GKE)과 같은 퍼블릭 클라우드 서비스 등 모든 쿠버네티스 플랫폼에 배포될 수 있다. NAI는 가속화된 AI 워크로드를 위한 일관된 하이브리드 멀티클라우드 운영 모델을 제공한다. 이를 통해 조직은 선택한 안전한 위치에서 모델과 데이터를 활용하면서 투자 수익(ROI)을 개선할 수 있다. 엔비디아 NIM(NVIDIA Inference Microservices)을 활용해 파운데이션 모델의 성능을 최적화한 NAI는 조직이 대규모 언어 모델(LLM)의 추론 엔드포인트를 안전하게 배포, 실행 및 확장할 수 있게 한다. 이로써 생성형 AI 애플리케이션을 몇 분 내에 배포할 수 있다. 생성형 AI는 본질적으로 하이브리드 워크로드로, 새로운 애플리케이션은 주로 퍼블릭 클라우드에서 구축되고, 사설 데이터를 사용한 모델의 미세 조정은 온프레미스에서 이루어진다. 추론은 비즈니스 로직과 가장 가까운 곳에 배포되는데, 이는 에지, 온프레미스 또는 퍼블릭 클라우드일 수 있다. 이러한 분산된 하이브리드 생성형 AI 워크플로는 복잡성, 데이터 프라이버시, 보안 및 비용 측면에서 조직에게 과제를 제시할 수 있다.     NAI는 일관된 멀티클라우드 운영 모델과 엔비디아 NIM에 최적화된 추론 마이크로서비스 및 허깅페이스(Hugging Face)의 오픈 파운데이션 모델을 사용해 LLM을 안전하게 배포, 확장 및 실행할 수 있는 간단한 방법을 제공한다. 이를 통해 고객은 비즈니스 핵심 애플리케이션에 필요한 복원력, 데이 2(day 2) 운영 역량 및 보안성을 갖춘 엔터프라이즈 생성형 AI 인프라를 온프레미스 또는 아마존 EKS, 애저 쿠버네티스 서비스, 구글 쿠버네티스 엔진에 구축할 수 있다. 또한, NAI는 예측하기 어려운 사용량 또는 토큰 기반 가격 책정과는 달리, 인프라 리소스를 기반으로 한 투명하고 예측 가능한 가격 모델을 제공한다. 이는 생성형 AI 투자에서 ROI를 최대화하려는 고객에게 중요하다. 뉴타닉스는 NAI가 ▲AI 기술 격차 해소 ▲ AI 준비 플랫폼 구축의 장벽 제거 ▲데이터 프라이버시 및 보안 우려 해소 ▲ 생성형AI 워크로드에 엔터프라이즈급 인프라 제공 등의 이점을 고객에게 제공한다고 설명했다. NAI는 뉴타닉스 GPT인어박스(Nutanix GPT-in-a-Box) 2.0의 구성 요소이다. GPT 인어박스에는 뉴타닉스 클라우드 인프라(Nutanix Cloud Infrastructure : NCI), 뉴타닉스 쿠버네티스 플랫폼(Nutanix Kubernetes Platform : NKP), 뉴타닉스 통합 스토리지(Nutanix Unified Storage : NUS)와 함께 온프레미스 훈련 및 추론을 위한 맞춤형 서비스가 포함된다. 퍼블릭 클라우드 배포를 원하는 고객은 NAI를 모든 쿠버네티스 환경에 배포될 수 있으며, 온프레미스 배포와 운영 일관성을 유지할 수 있다. NAI는 엔비디아 전체 스택 AI 플랫폼과 함께 배포될 수 있으며 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼으로 검증됐다. 여기에는 엔비디아 NIM이 포함되는데, 이는 고성능 AI 모델 추론을 안전하고 안정적으로 배포하기 위해 설계된 사용하기 쉬운 마이크로서비스 세트이다. 또한 뉴타닉스 GPT인어박스는 엔비디아 인증시스템(NVIDIA-Certified System)으로 성능의 안전성을 보장한다.  뉴타닉스는 NAI를 활용하는 주요 사용 사례로 ▲고객 피드백과 문서 분석을 통한 생성형 AI로 고객 경험 개선 ▲코파일럿과 지능형 문서 처리를 활용한 코드 및 콘텐츠 생성 가속화 ▲특정 도메인 데이터로 모델을 미세 조정해 코드 및 콘텐츠 생성 효율화 ▲사기 탐지, 위협 탐지, 경고 강화, 자동 정책 생성을 위한 AI 모델 활용으로 보안 강화 ▲사내 데이터로 미세 조정된 모델을 활용한 분석 개선 등을 소개했다. 뉴타닉스의 토마스 코넬리(Thomas Cornely) 제품 관리 부문 수석 부사장은 “뉴타닉스는 NAI를 통해 고객이 온프레미스나 퍼블릭 클라우드에서 생성형 AI 애플리케이션을 쉽고 안전하게 실행할 수 있도록 지원하고 있다”면서, “NAI는 모든 쿠버네티스 플랫폼에서 실행 가능하며, 고객의 AI 애플리케이션을 예측 가능한 비용으로 안전한 환경에서 운영할 수 있게 한다”고 말했다. 엔비디아의 저스틴 보이타노(Justin Boitano) 엔터프라이즈 AI 부사장은 “생성형 AI 워크로드는 본질적으로 하이브리드 특성을 가지고 있어, 훈련, 맞춤화, 추론이 퍼블릭 클라우드, 온프레미스 시스템, 에지 환경에 걸쳐 이루어진다”면서, “엔비디아 NIM을 NAI에 통합하면 안전한 API를 갖춘 일관된 멀티클라우드 모델을 제공해, 고객이 비즈니스 핵심 애플리케이션에 필요한 높은 성능과 보안으로 다양한 환경에서 AI를 배포할 수 있게 된다”고 말했다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 고급 훈련, 시뮬레이션, 추론 등 세 가지 컴퓨터 시스템을 통해 차세대 AI 기술로 불리는 ‘물리적 AI’ 구축을 지원하며, 이를 통해 로보틱스 생태계 강화에 나선다고 밝혔다. 챗GPT(ChatGPT)로 시작된 생성형 AI는 콘텐츠 제작, 고객 서비스, 소프트웨어 개발, 지식 근로자를 위한 비즈니스 운영 등 디지털 업무를 혁신하는 데에 도움을 주고 있다. 그러나 휴머노이드, 공장, 기타 산업 시스템 내 장치 등에서 인공지능을 구현하는 물리적 AI는 아직 획기적인 전환점을 경험하지 못했으며 교통, 모빌리티, 제조, 물류, 로보틱스와 같은 산업이 제약을 받아왔다는 것이 엔비디아의 시각이다. 엔비디아는 고급 훈련, 시뮬레이션, 추론을 결합한 3가지 컴퓨터 시스템을 통해 이러한 상황에 변화를 가져올 수 있을 것으로 보고 있다.  대규모 언어 모델(LLM)은 문자나 단어와 같은 모드에서 다음 토큰을 예측할 수 있는 1차원적인 모델이다. 이미지와 비디오 생성 모델은 다음 픽셀을 예측할 수 있는 2차원 모델이다. 하지만 이러한 모델들은 3차원 세계를 이해하거나 해석할 수 없다.  엔비디아는 물리적 AI 모델이 생성형 AI를 통해 물리적 세계를 인식하고, 이해하고, 상호 작용하고, 탐색할 수 있다고 밝혔다. 가속 컴퓨팅을 기반으로 한 멀티모달 물리적 AI의 혁신과 대규모 물리 기반 시뮬레이션을 통해 로봇을 활용한 물리적 AI의 가치를 실현할 수 있게 됐다는 것이다. 로봇은 지각, 추론, 계획, 행동, 학습을 할 수 있는 시스템으로, 자율 주행 로봇(AMR), 조작기 팔 또는 휴머노이드 외에도 다양한 유형의 로봇이 존재한다. 가까운 미래에는 수술실부터 데이터 센터, 창고, 공장, 교통 관제 시스템이나 스마트 시티에 이르기까지 움직이는 모든 것, 또는 움직이는 사물을 모니터링하는 모든 것이 자율 로봇 시스템이 될 것으로 보이는데, 이러한 시스템은 주변 환경을 감지하고 이에 대응할 수 있는 능력을 갖추게 된다.     엔비디아는 특히 인간을 위해 설계된 환경에서 효율적으로 작동할 수 있는 휴머노이드 로봇에 주목하고 있다. 휴머노이드 로봇을 개발하려면 물리적 AI와 로봇 훈련, 시뮬레이션, 런타임을 처리하는 세 가지의 가속화된 컴퓨터 시스템이 필요하다. 엔비디아는 개발자가 물리적 AI를 제작할 수 있도록 3가지 컴퓨터 시스템과 가속화된 개발 플랫폼을 구축했다고 전했다. 먼저, 개발자는 엔비디아 DGX 플랫폼에서 엔비디아 네모(NeMo)를 사용해 파운데이션 모델과 생성형 AI 모델을 훈련하고 미세 조정할 수 있다. 또한 자연어를 이해하고 인간의 행동을 관찰해 움직임을 모방할 수 있는 휴머노이드 로봇을 위한 범용 파운데이션 모델을 개발하는 이니셔티브인 엔비디아 프로젝트 GR00T(Project GR00T)를 활용할 수도 있다. 둘째, 엔비디아 OVX 서버에서 실행되는 엔비디아 옴니버스(Omniverse)는 물리적 AI를 테스트하고 최적화하기 위한 개발 플랫폼과 시뮬레이션 환경을 제공한다. 이는 엔비디아 아이작 심(Isaac Sim)과 같은 애플리케이션 프로그래밍 인터페이스와 프레임워크를 통해 활용된다. 개발자들은 아이작 심을 사용해 로봇 모델을 시뮬레이션하고 검증하거나, 물리 기반 합성 데이터를 대량 생성해 로봇 모델 훈련을 진행할 수 있다. 또한 연구원과 개발자는 로봇 강화 학습과 모방 학습을 지원하는 오픈 소스 로봇 학습 프레임워크인 엔비디아 아이작 랩(Isaac Lab)을 사용해 로봇 정책 훈련과 개선을 가속화할 수 있다. 마지막으로 훈련된 AI 모델이 실행 컴퓨터에 배포된다. 엔비디아 젯슨 토르(Jetson Thor) 로봇 컴퓨터는 콤팩트한 온보드 컴퓨팅 요구 사항을 위해 특별히 설계됐다. 제어 정책, 비전, 언어 모델로 구성된 모델 집합이 로봇 두뇌를 구성하고, 에너지 효율적인 온보드 엣지 컴퓨팅 시스템에 배포된다. 로봇 제조업체와 파운데이션 모델 개발자는 워크플로우와 도전 과제에 따라 필요한 만큼의 가속 컴퓨팅 플랫폼과 시스템을 사용할 수 있다.

유니버설 로봇이 AI 기반 협동로봇 애플리케이션 개발 활성화를 앞당길 하드웨어 및 소프트웨어 툴킷 ‘UR AI 액셀러레이터’를 발표했다. 유니버설 로봇의 첫 번째 AI 솔루션인 UR AI 액셀러레이터는 상업 및 연구용으로 설계되어 개발자들에게 협동로봇 애플리케이션 구축, 연구 가속화, AI 제품 출시 시간 단축을 위한 확장 가능한 플랫폼을 제공한다. UR AI 액셀러레이터는 엔비디아 젯슨 오린(NVIDIA Jetson Orin) 시스템 온 모듈에서 실행되는 엔비디아 아이작 가속 라이브러리 및 AI 모델을 기반으로 하며, 고품질의 오벡 제미니 335Lg 3D(Orbbec Gemini 335Lg 3D) 카메라가 포함되어 있다. 엔비디아 가속 라이브러리와 로봇 팔을 위한 AI 파운데이션 모델 모음인 아이작 매니퓰레이터(Isaac Manipulator)는 개발자가 로봇 솔루션에 가속화된 성능과 최첨단 AI 기술을 도입할 수 있는 기능을 제공한다. 아이작 매니퓰레이터를 사용하면 협동로봇 팔이 물체를 보고, 잡고, 이동하는 방법을 학습할 수 있다.     유니버설 로봇은 이번 AI 툴킷 공개와 함께 차세대 소프트웨어 플랫폼인 ‘폴리스코프 X(PolyScope X)‘에 AI 내재화를 가속화할 예정이다. 폴리스코프 X는 유연성과 확장성을 높여 산업 전반의 협동로봇 자동화 애플리케이션에 사용할 수 있도록 하는 것을 목표로 한다. 유니버설 로봇의 e 시리즈 코봇과 차세대 코봇인 UR20 및 UR30 사용자는 하드웨어 업그레이드 후 폴리스코프 X 플랫폼 사용이 가능하다.  UR AI 액셀러레이터는 내장된 데모 프로그램을 통해 UR의 플랫폼을 활용하며 포즈 추정, 추적, 물체 감지, 경로 계획, 이미지 분류, 품질 검사, 상태 감지 등의 기능을 구현한다. 폴리스코프 X를 통해 지원되는 UR AI 액셀러레이터는 개발자가 원하는 툴셋, 프로그래밍 언어, 라이브러리를 자유롭게 선택할 수 있으며 자신만의 프로그램을 만들 수 있는 유연성도 제공한다. 유니버설 로봇의 킴 포블슨(Kim Povlsen) CEO는 “UR AI 액셀러레이터를 통해 파트너가 새롭고 혁신적인 AI 솔루션을 개발 및 배포하는 데 필요한 모든 것을 제공할 것”이라면서, “우리는 이미 AI 코봇 애플리케이션을 시장에 출시하는 선도적인 플랫폼이며, 이제 그 경계를 더욱 넓히고 있다“고 강조했다. 테라다인 로보틱스의 제임스 데이비슨(James Davidson) 최고 AI 책임자는 “이번에 출시된 유니버설 로봇 AI 액셀러레이터는 AI가 실제로 변화를 가져올 수 있는 분야를 위해 구축되었으며, UR 플랫폼에서 솔루션을 구축하는 경우 배포 시간을 단축하는 동시에 AI 기반 솔루션 개발의 위험을 줄여준다”면서, “물리적 AI를 완전히 새로운 차원으로 끌어올린다는 목표를 가진 AI 액셀러레이터는 UR의 파이프라인에 있는 일련의 AI 기반 제품 및 기능 중 가장 먼저 출시되는 제품으로, 로봇 공학에 대한 접근성을 그 어느 때보다 높이는 데에 초점을 맞추고 있다”고 말했다.

한국IBM은 9월 3일 서울 강남구 삼성동 그랜드 인터컨티넨탈 서울 파르나스에서 'IBM AI 서밋 코리아 2024'를 개최했다. 이번 행사는 '기업 혁신을 극대화하는 AI, 자동화, 하이브리드 클라우드'를 주제로 하여, 디지털 전환을 촉진하는 IBM의 AI 및 클라우드 솔루션을 중심으로 다양한 산업 혁신 사례들이 소개됐다. ■ 박경수 기자    ▲ IBM이 개최한 ‘IBM AI 서밋 코리아 2024’ 발표현장   왓슨x를 통한 글로벌 기업 AI 혁신 사례  IBM은 2023년에 출시한 왓슨x(watsonx) 플랫폼을 활용해 전 세계 기업들이 AI를 활용해 어떻게 비즈니스 가치를 창출하고 있는지를 강조했다. 왓슨x는 IBM이 개발한 AI 및 데이터 플랫폼으로, 기업이 AI 모델을 구축하고 관리할 수 있도록 지원하는 통합 솔루션이다. 왓슨x는 생성형 AI와 머신러닝 모델의 학습, 튜닝, 배포를 돕는 플랫폼으로, 기업이 신뢰할 수 있는 데이터 기반의 AI를 통해 더 효율적이고 비용 효과적으로 AI 솔루션을 도입할 수 있도록 설계되었다. 유럽의 한 통신사는 왓슨x로 고객 응대 시스템을 혁신했다. 이 통신사는 왓슨x를 사용해 매달 80만 건의 고객 문의 응답 시간을 30% 단축했고, 이를 통해 고객 만족도를 40% 향상시키는 성과를 거두었다. 미국의 한 헬스케어 기업은 왓슨x를 통해 환자 데이터 관리 시스템을 개선했다. 이를 통해 더 나은 진료 분석과 예측 모델을 구현해, 의료 서비스의 질을 크게 향상시켰다. 이 기업은 왓슨x를 통해 대규모 데이터셋을 효과적으로 관리하며, 진단과 치료 방식을 자동화했다. 왓슨x는 금융 서비스 분야에서도 활용되어 리스크 관리와 자동화된 고객 서비스 개선에 기여하고 있다. 금융 회사들은 왓슨x의 AI 솔루션을 활용해 실시간 거래 분석과 예측 모델을 구축함으로써 더 나은 투자 결정을 내리는데 활용하고 있다. 이은주 한국IBM 사장은 환영사에서 “현재 많은 기업이 AI를 시험 단계를 넘어 비즈니스 전반으로 확산하려는 방안을 모색하고 있지만, 여러 도전 과제가 있다”며, “AI 여정을 성공적으로 이끌고 있는 고객들은 소수의 AI 프로젝트에 집중한 뒤 이를 기업 전체로 확장하고 있다”고 설명했다. 이어서 “전 세계 1000개 이상의 고객과 파트너들이 고객 경험, 애플리케이션 현대화, 디지털 노동(digital labor) 등 특정 영역에 IBM의 생성형 AI 플랫폼인 왓슨x를 적용하고 있다. IBM 왓슨x는 신뢰할 수 있는 데이터로 학습된 파운데이션 모델을 제공하며, 목적에 맞게 조정된 소규모 모델을 활용해 AI 추론 비용을 제어하면서도 성능과 품질을 유지할 수 있다”고 강조했다.   ▲ ‘IBM AI 서밋 코리아 2024’에서 부스를 꾸미고 관람객과 소통에 나선 IBM과 채널사들   AI와 하이브리드 클라우드를 통한 디지털 혁신 IBM은 이번 서밋에서 AI와 하이브리드 클라우드가 어떻게 기업의 디지털 전환을 가속화하고 있는지에 대해 다양한 사례를 들어 설명했다. IBM의 하이브리드 클라우드는 온프레미스(기업 내부 서버), 프라이빗 클라우드, 퍼블릭 클라우드를 모두 통합해 사용할 수 있도록 설계된 클라우드 컴퓨팅 환경이다. 이를 통해 기업은 유연성과 효율성을 극대화하면서도 보안과 데이터 관리의 유연성을 유지할 수 있다. 하이브리드 클라우드는 IBM의 레드햇 오픈시프트(Red Hat OpenShift) 플랫폼과 통합되어 운영되며, 이를 통해 다양한 클라우드 환경에서 일관된 애플리케이션 관리를 가능하게 한다는 점이 특징이다. 이처럼 IBM의 하이브리드 클라우드는 다양한 IT 환경에서 AI 모델을 유연하게 배포하고 관리할 수 있도록 설계되어 있으며, 이를 통해 기업은 비용을 절감하고 성능을 극대화할 수 있다. 특히 IBM 왓슨x 플랫폼은 고품질 데이터와 맞춤형 모델로 AI 추론 비용을 제어하면서도 우수한 성능을 유지할 수 있도록 설계되었다는 점이 특징이다. 이는 IBM의 글로벌 고객들이 디지털 노동, 애플리케이션 현대화 등 다양한 비즈니스 과제에서 AI를 활용해 혁신을 이루는데 기여하고 있다. 한편, 전 프로골퍼이자 기업인으로 방송인으로 활발한 활동을 보여주고 있는 박세리 감독이 이번 서밋에 참석했다. 박세리 감독은 한국IBM CTO 이지은 전무와 함께 ‘AI 기술로 변화하는 스포츠의 미래’를 주제로 스포츠 업계에서 어떻게 AI를 활용하고 있는지 토론에 참여했다. 박세리 감독은 “스포츠에서는 팬들의 참여를 유도하는 것이 비즈니스 성공의 핵심 요소”라며, “스포츠 업계는 더 많은 관중 참여와 관심을 끌기 위해 매년 최첨단 기술 도입에 적극 나서고 있다”고 설명했다. 실제로 IBM은 마스터즈 골프, 윔블던 테니스, US 오픈 등 글로벌 스포츠 이벤트뿐만 아니라 금융, 제조, 유통 등 다양한 산업에서 사용되는 생성형 AI, 자동화, 하이브리드 클라우드를 접목해 디지털 팬 경험을 향상시키고, 스포츠 비즈니스의 생산성을 높이는데 기여하고 있다.  박세리 감독은 마스터즈 골프를 예로 들며, “생성형 AI와 같은 기술이 도입되면서 현장에 참여하지 못한 팬들도 높은 만족감을 느낄 수 있었다. 이 기술이 다양한 분야에서 스포츠 비즈니스의 성장을 이끌고 변화를 가져올 것이라고 기대한다”고 말했다.   ▲ 이지은 한국IBM CTO와 스포츠 분야에 AI 도입에 대해 토론 중인 박세리 감독   성공적인 AI 적용을 위한 데이터 관리의 중요성 IBM의 데이터 및 AI 전문가들은 생성형 AI의 성공적인 비즈니스 적용을 위해서는 신뢰할 수 있는 모델과 데이터 관리가 필수임을 강조했다. IBM의 인스트럭트랩(InstructLab) 기술은 이러한 데이터 관리 과정을 체계화하여, 기업이 AI 모델을 더 효율적으로 학습시키고 운영할 수 있도록 돕는다. 이 기술은 AI와 클라우드를 통합하여 기업이 데이터 통합, 거버넌스, 그리고 신뢰성 문제를 해결하는 데 중요한 역할을 한다. 인스트럭트랩은 AI 모델 학습 및 데이터 관리를 위한 도구로, 주로 기업이 AI 프로젝트에서 데이터를 보다 효율적으로 관리하고 생성형 AI 모델을 성공적으로 적용할 수 있도록 지원하는 기술이다. 인스트럭트랩은 왓슨x 플랫폼과 통합되어 AI 모델을 학습시키고, 다양한 비즈니스 요구에 맞게 조정하는데 필수적인 기능을 제공한다. 이 기술의 핵심 목표는 데이터 통합, 품질 관리, 신뢰할 수 있는 데이터 거버넌스를 통해 AI 모델이 더 정확하고 효율적으로 학습할 수 있도록 돕는 것이다. 특히, 인스트럭트랩은 복잡한 데이터 관리 과정을 자동화하고 체계화함으로써 AI 프로젝트의 생산성과 성공률을 높이는 역할을 한다. 미드하트 샤히드 IBM 월드와이드 데이터 패브릭 및 클라우드 팩 포 데이터 제품 관리 부사장과 아눕 쿠마 IBM 아태지역 데이터 & AI CTO는 생성형 AI를 비즈니스에 성공적으로 적용하기 위해서는 신뢰할 수 있는 모델, 고품질의 데이터, 데이터 통합 및 거버넌스 등 체계적인 데이터 관리가 필수라고 강조했다. 이들은 이번 서밋에서 생성형 AI를 성공적으로 비즈니스에 적용하려면 신뢰할 수 있는 모델, 고품질 데이터, 데이터 통합 및 거버넌스가 필수적이라고 강조했다. 또한 AI 프로젝트의 성공을 위해 신뢰성 있고 일관된 데이터 관리가 필수적이라며, 이를 통해 AI 모델의 성능을 극대화할 수 있다고 이야기했다. 샤히드 부사장은 IBM의 데이터 패브릭(Data Fabric) 기술을 통해 다양한 데이터 소스에서 실시간으로 데이터를 안전하게 통합하고 관리하는 중요성에 대해 설명했다. 이 데이터 패브릭은 AI 모델 학습의 기초가 되며, 신뢰할 수 있는 데이터를 지속적으로 공급함으로써 AI 프로젝트가 시험 단계를 넘어 실제 비즈니스에 도입될 수 있도록 돕는다. 쿠마 CTO는 기업이 생성형 AI를 성공적으로 도입하기 위해서는 데이터 거버넌스가 매우 중요하다고 강조했다. AI 모델이 공정하고 편향되지 않도록 관리하는 것이 중요한데, 그는 IBM의 watsonx.governance가 이를 자동화된 방식으로 해결한다고 설명했다. 이 도구는 AI 모델의 신뢰성, 공정성, 편향 여부를 지속적으로 모니터링하고, 규제 요구사항에 맞게 관리할 수 있게 해준다. 한편, 이번 서밋에서는 한국IBM의 데이터 및 AI 전문가와 국내 고객이 함께 진행한 다양한 산업별, 업무 영역별 생성형 AI 파일럿 프로젝트의 경험과 교훈도 공유되었다. 또한 AI 프로젝트 지원을 위한 디스커버리 워크샵, 핸즈온 프로그램, 인큐베이션 프로그램 등도 소개되었다.   ■ 같이 보기 : [피플&컴퍼니] 한국IBM 이은주 사장     ■ 기사 내용은 PDF로도 제공됩니다.

엔비디아가 LG AI연구원의 엑사원 3.0(EXAONE 3.0)에 H100 GPU와 네모(NeMo) 프레임워크가 활용됐다고 밝혔다. 엑사원 3.0은 네모 프레임워크 위에서 LG AI연구원의 독자 기술로 개발되고 학습됐다. 엑사원 3.0은 지난 8월에 발표된 LG AI연구원의 최신 AI 파운데이션 모델로, 한국어와 영어, 코딩 등 13개 벤치마크 점수 순위에서 1위를 차지했다. 특히 메타(Meta)의 라마(Llama) 등 글로벌 동급 규모의 오픈소스 AI 모델 대비 한국어와 영어에서도 우수한 벤치마크 성능을 확보했다. 연구 목적으로 누구나 자유롭게 활용할 수 있는 엑사원 3.0은 텐서RT-LLM(TensorRT-LLM) SDK를 기반으로 효율적인 비용으로 모델을 배포할 수 있도록 지원한다.      또한 LG 그룹사 내에서도 엑사원은 다양하게 활용되고 있다. LG유플러스에서는 엑사원 기반의 통신, 플랫폼 데이터 특화의 생성형 AI인 익시젠(ixi-GEN)을 출시한 바 있다. 이번에 출시된 엑사원 3.0은 다양한 목적에 맞게 구성된 엑사원 3.0 언어모델 라인업 중에서 7.8B 인스트럭션 튠드(Instruction Tuned) 모델을 오픈소스로 공개한 것이다.  엔비디아 네모는 어디서든 생성형 AI 모델을 구축, 맞춤화, 배포할 수 있는 엔드 투 엔드 프레임워크다. 엔비디아는 생성형 AI용 엔비디아 네모를 통해 엔드 투 엔드 파이프라인, 투자 대비 수익률(ROI) 증가, 가속화된 성능 등 다양한 이점을 경험할 수 있다고 소개했다. 텐서RT-LLM은 엔비디아 AI 플랫폼에서 최신 LLM의 추론 성능을 가속화하고 최적화하는 오픈 소스 라이브러리다. 이는 엔비디아 GPU에서 프로덕트 배포를 위한 고성능을 제공한다. 한편, LG AI연구원은 엑사원 3.0을 바탕으로 개발된 엔터프라이즈 AI 에이전트(Enterprise AI Agent)인 챗엑사원(ChatEXAONE)도 공개했다. LG 그룹사를 대상으로 오픈 베타 서비스로 우선 출시된 챗엑사원은 기업 사용자의 업무 효율성을 높이고 전문가 수준의 인사이트를 제공한다.