엔비디아 젠슨 황, CES 2025서 ‘놀라운 속도’로 진보하는 AI 소개   CES 2025에서 엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)이 AI와 컴퓨팅 기술의 미래를 조망했다.  젠슨 황은 1월 8일 90분간 이어진 연설에서 게이밍, 자율 주행차, 로보틱스, 그리고 에이전틱 AI(agentic AI)의 발전에 기여할 엔비디아의 최신 기술과 제품들을 공개했다. 라스베이거스 미켈롭 울트라 아레나에 6천 명이 넘는 관중이 운집한 가운데, 젠슨 황은 “AI가 놀라운 속도로 진보하고 있다”면서, AI의 발전 과정을 세 단계로 나눠 설명했다. “AI는 처음에 이미지와 단어, 소리를 이해하는 '인식형 AI(Perception AI)'에서 시작됐다. 이후 텍스트, 이미지, 소리를 생성하는 '생성형 AI(Generative AI)'가 등장했다. 그리고 이제 우리는 처리, 추론, 계획, 행동까지 가능한 물리적 AI(Physical AI) 시대에 접어들고 있다.” 젠슨 황은 이 변혁의 중심에 엔비디아 GPU와 플랫폼이 자리 잡고 있다고 강조하며, 엔비디아가 게이밍, 로보틱스, 자율 주행차 등 다양한 산업에서 혁신을 선도할 것이라고 전했다. 이번 기조연설에서는 엔비디아의 신제품과 기술이 공개됐다. 젠슨 황은 이를 통해 AI와 컴퓨팅 기술이 어떻게 미래를 재정의할지 상세히 설명했다. 엔비디아 코스모스(Cosmos) 플랫폼은 로봇과 자율 주행차, 비전 AI를 위해 새롭게 개발된 모델과 영상 데이터 프로세싱 파이프라인을 통해 물리적 AI를 발전시킬 것이다. 새로 출시될 엔비디아 블랙웰(Blackwell) 기반 지포스(GeForce) RTX 50 시리즈 GPU는 놀랍도록 사실적인 비주얼과 전례 없는 성능을 제공한다.  이번 CES에 소개된 RTX PC용 AI 기초 모델에는 디지털 휴먼(digital human)과 팟캐스트, 이미지, 동영상 제작을 도울 엔비디아 NIM 마이크로서비스와 AI 블루프린트가 포함된다. 엔비디아 프로젝트 디지츠(Project DIGITS)는 주머니에 들어가는 소형 크기의 패키지로 개발자의 데스크톱에 엔비디아 그레이스 블랙웰(Grace Blackwell)의 강력한 성능을 제공한다. 엔비디아는 토요타와 협업하면서 엔비디아 드라이브OS(DriveOS) 기반의 엔비디아 드리아브 AGX 차내 컴퓨터로 안전한 차세대 차량 개발에 힘쓰고 있다.   젠슨 황은 30년에 걸친 엔비디아의 여정을 돌아보는 것으로 키노트를 시작했다. 1999년, 엔비디아는 프로그래머블 GPU(programmable GPU)를 개발했다. 그로부터 지금까지 현대적 AI가 컴퓨팅의 작동 방식을 근본적으로 바꿔놨다. “당시 GPU의 테크놀로지 스택 레이어 하나하나가 고작 12년만에 놀라운 혁신을 경험했다.”   지포스 RTX 50 시리즈의 그래픽 혁명 젠슨 황은 “지포스는 AI가 대중에게 다가가는 계기였고, 이제 AI는 지포스의 본진이 되고 있다”고 말했다. 이 같은 평가와 함께 젠슨 황은 지금껏 개발된 제품 중 가장 강력한 지포스 RTX GPU인 엔비디아 지포스 RTX 5090 GPU 를 소개했다. 지포스 RTX 5090은 920억 개의 트랜지스터를 탑재하고 초당 3,352조 개(TOPS)의 연산을 제공한다.  젠슨 황은 “바로 이것이 우리가 처음 선보이는 블랙웰 아키텍처의 지포스 RTX 50 시리즈”라며 소개를 시작했다. 젠슨 황은 검게 처리된 GPU를 높이 들어 보이며, 이 제품이 첨단 AI를 활용해 혁신적인 그래픽을 구현하는 방법을 설명했다. 그는 “이 GPU는 문자 그대로 야수라 할 만하다. 지포스 RTX 5090의 기계적 디자인조차 기적에 가깝다”며, 해당 그래픽 카드에 냉각 팬 두 개가 장착돼 있다고 언급했다.  이번 기조연설에서는 지포스 RTX 5090 시리즈를 변형한 제품들의 출시 소식도 알렸다. 지포스 RTX 5090과 지포스 RTX 5080 데스크톱 GPU가 오는 1월 30일에 공개된다. 지포스 RTX 5070 Ti와 지포스 RTX 5070 데스크톱은 오는 2월부터 만나볼 수 있다. 랩톱 GPU는 올 3월 출시 예정이다.  DLSS 4 는 DLSS 테크놀로지를 활용한 제품군 일체와 함께 작동하는 멀티 프레임 생성(Multi Frame Generation)을 도입해 성능을 최대 8배까지 끌어올린다. 또한 엔비디아는 PC의 레이턴시(latency)를 75%까지 줄여주는 엔비디아 리플렉스(Reflex) 2 도 공개했다.  최신 DLSS의 경우, 우리가 계산하는 프레임마다 세 개의 프레임을 추가로 생성할 수 있다. 젠슨 황은 “그 결과 AI가 담당하는 계산이 크게 줄어들기 때문에 렌더링 성능이 크게 향상된다”고 말했다. RTX 뉴럴 셰 이더(RTX Neural Shaders)는 소형 신경망을 사용해 실시간 게이밍의 텍스처와 머티리얼, 빛을 개선한다. RTX 뉴럴 페이스(RTX Neural Faces)와 RTX 헤어(RTX Hair)는 생성형 AI로 얼굴과 머리카락의 실시간 렌더링을 개선해 더없이 사실적인 디지털 캐릭터를 만들어낸다. RTX 메가 지오메트리(RTX Mega Geometry)는 레이 트레이싱된 트라이앵글(triangle)의 개수를 100배까지 늘려 디테일을 강화한다.    코스모스로 진보하는 물리적 AI 젠슨 황은 그래픽의 발전상과 더불어 엔비디아 코스모스 월드 파운데이션 모델(world foundation model) 플랫폼을 소개하며, 이것이 로보틱스와 산업 AI를 크게 혁신할 것이라고 내다봤다.  그는 AI의 차세대 개척지는 물리적 AI가 될 것이라면서 이 순간을 대규모 언어 모델이 생성형 AI의 혁신에 미쳤던 거대한 영향에 비유하고 “챗GPT(ChatGPT) 같은 혁신의 순간이 로보틱스 분야 전반에 다가온 셈”이라고 설명했다.  젠슨 황은 거대 언어 모델(large language model)과 마찬가지로 월드 파운데이션 모델 또한 로봇과 AV 개발 촉진에 중요한 역할을 하지만, 이를 자체적으로 훈련할 수 있는 전문 지식과 자원을 모든 개발자가 갖추고 있는 것은 아니라고 진단했다.  엔비디아 코스모스는 생성형 모델과 토크나이저(tokenizer), 영상 프로세싱 파이프라인을 통합해 AV와 로봇 등의 물리적 AI 시스템을 강화한다.  엔비디아 코스모스의 목표는 AI 모델에 예측과 멀티버스 시뮬레이션 기능을 지원해 발생 가능한 모든 미래를 시뮬레이션하고 최적의 행위를 선택할 수 있도록 하는 것이다.   젠슨 황의 설명에 따르면 코스모스 모델은 텍스트나 이미지, 비디오 프롬프트를 수집해 가상 월드를 동영상 형태로 생성한다. 그는 “코스모스의 생성 작업은 실제 환경과 빛, 대상 영속성(object permanence) 등 AV와 로보틱스라는 고유한 활용 사례에 필요한 조건들을 최우선으로 고려한다”고 말했다. 1X와 애자일 로봇(Agile Robots), 어질리티(Agility), 피규어 AI(Figure AI), 포어텔릭스(Foretellix), 푸리에(Fourier), 갤봇(Galbot), 힐봇(Hillbot), 인트봇(IntBot), 뉴라 로보틱스(Neura Robotics), 스킬드 AI(Skild AI), 버추얼 인시전(Virtual Incision), 와비(Waabi), 샤오펑(XPENG) 등 로보틱스와 자동차 분야의 선도적인 기업들과 차량 공유 업체 우버(Uber)가 코스모스를 최초 도입했다.  또한 현대자동차 그룹은 엔비디아 AI와 옴니버스(Omniverse) 를 기반으로 더 안전하고 스마트한 차량을 개발하고, 제조를 강화하며, 최첨단 로보틱스의 활용성을 높인다. 코스모스는 오픈 라이선스로 깃허브(GitHub)에서 이용할 수 있다.    AI 기초 모델로 개발자 지원 엔비디아는 로보틱스와 자율 주행차 외에도 AI 기초 모델을 통해 개발자와 크리에이터를 지원한다.  젠슨 황은 디지털 휴먼과 콘텐츠 제작, 생산성과 개발성을 극대화하는 RTX PC용 AI 파운데이션 모델을 소개했다.  그는 “모든 클라우드에서 엔비디아 GPU를 사용할 수 있기 때문에 이 AI 기초 모델들 또한 모든 클라우드에서 실행이 가능하다. 모든 OEM에서 사용이 가능하므로 이 모델들을 가져다 여러분의 소프트웨어 패키지에 통합하고, AI 에이전트를 생성하며, 고객이 소프트웨어 실행을 원하는 어디에나 배포할 수 있다”고 전했다.  이 기초 모델들은 엔비디아 NIM 마이크로서비스로 제공되며, 신형 지포스 RTX 50 시리즈 GPU로 가속된다. 신형 지포스 RTX 50은 모델의 신속 실행에 필요한 기능을 갖추고 있으며, FP4 컴퓨팅 지원을 추가해 AI 추론을 2배까지 향상시킨다. 또한 생성형 AI 모델이 전 세대 하드웨어에 비해 더 적은 메모리 공간에서 로컬로 실행되도록 지원한다.   젠슨 황은 이처럼 새로운 툴이 크리에이터에게 어떤 잠재력을 갖는지 짚었다. 그는 “우리는 우리의 생태계가 활용할 수 있는 다양한 블루프린트를 만들고 있다. 이 모든 게 오픈 소스로 제공되므로 여러분이 블루프린트를 가져다 직접 수정해 사용할 수 있다”고 말했다.  엔비디아는 업계 최고의 PC 제조업체와 시스템 개발자들이 지포스 RTX 50 시리즈 GPU를 탑재하고 NIM을 지원하는 RTX AI PC를 내놓을 예정이다. 젠슨 황은 “AI PC들이 여러분 가까이로 찾아갈 예정”이라고 말했다. 엔비디아는 이처럼 개인 컴퓨팅에 AI 기능을 더하는 툴들을 제공하는 한편, 안전과 인텔리전스가 가장 중요하게 손꼽히는 자율 주행차 산업에서도 AI 기반 솔루션을 발전시키고 있다.   자율 주행 차량의 혁신 젠슨 황 CEO는 엔비디아 AGX 토르(Thor) 시스템 온 칩(SoC)을 기반으로 구축된 엔비디아 드라이브 하이페리온 AV(Hyperion AV) 플랫폼의 출시를 알렸다. 이 플랫폼은 생성형 AI 모델용으로 고안돼 기능 안전성과 자율 주행 기능을 강화한다.  젠슨 황은 “자율 주행차의 혁명이 찾아왔다. 자율 주행차 제작에는 로봇을 만들 때와 마찬가지로 세 대의 컴퓨터가 필요하다. AI 모델 훈련을 위한 엔비디아 DGX, 시험 주행과 합성 데이터 생성을 위한 옴니버스, 차내 슈퍼컴퓨터인 드라이브 AGX가 필요하다”고 말했다.  드라이브 하이페리온은 최초의 엔드-투-엔드(end-to-end) AV 플랫폼으로, 첨단 SoC와 센서, 차세대 차량용 안전 시스템, 센서 제품군과 액티브 세이프티(active safety)와 레벨 2 자율 주행 스택을 통합했다. 이 플랫폼은 메르세데츠 벤츠(Mercedes-Benz)와 JLR, 볼보자동차(Volvo Cars) 등 자동차 안전성 분야를 선도하는 기업들에 채택됐다.  젠슨 황은 자율 주행차의 발전에서 합성 데이터가 중요한 역할을 수행한다고 강조했다. 합성 데이터는 실세계 데이터에 한계가 존재하는 상황에서 자율 주행차 제조 단계에서의 훈련에 필수적이라고 설명했다.  엔비디아 옴니버스 AI 모델과 코스모스를 기반으로 한 이 같은 접근 방식은 “훈련 데이터의 양을 어마어마하게 늘리는 합성 주행 시나리오를 생성”한다.  엔비디아와 코스모스를 사용하는 엔비디아의 AI 데이터 공장은 “수백 개의 주행을 수십억 마일에 달하는 유효 주행으로 확장”함으로써 안전하고 진일보한 자율 주행에 필요한 데이터세트를 획기적으로 늘릴 수 있다.  젠슨 황은 “자율 주행차 훈련에 쓰일 방대한 데이터를 보유하게 될 것”이라고 덧붙였다.  세계 최대 자동차 제조사인 토요타는 안전 인증을 획득한 엔비디아 드라이브OS 운영 체제와 엔비디아 드라이브 AGX 오린(Orin)을 기반으로 차세대 차량을 생산할 것이라고 밝혔다.  젠슨 황은 “컴퓨터 그래픽이 놀라운 속도로 혁신을 이룩했듯 향후 몇 년 동안 AV 발전 속도 또한 엄청나게 빨라질 것으로 예상된다. 이 차량들은 기능 안전성과 진일보한 주행 지원 능력을 제공할 전망”이라고 말했다.    에이전트 AI와 디지털 제조 엔비디아와 협력사들은 효율적인 조사와 영상 검색, 요약을 통해 대용량 영상과 이미지를 분석할 수 있는 PDF 투 팟캐스트(PDF-to-podcast) 등 에이전틱 AI용 AI 블루프린트들을 출시했다. 이를 통해 개발자들이 어디서나 AI 에이전트를 구축, 테스트, 실행할 수 있도록 지원해왔다.  개발자는 AI 블루프린트를 활용해 맞춤형 에이전트를 배포하고 엔터프라이즈 워크플로우를 자동화할 수 있다. 이 새로운 범주의 협력사 블루프린트는 엔비디아 NIM 마이크로서비스나 엔비디아 네모(NeMo) 등의 엔비디아 AI 엔터프라이즈 소프트웨어와 크루AI(CrewAI), 데일리(Daily), 랭체인(LangChain), 라마인덱스(LlamaIndex), 웨이츠 앤 바이어시스(Weights & Biases) 등 선도적인 제공자들의 플랫폼을 통합한다.  이와 더불어 젠슨 황은 라마 네모트론(Llama Nemotron)도 새롭게 발표했다.  개발자는 엔비디아 NIM 마이크로서비스를 활용해 고객 지원과 사기 탐지, 공급망 최적화 작업용 AI 에이전트를 구축할 수 있다.  엔비디아 NIM 마이크로서비스로 제공되는 이 모델들은 가속 시스템 일체에서 AI 에이전트를 가속한다. 엔비디아 NIM 마이크로서비스는 영상 콘텐츠 관리를 간소화해 미디어 업계의 효율성과 시청자 참여도를 높인다. 엔비디아의 신기술은 디지털 분야의 애플리케이션을 넘어 AI가 로보틱스로 물리적 세계를 혁신할 길을 열어주고 있다. 그는 “지금까지 말씀드린 지원 테크놀로지 일체를 바탕으로 우리는 향후 몇 년 동안 로보틱스 전반에서 엄청난 속도의 혁신과 놀라운 변화들을 만들어내게 될 것”이라고 말했다. 제조 분야의 합성 모션 생성을 위한 엔비디아 아이작(Isaac) GR00T 블루프린트는 기하급수적으로 많은 합성 모션 데이터를 생성해 모방 학습을 통한 휴머노이드 훈련에 도움을 줄 것이다. 젠슨 황은 엔비디아 옴니버스로 수백 만 개의 휴머노이드 훈련용 합성 모션을 생성해 로봇을 효율적으로 훈련시키는 것이 중요하다고 강조했다. 메가 블루프린트는 엑센츄어(Accenture)와 키온(KION) 같은 선진 업체들이 창고 자동화를 위해 채택한 로봇들의 대규모 시뮬레이션을 지원한다.  이러한 AI 툴을 바탕으로 엔비디아의 새로운 혁신, 일명 프로젝트 디지츠로 불리는 개인용 AI 슈퍼컴퓨터가 등장했다.                                                                                             엔비디아 프로젝트 디지츠 공개 젠슨 황은 개인 사용자와 개발자 모두에게 엔비디아 그레이스 블랙웰을 쥐여주게 될 엔비디아 프로젝트 디지츠 를 공개했다. 그는 “한 가지 더 보여드리고 싶은 게 있다. 약 10년 전에 시작된 이 놀라운 프로젝트가 아니었다면 이 같은 일은 절대로 불가능했을 것이다. 이는 우리 회사 내부에서 프로젝트 디지츠라 불리던 작업이다. 딥 러닝 GPU 인텔리전스 트레이닝 시스템(deep learning GPU intelligence training system)의 약어다”라며 소개를 시작했다. 그는 2016년 최초의 엔비디아 DGX 시스템이 오픈AI(OpenAI)에 제공되던 당시를 그리며 엔비디아의 AI 슈퍼컴퓨팅 개발을 향한 여정이 남긴 유산을 되새겼다. 그는 “그 덕분에 AI 컴퓨팅의 혁명이 가능했다는 건 분명한 사실”이라고 말했다. 새로 발표된 프로젝트 디지츠는 엔비디아의 슈퍼컴퓨팅 개발 미션을 더욱 발전시켰다. 젠슨 황은 “모든 소프트웨어 엔지니어, 모든 엔지니어, 모든 크리에이티브 아티스트, 오늘날 컴퓨터를 도구로 사용하는 모든 이들에게 AI 슈퍼컴퓨터가 필요해질 것”이라고 전했다. 젠슨 황은 10기가 그레이스 블랙웰 슈퍼칩으로 구동되는 프로젝트 디지츠가 엔비디아의 가장 작지만 가장 강력한 AI 슈퍼컴퓨터라고 밝혔다. 젠슨 황은 “이것이 엔비디아의 최신 AI 슈퍼컴퓨터”라고 설명하며 프로젝트 디지츠를 선보였다. 그는 “이 제품은 엔비디아 AI 스택 전체를 구동한다. 엔비디아 소프트웨어 일체가 여기서 실행된다. DGX 클라우드 또한 마찬가지”라고 말했다.    소형이지만 강력한 프로젝트 디지츠는 오는 5월 출시를 앞두고 있다.    미래를 이끄는 엔비디아의 비전 젠슨 황은 연설을 마무리하며, 엔비디아가 30년간 혁신을 거듭해온 과정을 돌아보고,  “1999년 프로그래머블 GPU를 개발한 이후, 우리는 현대 AI가 컴퓨팅을 근본적으로 변화시키는 과정을 지켜봤다”고 말했다. CES 2025에서 공개된 엔비디아의 혁신들은 AI 기술이 산업 전반에 걸쳐 새로운 가능성을 열어줄 것을 보여줬다. 젠슨 황의 말처럼, AI는 이미 우리의 일상 속 깊숙이 자리 잡았으며, 엔비디아는 그 중심에서 미래를 선도하고 있다.  

엔비디아가 기업용 생성형 AI 구축을 가속화하는 엔비디아 NIM 에이전트 블루프린트(NVIDIA NIM Agent Blueprints)를 공개했다. 최근 고급 오픈소스 기반 모델의 가용성과 AI 워크플로의 효율성 및 자율성을 개선하는 에이전트 AI의 발전이 이어지고 있다. 다양한 산업 분야의 기업들은 구글 젬마(Google Gemma), 라마 3.1(Llama 3.1) 405B, 마이크로소프트 파이(Microsoft Phi), 믹스트랄(Mixtral), 네모트론(Nemotron)과 같은 모델을 사용해 비즈니스 성장을 지원하고 생산성을 향상시키는 자체 AI 애플리케이션을 개발할 수 있다. 비즈니스 혁신을 가속하기 위해 기업은 디지털 휴먼 고객 서비스 챗봇, 검색 증강 생성(RAG), 신약 개발과 같은 표준 생성형 AI 워크플로에 대한 청사진을 필요로 한다. 엔비디아는 NIM 마이크로서비스를 통해 이러한 모델을 효율적이고 엔터프라이즈에서 사용할 수 있도록 지원하고 있으나, 엔터프라이즈 생성형 AI 애플리케이션 구축은 복잡하고 여러 단계를 거쳐야 하는 프로세스이다. 이번에 발표한 엔비디아 NIM 에이전트 블루프린트에는 엔터프라이즈 개발자가 비즈니스 목표에 부합하는 맞춤 생성형 AI 애플리케이션을 구축하고 배포하는 데에 필요한 기능을 제공한다.     NIM 에이전트 블루프린트는 특정 사용 사례에 맞게 조정된 레퍼런스 AI 워크플로다. 여기에는 엔비디아 NIM과 파트너 마이크로서비스로 구축된 샘플 애플리케이션, 레퍼런스 코드, 사용자 정의 문서, 배포를 위한 헬름차트(Helm chart)가 포함된다. 개발자는 NIM 에이전트 블루프린트를 통해 각 사용 사례에 대한 엔비디아의 고급 AI 도구와 엔드 투 엔드 개발 환경을 바탕으로 자체 애플리케이션을 손쉽게 제작할 수 있다. 블루프린트는 수정과 개선이 가능하도록 설계됐다. 또한, 개발자는 복잡한 작업을 수행할 수 있는 정보 검색과 에이전트 기반 워크플로를 모두 활용할 수 있다. 아울러 NIM 에이전트 블루프린트는 개발자가 AI 수명 주기 전반에 걸쳐 애플리케이션을 개선하는 데 도움을 준다. 사용자가 AI 애플리케이션과 상호작용을 하면 새로운 데이터가 생성된다. 이 데이터는 지속적인 학습 주기를 통해 모델을 개선하고 향상시키는 데 사용되며, 이로써 데이터 기반 생성형 AI 플라이휠(flywheel)을 만들 수 있다. NIM 에이전트 블루프린트는 기업이 모델과 데이터를 연결하는 애플리케이션을 통해 자체적인 생성형 AI 플라이휠을 구축할 수 있도록 지원한다. 엔비디아 네모(NeMo)는 이 프로세스를 용이하게 하고, 엔비디아 AI 파운드리(AI Foundry)는 플라이휠을 실행하기 위한 생산 환경 역할을 한다. 엔비디아는 사용 가능한 첫 번째 NIM 에이전트 블루프린트로 ▲고객 서비스를 위한 디지털 휴먼 ▲신약 개발 가속화를 위한 생성형 가상 스크리닝 ▲엔터프라이즈 RAG를 위한 멀티모달 PDF 데이터 추출 등을 소개했다. 이외에 고객 서비스, 콘텐츠 생성, 소프트웨어 엔지니어링, 소매 쇼핑 자문 서비스, R&D 등을 위한 생성형 AI 애플리케이션을 제작하기 위한 더 많은 NIM 에이전트 블루프린트가 개발 중이다. 엔비디아는 매달 새로운 NIM 에이전트 블루프린트를 선보일 계획이다. 생성형 AI는 이제 개발자와 데이터 과학자 간의 협업을 촉진하고 있다. 개발자는 NIM 에이전트 블루프린트를 기반으로 애플리케이션을 구축하고, 데이터 과학자는 데이터 플라이휠을 구현해 맞춤형 NIM 마이크로서비스를 지속적으로 개선한다. NIM이 개선되면 관련 애플리케이션도 개선돼 지속적인 성능 향상과 데이터 생성의 순환이 이루어진다. 엔비디아는 “NIM 에이전트 블루프린트와 엔비디아 파트너의 지원을 통해 기업은 생성형 AI를 애플리케이션에 원활하게 통합해 산업 전반의 효율성과 혁신을 주도할 수 있다”고 전했다. 한편, 엔비디아는 글로벌 시스템 통합업체 및 서비스 제공 파트너인 액센츄어(Accenture), 딜로이트(Deloitte), 소프트서브(SoftServe), 퀀티파이(Quantiphi), 월드 와이드 테크놀로지(World Wide Technology) 등 파트너 에코시스템이 전 세계 기업에 NIM 에이전트 블루프린트를 제공하고 있다고 전했다. NIM 에이전트 블루프린트는 고객 상호작용 데이터를 사용해 엔비디아 파트너 에코시스템에서 제공하는 툴을 통해 최적화될 수 있다. 모델 미세 조정, 관리, 모니터링을 위한 데이터이쿠(Dataiku)와 데이터로봇(DataRobot), 워크플로 구축을 위한 딥셋(Deepset), 라마 인덱스(LlamaIndex), 랭체인(Langchain), 생성형 AI 애플리케이션 평가를 위한 웨이트 앤 바이어스(Weights and Biases. W&B), 추가적인 보안을 위한 크라우드스트라이크(CrowdStrike), 데이터독(Datadog), 피들러 AI(Fiddler AI), 뉴렐릭(New Relic), 트렌드 마이크로(Trend Micro) 등이 있다. 뉴타닉스(Nutanix), 레드햇(Red Hat), 브로드컴(Broadcom)을 비롯한 인프라 플랫폼 제공업체는 자사의 엔터프라이즈 솔루션에서 NIM 에이전트 블루프린트를 지원할 예정이다. 고객은 시스코, 델 테크놀로지스, 휴렛팩커드 엔터프라이즈(HPE), 레노버와 같은 제조업체의 엔비디아 인증 시스템에서 NIM 에이전트 블루프린트를 구축하고 배포할 수 있다. 또한, 아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트릭처(OCI)의 엔비디아 가속 클라우드 인스턴스에서도 이용 가능하다. NIM 에이전트 블루프린트는 기업이 생성형 AI 애플리케이션에서 데이터를 활용할 수 있도록 코히시티(Cohesity), 데이터스택스(Datastax), 드롭박스(Dropbox), 넷앱(NetApp), 바스트 데이터(VAST Data)와 같은 엔비디아 파트너의 데이터, 스토리지 플랫폼과 통합할 수 있다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 챗GPT(ChatGPT)와 같은 AI 전문가 서비스 개발을 위한 LLM(Large Language Model, 대규모 언어 모델) 기술 중 하나인 LLM 기반 구조화된 형식의 데이터 생성하는 방법을 간략히 소개한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   LLM을 다양한 시스템과 연동해 사용하려면, LLM의 출력이 기계가 이해 가능한 JSON, SQL, Code 형태여야 한다. 이번 호에서는 JSON 입출력이 가능하도록 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 처리하는 방법을 개발한다.  이를 잘 이용하면, 건설, 건축 분야의 PDF 파일 등을 학습하고, 필요한 정보를 기계 처리 가능한 형식으로 출력해 계산 가능한 표, 수식 등의 형식으로 정보를 생성할 수 있다.   그림 1. LLM 기반 텍스트 입력 및 구조화된 JSON 형식 생성 절차 개념도   이번 호에서는 오픈AI(OpenAI) 챗GPT와 같이 API를 사용하려면 구독해야 하는 상용 모델 대신 라마, 미스트랄과 같은 오픈소스 모델을 사용한다. LLM 모델을 컴퓨터에 다운로드받고 구동하기 위해 올라마(Ollama)를 이용하고, LLM 프롬프트와 RAG 처리를 위해 랭체인(LangChain)을 사용한다.   개발 환경 준비 다음과 같이 개발 환경을 설치한다. 그리고 올라마(https://ollama.com) 도구를 설치하도록 한다.   pip install llama-cpp-python pip install 'crewai[tools]' pip install langchain   Text to JSON  라마 모델을 로딩하고 JSON 문법으로 출력하도록 GBNF(GGML BNF) 문법 정의를 이용해 JSON 출력을 생성한다. 다음 코드를 실행한다.   from llama_cpp.llama import Llama, LlamaGrammar import httpx grammar_text = httpx.get("https://raw.githubusercontent.com/ggerganov/llama.cpp/master/grammars/json_arr.gbnf").text grammar = LlamaGrammar.from_string(grammar_text) llm = Llama("llama-2-13b.Q8_0.gguf") response = llm(     "JSON list of name strings of attractions in SF:",     grammar=grammar, max_tokens=-1 ) import json print(json.dumps(json.loads(response['choices'][0]['text']), indent=4))   출력 결과는 다음과 같이 샌프란시스코에 있는 놀이 시설을 보여준다.    [     {         "address": {             "country": "US",             "locality": "San Francisco",             "postal_code": 94103,             "region": "CA",             "route": "Museum Way",             "street_number": 151         },         "geocode": {             "latitude": 37.782569,             "longitude": -122.406605         },         "name": "SFMOMA",         "phone": "(415) 357-4000",         "website": "http://www.sfmoma.org/"     } ]   이와 같이 LLM 출력을 컴퓨터 처리하기 용이한 구조로 생성할 수 있다. 참고로, 여기서 사용한 JSON 문법은 <그림 2>와 같이 정형 규칙 언어로 정의된 것을 사용한 것이다.    그림 2. json.gbnf(https://github.com/ggerganov/llama.cpp/tree/master/grammars)     ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 랭체인(LangChain) 아키텍처와 동작 방법을 분석한다. 현재 챗GPT(ChatGPT)와 비슷한 인공지능 챗봇 서비스 개발 등에 대중적으로 사용되는 랭체인은 LLM(Large Language Model : 대규모 언어 모델) 통합과 PDF 등 다양한 데이터 소스를 지원하여 LLM 모델 활용성을 극대화한다. 이 글을 통해 LLM 서비스 개발에 필요한 랭체인의 아키텍처와 동작 원리를 이해할 수 있을 것이다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   그림 1   랭체인은 LLM에 원하는 결과를 얻을 수 있도록 다양한 프롬프트 입력 및 구조화된 출력, RAG, 튜닝과 같은 기능을 제공하는 라이브러리다. 랭체인 설치는 다음과 같이 진행할 수 있다.  pip install langchain   랭체인의 기본 사용법 랭체인은 모델 입출력, 데이터 검색, 에이전트 지원, 체인, 컨텍스트 메모리 기능을 제공하며, LCEL(LangChain Expression Language)을 이용해 각 구성요소를 유기적으로 연결시킬 수 있다. LCEL은 유닉스 파이프라인 개념을 차용했다. 다음은 LCEL의 예시를 보여준다.  from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain.schema import BaseOutputParser # LCEL 예시 chain = ChatPromptTemplate() | ChatOpenAI() | CustomOutputParser() 이와 더불어 목적에 맞는 다양한 프롬프트 템플릿, 구조화된 출력을 제공한다. from langchain.output_parsers.json import SimpleJsonOutputParser json_prompt = PromptTemplate.from_template(     "Return a JSON object with `birthdate` and `birthplace` key that answers the following question: {question}" ) json_parser = SimpleJsonOutputParser() # JSON 파서 # 프롬프트, 모델, 파서 체인 생성 json_chain = json_prompt | model | json_parser  # 유닉스 파이프라인 개념 차용함. result_list = list(json_chain.stream({"question": "When and where was Elon Musk born?"})) print(result_list)   그림 2   랭체인 구조 분석 패키지 구조 랭체인 구조를 분석하기 위해, 깃허브(GitHub)의 랭체인 소스코드를 다운로드한 후 UML로 모델링해 본다. 주요 패키지는 <그림 3>과 같다.  랭체인 소스코드 : https://github.com/langchain-ai/langchain   그림 3   cli는 랭체인의 커맨드 라인 인터페이스(command line interface), core는 랭체인의 핵심 구현 코드가 정의된다. 이 부분은 <그림 4>와 같은 패키지로 구성된다.    그림 4   참고로, 이 패키지들은 <그림 5>의 일부이다.   그림 5. 랭체인 v.0.2.0 패키지   LCEL 언어 동작 구조 이 중에 핵심적인 것만 분석해 본다. 우선, LCEL의 동작 방식을 위해 어떤 디자인 패턴을 구현하였는지 확인한다. 이 부분은 runnables 패키지가 담당한다. 이 언어는 유닉스의 파이프라인 처리를 다음과 같이 흉내낸다.  z = a | b | c z.stream('abc') 이를 위해 파이썬(Python) 문법을 적극 사용하고 있다. 우선 ‘|’ 연산자를 오버로딩(overloading)하기 위해, 파이썬 Runnable 클래스를 정의해 ‘__or__’ 연산자를 구현한다. 이 연산자는 self object와 right object 두 객체를 입력받아 리스트를 만든 후 리턴하는 역할을 한다. 앞의 예시에서 보면, ‘a | b’를 실행 가능한 객체 리스트로 만들어 리턴한다. 결론적으로 a, b, c 객체를 리스트로 만들고 이 리스트를 z에 할당한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

  INFOWORLD   People&Company 17　머티리얼라이즈 윌프리드 반크란 의장　3D 프린팅에 대한 새로운 시각이 성장 기회를 만들 것 36　트림블 코리아 김동준 상무　설계부터 운영까지, AI로 건설산업 전반의 혁신 지원   Focus 20　PLM/DX 베스트 프랙티스 컨퍼런스 2024, 제조산업의 디지털 전환 전략과 사례 소개 28　지멘스 DISW, “디지털 엔지니어링으로 자동차 개발을 혁신” 30　매스웍스, 디지털 제품 개발 위한 MBD 비전 제시 32　미르, 물류/자재 관리 혁신 위한 자율이동로봇 기술 소개 34　AWS-에티버스, “클라우드 ∙ AI ∙ 디지털 트윈이 제조 엔지니어링의 미래 이끈다”   New Products 39　게임 및 비주얼 콘텐츠 제작 전반의 기능과 편의성 강화　유니티 6 프리뷰 48　산업 디자이너를 위한 시각화 기능 향상　트윈모션 2024.1 52　기계/제조 분야의 활용성 높인 2D CAD　지더블유캐드 2025 54　HDD급 용량과 SSD 성능을 겸비한 스토리지 솔루션　샌디스크 데스크 드라이브 56　이달의 신제품   On Air 58　캐드앤그래픽스 CNG TV 지식방송 지상중계　레빗을 활용한 배관설계 패러다임 전환 59　캐드앤그래픽스 CNG TV 지식방송 지상중계　AI 시대의 로봇 기술 트렌드와 발전 방향   Column 60　디지털 지식전문가 조형식의 지식마당 / 조형식　디지털 엔지니어링의 히든 챔피언, 디지털 스레드 그리고 인생 디지털 스레드 63　현장에서 얻은 것 No.17 / 류용효　PLM과 챗GPT의 활용 방안   66　New Books   Directory 123　국내 주요 CAD/CAM/CAE/PDM 소프트웨어 공급업체 디렉토리   CADPIA    AEC 68　BIM 칼럼니스트 강태욱의 이슈 & 토크 / 강태욱　랭체인 아키텍처 및 동작 메커니즘 분석 74　새로워진 캐디안 2024 살펴보기 (7) / 최영석　캐디안 2024 SE의 시작 페이지 기능 77　복잡한 모델에서 인사이트를 얻고 설계 의사결정을 돕는 직스캐드 (4) / 이소연　파일 비교 기능 80　데스크톱/모바일/클라우드를 지원하는 아레스 캐드 2025 (3) / 천벼리　3D 비주얼 스타일 86　GPT 시대의 교육과 학습 / 양승규　GPT 시대의 슬기로운 AI 생활을 위해   Manufacturing 92　미래 공장을 위한 스마트 기계 르네상스 / 오병준　디지털 기반의 새로운 생산 환경과 제조 혁신   Analysis 96　앤시스 워크벤치를 활용한 해석 성공사례 / 김재은　우주발사체 하우징의 금속 적층제조 공정 시 과열 영역 예측 및 해결 방안 101　성공적인 유동 해석을 위한 케이던스의 CFD 기술 (11) / 나인플러스IT　혼합 오더 메시 커브 106　시뮤텐스 소프트웨어를 활용한 복합소재 해석 (4) / 씨투이에스코리아　고급 복합재 후변형 시뮬레이션을 위한 시뮤워프   Mechanical 109　제품 개발 혁신을 가속화하는 크레오 파라메트릭 11.0 (2) / 김주현　매스캐드 프라임 10.0 업데이트   Reverse Engineering 116　문화유산 분야의 이미지 데이터베이스와 활용 사례 (7) / 유우식　필사본 고서 데이터베이스     캐드앤그래픽스 2024년 7월호 목차 from 캐드앤그래픽스  

BIM 칼럼니스트 강태욱의 이슈 & 토크   요즘 LLM 모델을 사용하는 방법이 점차 간편해지고 있어 자체적으로 LLM을 구축해 챗봇, 전문가 시스템 등을 자신의 서버에서 제공하는 경우가 많아지고 있다. 이번 호에서는 GPU가 있는 PC에서 직접 실행해 볼 수 있도록, 로컬 호스트 LLM(대규모 언어 모델) 오픈소스 기반의 BIM 전문가 챗봇 서비스를 간단히 개발해 본다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   이번 호에서는 기존의 BIM PDF 파일을 검색해 학습하고, LLM에 RAG(Retrieval-augmented generation) 증강 학습한 후, 이를 간단한 UI로 웹 서비스하는 과정을 간략히 따라해 본다. 이번 호의 내용은 로컬 LLM의 편한 개발을 지원하는 올라마(Ollama), LLM 프롬프트 엔지니어링 프레임워크인 랭체인(LangChain), 텍스트 임베딩 벡터 데이터베이스 크로마(Chroma), 손쉬운 웹 앱 개발 지원 도구인 스트림릿(Streamlit)을 사용한다. 이를 이용해 간단하게 BIM 전문 지식을 PDF로 학습한 챗봇을 개발한다.   그림 1. 로컬 호스트 LLM 챗봇 아키텍처   그림 2. 구현된 BIM 지식 챗봇 서비스   LLM에 관련된 깊은 내용은 다음의 링크를 참고한다. 이 글은 여러 참고 자료를 이용해 작성된 것이다. 상세 내용은 레퍼런스를 참고하기 바란다. Facebook LLAMA-2 paper : https://daddynkidsmakers.blogspot.com/2024/02/llama-2.html Facebook LLAMA-2 installation : https://daddynkidsmakers.blogspot.com/2023/09/llama2.html LLM은 빅테크 업체 간 경쟁이 심한 분야이다. 이와 관련해서 젬마(Gemma), MPT-7B과 같은 LLM 모델이 오픈소스로 공개되고 있어 선택지가 많아지고 있다. 이와 관련해서는 다음을 참고한다.  Google Gemma : https://github.com/google/gemma_pytorch Blooom : https://huggingface.co/bigscience/bloom   설치 설치를 위해서는 엔비디아 드라이버, CUDA, 텐서플로(TensorFlow), 파이토치(PyTorch) 등 기본 딥러닝 개발 환경이 설치되어 있어야 한다.(최소 구동을 위한 GPU RAM은 6GB이다.) TensorFlow 설치 : https://www.tensorflow.org/install/pip?hl=ko#windows-native_1 Start Locally | PyTorch 설치 : https://pytorch.org/get-started/locally/ 설치 순서는 다음과 같다.  1. 기본 패키지를 설치한다. LLM 모델 기반 서비스 개발 지원 라이브러리 랭체인, 웹 앱 UI 개발을 지원하는 스트림릿, 텍스트 임베딩 벡터 데이터베이스 크로마 DB 등을 설치한다. pip install langchain streamlit streamlit_chat pypdf fastembed chardet pip install chromadb==0.4.15   그림 3. 다양한 LLM 모델을 이용한 서비스 개발을 지원하는 랭체인 패키지   그림 4. 간단한 코드로 웹 앱 개발을 지원하는 UI 라이브러리 패키지 streamlit.io   혹은 pip와 유사한 패키지 설치 관리자인 poetry를 설치한 후, 다음 사용 패키지들을 pyproject.toml 이름으로 저장하고 설치한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.