엔비디아가 기업용 생성형 AI 구축을 가속화하는 엔비디아 NIM 에이전트 블루프린트(NVIDIA NIM Agent Blueprints)를 공개했다. 최근 고급 오픈소스 기반 모델의 가용성과 AI 워크플로의 효율성 및 자율성을 개선하는 에이전트 AI의 발전이 이어지고 있다. 다양한 산업 분야의 기업들은 구글 젬마(Google Gemma), 라마 3.1(Llama 3.1) 405B, 마이크로소프트 파이(Microsoft Phi), 믹스트랄(Mixtral), 네모트론(Nemotron)과 같은 모델을 사용해 비즈니스 성장을 지원하고 생산성을 향상시키는 자체 AI 애플리케이션을 개발할 수 있다. 비즈니스 혁신을 가속하기 위해 기업은 디지털 휴먼 고객 서비스 챗봇, 검색 증강 생성(RAG), 신약 개발과 같은 표준 생성형 AI 워크플로에 대한 청사진을 필요로 한다. 엔비디아는 NIM 마이크로서비스를 통해 이러한 모델을 효율적이고 엔터프라이즈에서 사용할 수 있도록 지원하고 있으나, 엔터프라이즈 생성형 AI 애플리케이션 구축은 복잡하고 여러 단계를 거쳐야 하는 프로세스이다. 이번에 발표한 엔비디아 NIM 에이전트 블루프린트에는 엔터프라이즈 개발자가 비즈니스 목표에 부합하는 맞춤 생성형 AI 애플리케이션을 구축하고 배포하는 데에 필요한 기능을 제공한다.     NIM 에이전트 블루프린트는 특정 사용 사례에 맞게 조정된 레퍼런스 AI 워크플로다. 여기에는 엔비디아 NIM과 파트너 마이크로서비스로 구축된 샘플 애플리케이션, 레퍼런스 코드, 사용자 정의 문서, 배포를 위한 헬름차트(Helm chart)가 포함된다. 개발자는 NIM 에이전트 블루프린트를 통해 각 사용 사례에 대한 엔비디아의 고급 AI 도구와 엔드 투 엔드 개발 환경을 바탕으로 자체 애플리케이션을 손쉽게 제작할 수 있다. 블루프린트는 수정과 개선이 가능하도록 설계됐다. 또한, 개발자는 복잡한 작업을 수행할 수 있는 정보 검색과 에이전트 기반 워크플로를 모두 활용할 수 있다. 아울러 NIM 에이전트 블루프린트는 개발자가 AI 수명 주기 전반에 걸쳐 애플리케이션을 개선하는 데 도움을 준다. 사용자가 AI 애플리케이션과 상호작용을 하면 새로운 데이터가 생성된다. 이 데이터는 지속적인 학습 주기를 통해 모델을 개선하고 향상시키는 데 사용되며, 이로써 데이터 기반 생성형 AI 플라이휠(flywheel)을 만들 수 있다. NIM 에이전트 블루프린트는 기업이 모델과 데이터를 연결하는 애플리케이션을 통해 자체적인 생성형 AI 플라이휠을 구축할 수 있도록 지원한다. 엔비디아 네모(NeMo)는 이 프로세스를 용이하게 하고, 엔비디아 AI 파운드리(AI Foundry)는 플라이휠을 실행하기 위한 생산 환경 역할을 한다. 엔비디아는 사용 가능한 첫 번째 NIM 에이전트 블루프린트로 ▲고객 서비스를 위한 디지털 휴먼 ▲신약 개발 가속화를 위한 생성형 가상 스크리닝 ▲엔터프라이즈 RAG를 위한 멀티모달 PDF 데이터 추출 등을 소개했다. 이외에 고객 서비스, 콘텐츠 생성, 소프트웨어 엔지니어링, 소매 쇼핑 자문 서비스, R&D 등을 위한 생성형 AI 애플리케이션을 제작하기 위한 더 많은 NIM 에이전트 블루프린트가 개발 중이다. 엔비디아는 매달 새로운 NIM 에이전트 블루프린트를 선보일 계획이다. 생성형 AI는 이제 개발자와 데이터 과학자 간의 협업을 촉진하고 있다. 개발자는 NIM 에이전트 블루프린트를 기반으로 애플리케이션을 구축하고, 데이터 과학자는 데이터 플라이휠을 구현해 맞춤형 NIM 마이크로서비스를 지속적으로 개선한다. NIM이 개선되면 관련 애플리케이션도 개선돼 지속적인 성능 향상과 데이터 생성의 순환이 이루어진다. 엔비디아는 “NIM 에이전트 블루프린트와 엔비디아 파트너의 지원을 통해 기업은 생성형 AI를 애플리케이션에 원활하게 통합해 산업 전반의 효율성과 혁신을 주도할 수 있다”고 전했다. 한편, 엔비디아는 글로벌 시스템 통합업체 및 서비스 제공 파트너인 액센츄어(Accenture), 딜로이트(Deloitte), 소프트서브(SoftServe), 퀀티파이(Quantiphi), 월드 와이드 테크놀로지(World Wide Technology) 등 파트너 에코시스템이 전 세계 기업에 NIM 에이전트 블루프린트를 제공하고 있다고 전했다. NIM 에이전트 블루프린트는 고객 상호작용 데이터를 사용해 엔비디아 파트너 에코시스템에서 제공하는 툴을 통해 최적화될 수 있다. 모델 미세 조정, 관리, 모니터링을 위한 데이터이쿠(Dataiku)와 데이터로봇(DataRobot), 워크플로 구축을 위한 딥셋(Deepset), 라마 인덱스(LlamaIndex), 랭체인(Langchain), 생성형 AI 애플리케이션 평가를 위한 웨이트 앤 바이어스(Weights and Biases. W&B), 추가적인 보안을 위한 크라우드스트라이크(CrowdStrike), 데이터독(Datadog), 피들러 AI(Fiddler AI), 뉴렐릭(New Relic), 트렌드 마이크로(Trend Micro) 등이 있다. 뉴타닉스(Nutanix), 레드햇(Red Hat), 브로드컴(Broadcom)을 비롯한 인프라 플랫폼 제공업체는 자사의 엔터프라이즈 솔루션에서 NIM 에이전트 블루프린트를 지원할 예정이다. 고객은 시스코, 델 테크놀로지스, 휴렛팩커드 엔터프라이즈(HPE), 레노버와 같은 제조업체의 엔비디아 인증 시스템에서 NIM 에이전트 블루프린트를 구축하고 배포할 수 있다. 또한, 아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트릭처(OCI)의 엔비디아 가속 클라우드 인스턴스에서도 이용 가능하다. NIM 에이전트 블루프린트는 기업이 생성형 AI 애플리케이션에서 데이터를 활용할 수 있도록 코히시티(Cohesity), 데이터스택스(Datastax), 드롭박스(Dropbox), 넷앱(NetApp), 바스트 데이터(VAST Data)와 같은 엔비디아 파트너의 데이터, 스토리지 플랫폼과 통합할 수 있다.

파수가 기업 데이터 백업 솔루션 ‘FC-BR(Fasoo Content Backup and Recovery)’에 AI 기능을 더한 신규 버전을 출시했다. 새로워진 FC-BR은 AI를 기반으로 백업 데이터의 민감 정보를 식별해 개인정보 등을 보다 안전하게 관리하고 데이터의 활용도 또한 높인다. 파수의 FC-BR은 파수의 문서 보호 솔루션과 연동해 랜섬웨어 공격 등의 데이터 유실에 대비할 수 있는 파일 중심의 백업 솔루션이다. 필요한 문서만 실시간으로 자동으로 백업하고, 원클릭으로 간단하게 복구가 가능하다. 파수의 데이터 보안 솔루션인 ‘파수 엔터프라이즈 디알엠(Fasoo Enterprise DRM, FED)’ 및 데이터 식별·분류 솔루션인 '파수 데이터 레이더(Fasoo Data Radar, FDR)' 등의 보안 등급이나 분류 라벨은 물론, 부서나 사용자, 문서 확장자 등을 기준으로 자동 백업 대상을 설정할 수 있어 효율성과 경제성이 높다는 것이 파수의 설명이다.     AI 기능을 접목한 새로운 FC-BR은 AI를 기반으로 백업된 문서 내에 포함된 개인정보 등의 민감한 정보를 식별한다. 일반 텍스트 문서 외에 이미지 또는 PDF 내의 민감정보까지 탐지한다. AI 기반 자연어 처리 기술을 통해 복잡한 문장에서도 맥락을 파악하고 성별, 이름, 주소 등 다양한 유형의 개인정보를 검출할 수 있다. 검출 결과 또한 파일 미리보기 기능을 통해 별도의 앱 설치나 다운로드 없이 간편하게 확인이 가능하다. FC-BR의 이번 신규 버전에는 AI 기반의 의미 검색(시맨틱 검색) 기능도 추가했다. 검색의 의미를 이해하고 단어의 뜻과 문맥을 고려해서 정확한 검색 결과를 연관성이 높은 순서대로 제시한다. 한편, 파수는 이번 FC-BR의 업데이트가 기업용 LLM ‘엘름(Ellm)’을 출시하는 등 AI 기업으로 거듭나고 있는 자사의 AI 전략의 일환이라고 밝혔다. 파수는 AI 비전 중 하나인 ‘AI 기반(AI-Powered) 애플리케이션’ 전략 하에 기존 솔루션에 포트폴리오에 순차적으로 AI 기능을 더하고 있다.  최근에는 문서 요약과 시맨틱 검색 등이 가능한 ‘AI어시스턴트’ 기능을 더한 문서 관리 솔루션 ‘랩소디(Wrapsody)’와 외부 협업 플랫폼 ‘랩소디 에코(Wrapsody eCo)’을 선보인 바 있다. 파수의 조규곤 대표는 “백업 및 복원 효율을 높이면서 비용을 절감하는 파수의 백업 솔루션 FC-BR은 급증하는 랜섬웨어의 공격 등으로부터 안전하게 데이터를 지키는 효율적인 방법”이라며, “AI 기능으로 더 똑똑해진 FC-BR은 개인정보 관리라는 핵심 역량은 물론, 단순한 데이터 백업에서 나아가 다양한 활용이 가능하도록 데이터의 가치를 높여준다”고 전했다.

효성인포메이션시스템은 히타치 밴타라(Hitachi Vantara)가 글로벌 시장조사기관 ESG(Enterprise Strategy Group)와 공동으로 생성형 AI 위한 기업 인프라(Enterprise Infrastructure for Generative AI: A Foundation for Success) 연구 보고서를 발간했다고 밝혔다. 이번 연구는 미국, 캐나다, 서유럽 지역의 IT 및 비즈니스 리더 800명을 대상으로 진행됐다. 보고서는 기업 운영 효율화부터 창의적 혁신 촉진에 이르기까지 생성형 AI가 전체 산업을 재편할 엄청난 잠재력을 보유하고 있다고 분석했다. 특히 생성형 AI의 성능을 극대화하고 조직 내 신뢰를 구축하기 위해서는 견고하고 확장 가능하며 안전한 인프라 기반이 필수라고 강조했다.     많은 기업이 생성형 AI의 잠재력을 인식하고 도입을 서두르고 있지만, 아직 목적에 맞게 완벽하게 구축하지 못하는 실정이다. 설문에 참여한 응답자의 97%는 생성형 AI를 최우선 과제라고 답했지만, 응답자의 44%만이 포괄적인 거버넌스 정책을 보유한 것으로 나타났다.  인프라와 데이터 생태계가 준비되어 있다고 답한 응답자는 37%에 그쳤다. 보고서는 조직 내 거버넌스, 인프라 준비, IT 인재 부족을 생성형 AI 전략과 실행의 장애물로 꼽았다. 생성형 AI 이니셔티브와 관련된 데이터를 저장하고 관리할 때 직면하는 가장 큰 과제로는 보안, 비용, 데이터 품질을 들었다. 이에 응답자의 71%는 생성형 AI 프로젝트 추진 전에 인프라를 현대화해야 한다고 동의했다.  많은 기업이 비용 절감형 인프라 옵션을 적극적으로 모색하고 있지만 개인정보 보호와 데이터 지연 문제도 주요 고려사항으로 보고 있다. 응답자의 81%가 생성형 AI로 애플리케이션을 구축하고 사용할 때 데이터 개인정보 보호 및 규정 준수에 우려가 있다고 답했다. 77%는 생성형 AI 결과를 수용하기 전에 데이터 품질 문제를 해결해야 한다고 동의했다. 보고서는 생성형 AI의 효과를 높이기 위한 균형 잡힌 인프라 환경과 데이터 통합의 중요성도 조명했다. 96%의 응답자가 독점적인 대규모 언어 모델(LLM)의 대안을 선호하고, 86%의 응답자가 기존 생성 모델에 외부 데이터 소스를 검색하고 통합하는 방식을 결합한 RAG(Retrieval-Augmented Generation)을 활용할 계획이라 답변했다. 또한 응답자의 78%가 생성형 AI 솔루션 구축을 위해 온프레미스와 퍼블릭 클라우드를 혼합한 하이브리드 클라우드 환경을 사용할 계획이라고 밝혔다. 효성인포메이션시스템의 양정규 대표이사는 “생성형 AI의 진정한 힘을 이끌어 내려면 AI 모델의 훈련과 추론을 원활하게 수행할 강력한 데이터 인프라와 고성능 컴퓨팅 자원이 필요하다”면서, “글로벌 생성형 AI 기술력과 성공 사례를 통해 국내 고객이 생성형 AI의 진정한 잠재력을 열고 경쟁 우위를 확보할 수 있도록 최상의 솔루션을 제안할 것”이라고 말했다.

마이크로소프트가 AI 트랜스포메이션을 통해 비즈니스 모델 전반의 긍정적 변화를 이끌어낸 전 세계 다양한 산업의 파트너 및 고객의 혁신 사례 발굴에 속도를 내고 있다고 전했다. 마이크로소프트가 지난 5월 발표한 업무동향지표(Work Trend Index 2024)에 따르면 전 세계 근로자 4명 중 3명이 직장에서 AI를 활용하고 있으며, 리더의 79%는 AI 도입이 경쟁력 유지를 위해 필수라고 인식하고 있다. 이에 맞춰 마이크로소프트는 AI 도입 후 비즈니스 프로세스를 재정립해 성장을 촉진하고 비용을 관리하며, 고객에게 더 큰 가치를 제공하고 있는 파트너 및 고객 사례를 공개했다. 이러한 변화의 중심에는 애저 오픈AI 서비스(Azure OpenAI Service)와 마이크로소프트 365 코파일럿(Copilot for Microsoft 365)이 있다.  애저 오픈AI 서비스는 고객들이 다양한 AI 기술과 기능을 기존 클라우드 서비스에 쉽게 통합할 수 있도록 지원한다. 전 세계 1만 8000개 이상의 조직과 포춘 500대 기업 중 65%가 이 서비스를 사용하고 있다. 마이크로소프트 365 코파일럿은 대규모 언어 모델(LLM)과 조직 데이터를 활용해 글쓰기, 디자인, 코딩, 데이터 분석 등의 다양한 기술을 제공하며, 포춘 500대 기업 중 60%가 이 솔루션을 도입해 활용하고 있다.     마이크로소프트는 전 세계에 분포된 다국적 기업이 비즈니스의 성장과 수익성을 도모하고, 시장 진출 전략을 확장해 나가고 있다고 소개했다. 유니레버(Unilever)는 M365 코파일럿과 애저 퀀텀 엘리먼트(Azure Quantum Elements)의 기능을 활용한 컴퓨터 시뮬레이션으로 차세대 친환경 가정용 및 개인용 제품을 연구 및 개발하고 있다. 통신 서비스 기업 루멘 테크놀로지스(Lumen Technologies)는 조직 전반에 M365 코파일럿을 확대해 3000명의 영업 직원이 주당 평균 4시간을 절약하고 있으며, 이를 통해 연간 약 5000만 달러 상당의 비용 절감을 점진적으로 실현해 나가고 있다. 회계법인 EY는 M365 코파일럿 도입 이후 직원 생산성이 주당 최대 14시간 이상 향상됐으며, 이를 바탕으로 사용자를 15만명으로 확대할 계획이다. 모빌리티·IT·엔지니어링·의료 등의 산업에서도 고객 서비스가 개선되고 있다. 아우디(Audi)는 2021년 이후 생산된 200만 대 이상의 차량에 애저 오픈AI 서비스 기반의 챗 GPT를 3세대 모듈형 인포테인먼트 시스템(MIB 3)에 통합, 음성 제어 기능을 업데이트하고 있다. 이를 통해 운전자는 자연어로 인포테인먼트, 네비게이션, 에어컨 시스템을 손쉽게 조작하며 더욱 몰입감 있는 운전 경험을 할 수 있다. IT 서비스 및 솔루션 공급업체 소프트초이스(Softchoice)는 M365 코파일럿을 도입해 기술 회의 요약 소요 시간을 97%, 내부 교육 자료 제작 시간을 70% 단축했다. 이와 함께 고객용 콘텐츠 작성 시간도 62~67% 줄이는 성과를 거뒀다. 환경 컨설팅 및 엔지니어링 기업 GHD는 M365코파일럿 도입 이후 제안서 검토 과정이 수 시간에서 15분으로 대폭 줄어들어 고객 요청에 더 신속히 대응하고 있다. 자체 조사에 따르면 75%는 업무 효율성이 높아졌으며, 45%가 업무 만족도가 높아졌다고 응답했다. 대만의 치메이 병원(Chi Mei Medical Center)은 애저 오픈AI 서비스 기반의 AI 코파일럿을 도입해 의사의 의무 기록 작성 시간이 15분으로 단축됐으며, 간호사는 5분 내에 환자 정보를 기록할 수 있게 됐다. 또한, 약사가 하루에 처리할 수 있는 처방 환자 수는 기존 15명에서 30명으로 두 배 이상 증가했다.  금융 업계에서도 업무 효율성을 높여 고객 경험을 혁신하는 사례가 등장하고 있다. 싱가포르의 OCBC 은행은 애저 오픈AI서비스를 활용한 마이크로소프트 팀즈(Microsoft Teams)용 챗봇 도입으로 업무 시간을 약 50% 절감했으며, 72%의 사용자가 생산성과 고객 서비스가 개선됐다고 응답했다. 신용 평가 업체 무디스(Moody’s Corporation)는 애저 오픈AI 서비스를 기반으로 하는 자체 AI 도구인 무디스 코파일럿을 구축해 94%의 사용자가 생산성 향상을 경험했다. 온라인 지급결제 플랫폼 기업 페이 세이프(Paysafe)는 M365 코파일럿을 도입해 문서 작성, 번역, 정보 검색 등의 업무에 소요되는 시간을 최대 50% 절약했다. 핀테크 기업 사파이어(Saphyre)는 애저 오픈AI 서비스를 활용해 금융 거래에서 이메일과 팩스로 진행되던 절차를 개선했으며, 거래 관련 작업을 자동화해 고객이 직접 처리해야 할 일을 75% 이상 줄였다. 마이크로소프트의 저드슨 알소프(Judson Althoff) 수석 부사장 겸 CCO(Chief Commercial Officer)는 “우리는 지난 한해 동안 파트너 및 고객의 AI 트랜스포메이션 여정을 지원하며 생산성을 높이고, 고객 서비스를 개선하는 등 실질적인 비즈니스 성과와 가치를 제공해왔다”면서, “앞으로도 마이크로소프트는 모든 산업과 직무에서 AI를 목적에 맞게 활용할 수 있도록 돕고, 이를 책임감 있고 안전하게 제공하는 가장 신뢰할 수 있는 AI 트랜스포메이션 파트너로서의 역할을 다할 것”이라고 전했다.

제품 개발 혁신을 가속화하는 크레오 파라메트릭 11.0 (3)   이번 호에서는 크레오 파라메트릭 11.0(Creo Parametric 11.0)의 개선된 부품 모델링 기능에 대해 알아보자.   ■ 박수민 디지테크 기술지원팀의 과장으로 Creo 전 제품의 기술지원 및 교육을 담당하고 있다. 홈페이지 | www.digiteki.com   크레오 파라메트릭 11.0에서는 부품 모델링 작업이 크게 개선되었다. 새로운 외삽 옵션을 포함하여 서피스를 더욱 정교하게 확장할 수 있으며, 피처 치수 핸들이 개선되어 치수 조정이 쉬워졌다. 명령을 빠르게 검색하여 도구 모음에 추가할 수 있고, 참조 유형 제어와 피처 진단 보고 기능이 향상되어 더 빠르고 정확한 모델링이 가능하다. 롤링 볼 옵션, 점 패턴 기능, 바디 제거 기능 등의 추가된 기능들이 모델링 작업을 더욱 효율적으로 만들었다.   추가된 확장 기능 : 외삽 옵션 크레오 파라메트릭 11에는 확장(Extend) 피처에 외삽(Extrapolate)이라는 새로운 옵션이 추가되었다. 새로운 외삽 방법을 통해 사용자는 원하는 형상을 생성할 수 있는 유연성이 크게 향상된다. 이는 특히 변곡이나 접기와 같은 문제를 일으키는 경우에 유용하다. 또한, 다양한 서피스 확장 방법을 통해 더 나은 결과를 얻을 수 있어 생산선을 높일 수 있다. 옵션의 위치는 다음과 같다. 모델 → 편집 → 확장 → 옵션 탭으로 이동하여 추가된 외삽 옵션을 확인할 수 있다.     외삽 옵션을 사용하면 평면을 제외한 모든 서피스 유형이 외삽되어 B-스플라인 또는 스플라인 서피스가 된다. 원본 서피스의 유형이 스플라인 또는 B-스플라인이 아니면 외삽된 서피스는 원래 도메인 내에서 원본 서피스의 근접 근사화가 되고 평면은 평면으로 남게 된다. 확장 옵션 ‘동일(Same)’을 사용하여 다른 분석 서피스가 분석 상태를 유지하도록 확장한다.     외삽 옵션은 동일 서피스 확장 방법이 변곡이나 접기와 같은 원치 않는 결과를 생성하거나 실패할 때 더 나은 결과를 얻는 데에 도움이 될 수 있다. 이렇게 광범위한 형상 확장 방법을 사용하면 유연성과 생산성이 향상되어 원하는 형상을 생성할 수 있다.   드래그 핸들 현대화 크레오 파라메트릭 11.0에서는 피처 치수의 끌기 핸들이 현대화되었다. 이는 일반 부품 모드와 판금 모드 모두에서 적용된다. 핸들이 개선되어 피처의 다양한 치수 유형과 상호 작용 가능성을 쉽게 구분할 수 있게 되었다. 특히 복합 피처에서 컨트롤을 쉽게 식별할 수 있다. 이 새로운 핸들은 3D 공간에서 자체 방향을 설정하여 모델 작업을 수행할 때 디스플레이를 자동으로 조정한다.     새로운 피처 치수 핸들 개선으로 모델 작업의 효율성과 정확성이 향상되었고, 작업자의 시각적 피로를 줄이며 작업 속도를 높이고 오류를 줄였다. 현대화된 디자인으로 사용자 경험이 향상되었으며, 복잡한 피처에서도 정확한 치수 조절이 가능해져 설계 품질도 향상되었다. 이로써 크레오 파라메트릭 11.0에서 피처 치수 핸들을 더 효율적으로 사용할 수 있게 되었다.   명령 검색 내에서 빠른 액세스 도구 모음에 명령 지정 이제 명령을 빠르게 검색하고 찾아서 빠른 액세스 도구 모음에 쉽게 추가할 수 있다. 명령어를 검색하고 마우스를 우클릭하여 ‘빠른 액세스 도구 모음에 추가(Add to Quick Access Toolbar)’ 옵션을 사용할 수 있다. 이렇게 하면 다른 사용자 인터페이스 사용자 정의 대화 상자 및 단계를 거칠 필요 없이 빠른 액세스 도구 모음에 바로 추가할 수 있다.     오른쪽 상단의 명령 검색 기능을 통해 명령을 빠르게 찾고, 바로 빠른 액세스 도구 모음에 추가할 수 있게 되어 사용자 정의 워크플로가 더 빨라졌다. 이로 인해 작업 흐름이 개선되고 생산성이 향상되었다.   시드 및 경계 서피스 선택에서 참조 유형 제어 개선 크레오 파라메트릭 11에서는 시드 및 경계 서피스 선택에서 경계 서피스 참조에 대한 참조 유형을 제어할 수 있다. 서피스 컬렉션 정의의 경계 참조를 고정 참조로 표시하려면 새 옵션인 ‘고정 참조로 간주(Consider as strong references)’를 선택한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 챗GPT(ChatGPT)와 같은 AI 전문가 서비스 개발을 위한 LLM(Large Language Model, 대규모 언어 모델) 기술 중 하나인 LLM 기반 구조화된 형식의 데이터 생성하는 방법을 간략히 소개한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   LLM을 다양한 시스템과 연동해 사용하려면, LLM의 출력이 기계가 이해 가능한 JSON, SQL, Code 형태여야 한다. 이번 호에서는 JSON 입출력이 가능하도록 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 처리하는 방법을 개발한다.  이를 잘 이용하면, 건설, 건축 분야의 PDF 파일 등을 학습하고, 필요한 정보를 기계 처리 가능한 형식으로 출력해 계산 가능한 표, 수식 등의 형식으로 정보를 생성할 수 있다.   그림 1. LLM 기반 텍스트 입력 및 구조화된 JSON 형식 생성 절차 개념도   이번 호에서는 오픈AI(OpenAI) 챗GPT와 같이 API를 사용하려면 구독해야 하는 상용 모델 대신 라마, 미스트랄과 같은 오픈소스 모델을 사용한다. LLM 모델을 컴퓨터에 다운로드받고 구동하기 위해 올라마(Ollama)를 이용하고, LLM 프롬프트와 RAG 처리를 위해 랭체인(LangChain)을 사용한다.   개발 환경 준비 다음과 같이 개발 환경을 설치한다. 그리고 올라마(https://ollama.com) 도구를 설치하도록 한다.   pip install llama-cpp-python pip install 'crewai[tools]' pip install langchain   Text to JSON  라마 모델을 로딩하고 JSON 문법으로 출력하도록 GBNF(GGML BNF) 문법 정의를 이용해 JSON 출력을 생성한다. 다음 코드를 실행한다.   from llama_cpp.llama import Llama, LlamaGrammar import httpx grammar_text = httpx.get("https://raw.githubusercontent.com/ggerganov/llama.cpp/master/grammars/json_arr.gbnf").text grammar = LlamaGrammar.from_string(grammar_text) llm = Llama("llama-2-13b.Q8_0.gguf") response = llm(     "JSON list of name strings of attractions in SF:",     grammar=grammar, max_tokens=-1 ) import json print(json.dumps(json.loads(response['choices'][0]['text']), indent=4))   출력 결과는 다음과 같이 샌프란시스코에 있는 놀이 시설을 보여준다.    [     {         "address": {             "country": "US",             "locality": "San Francisco",             "postal_code": 94103,             "region": "CA",             "route": "Museum Way",             "street_number": 151         },         "geocode": {             "latitude": 37.782569,             "longitude": -122.406605         },         "name": "SFMOMA",         "phone": "(415) 357-4000",         "website": "http://www.sfmoma.org/"     } ]   이와 같이 LLM 출력을 컴퓨터 처리하기 용이한 구조로 생성할 수 있다. 참고로, 여기서 사용한 JSON 문법은 <그림 2>와 같이 정형 규칙 언어로 정의된 것을 사용한 것이다.    그림 2. json.gbnf(https://github.com/ggerganov/llama.cpp/tree/master/grammars)     ■ 자세한 기사 내용은 PDF로 제공됩니다.

새로워진 캐디안 2024 살펴보기 (8)   오토캐드와 양방향으로 호환되는 국산 CAD인 캐디안(CADian) 2024 버전의 업데이트 버전인 ‘캐디안2024 SE’는 기존 버전부터 제공되던 기능인 디자인 센터(Design Center)를 이용해서 다양한 작업을 실행할 수 있다.  이번 호에서는 캐디안 2024 SE의 디자인 센터 기능에 대해서 자세히 살펴보도록 하겠다.    ■ 최영석 캐디안 기술지원팀 부장으로 기술지원 업무 및 캐드 강의를 담당하고 있다. 홈페이지 | www.cadian.com 카페 | https://cafe.naver.com/ilovecadian   디자인 센터 소개 디자인 센터는 다양한 디자인 요소와 데이터를 관리하고 재사용할 수 있도록 도와주는 기능으로, 다음의 항목을 포함하고 있다.  블록, 레이어, 스타일 관리 : 디자인 센터를 사용하여 프로젝트에서 사용하는 다양한 블록, 레이어, 텍스트 스타일 등을 관리하고, 필요할 때 다시 사용할 수 있다.  파일 검색 및 삽입 : 디자인 센터를 통해 다른 DWG 파일에서 필요한 요소들을 검색하고 해당 파일에서 바로 삽입할 수 있다. 이는 다른 프로젝트에서 개발하여 사용 중인 요소를 효율적으로 재사용하는 데에 도움을 준다. 프로젝트 간의 데이터 교환 : 디자인 센터를 통해 다른 프로젝트에서 필요한 데이터를 쉽게 가져올 수 있으며, 이는 프로젝트 간의 일관성을 유지하고 작업 시간을 단축하는 데 도움을 준다. 디자인 센터는 캐디안 사용자가 프로젝트 관리와 기존 프로젝트 도면에서 사용된 여러 형태의 객체를 재사용하여 작업 효율성을 높이는데 중요한 역할을 한다.   디자인 센터 실행하기 디자인 센터는 다음의 세 가지 방법으로 실행할 수 있다.    1. 명령창에 ‘adcenter’를 입력한 뒤 엔터 키를 입력한다.     2. 메뉴에서 도구 → 팔레트 → 디자인 센터 항목을 클릭하여 실행한다     3. 단축키를 사용하기 위해서 Ctrl 키를 누른채 숫자 ‘2’를 입력한다. 디자인 센터를 실행하는 명령이 실행되고 나면, 그림과 같이 캐디안 도면 영역의 왼쪽(속성창의 오른쪽)에 디자인 센터 실행창이 표시된다.     디자인 센터의 기능 살펴보기 디자인 센터의 기능을 나눠서 살펴보도록 하겠다.     ① 열기, 폴더 위치 이동, 보기 방법 등을 변경할 수 있는 도구이다. ② ’폴더’ 탭은 선택한 드라이브의 폴더를 트리 구조로 표시한다. ‘열린 도면’ 탭은 현재 열려 있는 도면을 사용한다. ‘사용 내역’ 탭은 열어서 사용했던 도면 파일을 목록으로 표시한다. ③ 폴더의 트리 구조, 열린 도면 및 사용 내역 목록을 표시하는 창이다. ④ 선택한 도면에서 선택 가능한 항목을 표시한다.(예 : 블록의 종류, 문자 스타일의 종류 등) ⑤ 선택한 항목을 미리보기 형태로 보여준다. ⑥ 선택한 항목의 설명을 표시하여 준다.   디자인 센터를 사용하여 블록 삽입하기 디자인 센터의 기능을 사용하여 다양한 작업을 진행할 수 있지만, 대표적으로 다른 도면에 들어있는 블록을 가져와서 현재 도면에 삽입하는 기능을 살펴보도록 하겠다. 캐디안의 샘플 파일 중 하나인  ADT Sample.dwg라는 도면에 들어 있는 특정 블록을 현재 도면으로 삽입해 보겠다. 다른 항목들(문자 스타일, 치수 스타일, 도면층 등)도 비슷한 방식으로 현재 도면에 삽입할 수 있다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

오라클은 트랜잭션 및 레이크하우스 규모 분석을 위한 오픈소스 기반의 MySQL 데이터베이스 처리 서비스인 히트웨이브(HeatWave)를 제공하고 있다. 여기에 생성형 AI를 통합한 서비스가 히트웨이브 생성형 AI(HeatWave GenAI)이다. 히트웨이브 생성형 AI는 인-데이터베이스(in-database) 대규모 언어 모델(LLM), 자동화된 인-데이터베이스 벡터 저장소, 확장 벡터 처리 및 비정형 콘텐츠 기반의 맥락화된 자연어 대화 기능 등을 제공한다. ■ 정수진 편집장   오라클의 니푼 아가르왈(Nipun Agarwal) MySQL & 히트웨이브 개발 수석부사장은 “히트웨이브는 완전 관리형 데이터베이스 처리 서비스로서 멀티 클라우드 환경에서 제공된다. 초기에는 MySQL 기반의 OLTP(온라인 트랜잭션 처리) 서비스로 제공되었고, 이후 꾸준히 기능을 강화해 왔다. 이번에 생성형 AI 및 벡터 저장소 기능을 포함하게 되면서, 단일 서버 위에서 더욱 다양한 기능을 제공하게 되었다”고 설명했다. 히트웨이브 생성형 AI는 인-데이터베이스 자동 백터 저장소, 인-데이터베이스 LLM, 확장형 벡터 처리, 히트웨이브 챗(HeatWave Chat) 등 네 가지의 새로운 기능을 선보였다.   ▲ 오라클은 데이터베이스에서 생성형 AI를 활용하기 위한 서비스를 선보였다.   기업의 비정형 콘텐츠에 LLM의 강점을 결합 벡터 저장소는 비정형 콘텐츠에 LLM을 활용하도록 지원함으로써, 기업의 내부 콘텐츠에 LLM의 강점을 적용할 수 있게 돕는다. 히트웨이브에 인-데이터베이스 자동 벡터 저장소를 추가함으로써 비정형 데이터에 대한 시맨틱 검색을 지원하는 등 전통적인 데이터 처리와 다른 방식을 구현한다는 것이 오라클의 설명이다. 아가르왈 수석부사장은 “오브젝트 스토리지의 데이터를 생성형 AI가 히트웨이브 내부에서 처리함으로써 생성형 AI의 강점을 데이터베이스 내부로 가져올 수 있는 독보적인 아키텍처를 구현했다”면서, “데이터 처리 작업 과정을 히트웨이브 내에서 진행함으로써 스토리지의 비용을 줄이고, 확장성과 안정성을 높은 수준으로 구현할 수 있다”고 설명했다. 오라클 인-데이터베이스 벡터 저장소는 벡터 저장소의 생성 과정을 단순화하고 자동화함으로써, 벡터 저장소 생성의 퍼포먼스를 높이고 비용을 줄일 수 있도록 했다. 생성형 AI 앱의 개발은 먼저 벡터 스토어를 구성한 뒤 LLM을 활용해 이 벡터 스토어를 적용하는 과정으로 진행된다. 오라클은 이 두 단계를 합치고 단계별로 하나의 호출 커맨드만으로 처리할 수 있다면서, 앱이 생성형 AI를 활용하는 방식을 단순화할 수 있다고 설명했다. 또한 데이터가 데이터베이스 밖으로 나가지 않기 때문에 보안도 강화할 수 있다.   LLM 활용의 비용은 줄이고 속도는 높인다 히트웨이브 생성형 AI는 데이터베이스 내부에서 CPU를 사용해 LLM을 구동할 수 있도록 했다. LLM을 구축 및 활용하기 위해 GPU 서비스를 추가로 사용하지 않아도 된다는 것이다. 아가르왈 수석부사장은 인-데이터베이스 LLM의 이점으로 단순화, 저비용, 유연성, 보안/퍼포먼스 등을 꼽았다. 추가 클라우드 서비스나 GPU가 필요 없고, 동일한 서비스를 여러 클라우드에서 사용할 수 있으며, 데이터가 데이터베이스 밖으로 나가지 않기 때문이다. 아가르왈 부사장은 “물론 외부 LLM을 적용하는 것도 가능하다. 오라클 클라우드 인프라스트럭처(OCI)에서 제공하는 GPU 기반의 생성형 AI 서비스를 활용할 수 있지만, 전력 소비 등에서 CPU 기반 인-데이터베이스 LLM의 이점이 크다고 본다”고 전했다. 인-데이터베이스 LLM의 또 다른 이점은 히트웨이브를 사용할 수 있는 모든 클라우드 환경에서 LLM을 사용할 수 있으며, 히트웨이브의 오토ML과 연동해 LLM을 활용한 쿼리 정확도 및 성능의 향상이 가능하다는 점이다. 오라클은 오토ML이 인풋 데이터의 양을 줄여줘서 LLM 호출 비용을 줄일 수 있다는 설명도 덧붙였다. 또한, 히트웨이브 내에서 벡터 프로세싱 지원이 추가됐다. 히트웨이브 MySQL에서 신규 벡터 데이터타입을 지원해 MySQL의 쿼리를 효율적으로 사용할 수 있게 됐다. 아가르왈 수석부사장은 “인 메모리 프로세싱이 가능해지면서 여러 노드에서 확장이 용이해졌고, 낮은 비용으로 빠른 벡터 처리를 지원할 수 있게 됐다. 스노우플레이크, 데이터브릭스, 구글 빅쿼리 등과 쿼리 처리 성능을 비교한 자체 테스트에서는 15~30배 높은 속도를 보였다”고 전했다. 이번에 함께 선보인 히트웨이브 챗(HeatWave Chat)은 SQL 또는 자연어를 기반으로 히트웨이브와 시각적으로 상호작용하는 인터페이스를 제공한다. 이는 히트웨이브 생성형 AI에 기반한 여러 앱 중 하나로 서버 내 채팅 이력, 인용 내용, LLM 옵션 등을 저장하고, 히트웨이브 환경 내에서 자유롭게 챗을 사용할 수 있게 한다.   ▲ 오라클의 니푼 아가르왈 수석부사장은 히트웨이브 생성형 AI를 추기 비용 없이 사용할 수 있다고 소개했다.   자동화, 단순화, 안전성 등을 강점으로 내세워 오라클은 히트웨이브 생성형 AI가 인-데이터베이스에서 통합된 자동화 솔루션으로 높은 안전성과 앱 개발의 단순성을 제공한다고 설명했다. 이를 통해 앱 개발 비용을 줄이면서 보안도 강화할 수 있다는 것이다. 비용과 관련해 아가르왈 수석부사장은 “히트웨이브는 완전 관리형 서비스로 제공되며 라이선스 단위로 관리하지 않기 때문에, 히트웨이브 내에서 생성형 AI를 활용하기 위한 추가 비용이 없다”면서, “다른 업체는 머신러닝, OLTP, 생성형 AI 등을 별도의 서비스로 구성하고 있지만, 오라클은 모든 고객이 모든 데이터에 AI를 사용할 수 있도록 하기 위해 데이터 처리 플랫폼에 생성형 AI 기능을 내장했으며, 유료화나 가격 인상 계획 또한 없다”고 설명했다. 오라클은 보안 관점에서 인-데이터베이스 벡터 저장소가 유용하다는 점도 강조했다. 많은 LLM이 공개된 콘텐츠를 활용하지만, 기업 내부 콘텐츠에 LLM을 적용하고자 하는 요구도 있다. 오라클은 기업 데이터를 기반으로 LLM을 추가 생성할 필요가 없이, 벡터 저장소의 결과값을 LLM의 입력값으로 피딩하면 기업 데이터의 유출 없이 LLM을 사용할 수 있다는 점을 내세운다. 기업 데이터의 이력을 저장하지 않고 입력값으로만 사용하기 때문에 데이터 보호 수준이 높다는 것이다.  아가르왈 수석부사장은 “인-메모리 데이터베이스 안에서 모든 데이터를 스캔해 결과를 도출하기 때문에 정확한 벡터 처리 결과값을 얻을 수 있다. 여기에 RAG(검색 증강 생성)를 사용한다면 공개 데이터를 사용하는 것과 다르게 LLM의 문제로 꼽히는 환각현상을 줄일 수 있다”고 전했다. 한편, 한국어 지원에 대해서는 “현재 히트웨이브 생성형 AI는 메타의 라마 3(Llama 3)를 기반 LLM 모델로 사용하는데, 영어만큼 정확도가 높지는 않지만, 기술이 빠르게 발전하고 있어 수개월 내에 한국어의 정확도가 더욱 높아질 것으로 본다”고 밝혔다.     ■ 기사 내용은 PDF로도 제공됩니다.