델 테크놀로지스는 자사의 AI 설루션 포트폴리오인 ‘델 AI 팩토리(Dell AI Factory)’에 AI 구축 간소화를 위한 신규 인프라 설루션과 전문 서비스를 추가했다고 밝혔다. 델은 확장된 라인업을 통해 기업 및 기관이 AI 워크로드를 가속하고 데이터 관리를 효율화할 수 있도록 지원할 계획이다. 올해 새롭게 공개된 통합 랙 스케일러블 시스템인 ‘델 IRSS(Integrated Rack Scalable Systems)’는 플러그 앤 플레이 방식의 랙 스케일 시스템을 제공하는 공장 통합형 턴키 프로그램으로, 델 스마트 쿨링(Dell Smart Cooling) 기술이 적용되어 있다. IRSS는 전체 랙에 대한 원콜 서비스 및 지원 옵션을 통해 에너지 효율적인 AI 인프라스트럭처 구축을 더욱 간소화한다. 설치가 완료되면 델에서 패키징 폐기물 및 재활용을 처리하고 기존 노후 하드웨어의 재활용까지 지원한다. 표준 19인치 모델인 ‘델 IR5000(Dell Integrated Rack 5000)’에 탑재되는 서버로 ‘델 파워엣지 XE9685L(Dell PowerEdge XE9685L)’ 및 ‘델 파워엣지 XE7740(Dell PowerEdge XE7740)’이 추가됐다. 델 IR5000은 공간 효율적인 폼 팩터로 고집적 애플리케이션을 위해 설계되었으며, 고성능을 제공하는 동시에 에너지 효율을 유지한다.  델 파워엣지 XE9685L은 AI, 머신러닝, 고성능 컴퓨팅(HPC) 및 기타 데이터 집약적인 워크로드를 위해 설계된 고집적 4U 수랭식 서버이다. 최대 12개의 PCIe 젠 5.0 슬롯과 함께 엔비디아 HGX (NVIDIA HGX) H200 및 B200 GPU와 페어링된 듀얼 AMD 5세대 에픽(EPYC) CPU는 특정 컴퓨팅 요구 사항을 충족하는 맞춤형 구성, 최적화된 스토리지 연결 및 까다로운 워크로드를 위한 최대 IO 처리량을 지원한다. 이 플랫폼은 랙당 최대 96개의 엔비디아 GPU를 탑재할 수 있어 업계 최고 수준의 GPU 집적도를 제공한다.   ▲ 델 파워엣지 XE7740 서버   델 파워엣지 XE7740은 공랭식의 4U 모델로 2개의 인텔 제온 6(Intel Xeon) P-코어 프로세서와 인텔 가우디(Intel Gaudi) 3 PCIe 가속기 또는 엔비디아 H200 NVL 등 최대 8개의 더블 와이드 가속기, 또는 엔비디아 L4 텐서 코어(Tensor Core) GPU 등의 최대 16개의 싱글 와이드 가속기를 사용할 수 있다. 델은 “다양한 선택의 폭이 제공되는 만큼 생성형 AI 모델의 미세 조정이나 추론에서부터 대규모 데이터 세트에 대한 가치 추출에 이르기까지 규모에 맞게 서버 구성의 적절히 조정할 수 있다”고 설명했다.   델은 곧 출시될 엔비디아 GB200 그레이스 블랙웰 NVL4 슈퍼칩(Grace Blackwell NVL4 Superchip)을 델 IR7000용으로 설계된 새로운 델 파워엣지 XE 서버를 통해 50OU 표준 랙에서 랙당 최대 144개의 GPU를 지원할 계획이다. IR7000 랙은 100%에 가까운 열 포집 능력으로 고전력 및 액체 냉각을 필요로 하는 대규모 HPC 및 AI 워크로드를 지원한다. 또한, 델 테크놀로지스는 AI 작업을 위해 데이터를 효율적으로 관리하고 분석할 수 있는 최신 아키텍처 수요에 대응하게 위해 ‘델 데이터 레이크하우스(Dell Data Lakehouse)’도 업데이트 했다. 이 플랫폼은 AI에 최적화된 하드웨어와 풀 스택 소프트웨어 제품군을 기반으로 구축되었으며, 향후 대규모 분산 데이터 처리를 위한 아파치 스파크(Apache Spark)를 포함하도록 확장될 예정이다. 대량의 데이터를 관리하는 기업의 경우, 이를 통해 데이터 애널리틱스와 관리 및 처리에 이르기까지 통합된 접근 방식을 확보함으로써 효율성을 높이고 보다 신속하게 실행 가능한 인사이트를 얻을 수 있다. 한편, 델은 AI 에코시스템 전반의 파트너와 협력하여 AI 구축을 강화하고 간소화하는데 노력하고 있다고 전했다. 엔비디아 기반 델 AI 팩토리(Dell AI Factory with NVIDIA)는 AI 운영 및 활용 사례 구축을 위해 성능을 보다 가속화한다. 새로운 엔비디아 HGX H200 및 H100NVL 지원 옵션은 엔비디아 HGX H100 대비 최대 1.9배 더 높은 성능을 제공한다. 엔비디아 기반 델 AI 팩토리의 일부인 ‘엔비디아 기반 델 에이전틱 RAG(Dell Agentic RAG with NVIDIA)’를 통해 고객은 복잡한 쿼리를 수행하고 검색 증강 생성(RAG) 작업을 가속할 수 있다. 대규모 데이터 세트를 보유한 조직에서는 델의 이 설계를 기반으로 AI 에이전트를 사용하여 RAG 워크플로 성능을 개선하고, 복잡한 쿼리를 처리하며, 더 높은 품질의 결과를 제공할 수 있다. 이 설루션은 델 파워엣지와 델 파워스케일(Dell PowerScale)을 비롯해 니모 리트리버(NeMo Retriever) 마이크로서비스, 멀티모달 PDF 데이터 추출을 위한 ‘엔비디아 AI 블루프린트(NVIDIA AI Blueprint)’ 등 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise) 소프트웨어를 활용한다. AI PC를 위한 델 검증 설계(Dell Validated Designs for AI PCs)는 NPU 기술이 탑재된 델 AI PC에서 AI 애플리케이션 개발을 촉진하기 위해 설계된 오픈 소스 가이드이다. 개발자는 모듈식 설계를 쉽게 맞춤화하여 LLM, 비전, 텍스트 및 음성 등의 기능을 애플리케이션에 통합할 수 있다. 또한 다양한 프로세서 종류나 플랫폼에 걸쳐 AI 애플리케이션을 배포할 수 있다. 이러한 확장 가능한 접근 방식을 통해 온디바이스 AI에서 일상적인 프로세스를 자동화하고 시간과 비용을 절감하고 데이터 보안을 개선할 수 있다. 델 프로페셔널 서비스(Dell Professional Services)는 AI 관련 전략 개발이나 구현에 어려움을 겪는 기업과 기관들이 AI 목표를 보다 효율적으로 달성할 수 있도록 지원한다. ‘지속 가능한 데이터 센터를 위한 자문 및 구현 서비스(Advisory and Implementation Services for Sustainable Data Centers)’는 지능형 전력 및 냉각 관리를 통해 저탄소, 에너지 효율적인 데이터 센터를 위한 전략을 수립하고 구현하는데 필요한 전문 지식을 제공한다. ‘데이터 관리 서비스(Data Management Services)’는 데이터를 검색, 분류, 정제하여 AI-레디 카탈로그를 제공하고 체계화된 고품질 데이터에 대한 안정적이고 간소화된 액세스를 보장한다. ‘AI 네트워킹을 위한 설계 서비스(Design Services for AI Networking)’는 더 빠른 속도, 지연 시간 단축, 향상된 확장성을 통해 AI 워크로드에 최적화된 네트워크 설계를 제공한다. ‘서비스나우 나우 어시스트를 위한 구현 서비스(Implementation Services for ServiceNow Now Assist)’는 AI 기반 요약을 통해 콘텐츠 수집을 간소화하여 결과를 자동화하고 생산성을 향상시키는 ‘나우 어시스트’를 통해 서비스 관리 워크플로에 생성형 AI 기능을 통합한다. 한국 델 테크놀로지스의 김경진 총괄사장은 “여러 고객들이 AI를 구축하고 실행하기까지 점점 더 다양한 도전과제에 직면하게 된다”면서, “델은 계속해서 진일보한 AI 오퍼링을 선보임으로써 고객이 AI를 통해 보다 스마트하고 유연하게 대응할 수 있는 미래를 만들어갈 수 있도록 하는데 집중하고 있다”고 밝혔다. 델 파워엣지 XE9685L과 델 파워엣지 XE7740은 2025년 1분기에 전 세계에 출시될 예정이며, 델 데이터 레이크하우스 업데이트는 현재 전세계에서 이용 가능하다. AI PC를 위한 델 검증 설계는 현재 전 세계에서 이용 가능하며, 엔비디아 기반의 델 생성형 AI 설루션의 GPU 업데이트는 올해 내에 제공될 예정이고, 엔터프라이즈 RAG 업데이트는 현재 이용이 가능하다. ‘델 데이터 관리 서비스’와 ‘지속 가능한 데이터 센터를 위한 델 서비스,’ ‘AI 네트워킹을 위한 델 설계 서비스,’ ‘서비스나우 나우 어시스트를 위한 델 구현 서비스’는 현재 일부 국가에서 제공되고 있다.

엔비디아가 ‘엔비디아 AI 서밋 재팬’ 이벤트에서 소프트뱅크와의 협업을 발표했다. 이를 통해 엔비디아는 일본의 소버린 AI 이니셔티브를 가속화하고 글로벌 기술 리더십을 강화하기 위해 지원할 계획이다. 또한 이 협업은 전 세계 통신 사업자에게 수십억 달러의 AI 수익 기회를 창출할 것을 목표로 한다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 엔비디아 AI 서밋 재팬의 기조연설에서 소프트뱅크가 엔비디아 블랙웰(Blackwell) 플랫폼을 사용해 일본에서 가장 강력한 AI 슈퍼컴퓨터를 구축하고 있다고 말했다. 아울러 차기 슈퍼컴퓨터에 엔비디아 그레이스(Grace) 블랙웰 플랫폼을 사용할 계획이라고 발표했다. 아울러 엔비디아는 소프트뱅크가 엔비디아 AI 에리얼(Aerial) 가속 컴퓨팅 플랫폼을 사용해 AI와 5G 통신 네트워크를 결합한 시범 서비스에 성공했다. 이는 통신 사업자에게 잠재적으로 수십억 달러 상당의 AI 수익원을 열어주는 컴퓨팅 기술이다. 또한 엔비디아는 소프트뱅크가 엔비디아 AI 엔터프라이즈 소프트웨어를 사용해 로컬 보안 AI 컴퓨팅에 대한 수요를 충족할 수 있는 AI 마켓플레이스를 구축할 계획이라고 발표했다. 소프트뱅크는 AI 훈련과 에지 AI 추론을 지원하는 새로운 서비스를 통해 일본의 산업, 소비자, 기업 전반에 걸쳐 AI 서비스의 생성, 배포, 사용을 위한 새로운 비즈니스 기회를 촉진할 예정이다. 소프트뱅크는 세계 최초로 엔비디아 DGX B200 시스템을 공급받을 예정이며, 이는 새로운 엔비디아 DGX SuperPOD 슈퍼컴퓨터의 빌딩 블록 역할을 할 것이다. 소프트뱅크는 자체 생성형 AI 개발과 AI 관련 사업뿐만 아니라 일본 전역의 대학, 연구 기관, 기업에서 블랙웰 기반 DGX SuperPOD을 사용할 계획이다. 엔비디아는 “이 프로젝트가 완료되면 소프트뱅크의 DGX SuperPOD이 일본에서 가장 뛰어난 성능을 발휘할 것”이라면서, “이 시스템은 엔비디아 AI 엔터프라이즈 소프트웨어와 엔비디아 퀀텀-2 인피니밴드(Quantum-2 InfiniBand) 네트워킹을 갖추고 있어 대규모 언어 모델(LLM) 개발에도 이상적”이라고 전했다. 소프트뱅크는 DGX SuperPOD 외에도 극도로 컴퓨팅 집약적인 워크로드를 실행하기 위해 또 다른 엔비디아 가속 슈퍼컴퓨터를 구축할 계획이다. 이 슈퍼컴퓨터의 초기 계획은 엔비디아 그레이스 블랙웰 플랫폼 설계를 기반으로 하고 있다. 이 설계는 엔비디아 블랙웰 GPU와 Arm 기반 엔비디아 그레이스 CPU를 결합한 엔비디아 GB200 NVL72 멀티노드 수냉식 랙 스케일 시스템을 갖추고 있다.     한편, 소프트뱅크는 엔비디아와 협력해 AI와 5G 워크로드를 동시에 실행할 수 있는 새로운 종류의 통신 네트워크인 AI-RAN(artificial intelligence radio access network)을 개발했다. 이 새로운 유형의 인프라는 통신 사업자에게 기지국을 비용 센터에서 AI 수익 창출 자산으로 전환할 수 있는 기능을 제공해, 통신 업계의 생태계 지원을 받고 있다. 소프트뱅크는 일본 가나가와 현에서 실시한 실외 실험을 통해 엔비디아 가속 AI-RAN 설루션이 캐리어급 5G 성능을 달성했으며, 네트워크의 초과 용량을 사용해 AI 추론 워크로드를 동시에 실행할 수 있음을 입증했다. 기존 통신사 네트워크는 피크 부하를 처리하도록 설계돼 평균적으로 해당 용량의 3분의 1만 사용했다. 한편, AI-RAN이 제공하는 공통 컴퓨팅 기능을 활용하면 나머지 3분의 2 용량을 AI 추론 서비스를 위해 수익화할 수 있을 것으로 예상된다. 엔비디아와 소프트뱅크는 통신 사업자가 새로운 AI-RAN 인프라에 1달러의 자본을 투자할 때마다 약 5달러의 AI 추론 수익을 얻을 수 있을 것으로 예상하고 있다. 소프트뱅크는 운영 비용과 자본 비용을 고려할 때, 인프라에 추가하는 모든 AI-RAN 서버에 대해 최대 219%의 수익을 달성할 수 있을 것으로 예상하고 있다. 소프트뱅크는 실험을 통해 엔비디아 AI 엔터프라이즈를 사용해 자율주행 자동차 원격 지원, 로보틱스 제어, 에지에서의 멀티모달 검색 자동 생성을 포함한 실제 AI 추론 애플리케이션을 구축했다. 모든 추론 워크로드는 소프트뱅크의 AI-RAN 네트워크에서 최적으로 실행될 수 있었다. 젠슨 황 CEO는 “일본은 전 세계에 영향을 미치는 기술 혁신을 선도해온 오랜 역사를 갖고 있다. 소프트뱅크가 엔비디아의 풀스택 AI, 옴니버스(Omniverse), 5G AI-RAN 플랫폼에 대한 막대한 투자를 함으로써 일본은 AI 산업 혁명의 글로벌 리더로 도약하고 있다. 일본은 통신, 교통, 로보틱스, 의료 산업 전반에 걸쳐 새로운 성장의 시대를 주도해 AI 시대에 인류에게 큰 혜택을 제공할 것”이라고 말했다. 소프트뱅크의 미야카와 준이치(Junichi Miyakawa) 사장 겸 CEO는 “전 세계 국가와 지역이 사회와 경제 성장을 위해 AI 도입을 가속화하고 있으며, 사회는 중대한 변화를 겪고 있다. 소프트뱅크는 엔비디아와의 오랜 협력을 통해 이러한 변화를 최전선에서 주도하고 있다. 매우 강력한 AI 인프라와, AI를 위한 5G 네트워크를 재창조하는 새로운 분산형 AI-RAN 설루션 '아이트라스(AITRAS)'를 통해 일본 전역과 전 세계에서 혁신을 가속화할 것”이라고 말했다.

제품 개발 혁신을 가속화하는 크레오 파라메트릭 11.0 (6)   이번 호에서는 크레오 파라메트릭 11(Creo Parametric 11)의 개선된 인터페이스에 대해 알아보자.   ■ 박수민  디지테크 기술지원팀의 과장으로 크레오 전 제품의 기술지원 및 교육을 담당하고 있다.  홈페이지 | www.digiteki.com   크레오 파라메트릭 11의 최신 버전은 설계 작업에서 효율성과 편의성을 크게 향상시킨다. 디스플레이 품질 개선으로 더욱 정교한 화면 표시가 가능해져 설계 세부사항을 정확하게 볼 수 있으며, 옵션 대화 상자의 검색 기능 덕분에 필요한 설정을 빠르게 찾을 수 있다. 그리고 메시지 로그에 타임스탬프 기능이 추가되어 문제 발생 시 시간별 추적이 용이하고, 모델 트리와 탐색 트리의 워크플로 개선으로 설계 구조를 더 쉽게 관리할 수 있다.  또한, 파일 정렬 기능 개선으로 설계 파일을 효율적으로 탐색할 수 있으며, 서피스 선택 기능 향상으로 3D 주석 및 색상 지정 작업이 더 빨라진다. 맵키 구성도 분리되어 맞춤형 설정을 더 쉽게 관리할 수 있어, 복잡한 설계 환경에서도 유연한 작업이 가능해졌다. 이러한 개선들은 설계 시 작업 효율을 높일 수 있다.    디스플레이 품질 개선을 위한 기본 설정 옵션 변경  디스플레이 품질을 개선하고 기본 환경을 최적화하기 위해 설정 옵션의 기본값이 조정되었다. 이 기능 개선으로 인해 다음과 같은 변경 사항이 적용된다.      디스플레이 품질을 개선하기 위해 여러 가지 세부 기능이 변경되었다. 모서리의 쪽맞춤 품질과 음영처리 및 모서리 품질이 향상되었으며, 축, 점, 좌표계, 회전 중심의 디스플레이가 꺼짐 상태로 기본 설정되었다. 또한, 탄젠트 서피스 간의 모서리 치수 지정이 가능해졌고, FSAA(전체 화면 에일리어싱 제거) 기능이 활성화되었다. 모델 트리, 레이어 트리 또는 포인터 아래의 3D 세부 트리가 미리 강조표시되며, 동적 회전 중에도 기준 피처가 표시된다.  이러한 개선을 통해 디스플레이 품질을 높이고, 전체적인 사용자 경험을 향상시킨다.    옵션의 사용자 인터페이스의 검색 기능  추가 파일 → 옵션에서 오른쪽 상단에 옵션명을 검색하는 기능이 추가되었다. 검색을 통해 원하는 옵션을 더 빠르게 찾고 수정할 수 있다.      크레오 옵션 대화 상자에 검색 도구가 추가되어 옵션과 구성 설정을 빠르게 검색할 수 있게 되었다. 사용자는 검색 조건 및 동작을 사용자 정의할 수 있으며, 옵션 이름, 설명, 도구 설명, 레이블 또는 값을 기준으로 검색이 가능하다. 두 글자 이상 입력하면 검색 결과가 표시되며, 포인터를 항목에 놓으면 해당 옵션이 강조 표시된다. 또한, 사용자 인터페이스에 없는 config.pro 옵션도 결과에 포함되며, 이를 직접 변경할 수 있어 사용자 경험이 향상된다.      ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

새로워진 캐디안 2024 살펴보기 (11)   오토캐드와 양방향으로 호환되는 국산 CAD인 캐디안(CADian) 2024 버전의 업데이트 버전인 캐디안 2024 SE에는 오토캐드와 동일하게 리스프(LISP) 프로그램을 지원하여, 기존에 제작되어 사용되던 리스프 프로그램을 그대로 가져와서 사용할 수 있다.  다만 일반적인 사용자들은 리스프 프로그램을 직접 작성하여 이용하기에는 어려움이 있다. 캐디안은 몇몇 유용한 기능들을 자동화하여 사용할 수 있도록 리스프 프로그램 수십 종을 홈페이지에서 무료로 배포하고 있다.  이번 호에서는 그 중 몇 가지 리스프를 살펴보도록 하겠다.    ■ 최영석  캐디안 기술지원팀 부장으로 기술지원 업무 및 캐드 강의를 담당하고 있다.  홈페이지 | www.cadian.com  카페 | https://cafe.naver.com/ilovecadian   리스프 파일 내려받기 캐디안을 사용하는 사용자는 누구나 캐디안 공식 홈페이지의 기술자료실에서 리스프 프로그램을 다운로드한 뒤 로드하여 이용할 수 있다. 자세한 방법은 다음과 같다.    1. 인터넷 웹 브라우저의 주소창에 www.cadian.com을 입력하여 캐디안 홈페이지로 이동한다.   2. 상단 메뉴 중 ‘고객지원’ 항목에 마우스 커서를 가져가면 아래에 메뉴가 표시된다. 메뉴에서 ‘기술자료실’ 항목을 클릭한다.      3. 각종 리스프가 표시된다. 원하는 기능의 항목을 클릭하여 상세 페이지로 이동한다.     4. 아래쪽의 검색란에 원하는 기능을 검색하여 리스프 파일을 찾을 수 있다.     5. 왼쪽 상단의 리스프 파일이 포함된 압축 파일(*.zip)을 클릭하여 다운로드한다.     6. 압축 해제 프로그램을 이용하여 다운로드한 파일을 압축 해제한다.   7. 압축을 해제하면 *.elf 파일이 생성된다. *.elf 파일은 기존 리스프 프로그램을 암호화(encryption)한 파일이며, 캐디안에서만 정상적으로 실행된다.   8. 압축 해제한 리스프 *.elf 파일을 캐디안의 ‘appload’ 명령으로 로드한 뒤, 리스프 기능 호출 명령어를 입력하여 사용하면 된다.   리스프 파일 로드하기  리스프 파일을 로드하여 사용하는 방법은 다양하지만, 간단하게 사용하기 위해서는 크게 두 가지 방법이 있다. 명령어 ‘appload’를 이용하는 방법과 드래그 앤 드롭(drag & drop)을 이용하는 방법이다.      ■ 자세한 기사 내용은 PDF로 제공됩니다.

개발 및 공급 : AMD 코리아 주요 특징 : AMD 프로 기술로 높은 AI 컴퓨팅 성능 및 긴 배터리 사용 시간 제공, 기업 사용자에게 향상된 생산성 제공, 높은 수준의 보안 및 관리 기능 지원 등      AMD는 실시간 자막 생성, 언어 번역 및 고급 AI 이미지 생성 등을 포함하는 코파일럿+(Copilot+) 기능을 지원하고 혁신적인 비즈니스 생산성을 제공하고자 개발된 3세대 기업용 AI 모바일 프로세서를 공개했다.  새로운 라이젠 AI 프로 300(Ryzen AI PRO 300) 시리즈 프로세서는 이전 세대 대비 최대 3배의 AI 성능을 제공하며, AI 컴퓨 팅 및 일상적인 워크로드에서 높은 성능을 발휘한다. AMD 프로 기술(AMD PRO Technologies)을 탑재한 라이젠 AI 프로 300 시리즈 프로세서는 IT 운영을 간소화하고 비즈니스 환경에서 탁월한 ROI를 보장하도록 설계되었으며, 높은 수준의 보안 및 관리 기능을 지원한다.  라이젠 AI 프로 300 시리즈 프로세서는 AMD의 ‘젠 5(Zen 5)’ 아키텍처를 탑재해 향상된 CPU 성능을 제공하며, 코파일럿+ 엔터프라이즈 PC에 대응하는 기업용 프로세서 라인업이다. 라이젠 AI 프로 300 시리즈 프로세서가 탑재된 노트북은 업계가 요구하는 까다로운 워크로드를 처리하도록 설계되었다. AMD는 “특히 최상위 제품인 라이젠 AI 9 HX 프로 375는 경쟁 제품인 인텔 코어 울트라7 165U 대비 최대 40% 더 빠른 성능과 최대 14% 더 높은 생산성을 제공한다”고 주장했다.  AMD 라이젠 AI 프로 300 시리즈 프로세서는 내장 NPU를 구동하는 XDNA 2 아키텍처가 탑재되어 초당 수조 회에 달하는 연산이 가능한 50 NPU TOPS 이상의 AI 처리 능력을 갖췄으며, 마이크로소프트의 코파일럿+ 지원 AI PC 요건을 상회하고 최신 비즈니스 환경에 적합한 AI 연산 능력 및 생산성을 제공한다. 4nm 의 미세 공정을 기반으로 혁신적인 전력 관리 기능을 갖춘 새로운 프로세서는 작동 시 지속적으로 성능 및 생산성 유지가 가능하며 최적의 배터리 수명도 갖추고 있다.  AMD의 컴퓨팅 및 그래픽 그룹 총괄 매니저인 잭 후인(Jack Huynh) 부사장은 “기업들은 일상적인 업무는 물론, 까다로운 워크로드를 처리하기 위해 더욱 높은 컴퓨팅 성능과 효율성을 요구하고 있다. 기업용 PC를 위해 설계된 가장 강력한 AI 프로세서인 라이젠 AI 프로 300 시리즈를 자사 모바일 프로세서 포트폴리오에 추가하게 되어 기쁘다”면서, “자사의 3세대 기업용 AI 지원 프로세서는 뛰어난 배터리 사용 시간, 주요 애플리케이션에 대한 완벽한 호환성은 물론, 최상의 AI 처리 능력을 제공한다”고 전했다.    표. AMD 라이젠 AI 프로 300 시리즈 모바일 프로세서   AMD 프로 기술을 통한 보안 및 관리 기능 AMD는 AMD 보안 프로세서(AMD Secure Processor), AMD 섀도우 스택(AMD Shadow Stack) 및 AMD 플랫폼 보안 부트(AMD Platform Secure Boot)에 이어, 새로운 보안 및 관리성 기능을 더한 AMD 프로 기술 라인업을 한층 확장했다. AMD 프로 기술이 탑재된 프로세서에는 IT 팀이 클라우드를 통해 시스템을 지속적으로 복구하여 매끄럽고 지속적인 운영을 보장하는 클라우드 베어 메탈 복구(Cloud Bare Metal Recovery), 공급망 전반에 걸쳐 추적이 가능한 새로운 기능의 공급망 보안(AMD Device Identity), 추가적인 감지 및 복구 프로세스와 함께 기존의 복원 지원을 기반으로 하는 워치 도그 타이머(Watch Dog Timer)를 기본으로 제공한다. 일부 ISV 파트너의 경우 AMD 프로 기술을 통해 AI 기반 맬웨어 탐지 기능을 추가로 제공하며, 이러한 새로운 보안 기능은 통합 NPU를 통해 일상적인 성능에 영향을 주지 않고 AI 기반 보안 워크로드를 실행한다.    기업용 OEM 생태계 지속 확장  OEM 파트너들은 기업 고객에게 균형 잡힌 성능 및 호환성을 제공하는 라이젠 AI 프로 300 시리즈 프로세서 기반의 새로운 PC 제품을 포함해, 기업용 제품군을 지속적으로 확장하고 있다. 향상된 성능을 갖춘 차세대 라이젠 프로세서 기반 기업용 PC는 마이 크로소프트 코파일럿+를 포함한 로컬 AI 프로세싱의 가능성을 한층 확장한다. 라이젠 AI 프로 300 시리즈 기반 OEM 시스템은 올 해 말부터 공급될 예정이다.  마이크로소프트의 파반 다불루리(Pavan Davuluri) 코파일럿+ 디바이스 부문 부사장은 “마이크로소프트와 AMD의 파트너십 및 라이젠 AI 프로 프로세서의 코파일럿+ PC 통합은 고객에게 강력한 AI 기반 경험을 제공하기 위해 양사가 공동으로 집중하고 있음을 보여준다”면서, 라이젠 AI 프로의 성능은 윈도우 11의 최신 기능과 결합하여 생산성, 효율성 및 보안성을 개선한다”라고 말했다.  또한 그는 “개선된 윈도우 검색, 리콜, 클릭 투 두(Click to Do)와 같은 기능은 PC 사용 환경을 더욱 직관적이고 즉각적으로 만든다. 마이크로소프트 플루톤 보안 프로세서와 윈도우 헬로의 향상된 로그인 보안 등은 고객의 데이터를 더욱 안전하게 보호한다. 우리는 AMD와 긴밀하게 협력해 온 지금까지의 역사를 자랑스럽게 생각하며, 이러한 혁신을 시장에 선보이게 되어 기쁘다”고 전했다.      ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 로봇 콘퍼런스인 로스콘(ROSCon)에서 로봇 운영체제(ROS) 개발자를 위한 생성형 AI 설루션을 발표했다. 이번 로스콘은 덴마크 오덴세에서 10월 21일부터 사흘 간 진행됐으며, 엔비디아는 로봇 생태계 파트너들과 함께 ROS 개발자를 위한 생성형 AI 툴, 시뮬레이션, 인식 워크플로를 공개했다. 여기에는 에지 AI와 로보틱스용 엔비디아 젯슨(Jetson) 플랫폼에 배포하는 ROS 개발자를 위한 새로운 생성형 AI 노드와 워크플로가 포함됐다. 생성형 AI를 통해 로봇은 주변 환경을 인식하고 이해하며, 인간과 자연스럽게 소통하고, 자율적으로 상황에 맞는 결정을 내릴 수 있다. ROS 2를 기반으로 구축된 리맴버(ReMEmbR)는 생성형 AI를 사용해 로봇의 추론과 행동을 향상시킨다. 이는 대규모 언어 모델(LLM), 비전 언어 모델(VLM), 검색 증강 생성(RAG)을 결합한다. 이를 통해 로봇이 장기적인 의미 기억을 구축하고 쿼리하며 환경을 탐색하고 상호 작용하는 능력을 향상시킨다. 음성 인식 기능은 위스퍼TRT(WhisperTRT) ROS 2 노드에 의해 구동된다. 이 노드는 엔비디아 텐서RT(TensorRT)를 사용해 오픈AI(OpenAI)의 위스퍼(Whisper) 모델을 최적화해 엔비디아 젯슨에서 지연 시간이 짧은 추론을 가능하게 함으로써 인간과 로봇의 즉각적인 상호 작용을 가능하게 한다. 음성 제어 기능을 갖춘 ROS 2 로봇 프로젝트는 엔비디아 리바(Riva) ASR-TTS 서비스를 사용해 로봇이 음성 명령을 이해하고 이에 응답할 수 있도록 한다. 나사 제트추진연구소(The NASA Jet Propulsion Laboratory)는 ROS용 AI 기반 에이전트인 로사(ROSA)를 독자적으로 선보였다. 이는 네뷸라-SPOT(Nebula-SPOT) 로봇과 엔비디아 아이작 심(Isaac Sim)의 엔비디아 노바 카터(Nova Carter) 로봇에서 작동했다.     개발자는 이제 로봇 기능을 향상하기 위해 엔비디아 젯슨에 최적화된 LLM과 VLM을 제공하는 생성형 AI용 ROS 2 노드를 사용할 수 있다. 시뮬레이션은 배포 전에 AI 지원 로봇을 안전하게 테스트하고 검증하기 위해 중요한 작업이다. 오픈USD(OpenUSD)를 기반으로 구축된 로봇 시뮬레이션 플랫폼인 엔비디아 아이작 심(Isaac Sim)은 ROS 개발자에게 로봇을 ROS 패키지에 쉽게 연결해 테스트할 수 있는 가상 환경을 제공한다.  오픈 소스 ROS 2 소프트웨어 프레임워크를 기반으로 구축된 엔비디아 아이작 ROS는 로보틱스 개발을 위한 가속 컴퓨팅 패키지와 AI 모델의 모음이다. 곧 출시될 3.2 버전은 로봇의 인식, 조작, 환경 매핑을 향상시킨다. 엔비디아 아이작 매니퓰레이터(Isaac Manipulator)의 주요 개선 사항에는 파운데이션포즈(FoundationPose)와 cu모션(cuMotion)을 통합하는 새로운 레퍼런스 워크플로가 포함된다. 이는 로보틱스에서 픽앤플레이스(pick-and-place)와 객체 추적 파이프라인의 개발을 가속화한다. 아울러 엔비디아 아이작 퍼셉터(Isaac Perceptor)도 개선됐다. 이는 새로운 시각적 SLAM 레퍼런스 워크플로, 향상된 다중 카메라 감지, 3D 재구성을 특징으로 자율 주행 로봇(autonomous mobile robot, AMR)의 환경 인식과 창고와 같은 동적인 환경에서의 성능을 개선한다.