• 회원가입
  • |
  • 로그인
  • |
  • 장바구니
  • News
    뉴스 신제품 신간 Culture & Life
  • 강좌/특집
    특집 강좌 자료창고 갤러리
  • 리뷰
    리뷰
  • 매거진
    목차 및 부록보기 잡지 세션별 성격 뉴스레터 정기구독안내 정기구독하기 단행본 및 기타 구입
  • 행사/이벤트
    행사 전체보기 캐드앤그래픽스 행사
  • CNG TV
    방송리스트 방송 다시보기 공지사항
  • 커뮤니티
    업체홍보 공지사항 설문조사 자유게시판 Q&A게시판 구인구직/학원소식
  • 디렉토리
    디렉토리 전체보기 소프트웨어 공급업체 하드웨어 공급업체 기계관련 서비스 건축관련 업체 및 서비스 교육기관/학원 관련DB 추천 사이트
  • 회사소개
    회사소개 회사연혁 출판사업부 광고안내 제휴 및 협력제안 회사조직 및 연락처 오시는길
  • 고객지원센터
    고객지원 Q&A 이메일 문의 기사제보 및 기고 개인정보 취급방침 기타 결제 업체등록결제
  • 쇼핑몰
통합검색 "라마"에 대한 통합 검색 내용이 476개 있습니다
원하시는 검색 결과가 잘 나타나지 않을 때는 홈페이지의 해당 게시판 하단의 검색을 이용하시거나 구글 사이트 맞춤 검색 을 이용해 보시기 바랍니다.
CNG TV 방송 내용은 검색 속도 관계로 캐드앤그래픽스 전체 검색에서는 지원되지 않으므로 해당 게시판에서 직접 검색하시기 바랍니다
엔비디아, AWS에 엔비디아 NIM 제공 확대해 AI 추론 향상 지원
엔비디아가 아마존웹서비스(AWS)의 AI 서비스 전반에 자사의 NIM 마이크로서비스를 확장한다고 발표하면서, 이를 통해 생성형 AI 애플리케이션을 위한 더 빠른 AI 추론과 짧은 지연 시간을 지원한다고 전했다. 12월 4일 열린 ‘리인벤트(re:Invent)’ 연례 콘퍼런스에서 AWS는 엔비디아와의 협업을 확대해 주요 AWS AI 서비스 전반에 걸쳐 엔비디아 NIM 마이크로서비스를 확장한다고 발표했다.  엔비디아 NIM 마이크로서비스는 이제 AWS 마켓플레이스(Marketplace), 아마존 베드록 마켓플레이스(Bedrock Marketplace), 아마존 세이지메이커 점프스타트(SageMaker JumpStart)에서 직접 제공된다. 이로 인해 개발자가 일반적으로 사용되는 모델에 대해 엔비디아 최적화 추론을 대규모로 배포하는 것이 더욱 쉬워졌다.     엔비디아 NIM은 AWS 마켓플레이스에서 제공되는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼의 일부이다. 이는 개발자에게 클라우드, 데이터센터, 워크스테이션 전반에서 고성능 엔터프라이즈급 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 사용하기 쉬운 마이크로서비스 세트를 제공한다. 사전 구축된 컨테이너는 엔비디아 트리톤 추론 서버(Triton Inference Server), 엔비디아 텐서RT(TensorRT), 엔비디아 텐서RT-LLM, 파이토치(PyTorch)와 같은 추론 엔진을 기반으로 구축됐다. 아울러 오픈 소스 커뮤니티 모델부터 엔비디아 AI 파운데이션(AI Foundation) 모델, 맞춤형 모델에 이르기까지 광범위한 범위의 AI 모델을 지원한다. NIM 마이크로서비스는 아마존 엘라스틱 컴퓨트 클라우드(Elastic Compute Cloud : EC2), 아마존 엘라스틱 쿠버네티스 서비스(Elastic Kubernetes Service : EKS), 아마존 세이지메이커를 비롯한 다양한 AWS 서비스에 배포할 수 있다. 개발자는 일반적으로 사용되는 모델과 모델 제품군으로 구축된 100개 이상의 NIM 마이크로서비스를 엔비디아 API 카탈로그에서 미리 볼 수 있다. 여기에는 메타의 라마 3(Llama 3), 미스트랄 AI의 미스트랄과 믹스트랄(Mixtral), 엔비디아의 네모트론(Nemotron), 스태빌리티 AI의 SDXL 등이 있다. 가장 일반적으로 사용되는 모델은 AWS 서비스에 배포하기 위한 자체 호스팅에 사용할 수 있으며, AWS의 엔비디아 가속 컴퓨팅 인스턴스에서 실행되도록 최적화돼 있다. 엔비디아는 다양한 산업 분야의 고객과 파트너가 AWS에서 NIM을 활용하며 시장에 더 빨리 진입하고, 생성형 AI 애플리케이션과 데이터의 보안과 제어를 유지하며, 비용을 절감하고 있다고 소개했다. 개발자는 고유한 필요와 요구사항에 따라 AWS에 엔비디아 NIM 마이크로서비스를 배포할 수 있다. 이를 통해 개발자와 기업은 다양한 AWS 서비스 전반에서 엔비디아에 최적화된 추론 컨테이너로 고성능 AI를 구현할 수 있다.
작성일 : 2024-12-06
AWS, 차세대 파운데이션 모델 ‘아마존 노바’ 공개
아마존웹서비스(AWS)는 광범위한 작업에서 최첨단 인텔리전스와 가격 대비 성능을 제공하는 차세대 파운데이션 모델(FM)인 ‘아마존 노바(Amazon Nova)’를 발표했다. 아마존 노바 모델은 아마존 베드록(Amazon Bedrock)에서 사용 가능하며, 빠른 텍스트-텍스트 변환 모델인 아마존 노바 마이크로(Amazon Nova Micro)를 비롯해 아마존 노바 라이트(Amazon Nova Lite), 아마존 노바 프로(Amazon Nova Pro) 그리고 텍스트, 이미지, 비디오를 처리하여 텍스트를 생성하는 멀티모달 모델인 아마존 노바 프리미어(Amazon Nova Premier) 등을 포함한다. 아마존은 또한 두 가지 추가 모델로 스튜디오급 이미지 생성을 위한 아마존 노바 캔버스(Amazon Nova Canvas) 및 스튜디오급 비디오 생성을 위한 아마존 노바 릴(Amazon Nova Reel)을 출시했다. 아마존 노바 마이크로는 낮은 비용으로 빠른 지연 시간의 응답을 제공하는 텍스트 전용 모델이다. 아마존 노바 라이트는 이미지, 비디오, 텍스트 입력 처리가 빠른 저비용 멀티모달 모델이고, 아마존 노바 프로는 광범위한 작업에 대해 정확성, 속도, 비용의 최적의 조합을 제공하는 고성능 멀티모달 모델이다. 그리고 아마존 노바 프리미어는 복잡한 추론 작업과 맞춤형 모델 학습을 위한 최고의 교사 모델로 사용되는 아마존의 가장 강력한 멀티모달 모델이다. 아마존 노바 마이크로, 아마존 노바 라이트, 아마존 노바 프로는 현재 정식 사용 가능하며, 아마존 노바 프리미어는 2025년 1분기에 출시될 예정이다. AWS는 “다양한 업계 표준 벤치마크로 테스트한 결과 아마존 노바 마이크로, 아마존 노바 라이트, 아마존 노바 프로가 각각의 카테고리에서 메타의 라마 3.1, 구글의 제미나이 1.5, 오픈AI의 GPT-4o, 앤스로픽의 클로드 3.5 등 업계 주요 모델과 비교할 때 경쟁력 있는 성능을 보여주었다”고 소개했다. 아마존 노바 마이크로, 라이트, 프로는 200개 이상의 언어를 지원한다. 아마존 노바 마이크로는 128K 입력 토큰의 컨텍스트 길이를 지원하며, 아마존 노바 라이트와 아마존 노바 프로는 300K 토큰 또는 30분의 비디오 처리를 지원하는 컨텍스트 길이를 제공한다. 2025년 초에는 2M 이상의 입력 토큰 컨텍스트 길이를 지원할 예정이다. AWS는 모든 아마존 노바 모델이 빠르고 비용 효율적이며 고객의 시스템 및 데이터와 쉽게 사용할 수 있도록 설계됐다고 설명했다. 모든 아마존 노바 모델은 주요 AI 기업과 아마존의 고성능 파운데이션 모델을 단일 API를 통해 사용할 수 있게 해주는 완전 관리형 서비스인 아마존 베드록과 통합돼 있다. 고객들은 아마존 베드록을 사용하여 아마존 노바 모델과 다른 파운데이션 모델을 쉽게 실험하고 평가하여 애플리케이션에 가장 적합한 모델을 결정할 수 있다. 또한 이 모델들은 맞춤형 미세조정(fine-tuning)을 지원하여, 고객들이 정확도를 높이기 위해 레이블이 지정된 자체 데이터의 예시들을 모델에 지정할 수 있다. 아마존 노바 모델은 고객의 자체 데이터(텍스트, 이미지, 비디오 포함)에서 가장 중요한 것을 학습하고, 그 후 아마존 베드록이 맞춤형 응답을 제공할 수 있는 개인 미세조정 모델을 훈련시킨다. 이미지 생성 모델인 아마존 노바 캔버스는 텍스트나 이미지 프롬프트로부터 전문가급 이미지를 생성한다. 또한 텍스트 입력을 사용한 이미지 편집 기능과 색상 구성 및 레이아웃 조정을 위한 제어 기능을 제공한다. 그리고 이미지의 출처를 추적할 수 있게 하는 워터마크와 잠재적으로 유해한 콘텐츠의 생성을 제한하는 콘텐츠 관리 등 제어 기능을 내장했다. 아마존 노바 릴은 고객이 텍스트와 이미지로부터 쉽게 고품질 비디오를 생성할 수 있게 해주는 비디오 생성 모델이다. 고객은 자연어 프롬프트를 사용하여 카메라 모션, 회전, 확대/축소 등 시각적 스타일과 속도를 제어할 수 있다. 아마존 노바 릴은 현재 6초 길이의 비디오를 생성하며, 향후 몇 개월 내에 최대 2분 길이의 비디오 생성을 지원할 예정이다. 아마존은 2025년 1분기에 아마존 노바 스피치 투 스피치(speech-to-speech) 모델을 출시할 예정이다. 이 모델은 자연어의 스트리밍 음성 입력을 이해하고, 언어적 신호와 톤이나 박자 같은 비언어적 신호를 해석하며, 낮은 지연 시간으로 자연스러운 인간다운 쌍방향 상호작용을 제공함으로써 대화형 AI 애플리케이션을 변화시키도록 설계됐다. 또한 아마존은 텍스트, 이미지, 오디오, 비디오를 입력으로 받아 이러한 모든 형태로 출력을 생성할 수 있는 혁신적인 모델을 개발하고 있다고 전했다. 이 모델은 2025년 중반에 출시될 예정으로, 콘텐츠를 편집/다른 형태로 변환하거나 모든 형태를 이해하고 생성할 수 있는 AI 에이전트를 구동하는 등 다양한 작업을 수행하는 데 동일한 모델을 사용할 수 있는 애플리케이션 개발을 단순화할 것으로 보인다. 아마존의 로힛 프라사드(Rohit Prasad) 인공 일반 지능(AGI) 수석부사장은 “아마존 내부적으로 약 1000개의 생성형 AI 애플리케이션이 진행 중이며, 애플리케이션 개발자가 여전히 고민하고 있는 문제를 전반적으로 파악하고 있다”면서, “새로운 아마존 노바 모델은 내부 및 외부 개발자들의 이러한 과제 해결을 돕고 지연 시간, 비용 효율성, 맞춤화, 검색 증강 생성(RAG), 에이전트 기능에서 의미 있는 진전을 이루면서 강력한 인텔리전스와 콘텐츠 생성을 제공하고자 한다”고 말했다.
작성일 : 2024-12-05
[포커스] 콘진원, ‘AI로 만나는 새로운 콘텐츠 세상’... AI 콘텐츠 페스티벌 2024 개최
문화체육관광부가 주최하고 한국콘텐츠진흥원(이하 콘진원)이 주관한 ‘AI 콘텐츠 페스티벌 2024’가 10월 31일부터 11월 2일까지 서울 삼성동 코엑스 더플라츠 및 스튜디오159에서 열렸다. 이번 행사는 국내 AI 창작 콘텐츠를 총망라하며, AI 기술과 창작의 결합을 대중화하고 활성화하기 위한 목적으로 올해 처음 개최됐다. ■ 박경수 기자   ▲ AI 콘텐츠 페스티벌 2024   다양한 AI 콘텐츠 선보인 전시 및 체험 현장 ‘AI로 만나는 새로운 콘텐츠 세상’을 슬로건으로 진행된 이번 행사에는 국내 AI 콘텐츠 기업과 창작자 57개 팀이 참여했다. 전시·체험, 콘퍼런스, 창작 워크숍, 크리에이터 클래스, AI 영상 상영관, 네트워킹 등 다양한 프로그램이 마련됐다. 전시 및 체험 공간은 누구나 관람할 수 있도록 개방되었으며 AI를 활용한 120여 개의 아트, 영상, 버추얼 아이돌, 게임, 웹툰 콘텐츠가 선보였다. 특히, ‘꿈의 경계를 넘다’, ‘몰입 세계로 여행하다’ 등 6개의 테마 존은 관람객들에게 새로운 창작 경험을 제공했다. 홍익대 AI 뮤지엄이 참여한 ‘꿈의 경계를 넘다’에서는 AI를 활용한 창작 미술 작품이 전시됐고, ‘또다른 나에게 열광하다’ 섹션에서는 아뽀키, 수비, 브이럽 등 버추얼 아이돌이 등장해 눈길을 끌었다. 또한, ‘AI와 함께 세계 정복’에서는 AI 창작 드라마와 단편영화가 상영되어 AI 기술의 스토리텔링 가능성을 선보였다.   ▲ AI 콘텐츠 상영관   ▲ AI 콘텐츠 전시장   ▲ AI 콘텐츠 체험관   AI는 얼마나 창의적일 수 있을까? 전시회와 함께 열린 콘퍼런스에서는 국내외 AI 콘텐츠 창작의 최신 동향과 전망이 논의됐다. 특히, 생성형 AI 미술관 ‘데드 앤 갤러리’의 창립자 콘스탄트 브링크먼의 기조 강연은 많은 이의 주목을 받았다. 그는 ‘AI는 창의적일 수 있는가?’를 주제로 AI가 인간의 창의성을 확장하는 가능성을 소개하며, AI 예술가의 작품과 상업적 활용 가능성에 대해 폭넓게 논의했다.   ▲ 데드 앤 갤러리(Dead End Gallery) 창립자인 콘스탄트 브링크먼의 기조강연   대담 세션에서는 만화가 이현세, 세종대 한창완 교수, 재담미디어 박석환 이사가 AI 기술이 게임, 웹툰, 애니메이션 등 국내 콘텐츠 산업에 가져올 변화를 주제로 토론을 진행했다. 홍익대 한정엽 교수와 경희대 김상균 교수는 각각 창작자와 산업의 관점에서 AI 시대 콘텐츠 산업의 미래를 조망했다.   ▲ ‘AI를 통해 재탄생하는 대한민국 콘텐츠 IP’ 주제로 열린 대담회   네덜란드 암스테르담에 위치한 데드 엔드 갤러리는 AI 생성 예술만을 전문으로 하는 세계 최초의 갤러리다. 창립자들은 AI 예술가가 만든 독특한 예술 작품을 선보이도록 갤러리를 설계했으며, 각각은 독특한 개성과 예술적 스타일을 담고 있다. 이 갤러리에서는 이리사 노바(Irisa Nova) 및 막심 듀퐁(Maxime Dupont) 같은 여러 AI 아티스트를 배출했다. 이들 AI는 각자 고유한 개성을 형성하며, 사용된 데이터 세트와 프롬프트의 영향을 받아 독특한 작품들을 생성했다. AI가 만든 작품은 디지털 페인팅부터 인터랙티브 설치까지 다양했는데, 인간의 묘사에 손가락이 추가되는 등 변화무쌍한 모습을 보이고 있어 향후 어떻게 진화해 나갈 것인지 궁금하다. 워크숍과 크리에이터 클래스에서는 AI를 활용한 창작 기술과 노하우가 공유됐다. ▲뉴콘텐츠 아카데미 쇼케이스 ▲AIXR 창작영상 GV ▲메타유니버스 변문경 대표의 ‘생성형 AI 활용 시나리오 개발’ 등이 관객의 호응을 얻었다. 또한, 크리에이터 클래스에서는 AI를 활용한 영상, 음악, 멀티미디어 콘텐츠 제작 노하우가 공개됐다. 법무법인 원 고인선 변호사의 ‘AI 콘텐츠와 저작권’ 강연도 눈길을 끌었다. AI가 창작자와 산업에 제공하는 새로운 기회와 동시에 직면할 수 있는 저작권 문제에 대한 깊이 있는 논의가 진행됐다. 한국콘텐츠진흥원 유현석 원장직무대행은 개회사에서 “AI는 창작의 동반자로서 예술과 창작에서 점점 더 중요한 역할을 하고 있다”며, “AI가 창의적 아이디어를 확장하고 새로운 기회를 만들어가는 미래를 기대한다”고 강조했다. 이번 AI 콘텐츠 페스티벌은 창작자와 관람객 모두에게 AI 기술과 콘텐츠 융합의 가능성을 제시하며 성황리에 막을 내렸다. 앞으로도 AI 기술이 한국 콘텐츠 산업의 새로운 성장 동력이 될 지 주목된다.   ▲ 개회사 중인 한국콘텐츠진흥원 유현석 원장직무대행     ■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2024-12-04
[칼럼] 익숙함을 넘어 편리함으로
현장에서 얻은 것 No.19   진정한 혁신은 익숙함을 버리고 불확실성 속에서 새로운 가능성을 찾는 데에서 시작된다.” - 일론 머스크 이번 칼럼의 부제목은 ‘갤럭시에서 아이폰으로의 전환이 던진 질문, 편리함의 본질은 무엇인가?’로 잡았다. 이 주제를 선택한 것은 개인적인 것이지만 특별함이 있다. MZ 세대는 삼성페이 등 갤럭시가 주는 편리함에도 불구하고 왜 아이폰에 열광할까? 그 이유를 알고 싶었다. 그 이유 중의 하나는 ‘공유’ 기능이라는 것을 들었다. 에어드롭(Airdrop)이라는 기능은 학생들 사이에서 데이터를 손쉽게 아이패드, 아이폰 등으로 ‘연결’하여 손쉽게 공유할 수 있다. 결제와 교통카드 부분에서는 확실히 갤럭시가 편리하다. 삼성페이는 2015년 8월에 한국에서 처음 시작되었는데, 기존 플라스틱 카드로 결제할 수 있는 거의 모든 곳에서 사용 가능한 간편하고 안전한 모바일 결제 서비스이다. 삼성페이의 강점은 NFC(근거리 무선 통신) 방식과 MST(마그네틱 보안 전송) 방식을 모두 지원한다는 점이고, 애플은 NFC 방식을 애플페이에만 한정해 놓아서 교통카드를 사용하는데 제약이 있다. 그리고 일반 식당 등에서는 NFC 방식은 드물고 MST 방식으로 되어 있기 때문이기도 하다.  MST는 카드 리더와 같은 방식으로 작동하기 때문에 결제 금액에 제한을 두지 않는다. 물론 NFC가 MST보다 열위에 있다는 것은 아니다. NFC는 짧은 거리에서 통신해야 한다는 제약이 있지만, 안전하게 데이터를 전송한다는 강점을 가진다. 삼성페이는 다양한 결제 방식 지원과 우수한 서비스를 바탕으로 핵심 간편 결제 수단으로 자리 잡아, 결제 수단을 넘어 신분증, 각종 티켓, 디지털 자산까지 안전하게 보관하는 나만의 모바일 지갑이 될 것이다. 애플페이는 2023년 8월 현대카드를 통해 한국에 론칭했다. 애플은 애플페이로만 NFC 결제가 되도록 허용하고 있다.한국 대중교통의 NFC 결제 방식 지원은 세 가지가 있다. 네이버페이 모바일 교통카드, 모바일티머니, PAYCO 모바일 교통카드 등이다. 2024년 11월 기준으로, 대한민국의 교통카드사 중 애플페이를 공식 지원하는 곳은 없다. 신용카드사와의 제휴 및 단말기 소프트웨어 업데이트를 통해 오픈 루프 방식을 지원하거나, 티머니, 캐시비 등 교통카드사가 애플의 eSE를 지원하도록 애플과 협상하여 교통카드가 아이폰에 탑재될 수 있도록 전산 개발을 해야 한다. 문제는 애플의 eSE 규격에 맞춰 전산 개발 비용까지 감내해야 하는데, 사용하는 대가로 수수료까지 지급해야 한다.(내용 출처 : 위키백과) 그럼에도 불구하고, 나는 삼성페이에서 벗어나 보려는 노력을 하고 있다. ‘익숙힘’에서 ‘편리함’으로 넘어가보려는 시도이다. 그 여파로 지갑을 항시 휴대해야 하는 번거로움이 생겼다. 개인적으로는 진정한 ‘편리함’이 무엇인지 탐구하고 싶은 호기심이 생겼다. 내가 아이폰으로 넘어가는 이유이기도 하다. 그 전에 아이패드를 사용하고 있던 환경도 무시 못할 요인이라 하겠다. 그리고 기존에 사용 중이던 갤럭시 워치 3와 BOSE 무선 헤드셋을 연결해서 사용하고 싶은 생각도 있었다. 물론 애플 액세서리로 도배해도 좋겠지만, 기존에 사용하던 것을 연결해서 한동안 사용하고 싶다. 이번 호의 내용은 어느 스마트폰이 좋은가와는 무관하며, 개인의 관심사항을 기준으로 작성하였다. 이 내용은 생성형 AI의 도움을 받아 작성되었다.    편리함과 익숙함의 경계 현대 사회에서 스마트폰은 단순한 통신 수단을 넘어 일상의 필수품이 되었다. 기기들은 끊임 없이 발전하며 새로운 기능과 디자인을 선보이지만, 이러한 변화가 사용자에게 주는 ‘편리함’은 생각보다 다층적이다. 필자는 최근 갤럭시에서 아이폰으로 스마트폰을 바꾸면서 두 기기 사이에서 발견한 철학적 차이에 주목하게 되었다. 과연 편리함이란 단순히 쉽게 사용하는 것일까, 아니면 익숙해진 이후에야 비로소 다가오는 편리함이 존재하는 것일까?   기술의 발전과 스마트폰 사용 환경의 변화 스마트폰은 지난 20여 년 동안 디지털 혁신의 중심에 서며 일상생활을 급격히 변화시켜 왔다. 초기의 휴대전화는 단순히 통화와 문자 전송 기능만 제공하던 데에서 출발했지만, 기술이 발전하면서 인터넷 접속, 이메일, 내비게이션, 사진 촬영 등 다양한 기능을 추가하며 그 영역을 빠르게 확장해 왔다. 이제 스마트폰은 개인의 모든 일상을 담아내는 ‘주머니 속 컴퓨터’가 되었고, 이를 통해 사람들은 소통 방식, 정보 접근 방식, 심지어 생활 방식마저 새롭게 정의하게 되었다. 스마트폰의 발전은 주로 세 가지 핵심 영역, 즉 하드웨어, 소프트웨어, 그리고 네트워크 인프라의 발전을 통해 이루어져 왔다. 하드웨어의 진화 측면으로 보면, 스마트폰 하드웨어는 속도, 용량, 디스플레이 해상도, 배터리 성능 등에서 눈부신 성장을 보여 왔다. 초기 스마트폰은 작은 화면과 느린 프로세서로 제한적인 작업만 가능했지만, 이제는 고화질의 사진과 동영상을 촬영할 수 있는 카메라, 고성능 그래픽을 처리하는 프로세서, 넉넉한 저장 공간을 가진 기기들이 출시되고 있다. 이러한 하드웨어의 성장은 사용자들이 더 빠르고 효율적으로 다양한 작업을 처리할 수 있도록 하며, 스마트폰을 단순한 도구에서 개인의 디지털 생태계 중심으로 자리 잡게 했다. 소프트웨어와 사용자 경험의 혁신 측면으로 보면, 주요 스마트폰 운영 체제인 iOS와 안드로이드는 시간이 지남에 따라 기능과 보안성, 안정성을 크게 개선해 왔다. 초창기에는 앱의 종류나 기능이 제한적이었지만, 지금은 AI, 증강 현실(AR), 머신러닝(ML) 등 첨단 기술이 적용된 다양한 애플리케이션이 가능해지면서 스마트폰은 모든 산업과 생활 분야에 밀접하게 연계되고 있다. 소프트웨어의 발전은 하드웨어와 맞물려 사용자의 일상 경험을 새롭게 만들어주며, 스마트폰을 통해 개인화된 서비스를 받고, 예측 가능한 방식으로 정보를 제공받는 시대가 열렸다. 네트워크 인프라의 발전 측면으로 보면 3G, 4G, 그리고 최근의 5G 네트워크는 스마트폰 사용 환경을 근본적으로 변화시켰다. 초기 스마트폰 사용자는 2G와 3G 네트워크 속도에 맞춰 제한적인 웹 검색과 이메일 정도만 가능했지만, 4G와 5G 시대가 열리며 실시간 스트리밍, 원격 근무, 온라인 교육 등 고용량의 데이터를 빠르게 처리하는 다양한 서비스가 가능해졌다. 특히 5G의 보급으로 데이터 전송 속도와 안정성이 크게 향상되면서 스마트폰은 단순한 개인용 기기를 넘어 원격 의료, 자율 주행 등과 연결되는 미래 기술의 핵심 도구로 자리잡게 되었다.   갤럭시에서 아이폰으로의 전환을 통한 새로운 인식 스마트폰은 이제 단순한 기기 이상으로, 각기 다른 사용자의 개성과 라이프스타일을 반영하는 중요한 디지털 동반자가 되었다. 사용자는 스마트폰을 통해 매일의 일정을 관리하고, 업무를 처리하며, 친구와 소통하고, 자신만의 콘텐츠를 창작하기도 한다. 그 과정에서 사용자는 자신만의 고유한 ‘디지털 습관’을 만들어가며, 특정 브랜드와 기기에 점점 더 익숙해지게 된다. 이로 인해 스마트폰 전환, 특히 안드로이드 기반의 갤럭시에서 iOS 기반의 아이폰으로의 전환은 단순한 기기 변경을 넘어서는 큰 변화로 다가온다. 이 전환을 통해 사용자는 일상의 습관, 편리함의 기준, 그리고 기술에 대한 기대를 새롭게 성찰하게 된다. 갤럭시 스마트폰은 삼성페이와 같은 빠르고 직관적인 서비스와 안드로이드의 개방성을 기반으로, 한국 시장에서 많은 사용자들에게 ‘편리함’과 ‘익숙함’을 제공해왔다. 사용자는 원하는 기능을 빠르게 호출하고 상황에 맞춰 자유롭게 커스터마이징할 수 있는 안드로이드의 장점 덕분에 자신의 스타일대로 스마트폰을 활용하는 데 익숙해졌다. 반면, 아이폰은 독자적인 생태계와 엄격한 사용자 경험을 지향하며, 사용자가 애플의 철학과 시스템에 점차 익숙해지도록 유도한다. 아이폰의 ‘편리함’은 즉각적인 적응을 요구하기보다는 시간이 지나면서 점차 느껴지는 구조적 편리함을 강조한다. 아이폰으로 전환하면서 사용자는 그동안 갤럭시에서 누려왔던 일상의 많은 요소에 대해 새로운 관점을 가지게 된다. 예를 들어, 갤럭시에서는 간단하게 실행할 수 있던 일부 기능이 아이폰에서는 조금 더 다른 방식으로 접근해야 하는 경우가 많다. 이런 과정에서 사용자는 자신이 진정으로 필요로 하는 기능이 무엇인지, 그리고 그 기능이 ‘즉각적인 편리함’인지 아니면 ‘장기적인 편리함’인지에 대해 다시 생각하게 된다. 더욱이, 애플의 철학은 ‘예측 가능성’과 ‘일관성’을 강조한다. 이는 메르세데스 벤츠가 사용자들에게 전달하는 철학과도 일맥상통하는 부분이다. 자동차의 안전성과 신뢰성을 중시하는 벤츠처럼, 애플은 사용자가 새로운 환경에 대한 불확실성을 최소화하고 기기와 시스템의 일관된 경험을 통해 신뢰를 형성할 수 있도록 한다. 이로 인해 사용자들은 초기에는 불편함을 느낄 수 있지만, 점차 익숙해지면 안정적이고 예측 가능한 경험을 통해 더 높은 수준의 만족감을 느낄 수 있게 된다. 따라서, 갤럭시에서 아이폰으로의 전환은 단순히 기능의 차이를 넘어서, 사용자 경험에 대한 철학적 전환을 의미한다. 빠르게 실행하고 즉각적인 결과를 보여주는 갤럭시와 달리, 아이폰은 시간이 흐르면서 시스템의 일관성과 신뢰성을 기반으로 ‘편리함’을 새롭게 정의한다. 이 전환 과정을 통해 사용자는 자신이 무엇을 ‘편리함’이라고 생각하고, ‘익숙함’에 대한 집착을 어떻게 넘어서야 하는지에 대해 새로운 인식을 가지게 된다. “익숙함은 편리함의 착각을 불러일으킨다. 변화는 불편하지만 새로운 시각을 선물한다.” - 무라카미 하루키   갤럭시의 철학 : 사용자의 즉각적 요구에 응답하는 편리함 삼성의 갤럭시는 안드로이드 기반의 개방성과 삼성페이의 편리함으로 많은 한국 사용자에게 사랑받고 있다. 필자는 갤럭시를 사용할 때 원하는 기능을 즉각적으로 불러낼 수 있었고, 특히 삼성페이를 통한 결제는 그 편리함의 정점을 보여줬다. 갤럭시의 편리함은 마치 ‘빠르게’와 ‘즉각적으로’ 작동해야 한다는 한국 문화의 일부인 듯했다. 사용자가 원하는 것을 빠르게 제공하며 직관적으로 반응하는 갤럭시의 접근은 이 문화를 반영하고 있으며, 이는 특히 한국 소비자들게 크게 어필하는 요소다. “당신은 고객들이 원하는 것에 집중할 수도 있지만, 더 중요한 것은 그들이 상상하지 못한 무언가를 제공하는 것이다.” - 스티브 잡스   아이폰의 철학 : 예측 가능한 시스템과 서양식 접근 방식의 편리함 반면, 아이폰은 독자적인 iOS 시스템과 더불어 일관된 디자인 철학을 기반으로 하고 있다. 이는 사용자가 처음 접했을 때 다소 불편함을 느낄 수 있지만, 애플의 시스템에 익숙해지고 철학을 이해하게 되면 더 큰 편리함을 느낄 수 있게 된다. 필자는 이 과정에서 아이폰의 체계가 서양식 사고방식과 밀접하게 연관되어 있다는 점을 체감했다. 익숙함을 통해 편리함이 완성되는 구조는 다소 시간이 걸리지만, 장기적으로 예측 가능한 안정감을 제공한다. 이는 벤츠의 ‘예측 가능성’이라는 철학과도 상통하는 부분이다. 아이폰으로 바꾸고 사용하다가 숙소의 와이파이를 연결하려고 하는데, 비번이 기억나지 않았다. 그때 아이패드에서 아이폰으로 와이파이 접속 비번을 공유해 주는 알림이 떴다. 이런 것을 예측 가능한 시나리오의 한 예라고 하겠다. “사람들은 익숙한 것에서 편리함을 찾지만, 진정한 혁신은 익숙함을 깨는 순간부터 시작된다.” - 챗GPT(스티브 잡스 풍으로)   ▲ 나만의 편리함을 찾기 위한 아이폰 활용 분석 맵(Map by 류용효) (클릭하면 큰 그림으로 볼 수 있습니다.)   사용자 경험의 차이 : 빠르고 간편한 접근 vs. 체계적인 익숙함 필자의 전환 경험을 통해 본 갤럭시와 아이폰의 차이는 확연했다. 갤럭시는 언제든 원하는 기능을 바로 사용할 수 있는 ‘즉시성’을 강조하지만, 아이폰은 처음에는 불편하더라도 익숙해지면서 다가오는 ‘예측 가능한 편리함’을 제공한다. 필자가 아이폰 전환을 위해 만든 ‘아이폰 전환 맵’에는 여러 고려 사항이 반영되어 있다. 이 맵은 초기 설정부터 요금제, 기능, 그리고 서드파티 결제 시스템까지 포괄적으로 준비되었으며, 이는 익숙함을 넘어선 편리함을 찾기 위한 여정의 일환이었다. “익숙함은 보이지 않는 감옥일 수 있다. 그 감옥에서 벗어날 용기가 새로운 가능성을 연다.” - 파울로 코엘료   편리함과 익숙함, 그리고 그 사이의 철학적 차이 갤럭시와 아이폰은 각기 다른 편리함을 제공하지만, 그 이면에는 철학적 차이가 자리하고 있다. 갤럭시는 빠르고 직관적인 접근을 통해 사용자의 요구에 즉각 응답하는 반면, 아이폰은 익숙해진 이후 예측 가능하게 작동하는 편리함을 지향한다. 두 기기는 모두 사용자 중심의 편리함을 목표로 하지만, 이 편리함의 해석 방식은 다르다. 독자 여러분도 이 칼럼을 읽고 본인이 선호하는 편리함의 형태가 무엇인지 고민해 보길 바란다. ‘편리함’이란 무엇이며, 나에게 맞는 편리함은 무엇인지 자문하는 시간이 되길 바란다. “변화는 무조건 좋은 것도, 나쁜 것도 아니다. 그저 변화를 어떻게 받아들이느냐에 따라 가치가 결정될 뿐이다.” - 달라이 라마   ■ 류용효 디원의 상무이며 페이스북 그룹 ‘컨셉맵연구소’의 리더로 활동하고 있다. 현업의 관점으로 컨설팅, 디자인 싱킹으로 기업 프로세스를 정리하는데 도움을 주며, 1장의 빅 사이즈로 콘셉트 맵을 만드는데 관심이 많다. (블로그)     ■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2024-12-04
대규모 언어 모델의 핵심 개념인 토큰, 임베딩과 모델 파인튜닝에 대해
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-11-04
DJI, 항공 여행 사진 촬영 기능 강화된 듀얼 카메라 드론 출시
DJI가 여행 사진 촬영을 위한 고급 듀얼 카메라 드론인 DJI 에어 3S(DJI Air 3S)를 출시한다고 발표했다. 에어 3S는 1인치 CMOS 메인 카메라와 70mm 미디엄 망원 카메라를 채택했으며, 각 카메라는 최대 14스톱 다이내믹 레인지와 새로운 ‘프리 파노라마’ 기능을 지원한다. 이를 통해 촬영 범위를 유연하게 선택하고 풍경이나 건축물 등을 촬영할 때 보다 풍부한 디테일을 담는 것이 가능해졌다. 드론의 새로운 야경 장애물 감지 및 차세대 스마트 RTH(리턴 투 홈) 기능은 밤에도 효과적인 시네마틱 사진 촬영과 안전한 비행을 돕는다. 에어 3S의 듀얼 카메라는 10비트 및 ISO 이미지 화질을 개선해, DJI 매빅 3 프로(Mavic 3 Pro)보다 더욱 풍부한 디테일을 담은 사진과 영상을 촬영할 수 있다. 에어 3S의 듀얼 카메라는 일반 컬러 모드에서도 H.265 코덱을 사용해 10비트 동영상을 촬영할 수 있으며, 이를 통해 최대 ISO 12,800까지 높인 더욱 섬세한 색상 표현이 가능하고 후편집 시 더 많은 유연성을 제공한다. D-Log M 및 HLG 컬러 모드에서 최대 ISO가 3200으로 높아져, 도시 야경을 더욱 높은 밝기와 풍부한 세부 표현으로 촬영할 수 있다. 이전 세대의 DJI 에어 3와 비교했을 때 DJI 에어 3S는 한층 향상된 비디오 인코딩 압축 알고리즘을 적용해, 영상 파일 크기를 30% 이상 줄이지만 화질을 저하시키지 않아 크리에이터의 저장 공간을 절약한다.     두 카메라 모두에서 사용할 수 있는 ‘프리 파노라마’ 모드는 수동으로 선택한 피사체나 영역을 기준으로 여러 이미지를 결합해 매끄러운 파노라마 샷을 촬영하게 해 준다. 광각 카메라는 더 넓은 시야각(FOV)을 제공해 파노라마 사진 촬영 시 효율성을 높여준다. 긴 초점 거리의 미디엄 망원 카메라는 이미지 왜곡을 줄여줌으로써 여러 장의 사진에서 얻은 넓은 시야와 풍부한 디테일이 담긴 확장된 이미지를 만들어준다. 두 카메라 모두 최대 14스톱 다이내믹 레인지로 동영상을 촬영할 수 있어, 고대비 장면에서도 영화와 같은 시네마틱 영상을 제작할 수 있다. 메인 카메라의 기본 5000만 화소, 1인치 CMOS 카메라와 24mm 렌즈는 4K/60fps HDR 및4K/120fps 동영상 촬영을 지원하며, 10비트 D-Log M 컬러 모드를 제공한다. 이 센서는 고급 이미지 프로세싱 기술과 지능형 알고리즘으로 강화되어, 일몰이나 야경 같은 저조도 환경에서도 미세한 디테일들을 놓치지 않고 촬영한다. 70mm 미디엄 망원 카메라는 3배 광학 줌으로 인물 및 차량 촬영에 적합하다. 압축된 피사계 심도로 피사체를 더욱 돋보이게 하고, 영화와 같은 시네마 느낌을 강조한다. 이 두 번째 카메라는 4800만 화소, 1/1.3인치 CMOS 센서를 탑재했다. 메인 카메라와 동일한 동영상 사양 및 컬러 모드 지원해 시각적으로 일관된 영상을 사용할 수 있어 후편집 작업을 간소화해 준다. 주변 환경 인식 기능을 지원하는 에어 3S는 DJI 드론 중에서는 최초로 정면 라이다(LiDAR)를 탑재했으며, 하향 적외선 ToF(Time-of-flight) 센서와 6개 비전 센서(전방/후방/하단에 각 2개)를 채택해 야경 촬영 시 전방위 장애물 감지가 가능하다. 이 첨단 기능은 에어 3S가 비행과 복귀 경로에서 빌딩과 같은 장애물을 자동으로 식별하도록 해 야간 사진 촬영 작업 시 강력한 안전성을 보장한다. 또한 에어 3S는 실시간 비전 위치 추적과 지도 생성 기술을 통해 적정 조명이 있는 경우 비행 경로를 기억할 수 있다. 이 기능으로 위성 신호가 없는 위치에 이륙하더라도 안전하게 복귀할 수 있다. DJI 에어 3S는 ActiveTrack 360° 기능으로 어떤 피사체도 프레임 안에 담아준다. 주변 비행 환경에 기반해 최적화된 추적 성능은 자동으로 비행 경로를 계획하고, 프레임 구도를 조정해 피사체가 중앙에서 벗어나지 않도록 한다. 이 외에도 에어 3S는 새로운 ‘피사체 포커스(Subject Focusing)’ 기능을 채택해, 수동 비행 중이거나 피사체가 중심에서 벗어날 때도 피사체를 또렷한 초점으로 유지해 준다. 이 기능은 조종사가 촬영 구도와 카메라 동작과 같은 창의적인 촬영 시점에 온전하게 집중할 수 있게 해 준다. 최대 45분의 비행 시간을 지원하며, 마이크로SD 카드 없이도 촬영할 수 있는 2GB의 내장 메모리를 탑재했다. 퀵트랜스퍼(QuickTransfer)를 통해 드론의 전원이 꺼진 상태에서도 호환 USB 케이블을 사용해 스마트폰으로 파일 전송이 가능하다. 배터리 충전 허브는 PD 고속 충전을 지원하며, 배터리 잔량이 낮은 여러 개의 배터리의 전력을 잔량이 가장 높은 배터리로 전송하는 전력 축적 기능을 지원한다. DJI의 페르디난드 울프(Ferdinand Wolf) 크리에이티브 디렉터는 “DJI 에어 3S는 듀얼 메인 카메라와 전방위 장애물 감지 시스템과 같은 전문가급 기능을 제공하는 동시에 724g의 가벼운 무게를 유지해 창작의 자유와 유연성을 제공한다”면서, “에어 3S는 여행 사진 촬영을 위한 완벽한 만능 촬영 도구로 휴가 중 특별한 순간을 담고 밤에도 안전한 촬영을 지원한다”고 밝혔다 DJI 에어 3S는 DJI 스토어 및 하이마트, 네이버 스마트 스토어 및 기타 공인 판매처를 통해 주문할 수 있다. 권장 소비자가격은 구성 옵션에 따라 136만 7000원부터 시작한다. DJI 제품에 대한 종합 보상 서비스 플랜인 DJI 케어 리프레시(DJI Care Refresh)가 DJI 에어 3S에도 적용됐다. DJI 케어 리프레시는 플라이어웨이, 충돌, 침수 피해를 포함하는 우발적 손상에 대해 1년 내 최대 2회(1년 플랜) 또는 2년 이내 최대 4회(2년 플랜)의 교체 서비스를 포함해 공식 워런티 및 무료 배송을 지원한다.
작성일 : 2024-10-16
엔비디아, “LG의 AI 모델에 H100 GPU와 네모 프레임워크 지원”
엔비디아가 LG AI연구원의 엑사원 3.0(EXAONE 3.0)에 H100 GPU와 네모(NeMo) 프레임워크가 활용됐다고 밝혔다. 엑사원 3.0은 네모 프레임워크 위에서 LG AI연구원의 독자 기술로 개발되고 학습됐다. 엑사원 3.0은 지난 8월에 발표된 LG AI연구원의 최신 AI 파운데이션 모델로, 한국어와 영어, 코딩 등 13개 벤치마크 점수 순위에서 1위를 차지했다. 특히 메타(Meta)의 라마(Llama) 등 글로벌 동급 규모의 오픈소스 AI 모델 대비 한국어와 영어에서도 우수한 벤치마크 성능을 확보했다. 연구 목적으로 누구나 자유롭게 활용할 수 있는 엑사원 3.0은 텐서RT-LLM(TensorRT-LLM) SDK를 기반으로 효율적인 비용으로 모델을 배포할 수 있도록 지원한다.      또한 LG 그룹사 내에서도 엑사원은 다양하게 활용되고 있다. LG유플러스에서는 엑사원 기반의 통신, 플랫폼 데이터 특화의 생성형 AI인 익시젠(ixi-GEN)을 출시한 바 있다. 이번에 출시된 엑사원 3.0은 다양한 목적에 맞게 구성된 엑사원 3.0 언어모델 라인업 중에서 7.8B 인스트럭션 튠드(Instruction Tuned) 모델을 오픈소스로 공개한 것이다.  엔비디아 네모는 어디서든 생성형 AI 모델을 구축, 맞춤화, 배포할 수 있는 엔드 투 엔드 프레임워크다. 엔비디아는 생성형 AI용 엔비디아 네모를 통해 엔드 투 엔드 파이프라인, 투자 대비 수익률(ROI) 증가, 가속화된 성능 등 다양한 이점을 경험할 수 있다고 소개했다. 텐서RT-LLM은 엔비디아 AI 플랫폼에서 최신 LLM의 추론 성능을 가속화하고 최적화하는 오픈 소스 라이브러리다. 이는 엔비디아 GPU에서 프로덕트 배포를 위한 고성능을 제공한다. 한편, LG AI연구원은 엑사원 3.0을 바탕으로 개발된 엔터프라이즈 AI 에이전트(Enterprise AI Agent)인 챗엑사원(ChatEXAONE)도 공개했다. LG 그룹사를 대상으로 오픈 베타 서비스로 우선 출시된 챗엑사원은 기업 사용자의 업무 효율성을 높이고 전문가 수준의 인사이트를 제공한다.
작성일 : 2024-09-24
스노우플레이크, “코텍스 AI에서 라마 3.1 호스팅 개시”
스노우플레이크는 기업이 강력한 AI 애플리케이션을 대규모로 쉽게 활용 및 구축할 수 있도록 스노우플레이크 코텍스 AI(Snowflake Cortex AI)에서 메타의 라마 3.1에 대한 호스팅을 개시한다고 발표했다. 라마 3.1은 다중 언어 오픈소스 대규모 언어 모델(LLM)의 컬렉션이다. 이번에 출시한 서비스에는 메타에서 가장 큰 규모이자 강력한 성능의 오픈소스 LLM인 라마 3.1 405B가 제공된다. 스노우플레이크는 실시간의 고처리량 추론을 구현함은 물론 강력한 자연어 처리 및 생성 애플리케이션의 보편화를 증진하는 추론 시스템 스택을 개발하고 오픈 소싱한다. 스노우플레이크의 AI 리서치팀은 추론 및 파인튜닝에 대해 라마 3.1 405B를 최적화함으로써 서비스 개시 첫날부터 거대한 128K 컨텍스트 윈도를 지원한다. 동시에 기존 오픈소스 솔루션에 비해 엔드 투 엔드 지연시간은 최대 3분의 1로 낮아지고 처리량은 1.4배 높아진 실시간 추론을 구현한다. 또한, 코텍스 AI에서 하나의 GPU 노드만을 사용해 거대 모델을 미세 조정할 수 있어 개발자와 사용자 모두에게 비용과 복잡성을 완화해준다. 메타와 협력을 통해 스노우플레이크 고객은 AI 데이터 클라우드에서 메타의 최신 모델에 원활하게 액세스하고 파인튜닝하여 배포할 수 있다. 스노우플레이크는 사용이 간편하고 효율성 및 신뢰도 높은 방법은 물론, 기본적으로 내장된 신뢰도 및 안전성에 대한 포괄적인 접근방식을 제공한다.     스노우플레이크 AI 리서치팀은 AI 커뮤니티에 정기적으로 기여하고 최첨단 LLM 기술 구축 방식에 대한 투명성을 높여 오픈소스 혁신의 한계를 넓혀가고 있다. 또한, 라마 3.1 405B의 출시와 더불어 딥스피드(DeepSpeed), 허깅페이스(HuggingFace), vLLM 및 보다 폭넓은 AI 커뮤니티와의 협업을 통해 자사의 초거대 LLM 추론 및 파인튜닝 시스템 최적화 스택을 오픈 소스화하고 있다. 이러한 혁신을 통해 수천억 개의 매개변수 모델에 대한 오픈소스 추론 및 파인튜닝 시스템에 필요한 새로운 최첨단 솔루션을 구축한다. 초거대 모델의 규모 및 메모리에 대한 요구사항은 실시간 유스케이스에 요구되는 저지연성 추론과 비용 효율을 위한 높은 처리량, 그리고 다양한 엔터프라이즈급 생성형 AI 유스케이스에 필요한 긴 컨텍스트 지원을 실현하고자 하는 사용자에게 있어 상당한 도전 과제다. 모델 및 활성 상태 저장에 대한 메모리 요구사항도 파인튜닝을 어렵게 하며, 훈련을 위한 모델의 상태에 맞춰야 하는 대규모 GPU 클러스터에 데이터 과학자가 액세스할 수 없는 경우도 빈번하다. 스노우플레이크는 초거대 LLM 추론 및 파인튜닝 시스템 최적화 스택은 고급 병렬화 기술과 메모리 최적화를 통해 복잡하고 고비용의 인프라가 없어도 효율적인 AI 처리가 가능하다고 설명했다. 라마 3.1 405B의 경우 스노우플레이크의 시스템 스택은 단일 GPU 노드 하나로도 실시간의 고처리량 성능을 발휘하고 다중 노드 설정 전반에 걸쳐 128k 개의 거대한 컨텍스트 윈도를 지원한다. 이러한 유연성은 차세대 하드웨어와 레거시 하드웨어 모두에 유효해, 보다 광범위한 기업들이 이용할 수 있다. 또한 데이터 과학자들이 전보다 적은 개수의 GPU 상에서 복합 정밀 기술을 사용해 라마 3.1 405B를 파인튜닝할 수 있으므로 대규모 GPU 클러스터에 대한 필요성이 사라진다. 이에 따라 기업들은 강력한 엔터프라이즈급 생성형 AI 애플리케이션을 보다 편리하고 효율적이며 안전하게 채택하고 배포할 수 있다. 스노우플레이크의 AI 리서치팀은 기업들이 이러한 유스케이스를 코텍스 AI에서 쉽게 적용할 수 있도록 모델 증류, 안전 가드레일, 검색 증강 생성(RAG), 합성 데이터 생성 등 파인튜닝에 최적화된 인프라도 개발했다. 한편, 스노우플레이크는 코텍스 AI에 구축된 모든 LLM 애플리케이션 및 자산을 유해한 콘텐츠로부터 더욱 강도 높게 보호하기 위해 업계 선도 기업과 협업하고 있다고 전했다. 메타의 모델 또는 AI21 랩스(AI21 Labs), 구글, 미스트랄 AI(Mistral AI), 레카(Reka) 및 스노우플레이크 등이 제공하는 LLM을 통해 스노우플레이크 코텍스 가드를 일반인들이 이용할 수 있도록 공개하고 있다는 것이다. 스노우플레이크의 비벡 라구나단(Vivek Raghunathan) AI 엔지니어링 부사장은 “스노우플레이크의 AI 리서치팀은 기업과 오픈 소스 커뮤니티가 라마 3.1 405B 등의 최첨단 오픈 모델을 적극 활용해 효율 극대화를 위한 추론 및 파인튜닝을 가능하게 한다”면서, “스노우플레이크는 메타의 첨단 모델을 스노우플레이크 코텍스 AI를 통해 고객에게 직접 제공할 뿐만 아니라, 더 폭넓은 생태계에서 AI를 고도화하기 위해 128K 컨텍스트 윈도와 다중노드 추론, 파이프라인 병렬화, 8비트 부동 소수점 양자화 등을 지원하는 새로운 연구 및 오픈소스 코드로 기업과 AI 커뮤니티의 역량을 강화하고 있다”고 말했다.
작성일 : 2024-09-09
[칼럼] 부를 창출하는 ChatGPT 활용전략
책에서 얻은 것 No. 22   “인공지능은 현재의 일자리를 대체하는 것이 아니라, 새로운 일자리를 창출하는 도구이다.” - 페드로 도밍고스   책 소개 및 주요 내용 ‘부를 창출하는 ChatGPT 활용전략’은 실전 활용 사례 1000가지를 한 권에 담아 출간한 책이다. 예약판매로 8월 30일 출간됐다.  챗GPT(ChatGPT)는 2022년 11월 30일에 출시되었고, 2024년 7월 31일을 기준으로 총 609일이 경과하였다. 그동안 기술의 판도는 시장을 산업혁명 수준으로 변화시켰다. 테크기업의 흥망성쇠와 함께 주가가 요동을 쳤고, 모든 소프트웨어는 AI를 기반으로 재편되고 있다. 여전히 생성형 AI에 대하여 거부감을 가지는 사람도 있고, 법으로 규제를 가하기 시작하는 과정에 있다. 또한, 생성형 AI의 시초인 오픈AI(OpenAI)가 파산할지 모른다는 경고의 메시지도 들린다.  초점은 돈을 어떻게 벌 것인가이다. 그런 의미에서 이 책에는 과연 제목과 같이 ‘상상을 현실로, 부를 창출하는 ChatGPT 활용전략’이 들어 있는지 알아보자. 2만 7000원의 책 값어치를 할 것인지는 독자의 판단에 따르겠지만, 기업에서 필요로 하는 챗GPT 활용 전략임에는 틀림 없어 보인다.    들어가며 인공지능(AI)의 혁신은 이미 우리 일상과 비즈니스 환경에 깊숙이 스며들었다. 특히 챗GPT와 같은 생성형 AI는 인간의 상상력을 초월하는 가능성을 제공하며, 새로운 시대의 경쟁력을 결정짓는 요소로 자리잡고 있다. 정종기 저자의 ‘상상을 현실로, 부를 창출하는 ChatGPT 활용전략’은 이러한 변화의 중심에 서 있는 도구를 어떻게 활용할 수 있는지에 대한 종합적인 가이드를 제공한다. 이번 호에서는 이 책의 목차를 중심으로 각 장의 주요 내용을 깊이 있게 탐구하고, 챗GPT를 통한 실질적인 활용 전략을 제시한다.   생성형 AI란 무엇인가 생성형 AI는 기존의 규칙 기반 자동화와는 차원이 다른 혁신을 가져온다. 단순히 주어진 데이터를 처리하는 것을 넘어 새로운 데이터를 생성하고, 사용자의 요구에 맞춰 다양한 형태의 콘텐츠를 만들어낼 수 있다. 챗GPT는 이러한 생성형 AI의 대표적인 예로, 텍스트 기반의 대화를 넘어 이미지, 음악, 코드 생성 등 다방면에서 활용될 수 있다. 이 책의 첫 번째 장에서는 생성형 AI의 개념과 원리를 상세히 설명한다. 생성형 AI와 판별 AI의 차이점을 이해하고 언어 모델의 발전 과정을 살펴보면, 챗GPT의 놀라운 능력을 더욱 깊이 이해할 수 있다. 특히 챗GPT의 학습 과정과 기술적 차별성, 그리고 답변 도출의 원리를 통해 이 도구가 얼마나 강력한지 깨닫게 된다. “질문이 제대로 설정되면, 답은 스스로 나타난다.” - 알버트 아인슈타인   프롬프트 엔지니어링의 중요성 챗GPT를 효과적으로 활용하기 위해서는 ‘프롬프트 엔지니어링’이 핵심이다. 프롬프트 엔지니어링이란 AI에게 원하는 결과를 얻기 위해 질문을 구성하고 최적화하는 기술이다. 이는 단순히 질문을 던지는 것이 아니라, AI의 응답을 예측하고 그에 맞혀 질문을 세밀하게 조정하는 과정이다. 이 책의 두 번째 장에서는 프롬프트 엔지니어링의 기초부터 고급 기술까지 다루고 있다. 프롬프트의 구성 요소와 기술적 세부 사항을 이해하면 AI의 성능을 극대화할 수 있다. 예를 들어, 단순히 “오늘 날씨 어때?”라고 묻는 대신 “서울의 오늘 기온, 습도, 강수 확률을 알려줘”와 같이 구체적인 질문을 던지면 더욱 정확한 정보를 얻을 수 있다. 또한, 비즈니스에 필요한 다양한 프롬프트 작성법과 실제 사례를 통해 독자들은 프롬프트 엔지니어링의 중요성을 체감할 수 있다. “기술은 비즈니스를 혁신하는 도구이며, 그 가능성은 무궁무진하다.” - 팀 쿡   기업 직무별 활용 사례 챗GPT는 다양한 산업 분야와 기업의 여러 직무에서 혁신을 일으키고 있다. 이 책의 세 번째 장에서는 기업 대표(CEO)부터 연구개발(R&D)까지 17가지 직무별 활용 사례를 다룬다. 각 직무에서 챗GPT를 활용하여 업무 효율을 극대화할 수 있는 방법을 구체적으로 제시한다.   경영 기획 및 지원 경영 기획과 지원 부서는 전략적 의사결정을 위해 방대한 데이터를 분석하고 인사이트를 도출하는 작업이 필수적이다. 챗GPT를 활용하면 데이터 분석과 보고서 작성을 자동화할 수 있으며, 전략적 의사결정을 위한 시뮬레이션과 예측 모델을 구축할 수 있다. 예를 들어, “지난 5년간의 매출 데이터를 기반으로 다음 분기의 매출을 예측해줘”와 같은 프롬프트를 사용하면 유용한 예측 정보를 얻을 수 있다.   마케팅 마케팅 부서에서는 고객 맞춤형 콘텐츠 생성과 캠페인 전략 수립에 챗GPT를 활용할 수 있다. 예를 들어, “우리 제품의 주요 고객층에 대한 분석을 제공해줘”라는 프롬프트를 통해 고객의 성향과 선호도를 분석하고, 이를 바탕으로 효과적인 마케팅 전략을 수립할 수 있다. 또한 광고 문구 작성, 블로그 포스팅, 마케팅 이메일 작성 등 시간과 노력이 많이 드는 작업을 자동화하여 효율을 높일 수 있다.   연구개발(R&D) 연구개발 부서에서는 신제품 디자인과 프로토타입 생성을 챗GPT를 통해 빠르게 진행할 수 있다. 예를 들어, “새로운 스마트폰 디자인 시안을 만들어줘”라는 프롬프트를 사용하면 다양한 디자인 시안을 단시간에 생성할 수 있다. 연구자들은 이러한 시안을 바탕으로 브레인스토밍을 진행하고, 최적의 디자인을 선택하여 개발 시간을 단축할 수 있다. “좋은 질문은 답을 찾는 열쇠이다.” - 칼 세이건   기업 직무별 프롬프트 질문 세트 네 번째 장에서는 실제 업무에 적용할 수 있는 프롬프트 질문 세트를 제공한다. 각 부서별로 최적화된 프롬프트 질문을 통해 업무 효율을 높일 수 있다. 예를 들어, CEO와 임원은 “현재 시장 상황을 고려하여 우리 회사의 성장 전략을 제안해줘”와 같은 프롬프트를 통해 전략적 인사이트를 얻을 수 있다. 마케팅 부서 직원들은 “이번 달 우리 제품의 온라인 광고 성과를 분석해줘”와 같은 질문을 통해 캠페인 효과를 평가하고 개선할 수 있다. 이러한 프롬프트 질문 세트는 단순히 질문을 던지는 것에 그치지 않고, 구체적인 답변을 이끌어내는 데 중점을 두고 있다. 이를 통해 각 부서의 업무 효율을 극대화할 수 있으며, 실질적인 비즈니스 성과를 도출할 수 있다. “기술의 진보는 업무의 효율을 극대화하는 데에 필수이다.” - 사티아 나델라   업무 효율을 높일 수 있는 AI 툴 모음 다섯 번째 장에서는 챗GPT 외에도 다양한 AI 도구를 통해 업무 효율을 높일 수 있는 방법을 제시한다. 챗GPT, 달리(DALL-E) 등의 도구를 통해 텍스트 요약, 이미지 생성, 동영상 분석 등 다양한 작업을 쉽게 수행할 수 있다. 예를 들어, 챗GPT를 사용하면 긴 회의록을 간단하게 요약할 수 있어 시간을 절약할 수 있다. 이 책에서는 특히 AI 도구를 활용한 생산성 향상 방법을 중점적으로 다룬다. 유튜브 동영상의 텍스트 변환, PPT 작성, 데이터 분석 등 다양한 작업을 자동화하여 업무 효율을 높일 수 있다. 이러한 도구들은 특히 데이터 처리와 콘텐츠 생성에 큰 도움이 된다.  “창의적인 문제 해결은 혁신의 핵심이다.” - 스티브 잡스   업무 및 비즈니스 활용 사례 여섯 번째 장에서는 다양한 업무 및 비즈니스 활용 사례를 소개한다. 챗GPT를 활용해 사업 아이디어를 도출하고, 사업 기획서를 작성하는 방법을 상세히 설명한다. 예를 들어, “새로운 전자상거래 비즈니스 모델을 제안해줘”라는 프롬프트를 통해 혁신적인 사업 아이디어를 얻을 수 있다. 또한, 콘텐츠 생성 및 마케팅, 고객 서비스, 제조 분야, 연구 및 개발(R&D), 인적 자원(HR) 및 행정 등 다양한 분야에서 챗GPT를 활용한 업무 혁신 사례를 다룬다. 이를 통해 독자들은 자신의 비즈니스 환경에 맞는 최적의 활용 방법을 찾을 수 있다.  “자기 개발은 끝없는 여정이다.” - 달라이 라마   일상 활용 및 자기 개발 사례 일곱 번째 장에서는 챗GPT를 업무뿐만 아니라 일상 생활과 자기 개발에도 유용하게 활용할 수 있는 방법을 소개한다. 이력서 작성, 면접 준비, 소설 작성 등 다양한 분야에서 챗GPT를 활용할 수 있는 방법을 제시한다. 예를 들어, “나의 경력을 기반으로 이력서를 작성해줘”라는 프롬프트를 사용하면 맞춤형 이력서를 쉽게 작성할 수 있다. 또한, 챗GPT를 통해 자기 계발과 창의적인 작업을 수행할 수 있다. 소설의 줄거리 작성, 그림 생성, 음악 작곡 등 다양한 창작 활동을 지원하며 개인의 창의력을 극대화할 수 있다. 이 책은 이러한 활용 사례를 통해 독자들에게 실질적인 도움이 되는 내용을 제공한다. “효율성은 성공의 열쇠이다.” - 피터 드러커   챗GPT 300배 활용하기 여덟 번째 장에서는 챗GPT를 더욱 효과적으로 활용할 수 있는 고급 전략을 다룬다. 개인 맞춤형 챗봇 생성, 데이터 기반의 맞춤형 응답 설정, 반복 업무 자동화 등 다양한 방법을 통해 챗GPT의 활용도를 극대화할 수 있다. 예를 들어, “고객 지원용 맞춤형 챗봇을 만들어줘”라는 프롬프트를 통해 고객의 요구에 맞춘 응답을 제공할 수 있다. 이 책은 이러한 고급 기술을 쉽게 따라할 수 있도록 상세한 설명과 예시를 제공한다. 이를 통해 독자들은 챗GPT의 잠재력을 최대한으로 활용할 수 있으며, 업무와 비즈니스에서 실질적인 성과를 도출할 수 있다. “미래는 우리가 상상하는 대로 만들어진다.” - 헨리 포드   서평 맵 <그림 1>은 나의 서평 맵 작업이다. 저자는 오라클 DB 엔지니어로 출발하여 오라클 비즈니스 전략 담당 임원을 역임하였고, 경영학 박사 등의 경력을 갖고 있다. 2023년 1월부터 7월까지 챗GPT 강의시간 누적 867시간, 수강생 1000명을 돌파하는 기록을 매번 페이스북에 포스팅하고 있다. 이제는 홍보를 하지 않아도 연락이 오고, 특히 CEO 특강 시 CEO들이 자신의 회사에 강의를 해 달라는 요청을 한다고 한다.  그의 캘린더에는 빼곡히 강의 스케쥴이 짜여져 있고, 특히 여러 출판사로부터 책 출간 요청이 쇄도하는 베스트셀러 작가이기도 하다. 이 책은 480페이지에 방대한 내용을 담고 있어서, 기업에서 업무 활용 지침서로 사용하면 좋을 듯 싶다.  특히 저자는 디지털 전환(DX)이 주 사업 분야로, 생성형 AI를 활용한 디지털 전환 컨설팅에 대해 기업의 강의/프로젝트 요청이 많다고 한다. 한국인공지능인재개발원에서 진행하는 AI 비즈니스 전문가 과정 및 생성형 AI 활용 전문가 과정에 참여해 보는 것도 좋을 듯 싶다.    그림 1. 서평 맵 : 상상을 현실로 부를 창출하는 ChatGPT 활용전략(정종기)(Map by 류용효) (클릭하면 큰 그림으로 볼 수 있습니다.)   맺음말 ‘상상을 현실로, 부를 창출하는 ChatGPT 활용전략’은 인공지능 시대에 경쟁력을 갖추고자 하는 모든 이에게 필독서이다. 이 책을 통해 챗GPT의 잠재력을 최대한으로 활용하고, 일상과 업무에서 실질적인 이익을 얻을 수 있을 것이다. 인공지능의 빠른 발전 속도에 발맞추어, 챗GPT를 활용하는 능력을 기르는 것은 더 이상 선택이 아닌 필수이다. 이 책은 단순한 이론서가 아니라, 실질적인 사례와 구체적인 방법을 통해 독자들이 바로 적용할 수 있는 실용적인 내용을 담고 있다. 이를 통해 독자들은 인공지능 시대에 경쟁력을 확보하고, 새로운 기회를 창출할 수 있을 것이다. 챗GPT를 잘 활용하는 사람이 활용하지 않는 사람을 대체한다는 말이 있듯이, 이 책을 통해 누구나 챗GPT의 전문가가 될 수 있을 것이다.   ■ 류용효 디원의 상무이며 페이스북 그룹 ‘컨셉맵연구소’의 리더로 활동하고 있다. 현업의 관점으로 컨설팅, 디자인 싱킹으로 기업 프로세스를 정리하는데 도움을 주며, 1장의 빅 사이즈로 콘셉트 맵을 만드는데 관심이 많다. (블로그)     ■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2024-09-03
엔비디아, 기업용 생성형 AI 구축 돕는 ‘NIM 에이전트 블루프린트’ 공개
엔비디아가 기업용 생성형 AI 구축을 가속화하는 엔비디아 NIM 에이전트 블루프린트(NVIDIA NIM Agent Blueprints)를 공개했다. 최근 고급 오픈소스 기반 모델의 가용성과 AI 워크플로의 효율성 및 자율성을 개선하는 에이전트 AI의 발전이 이어지고 있다. 다양한 산업 분야의 기업들은 구글 젬마(Google Gemma), 라마 3.1(Llama 3.1) 405B, 마이크로소프트 파이(Microsoft Phi), 믹스트랄(Mixtral), 네모트론(Nemotron)과 같은 모델을 사용해 비즈니스 성장을 지원하고 생산성을 향상시키는 자체 AI 애플리케이션을 개발할 수 있다. 비즈니스 혁신을 가속하기 위해 기업은 디지털 휴먼 고객 서비스 챗봇, 검색 증강 생성(RAG), 신약 개발과 같은 표준 생성형 AI 워크플로에 대한 청사진을 필요로 한다. 엔비디아는 NIM 마이크로서비스를 통해 이러한 모델을 효율적이고 엔터프라이즈에서 사용할 수 있도록 지원하고 있으나, 엔터프라이즈 생성형 AI 애플리케이션 구축은 복잡하고 여러 단계를 거쳐야 하는 프로세스이다. 이번에 발표한 엔비디아 NIM 에이전트 블루프린트에는 엔터프라이즈 개발자가 비즈니스 목표에 부합하는 맞춤 생성형 AI 애플리케이션을 구축하고 배포하는 데에 필요한 기능을 제공한다.     NIM 에이전트 블루프린트는 특정 사용 사례에 맞게 조정된 레퍼런스 AI 워크플로다. 여기에는 엔비디아 NIM과 파트너 마이크로서비스로 구축된 샘플 애플리케이션, 레퍼런스 코드, 사용자 정의 문서, 배포를 위한 헬름차트(Helm chart)가 포함된다. 개발자는 NIM 에이전트 블루프린트를 통해 각 사용 사례에 대한 엔비디아의 고급 AI 도구와 엔드 투 엔드 개발 환경을 바탕으로 자체 애플리케이션을 손쉽게 제작할 수 있다. 블루프린트는 수정과 개선이 가능하도록 설계됐다. 또한, 개발자는 복잡한 작업을 수행할 수 있는 정보 검색과 에이전트 기반 워크플로를 모두 활용할 수 있다. 아울러 NIM 에이전트 블루프린트는 개발자가 AI 수명 주기 전반에 걸쳐 애플리케이션을 개선하는 데 도움을 준다. 사용자가 AI 애플리케이션과 상호작용을 하면 새로운 데이터가 생성된다. 이 데이터는 지속적인 학습 주기를 통해 모델을 개선하고 향상시키는 데 사용되며, 이로써 데이터 기반 생성형 AI 플라이휠(flywheel)을 만들 수 있다. NIM 에이전트 블루프린트는 기업이 모델과 데이터를 연결하는 애플리케이션을 통해 자체적인 생성형 AI 플라이휠을 구축할 수 있도록 지원한다. 엔비디아 네모(NeMo)는 이 프로세스를 용이하게 하고, 엔비디아 AI 파운드리(AI Foundry)는 플라이휠을 실행하기 위한 생산 환경 역할을 한다. 엔비디아는 사용 가능한 첫 번째 NIM 에이전트 블루프린트로 ▲고객 서비스를 위한 디지털 휴먼 ▲신약 개발 가속화를 위한 생성형 가상 스크리닝 ▲엔터프라이즈 RAG를 위한 멀티모달 PDF 데이터 추출 등을 소개했다. 이외에 고객 서비스, 콘텐츠 생성, 소프트웨어 엔지니어링, 소매 쇼핑 자문 서비스, R&D 등을 위한 생성형 AI 애플리케이션을 제작하기 위한 더 많은 NIM 에이전트 블루프린트가 개발 중이다. 엔비디아는 매달 새로운 NIM 에이전트 블루프린트를 선보일 계획이다. 생성형 AI는 이제 개발자와 데이터 과학자 간의 협업을 촉진하고 있다. 개발자는 NIM 에이전트 블루프린트를 기반으로 애플리케이션을 구축하고, 데이터 과학자는 데이터 플라이휠을 구현해 맞춤형 NIM 마이크로서비스를 지속적으로 개선한다. NIM이 개선되면 관련 애플리케이션도 개선돼 지속적인 성능 향상과 데이터 생성의 순환이 이루어진다. 엔비디아는 “NIM 에이전트 블루프린트와 엔비디아 파트너의 지원을 통해 기업은 생성형 AI를 애플리케이션에 원활하게 통합해 산업 전반의 효율성과 혁신을 주도할 수 있다”고 전했다. 한편, 엔비디아는 글로벌 시스템 통합업체 및 서비스 제공 파트너인 액센츄어(Accenture), 딜로이트(Deloitte), 소프트서브(SoftServe), 퀀티파이(Quantiphi), 월드 와이드 테크놀로지(World Wide Technology) 등 파트너 에코시스템이 전 세계 기업에 NIM 에이전트 블루프린트를 제공하고 있다고 전했다. NIM 에이전트 블루프린트는 고객 상호작용 데이터를 사용해 엔비디아 파트너 에코시스템에서 제공하는 툴을 통해 최적화될 수 있다. 모델 미세 조정, 관리, 모니터링을 위한 데이터이쿠(Dataiku)와 데이터로봇(DataRobot), 워크플로 구축을 위한 딥셋(Deepset), 라마 인덱스(LlamaIndex), 랭체인(Langchain), 생성형 AI 애플리케이션 평가를 위한 웨이트 앤 바이어스(Weights and Biases. W&B), 추가적인 보안을 위한 크라우드스트라이크(CrowdStrike), 데이터독(Datadog), 피들러 AI(Fiddler AI), 뉴렐릭(New Relic), 트렌드 마이크로(Trend Micro) 등이 있다. 뉴타닉스(Nutanix), 레드햇(Red Hat), 브로드컴(Broadcom)을 비롯한 인프라 플랫폼 제공업체는 자사의 엔터프라이즈 솔루션에서 NIM 에이전트 블루프린트를 지원할 예정이다. 고객은 시스코, 델 테크놀로지스, 휴렛팩커드 엔터프라이즈(HPE), 레노버와 같은 제조업체의 엔비디아 인증 시스템에서 NIM 에이전트 블루프린트를 구축하고 배포할 수 있다. 또한, 아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트릭처(OCI)의 엔비디아 가속 클라우드 인스턴스에서도 이용 가능하다. NIM 에이전트 블루프린트는 기업이 생성형 AI 애플리케이션에서 데이터를 활용할 수 있도록 코히시티(Cohesity), 데이터스택스(Datastax), 드롭박스(Dropbox), 넷앱(NetApp), 바스트 데이터(VAST Data)와 같은 엔비디아 파트너의 데이터, 스토리지 플랫폼과 통합할 수 있다.
작성일 : 2024-08-28