BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 챗GPT(ChatGPT)와 같은 자체 생성형 AI 서비스 앱을 직접 개발할 때 사용할 수 있는 라마 2(Llama 2)의 간단한 설치와 사용법을 소개한다. 라마 2는 페이스북에서 개발한 오픈소스 언어 모델이다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   그림 1. 라마 2 기반의 자동 코딩   설치 방법 라마 2의 설치를 위해서는 미리 아나콘다, 엔비디아 쿠다(NVIDIA CUDA), 텐서플로우, 파이토치가 설치되어 있어야 한다. 설치되지 않았다면 다음의 링크를 참고해 준비한다. Anaconda installation : https://www.anaconda.com/download 텐서플로우 및 케라스 최신 버전 설치 방법(윈도우 10)과 개념 : https://daddynkidsmakers.blogspot.com/2017/05/windows-10-tensorflow.html Ubuntu 20.04, DOCKER, CUDA 11.0 기반 NVIDIA-DOCKER, 텐서플로우, 파이토치 설치 및 사용기 : https://daddynkidsmakers.blogspot.com/2021/07/docker-cuda-110-nvidia-docker.html   이제, 다음과 같이 터미널(명령창)을 실행한 후 명령을 입력한다. conda create -n textgen python=3.10.9 conda activate textgen pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117 git clone https://github.com/oobabooga/text-generation-webui.git cd text-generation-webui pip install -r requirements.txt   그림 2. 패키지 설치 모습   실행 방법 정상적으로 설치되었다면, 다음 명령을 입력한다. python server.py 그리고, http://127.0.0.1:7860/ 웹 페이지를 열어본다. <그림 3>과 같은 화면이 표시될 것이다. 화면의 모델 탭에서 허깅페이스(https://huggingface.co)에 다른 개발자들이 업로드한 학습 모델 파일을 다운로드받는다. 예를 들어, 허깅페이스 모델 URL 중 ‘TheBloke/Llama 2-70B-chat-GPTQ’를 <그림 3>과 같이 모델 경로 입력창에 설정한다.(단, 이 모델은 대용량 GPU 메모리를 사용하므로, 로딩에 실패할 경우 좀 더 경량화된 모델을 이용해 본다.)   그림 3. Llama 2 모델 다운로드 모습   참고로, <그림 4>는 GPU/RAM 사용량을 함께 나타낸 학습 모델 리스트를 보여준다.   그림 4. Llama 소요 메모리 용량(TheBloke/Llama 2-7B-Chat-GGML·Hugging Face)   학습 모델이 제대로 다운로드 후 로딩되면, <그림 5>와 같은 실행 및 파라미터 설정 화면을 확인할 수 있을 것이다.   그림 5. 실행된 모습 및 파라미터 설정 화면   ■ 자세한 기사 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 메타(Meta)에서 릴리스한 오픈소스 멀티모달 딥러닝 모델 이미지바인드(imagebind)의 설치 및 사용기를 정리했다. 이 이미지바인드 모델은 멀티모달 데이터 간의 학습, 예측, 생성을 지원한다. 예를 들어 텍스트, 오디오, 비전, 카메라 깊이 맵, 히트 맵, IMU 등 다중 데이터셋을 임베딩하여 트랜스포머로 학습할 수 있다. 이 모델을 잘 활용하면 멀티모달을 지원하는 데이터 생성형 AI를 개발할 수 있다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   그림 1. 이미지바인드   이미지바인드는 이종의 데이터를 토큰화하여 트랜스포머 모델을 이용해 학습한다. 참고로, 트랜스포머는 국부적인 특징을 캡처해 학습하는 CNN(Convolutional Neural Network)과는 다르게, 전체 데이터 영역의 특징을 학습한다. 간단한 동작 순서는 다음과 같다. 주어진 데이터를 토큰으로 분해한 후, 임베딩 기법으로 유일한 값으로 수치화한다. 수치화된 토큰은 라벨링된 토큰 순서열(앞의 텍스트 프롬프트에 대한 다음 텍스트 예측이라면, 텍스트 자체가 입력 및 라벨링 데이터를 포함하게 됨)의 확률을 학습하는 데 사용한다. 학습은 토큰이 다음에 출현할 토큰의 확률을 계산하는 방향으로 진행된다. 이를 어텐션(attention)이라고 한다. 이를 계속 반복한다.   <그림 2>는 이 과정을 보여준다.   그림 2. 트랜스포머 개념   설치 설치는 깃허브에 올라와 있으나 아직은 완벽하지 않아서, 설치 테크트리를 확인하는 데에 시간이 좀 걸린다. 제일 좋은 것은 우분투(Ubuntu) 리눅스 운영체제 환경에서 아나콘다(Anaconda)를 설치하고, 다음 링크의 설명에 따라 이미지바인드를 설치하는 것이다.(윈도우에서는 몇몇 패키지의 설치 에러가 발생한다.)   이미지바인드 깃허브 : github.com/facebookresearch/ImageBind   그림 3. 이미지바인드 설치 과정   설치 중에 avi 생성 라이브러리에서 에러가 발생할 수 있다. 이 경우, 다음 링크를 참고해 별도로 설치해야 한다.   anhquancao.github.io/blog/2022/how-to-install-mayavi-with-python-3-on-ubuntu-2004-using-pip-or-anaconda/   그림 4. 설치된 이미지바인드   ■ 기사 상세 내용은 PDF로 제공됩니다.

BIM 칼럼니스트 강태욱의 이슈 & 토크     건설 분야도 인공지능(AI) 기술 도입이 활발해지고 있다. 이번 호에서는 최근 인공지능 딥러닝 라이브러리로 활용도가 높아지고 있는 PyTorch(파이토치) 사용방법을 설명한다. 아울러, PyTorch 기반 딥러닝 모델 훈련 및 예측 방법을 설명한다.   강태욱 | 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 Engineering digest와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 이메일 | laputa99999@gmail.com 페이스북 | http://www.facebook.com/laputa999 홈페이지 | https://sites.google.com/site/bimprinciple  팟캐스트 | http://www.facebook.com/groups/digestpodcast   그림 1. PyTorch 기반 크랙 예측 딥러닝 모델(Concrete-Crack-Detection, 2019. 5)   Pytorch(파이토치)는 파이썬 기반의 오픈소스 머신러닝 라이브러리로, 페이스북 인공지능 연구소에 의해 개발되었다. Pytorch는 엔비디아(NVIDIA)의 GPU로 병렬처리가 가능해, 높은 실행 성능을 가진다. 토치 사용방법은 Keras(케라스)와 유사하지만 좀 더 간단히 신경망을 정의하고, 지원되는 유틸리티 사용이 편리하다. 이번 호에서는 쉬운 이해를 위해 패션 이미지를 MNIST처럼 공유한 데이터를 사용해 학습 및 예측을 진행하고 이를 설명한다.   PyTorch 설치 방법 여러가지 설치 방법이 있지만 여기서는 손쉬운 사용을 위해 Anaconda(아나콘다)를 사용하기로 한다. Pytorch 설치 전에 NVIDIA DRIVER(엔비디아 드라이버), CUDA(쿠다), 텐서플로우 등이 설치되어 있다고 가정한다. Anaconda 명령창에서 다음과 같은 명령으로 토치를 설치한다. conda install -c pytorch pytorch 참고로 CUDA 버전에 따라 설치되는 패키지 버전 의존성이 달라져 에러가 발생할 수도 있다. 이 경우는 버전에 맞는 패키지를 찾아 설치해야 제대로 동작된다.  

엔비디아가 데이터 사이언스 및 머신 러닝(Machine Learning) 용으로 설계된 ‘래피즈(RAPIDS) GPU 가속 플랫폼’을 공개했다. 이미 유수의 업계 선도기업들이 채택한 이 플랫폼은 대기업들이 대량의 데이터를 분석해 전례 없는 속도로 정확하게 비즈니스 예측을 수행하도록 한다. 래피즈 오픈소스 소프트웨어는 데이터 과학자들이 신용카드 사기 예측, 소매 재고 예측, 고객의 구매 행동 파악 등 매우 복잡한 비즈니스 과제를 해결할 시 엄청난 성능 향상을 제공한다. 데이터 분석에서 GPU의 중요성에 대한 인식이 확대됨에 따라, 데이터브릭스(Databricks), 아나콘다(Anaconda)와 같은 오픈소스 커뮤니티 선구자들부터 HPE, IBM, 오라클(Oracle) 등 기술 선도기업에 이르는 많은 기업들이 래피즈 플랫폼을 지원하고 있다. 연구원들은 연간 200억 달러 규모의 데이터 사이언스 및 머신 러닝 용 서버 시장이 과학적 분석 및 딥 러닝과 결합돼 고성능 컴퓨팅 시장의 가치를 360억 달러까지 끌어올릴 것으로 전망하고 있다. 젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 현지시간 10월 9일부터 11일까지 독일에서 열리는 ‘GTC(GPU Technology Conference) 유럽 2018’의 기조연설에서 래피즈 플랫폼을 공개하며 “고성능 컴퓨팅 시장에서 아직 가속화되지 않은 가장 큰 분야가 바로 데이터 분석과 머신 러닝”이라며, “세계 최대 산업들은 무수한 서버에서 머신 러닝을 통해 작성된 알고리즘을 사용하여 시장과 환경의 복잡한 패턴을 파악하고 수익에 직접적인 영향을 주는 빠르고 정확한 예측을 수행한다”고 설명했다. 그는 이어 “래피즈 GPU 가속 플랫폼은 쿠다(CUDA)와 이의 글로벌 생태계에 기반해 구축됐으며, 오픈소스 커뮤니티와의 긴밀한 협력 하에 탄생했다. 이 플랫폼은 업계에서 가장 널리 사용되는 데이터 사이언스 라이브러리와 워크플로우에 원활히 통합돼 머신 러닝 속도를 향상시킨다. 엔비디아는 딥 러닝에 구현했던 것과 마찬가지로 머신 러닝 속도를 대거 끌어올리고 있다”고 말했다. GPU 가속 분석, 머신 러닝, 그리고 곧 추가될 데이터 시각화를 위한 일련의 오픈소스 라이브러리를 제공하는 래피즈는 엔비디아 엔지니어들이 지난 2년간 오픈소스에 기여하는 핵심 관계자들과 긴밀히 협업해 개발한 제품이다. 이 제품은 업계 최초로 과학자들이 GPU에서 전체 데이터 사이언스 파이프라인을 실행하는데 필요한 도구를 제공한다. 엔비디아 DGX-2 시스템 교육을 위한 XG부스트(XGBoost) 머신 러닝 알고리즘을 사용하는 초기 래피즈 벤치마킹은 CPU 전용 시스템 대비 50배 빠른 속도를 보여준다. 이를 통해 데이터 과학자들은 자체 데이터 세트 크기에 따라 교육 시간을 기존 며칠에서 몇 시간으로, 몇 시간에서 몇 분으로 단축할 수 있다. ▲ End to End Faster Speeds on RAPIDS (* 출처: http://rapids.ai/)   래피즈는 가장 널리 사용되는 파이썬(Python) 데이터 사이언스 툴체인에 GPU 가속을 추가함으로써, 아파치 애로우(Apache Arrow), 팬더스(Pandas), 사이킷-런(scikit-learn)과 같은 주요 오픈소스 프로젝트를 기반으로 구축됐다. 엔비디아는 래피즈에 추가적인 기능과 머신 러닝 라이브러리를 제공하기 위해 오픈소스 생태계에 기여하고 있는 아나콘다, 블래이징DB(BlazingDB), 데이터브릭스, 콴사이트(Quansight), 사이킷-런과 더불어, 우르사 랩(Ursa Labs)의 대표이자 팬더스 및 아피치 애로우 창시자인 웨스 매키니(Wes McKinney), 그리고 가장 빠르게 성장하고 있는 데이터 사이언스 라이브러리인 파이썬과 협력하고 있다. 웨스 매키니 대표는 “GPU 가속 데이터 사이언스 플랫폼인 래피즈는 아파치 애로우로 실행되는 차세대 컴퓨팅 생태계”라며, “엔비디아와 우르사 랩의 협업으로 핵심 애로우 라이브러리의 속도가 한층 가속화되고, 분석과 기능 엔지니어링 작업 성능을 크게 향상시킬 것”이라고 말했다. 엔비디아는 또한 래피즈 플랫폼의 채택 범위를 확대하기 위해 래피즈를 분석 및 데이터 사이언스를 위한 선도적인 오픈소스 프레임워크인 아파치 스파크(Apache Spark)와 통합 중에 있다. 데이터브릭스의 공동 창립자 겸 최고기술책임자(CTO)이자 아파치 스파크의 창립자인 마테이 자하리아(Matei Zaharia)는 “데이터브릭스는 아파치 스파크 워크로드를 가속화할 수 있는 래피즈의 가능성에 한껏 고무된 상태이다. 아파치 애로우 지원 및 프로젝트 하이드로젠(Project Hydrogen)을 통한 GPU 스케줄링을 포함해 스파크를 네이티브 가속기와 보다 효과적으로 통합할 수 있는 여러 프로젝트를 진행 중이다. 래피즈는 우리 고객의 데이터 사이언스 및 인공지능(AI) 워크로드를 확장시켜줄 새로운 기회”라고 설명했다. 다양한 업계에 걸친 기술 선도기업들은 일찍이 엔비디아의 GPU 가속 플랫폼과 래피즈를 도입해 활용하고 있다. 제레미 킹(Jeremy King) 월마트(Walmart) 수석 부사장 겸 CTO는 “래피즈 소프트웨어와 더불어 엔비디아의 GPU 가속 플랫폼은 우리가 데이터를 사용하는 방식을 대폭 개선시켰다. 가장 복잡한 모델도 대규모로 실행할 수 있으며, 한층 정확한 예측이 가능해졌다”며, “래피즈는 엔비디아와 월마트 엔지니어들 간의 긴밀한 협업을 바탕으로 하고 있으며, 이러한 관계를 더욱 발전시켜 나갈 것”이라고 말했다. 뿐만 아니라, 세계 유수 기술 기업들 중 일부도 새로운 시스템과 데이터 사이언스 플랫폼, 소프트웨어 솔루션을 통해 래피즈를 지원하고 있다. 안토니오 네리(Antonio Neri) HPE CEO는 “HPE는 고객의 삶과 업무 방식을 향상시키는데 전념하고 있다. AI,분석 및 머신 러닝 기술은 고객들이 획기적인 결과를 달성하고 우리가 사는 세상을 개선시킬 수 있는 통찰을 발견하는데 중요한 역할을 한다. HPE는 전략적 자문부터 특별 설계된 GPU 가속기 기술, 운영 지원, 탄탄한 파트너 생태계에 이르는 완전한 AI 및 데이터 분석 솔루션을 통해 고객 맞춤형 솔루션을 제공하는데 독보적인 입지를 보유하고 있다. 엔비디아와의 협력을 통해 래피즈로 데이터 사이언스 및 머신 러닝 애플리케이션을 가속화함으로써, 고객들이 더욱 빠르고 한층 통찰력 있는 결과를 도출하도록 지원하게 되어 기쁘게 생각한다”고 설명했다. 알뷘드 크리쉬나(Arvind Krishna) IBM 하이브리드 클라우드 부문 수석 부사장은 “IBM은 배포 모델에 구애받지 않는 업계 선도적인 엔터프라이즈 AI 플랫폼을 구축했다. IBM은 래피즈를 통해 엔비디아와의 성공적인 파트너십을 확대시켜 우리 고객들에게 새로운 머신 러닝 툴을 제공할 것”이라고 말했다. 클레이 마요우르크(Clay Magouyrk) 오라클 클라우드 인프라 소프트웨어 개발 담당 수석 부사장은 “오늘날 컴퓨팅 환경은 데이터 사이언스와 분석 등 복잡한 워크로드를 처리할 수 있는 강력한 프로세싱을 필요로 한다. 이것이 바로 엔비디아 GPU가 하는 일이다. 래피즈는 이 프로세싱 및 머신 러닝 교육이 할 수 있는 작업 속도를 가속화한다. 오라클 클라우드 인프라에서 새로운 오픈소스 소프트웨어를 기본적으로 지원하게 되어 기쁘게 생각한다."고 말했다. 또한 "오라클 데이터 사이언스 클라우드(Oracle Data Science Cloud)를 포함한 오라클 플랫폼 전반에 걸쳐 래피즈를 지원하기 위해 엔비디아와 계속해서 협력해 나갈 예정이다. 이를 통해 우리 고객들의 엔드-투-엔드 데이터 사이언스 워크플로우를 더욱 가속화하도록 지원할 계획이다. 또한, 래피즈 소프트웨어는 오라클 클라우드에서 원활하게 구동되므로, 고객들은 오라클 클라우드 인프라에서 사용할 수 있는 GPU 인스턴트 포트폴리오를 활용하면서 고성능컴퓨팅(HPC), AI 및 데이터 사이언스 요구사항을 충족시킬 수 있다”고 설명했다. 래피즈 오픈소스 라이브러리는 즉시 액세스해서 사용할 수 있으며, 코드는 아파치 라이선스 하에 배포된다. 래피즈 컨테이너 버전은 NVIDIA GPU Cloud container registry에서 이용할 수 있다. 또한, 래피즈를 비롯한 최신 엔비디아 AI 기술에 대한 세션과 데모는 오는 11월 7일부터 양일간 개최되는 엔비디아 AI 컨퍼런스 2018에서 자세히 확인할 수 있다.

인공지능(AI)과 머신러닝(Machine Learning)은 오늘날 빠르게 변화하는 시장 상황에서 기업들이 마주한 문제들에 대해 새로운 돌파구를 제시하는 기술로 주목받고 있다. 한편, 기존의 IT 인프라 및 프로세스에 막대한 영향을 주면서 기업들에게 새로운 도전 과제를 안겨주기도 할 것으로 전망된다.  시스코 코리아는 인공지능/머신러닝에 맞춰 새롭게 설계된 AI 서버를 공개하고, 인공지능과 머신러닝의 도입에 따라 발생하는 새로운 트래픽 패턴 및 급증하는 처리량을 수용할 수 있는 IT 인프라를 제공한다고 밝혔다. 새로운 서버 및 인프라를 통해 최근 늘어나고 있는 인공지능 및 머신러닝 프로젝트를 준비하는 기업의 역량 강화를 돕는다는 계획이다. 새로 출시된 시스코의 AI 서버는 집약적 컴퓨팅 형태의 딥러닝 속도를 향상시키며, GPU를 활용해 현재 널리 활용되는 머신러닝 소프트웨어를 가속화하도록 설계됐다. 시스코의 새 AI 서버인 UCS C480 ML M5 랙 서버는 구글의 오픈소스 프로젝트인 쿠브플로우(Kubeflow)를 지원하고, 엔비디아의 테슬라 V100 텐서코어(Tensor Core) GPU를 탑재했다. 이 제품은 시스코 UCS B-시리즈, C-시리즈 및 하이퍼플랙스(HyperFlex) 시스템 포트폴리오를 기반으로 구축되었으며, 분석/딥러닝 및 자동화를 위한 시스코 AI 및 머신러닝 지원 서비스와 함께 올 4분기에 시스코 파트너들을 통해 출시될 예정이다.  ▲ 시스코의 새로운 UCS 딥러닝 서버 최근 데이터 과학자와 개발자들의 머신러닝 및 딥러닝 환경에서는 데이터 대량 수용에 적합한 IT 아키텍처와 데이터를 분석/이용해 학습에 적용할 수 있는 도구 등 훨씬 고도화된 컴퓨팅 능력이 요구된다. 이에 시스코는 다양한 솔루션 파트너들과 협업하여 최적화된 아키텍처 모델링을 제시하고, 실제 도입 및 구축에 대한 가이드를 제공함으로써 고객의 구축 시간 단축 및 운영 최적화를 제공하고 있다. 시스코코리아의 황승희 데이터센터/클라우드 부문 상무는 "인공지능과 머신러닝 기반 애플리케이션은 향후 몇 년간 엔터프라이즈 분야에서 주요 흐름으로 떠오르면서, 복잡한 비즈니스 이슈들을 지원하는 동시에 IT가 극복해야 할 새로운 도전 과제들을 제시할 전망”이라면서, "새로운 시스코 AI 서버는 강력한 성능으로 다양한 산업에 걸쳐 AI 확산을 지원할 것”이라고 전했다. 또한, “시스코의 AI 서버를 먼저 도입(early-access)한 금융 산업의 고객들은 사기 방지 기능과 알고리즘 거래 기능 개선 방안 마련에 활용하고 있으며, 헬스케어 분야의 고객들은 인지·진단 기능 강화, 의학 이미지 분류 기능 개선 및 신약개발 연구 촉진에 적용하고 있다”고 설명했다. 또한 신규 AI 서버인 UCS C480 ML의 추가로 시스코는 인공지능 및 머신러닝의 각 단계별로 필요한 컴퓨팅 옵션을 제공한다. 여기에는 엣지 단계에서 이루어지는 데이터 수집 및 분석부터 데이터 센터 내 데이터 가공과 학습, AI 중심부에서 진행되는 실시간 추론 과정을 거쳐 고객에게 도달하기까지의 모든 단계가 포함되어 있다. 이번 AI/ML 맞춤형 신규 서버는 엣지(edge)에서 코어(core)로 데이터 이동을 가속화시키고, 고객이 보유한 데이터에서 더 많은 양의 정보를 추출해 보다 신속하고 합리적인 결정을 내릴 수 있도록 지원한다. 아울러 시스코는 신규 데브넷(DevNet) AI 개발자 센터와 데브넷 에코시스템 익스체인지(DevNet Ecosystem Exchange)를 바탕으로 데이터 사이언티스트들과 개발자들에게 도구와 자원을 제공해 차세대 애플리케이션 개발을 촉진하고 있다. 또한, 시스코 UCS는 IT가 주변 환경에 새로운 기술을 편리하게 추가할 수 있도록 지원하고, 클라우드 기반 시스템 관리 툴인 시스코 인터사이트(Cisco Intersight)를 활용하여 시스템 관리의 편리성과 접근 용이성을 제공한다. 이는 기업들이 AI와 ML 소프트웨어 환경에 필요한 컴퓨팅 인프라를 정책기반 자동화된 운영체계를 구축할 수 있도록 한다. 이와 함께, 시스코는 오픈소스 기반 소프트웨어를 쉽게 배포할 수 있는 컨테이너 및 멀티클라우드 컴퓨팅 아키텍처를 포괄적으로 지원하며, 아나콘다(Anaconda), 쿠브플로우(Kubeflow), 클라우데라(Cloudera)와 호튼웍스(Hortonworks)를 비롯한 솔루션 및 머신러닝 환경에 대한 검증을 진행하고 있다고 밝혔다. 쿠버네티스(Kubernetes) 상에서 쿠브플로우를 이용하는 UCS 사용자는 AI 워크로드를 구글 쿠버네티스 엔진(Google Kubernetes Engine)으로 손쉽게 배포할 수 있으며, 이를 온프레미스 또는 클라우드 기반 머신러닝 환경으로 활용할 수 있다.