• 회원가입
  • |
  • 로그인
  • |
  • 장바구니
  • News
    뉴스 신제품 신간 Culture & Life
  • 강좌/특집
    특집 강좌 자료창고 갤러리
  • 리뷰
    리뷰
  • 매거진
    목차 및 부록보기 잡지 세션별 성격 뉴스레터 정기구독안내 정기구독하기 단행본 및 기타 구입
  • 행사/이벤트
    행사 전체보기 캐드앤그래픽스 행사
  • CNG TV
    방송리스트 방송 다시보기 공지사항
  • 커뮤니티
    업체홍보 공지사항 설문조사 자유게시판 Q&A게시판 구인구직/학원소식
  • 디렉토리
    디렉토리 전체보기 소프트웨어 공급업체 하드웨어 공급업체 기계관련 서비스 건축관련 업체 및 서비스 교육기관/학원 관련DB 추천 사이트
  • 회사소개
    회사소개 회사연혁 출판사업부 광고안내 제휴 및 협력제안 회사조직 및 연락처 오시는길
  • 고객지원센터
    고객지원 Q&A 이메일 문의 기사제보 및 기고 개인정보 취급방침 기타 결제 업체등록결제
  • 쇼핑몰
통합검색 " 역설계"에 대한 통합 검색 내용이 292개 있습니다
원하시는 검색 결과가 잘 나타나지 않을 때는 홈페이지의 해당 게시판 하단의 검색을 이용하시거나 구글 사이트 맞춤 검색 을 이용해 보시기 바랍니다.
CNG TV 방송 내용은 검색 속도 관계로 캐드앤그래픽스 전체 검색에서는 지원되지 않으므로 해당 게시판에서 직접 검색하시기 바랍니다
딥러닝 모델 개발 프로세스 기록/분석/가시화 및 모델 튜닝하기
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 AI 업계에서 표준적으로 사용되고 있는 도구를 개발하는 W&B(Weights & Biases)를 소개하고, 이를 사용하는 방법을 소개한다. 그리고 건설, 제조와 같은 전통 엔지니어링 산업에서 생존을 위해 생각할 부분을 정리해 보고자 한다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 |  http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 |  www.facebook.com/groups/digestpodcast 모든 산업 분야에서 딥러닝으로 시작된 인공지능(AI) 기술 트랜드가 거세게 몰아치고 있다. 특히, 올해는 생성형 AI가 업무에 실질적으로 사용되기 시작했다. 생성형 AI는 다양한 업무 분야를 자동화하고 있어, ‘Job Killer’라 불릴 만큼 오피스에 많은 영향을 주고 있다. 이와 같이 기술이 전통적인 시장과 일자리를 축소하기도 하지만, 이번 호에서 소개할 W&B는 골드러시에서 역마차를 만들어 운영했던 웰스파고의 전략을 잘 실행한 스타트업이다.     W&B 기술 소개 딥러닝 모델을 개발하다 보면 수많은 종류의 데이터셋, 하이퍼모델 파라미터 튜닝 등으로 인해 관리해야 할 자료가 매우 복잡해진다는 것을 알게 된다. W&B는 이름 그대로 완벽한 모델 학습을 위해 필요한 딥러닝 모델의 가중치(weights)와 편향(biases)을 모니터링 및 관리할 수 있는 로그 도구이다. 즉, 딥러닝 모델 개발자를 위한 프로세스 로그 및 가시화 플랫폼을 제공한다.    그림 1. W&B(AI Summer)   매우 직관적인 이름을 가진 이 스타트업은 텐서보드(Tensorboard)와 비슷하지만, 적은 코드로 모델 개발에 많은 통찰력을 준다. W&B의 WandB 라이브러리를 사용하면 딥러닝 모델 학습 시 지저분하게 붙어 나가는 로그 처리를 간단한 함수 몇 개로 처리할 수 있고, 통합된 대시보드 형태로 다양한 모델 학습 품질 지표를 확인 및 비교할 수 있다. 이외에도 학습 모델 하이퍼 파라미터 관리와 튜닝 및 비교 보고서 생성 기능을 제공한다. 로그는 숫자, 텍스트, 이미지 등 다양한 포맷을 지원한다.    그림 2. W&B 딥러닝 모델 개발 프로세스 가시화 대시보드   이번 호에서는 딥러닝 모델 학습 로그 및 가시화 영역에 집중해 살펴본다. 글의 마무리에서는 W&B의 개발 배경도 간단히 알아본다.     사용법 다음 링크에 방문해 회원 가입한다.  wandb.ai website : https://wandb.ai 회원 가입한 후 <그림 3~4>와 같이 홈 메뉴에서 키 토큰 값을 얻어 복사한다. 이 키는 wandb API를 사용할 때 필요하다.   그림 3    그림 4   명령행 터미널에서 다음 명령을 실행해 wandb 파이썬 라이브러리를 설치한다.  pip install wandb     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-12-05
[포커스] 빌드스마트 콘퍼런스 2024, AI/로봇공학/디지털 도구를 통한 건설의 미래 탐색
빌딩스마트협회가 11월 19일 서울 논현동 건설회관에서 스마트건설, BIM 기술 활성화를 위한 ‘빌드스마트 콘퍼런스 2024’(buidSMART Conference)를 개최했다. 콘퍼런스에 대한 자세한 내용은 행사 페이지에서 확인할 수 있다. ■ 최경화 국장   이번 콘퍼런스는 ‘건설의 미래 : 건축과 건설에서의 AI, 로봇공학, 그리고 디지털 도구(BUILDING THE FUTURE : AI, Robotics and Digital Tools in Architecture and Constructi on)’를 주제로 빌딩스마트협회와 한국스마트건설융합학회가 공동 주최했으며, 빌드스마트 콘퍼런스 2024 조직위원회(조직위원장 경희대 김동일 교수)가 주관했다.  기조강연에는 ‘도시 주택의 미래 : 대량 목재 제작 플랫폼’을 주제로 인텔리전트 시티(Intelligent City)의 올리버 데이비드 크릭(Oliver David Krieg) CTO, ‘창의적인 디자인과 컴퓨테이셔널 디자인’을 주제로 UC 버클리(UC Berkeley)의 카일 스타인펠드(Kyle Steinfeld) 조교수, ‘AEC의 재구성 : AI 및 신기술 도입 가이드’를 주제로 그래피소프트(Graphisoft)의 마일즈 스미스(Miles M. Smith) 솔루션 매니저가 미래의 건설산업에 대하여 발표했다.     이어서 주제발표에는 BIM 설계, DfMA(Design for Manufacturing & Assembly), AI, 로보틱스, 데이터 활용 등 다양한 분야에서의 업계, 학계 전문가가 발표를 진행했다.  ARUP(애럽)의 신희찬 시니어 BIM 매니저는 ‘FIM(Fabrication Integrated Modeling)을 통한 엔지니어링 BIM 설계의 패러다임 전환’이라는 주제로 발표했다. 신희찬 매니저는 “BIM의 원래 개념은 설계 프로세스를 간소화하고 리소스를 절감하는 것이었지만, 실제 현장의 프로세스는 설계/시공 단계별로 별도의 BIM 관리자와 전문가, 중첩된 시간과 비용을 요구한다. 이러한 상황에서 BIM 데이터는 설계에서 시공에 이르는 전체 프로세스의 본체가 아닌 각 단계의 파생적인 산물로 남게 되는 비효율을 겪고 있다”고 짚었다. FIM을 통한 설계는 이러한 프로세스를 역전시켜 설계 단계부터 제작/시공 수준의 BIM 모델을 통해 시공 타당성을 포함한 전체 비용과 시간 관리에 대한 효율성을 높여준다. 신희찬 매니저는 이미 시공된 BIM 모델을 데이터베이스로 구축하여 미래 프로젝트에 적용하는 자동 설계 프로세스를 통해, 설계 기간을 단축하고 시공성을 확보하는 새로운 프로세스를 소개했다. 정림건축 안성우 본부장은 ’건축가를 위한 최신 설계 도구(AI, BIM, GT)의 방향성‘이라는 주제로 건축설계사무소에서 사용하는 디자인 툴들의 현황 및 선진 사례 소개를 통해 시공 및 BlM이 나가야 할 방향을 제시했다. 그는 “기획, 설계, 시공, 유지관리 각각의 건설 과정에서 개별 툴을 활용하되 과정 전체를 아우르는 정보의 흐름을 BIM 기반으로 호환성을 가지도록 해야 하며, 설계 과정에서 AI 기능을 활용하여 효율성을 높이고, 디자인의 근거로 탄소 발자국을 줄이는 기법을 도입했다”고 밝혔다. 위드웍스 권혁찬 대표는 서울로봇인공지능과학관 사례에 대해 소개했다. 그동안 제조업 분야에서나 볼 수 있었던 DfMA를 통한 OSC(Off-site Construction : 공장제작, 현장설치) 공법의 도입은 국내 건설 환경의 문제점을 타개하고 미래 건설산업의 변화에 부응하기 위해서는 선택이 아닌 필수 사항이다. 권혁찬 대표는 최근 개관한 서울로봇인공지능과학관의 건축 과정에서 적용된 DfMA 기술의 성과와 변화될 건설산업의 미래에 대해 소개했다. 이밖에도 ‘공공디자인에서의 컴퓨테이셔널 디자인 - 비정형 형태의 경제적 구현‘이라는 주제로 한양대학교 이창엽 조교수, ’로보틱스의 친환경적 접근법‘이라는 주제로 서울과학기술대학교 이용주 조교수, ’첨단 기술기반 건축 연구 : 로봇, AI, 바이오 프린팅‘이라는 주제로 고려대학교 이황 교수, ’디자인에서 데이터의 활용‘이라는 주제로 엔제이스튜디오 이남주 소장 등이 다양한 스마트 건설 활용 방법과 사례를 소개했다. 건설 산업은 지금 중요한 전환점을 맞이하고 있다. AI, 로봇공학, 디지털 트윈과 같은 첨단 기술이 전통적인 건설 방식을 혁신하고 있으며, 이는 생산성과 효율성을 높이는 것을 넘어 안전성 강화와 지속 가능성 확보에도 큰 기여를 하고 있다. 특히 AI 기반 기술은 데이터 분석을 통해 최적의 설계와 시공 방법을 제시하고, 실시간 안전 모니터링을 가능하게 하여 작업 환경의 안전성을 향상시키고 있다.  또한, 로봇공학은 자율주행 장비와 드론을 통해 위험한 작업을 대체하고 있으며, 더 높은 정밀도와 효율성을 제공하여 건설 현장의 관리 방식을 새롭게 변화시키고 있다. 디지털 트윈과 BIM 기술은 가상 공간에서 실제 건설 현장을 미리 시뮬레이션하여 문제를 사전에 파악하고 해결할 수 있는 능력을 제공하며, 이를 통해 프로젝트의 리스크를 줄이고 비용 절감과 공기 단축이 가능해진다. 이러한 기술은 이미 세계 여러 곳에서 실질적인 성과를 내고 있으며, 우리나라도 정부와 산업계가 협력하여 스마트 건설 기술을 적극 도입하고 있다.  빌딩스마트협회 안대호 회장은 “빌딩스마트협회는 이러한 기술 혁신을 국내 건설 산업에 성공적으로 적용하기 위해, 글로벌 수준의 디지털 건설 생태계를 구축하고 연구에 매진할 것”이라고 밝혔다.    BIM 어워드 2024 수상작 시상 및 소개 한편, 빌딩스마트협회는 연례 BIM 공모전인 ‘BIM 어워즈(BIM AWARDS) 2024’의 수상작 22점을 선정해 시상했다. 빌딩스마트협회는 지난 2009년부터 건설 분야의 BIM 활성화에 기여한 단체 및 개인을 발굴하고 시상하여 한국 건설산업의 선진화 및 경쟁력 향상, BIM 기술의 올바른 활용 및 확산을 위하여 노력하고 있다.  BIM 어워즈 2024의 일반분야 대상으로는 ▲Asset Management 부문 ‘빌딩 운영 디지털 트윈, THYNC(삼성물산 건설부문)’ ▲Small and Medium sized Project 부문 ‘담바우 산림에너지자립마을 조성사업(사이다 건축사사무소 컨소시움)’ ▲Construction 부문 ‘파나마 최대 국책사업을 BIM으로 완성하다 : 한국 건설업계 최초 해외 철도 EPC성공사례(현대건설 컨소시움)’ ▲Design 부문 ‘철도안전은 설계부터, 철도역사의 체계적 BIM 적용과 BIM을 활용한 안전검토(국가철도공단 컨소시움)’이 선정됐다. 또한, 학생분야 대상으로는 ▲Design 부문 ‘세운 셰어링 스페이스(동국대학교 지민웅, 박종인)’ ▲Design 부문 ‘자연과의 교감, 환대의 장면을 그리다(청주대학교 최우령, 김병주, 박건희)’가 각각 선정됐다.   ▲ 대상(빌딩스마트협회장상) - 삼성물산 건설부문   일반분야 Asset Management 부문 대상을 수상한 ‘빌딩 운영 디지털 트윈, THYNC’ 작품은 빌딩의 효율적 운영을 위한 디지털 트윈 구축 및 활용에 대하여 소개하고, 효과적인 빌딩 운영을 위해 개발된 BIM 데이터 기반 디지털 트윈의 시스템 아키텍처를 소개하였으며, 그 활용 사례에서 뛰어난 완성도를 보여주었다는 평가를 받았다.  일반분야 Small and Medium sized Project 부문 대상인 ‘담바우 산림에너지자립마을 조성사업’ 작품은 기존 대형 공사에서 활용되고 있는 BIM 역설계를 중소 규모에 적용한 사례로서 의미를 갖는다. 단순한 BIM 역설계 데이터와 BIM 전환설계 데이터의 비교검토에 머무르지 않고 이후 단계활용에 핵심적으로 요구되는 작업 환경(도면 표준화, 라이브러리 구축)으로 확장함으로써, BIM 데이터의 설계, 시공, 유지관리의 확장 적용의 기본 콘셉트에 충실했다는 평가를 받았다. 일반분야 Construction 부문 대상인 ‘파나마 최대 국책사업을 BIM으로 완성하다 : 한국 건설업계 최초 해외 철도 EPC 성공사례’ 작품은 한국 건설사의 첫 해외 철도 EPC 도전 프로젝트이다. BIM을 활용한 표준화 및 데이터 관리 체계가 우수하게 구현되었으며, 5개국의 협력 하에 설계부터 시공에 이르는 전 단계에서 자산 관리 모델 구축, 터널 굴착기 3D 모델링, 현장 스캐닝 등의 기술을 통해 프로젝트 전반의 정밀도를 높이고 표준화된 구조 설비 모델을 통한 협업 체계가 빛을 발했다는 평가를 받았다.   ▲ 대상(한국건설기술연구원장상) - 현대건설 컨소시움   일반분야 Design 부문 대상인 ‘철도안전은 설계부터, 철도역사의 체계적 BIM 적용과 BIM을 활용한 안전검토’ 작품은 국가철도공단이 BIM을 철도 인프라 및 역사에 적극적으로 적용하고자 하는 의지를 잘 보여주는 사례이며, 증축구조물에 대한 시공 안정성을 BIM 기반으로 검토하고자 하는 노력이 돋보였다. 역사 모델링을 위해 자체 라이브러리 제작, 파라매트릭 자동 모델링과 신규로 들어서는 승강장 기둥 등의 구조 검토를 BIM 기반으로 수행한 사항도 구체성이 돋보인다는 평가를 받았다. 학생분야 Design 부문 대상인 ‘세운 셰어링 스페이스’ 작품은 광범위하고 다양한 BIM 애플리케이션을 표준적이라 할 만큼 효과적으로 적용하였고 지능형 자동화 방법, 언어 모델 기반 코딩 등을 활용하여 접근하고 효과적으로 건축물 및 정보 시각화까지 적절한 작품으로 높은 평가를 받았다. 학생분야 Design 부문 대상인 ‘자연과의 교감, 환대의 장면을 그리다’ 작품은 특정 설계 주제에 대해 BIM 기반 접근의 방식이 갖춰야 할 여러 요소에 대해 효과적으로 표현하였으며, 곡면 형태의 매스에 대한 BIM 기반 구조 분석을 시도하였다는 점이 돋보였다. 또한 공정에 대한 이해, 협업을 위한 도서 관리, 디자인 시뮬레이션, 효과적인 시각화 등이 BIM 기반 설계접근의 전형을 보여주는 좋은 작품으로 평가를 받았다.     ■ 기사 내용은 PDF로도 제공됩니다.
작성일 : 2024-12-04
대규모 언어 모델의 핵심 개념인 토큰, 임베딩과 모델 파인튜닝에 대해
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 LLM(대규모 언어 모델)의 자연어 처리에서 핵심 기술인 토큰, 임베딩 및 모델 파인튜닝의 이해를 위한 개념과 임베딩 모델의 동작 메커니즘을 살펴본다. 여기서 토큰은 문장을 구성하는 단어로 가정하면 이해하기 쉽다. 토큰과 임베딩은 입력 시퀀스에 대한 출력을 학습, 예측할 때 훈련의 전제가 되는 LLM의 기본조건이다. 이에 대해 좀 더 깊게 이해해 보자.    ■ 강태욱  건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다.  페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com  홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast    최근 대규모 언어 모델(LLM : Large Language Model)과 검색 증강 생성(RAG : Retrieval-Augmented Generation) 기술을 이용해 다양한 전문가 서비스 에이전트를 개발하는 사례가 많아지고 있다. 특히, 전문가처럼 행동하며 문제를 해결하거나 의사결정을 지원하는 멀티 에이전트 기술은 이미 선진국을 중심으로 금융, 제조, 건설 등 엔지니링 분야에 개발되고 있다.    도메인 의존 정보와 토큰  의학과 같은 특별한 분야에서는 환각 현상 등으로 인해 챗GPT(ChatGPT)와 같은 범용 LLM이 제대로 정보를 생성하지 못하는 경우가 많다. 이런 문제를 해결하기 위해 전문 분야의 지식을 기존 LLM 모델을 이용해 재학습하는 방법이 생겨났는데, 파인튜닝은 그 중 한 가지 방법이다.  파인튜닝은 빅테크 업체가 공개한 LLM 모델을 특정 도메인 지식을 잘 표현할 수 있도록 재학습하는 방법 중 하나이다. LLM의 신경망 전체를 재학습하기 위해서는 매우 비싼 GPU 사용 비용이 필요하다. 이는 일반적인 기업에서 수행할 수 없는 수준이다. 이런 이유로, 파인튜닝은 메타에서 공개한 라마(LLaMA)와 같은 파운데이션 LLM 모델의 신경망에 별도의 작은 신경망을 추가해, 이를 별도로 준비된 데이터로 학습하는 방식을 사용한다.  LLM을 파인튜닝하기 전에 어떤 토큰이 사용되었는지, 임베딩 모델이 무엇인지 확인해야 한다. 파인튜닝 시 용어가 LLM에 사전 학습되어 있지 않다면, 용어 간 관계를 통계적으로 추론하는 학습 절차가 매우 비효율적으로 계산된다. 일반적으로 모델을 파인 튜닝하려면 LLM 토큰 확인 및 개발, 임베딩 모델의 적절한 사용이 필요하다.  <그림 1>은 토큰이 수치화된 결과를 보여준다. 참고로, 토큰이 숫자로 표현되지 못하는 문제를 OOV(Out-Of-Vocabulary)라 한다.    그림 1. 숫자 토큰화 결과   임베딩은 학습 모델이 입력되는 문장의 토큰 패턴을 통계적으로 계산하기 전, 토큰을 수치화시키는 함수이다. 이 함수를 임베딩 모델이라 한다. 임베딩 모델은 토큰을 수치화하여 모델 학습에 사용하는데 필요한 입력값을 출력한다. 이런 이유로, 토큰 사전과 임베딩 모델이 다르면 제대로 된 모델 학습, 예측, 패턴 계산 결과를 얻기 어렵다. 임베딩 모델도 별도의 신경망 모델이며 다양한 방식으로 학습될 수 있다. 이번 호에서는 구글에서 공개한 BERT(Bidirectional Encoder Representations from Transformers) 임베딩 모델을 사용한다.  이와 관련된 실험을 하기 위해, 개발 환경을 설치하고 파이썬 코드를 준비해 본다.    개발 환경 준비 미리 컴퓨터에 파이썬, 아나콘다 등 필수적인 라이브러리가 설치되어 있다는 조건에서, 실습을 위해 명령창에서 다음을 실행해 설치한다. pip install transformers torch   참고로, 다음은 파인튜닝에 사용하는 오픈소스 라이브러리를 보여준다. Torch : 텐서 계산 및 딥 러닝을 위한 핵심 라이브러리이다. PEFT : 낮은 순위의 적응 기술을 사용하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있다. 특히 리소스가 제한된 장치에서 학습 가능한 매개 변수의 수를 줄여 모델을 압축하고 더 빠르게 미세 조정할 수 있다. bitsandbytes : 신경망에 대한 양자화 및 이진화 기술을 제공하여 모델 압축을 지원한다. 모델 압축에 도움이 되므로 메모리와 계산 능력이 제한된 에지 장치에 모델을 보다 실현 가능하게 만들 수 있다. Transformers : 대규모 언어 모델 작업을 간소화하여 사전 학습된 모델 및 학습 파이프라인을 제공한다. trl : 대규모 언어 모델의 경우 효율적인 모델 학습 및 최적화에 중점을 둔다. accelerate : 다양한 하드웨어 플랫폼에서 학습 및 추론을 가속화한다. dataset : 기계 학습 작업을 위한 데이터 세트 로드 및 준비를 간소화한다. pipeline : 사용자 지정 학습 없이 일반적인 NLP 작업에 대해 사전 학습된 모델의 사용을 간소화한다. PyArrow : 효율적인 데이터 로드 및 처리를 위해 사용될 수 있다. LoraConfig : LoRA 기반 미세 조정을 위한 구성 매개변수를 보유한다. SFTTrainer : 모델 학습, 최적화 및 평가를 처리한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-11-04
빌딩스마트협회, BIM 어워즈 2024 수상작 발표
빌딩스마트협회는 연례 BIM 공모전인 ‘BIM 어워즈(BIM AWARDS) 2024’의 수상작 22점을 선정해 발표했다.    BIM 어워즈 2024의 일반분야 대상으로는 ▲Asset Management 부문 ‘빌딩 운영 디지털 트윈, THYNC(삼성물산 건설부문)’ ▲Small and Medium sized Project 부문 ‘담바우 산림에너지자립마을 조성사업(사이다 건축사사무소 컨소시움)’ ▲Construction 부문 ‘파나마 최대 국책사업을 BIM으로 완성하다 : 한국 건설업계 최초 해외 철도 EPC성공사례(현대건설 컨소시움)’ ▲Design 부문 ‘철도안전은 설계부터, 철도역사의 체계적 BIM 적용과 BIM을 활용한 안전검토(국가철도공단 컨소시움)’이 선정됐다. 또한, 학생분야 대상으로는 ▲Design 부문 ‘세운 셰어링 스페이스(동국대학교 지민웅, 박종인)’ ▲Design 부문 ‘자연과의 교감, 환대의 장면을 그리다(청주대학교 최우령, 김병주, 박건희)’가 각각 선정됐다. 일반분야 Asset Management 부문 대상을 수상한 ‘빌딩 운영 디지털 트윈, THYNC’ 작품은 빌딩의 효율적 운영을 위한 디지털 트윈 구축 및 활용에 대하여 소개하고, 효과적인 빌딩 운영을 위해 개발된 BIM 데이터 기반 디지털 트윈의 시스템 아키텍처를 소개하였으며, 그 활용 사례에서 뛰어난 완성도를 보여주었다는 평가를 받았다.    ▲ BIM 어워즈 2024에서 일반분야 Asset Management 부문 대상을 받은 ‘빌딩 운영 디지털 트윈, THYNC’   일반분야 Small and Medium sized Project 부문 대상인 ‘담바우 산림에너지자립마을 조성사업’ 작품은 기존 대형 공사에서 활용되고 있는 BIM 역설계를 중소규모에 적용한 사례로서 의미를 갖는다. 단순한 BIM 역설계 데이터와 BIM 전환설계 데이터의 비교검토에 머무르지 않고 이후 단계활용에 핵심적으로 요구되는 작업 환경(도면 표준화, 라이브러리 구축)으로 확장함으로써, BIM 데이터의 설계, 시공, 유지관리의 확장 적용의 기본 콘셉트에 충실했다는 평가를 받았다. 일반분야 Construction 부문 대상인 ‘파나마 최대 국책사업을 BIM으로 완성하다 : 한국 건설업계 최초 해외 철도 EPC 성공사례’ 작품은 한국 건설사의 첫 해외 철도 EPC 도전 프로젝트로 BIM을 활용한 표준화 및 데이터 관리 체계가 우수하게 구현되었으며, 5개국의 협력 하에 설계부터 시공에 이르는 전 단계에서 자산 관리 모델 구축, 터널 굴착기 3D 모델링, 현장 스캐닝 등의 기술을 통해 프로젝트 전반의 정밀도를 높이고 표준화된 구조 설비 모델을 통한 협업 체계가 빛을 발했다는 평가를 받았다. 일반분야 Design 부문 대상인 ‘철도안전은 설계부터, 철도역사의 체계적 BIM 적용과 BIM을 활용한 안전검토’ 작품은 국가철도공단이 BIM을 철도 인프라 및 역사에 적극적으로 적용하고자 하는 의지를 잘 보여주는 사례이며, 증축구조물에 대한 시공 안정성을 BIM 기반으로 검토하고자 하는 노력이 돋보였다. 해당 역사 모델링을 위해 자체 라이브러리 제작, 패러매트릭 자동 모델링과 신규로 들어서는 승강장 기둥 등의 구조 검토를 BIM 기반으로 수행한 사항도 구체성이 돋보인다는 평가를 받았다. 학생분야 Design 부문 대상인 ‘세운 셰어링 스페이스’ 작품은 광범위하고 다양한 BIM 애플리케이션을 표준적이라 할 만큼 효과적으로 적용하였고 지능형 자동화 방법, 언어 모델 기반 코딩 등을 활용하여 접근하고 효과적으로 건축물 및 정보 시각화까지 매우 적절한 작품으로 높은 평가를 받았다. 학생분야 Design 부문 대상인 ‘자연과의 교감, 환대의 장면을 그리다’ 작품은 특정 설계 주제에 대해 BIM 기반 접근의 방식이 갖춰야 할 여러 요소에 대해 효과적으로 표현하였으며, 곡면 형태의 매스에 대한 BIM 기반 구조 분석을 시도하였다는 점이 돋보였다. 또한 공정에 대한 이해, 협업을 위한 도서 관리, 디자인 시뮬레이션, 효과적인 시각화 등이 BIM 기반 설계접근의 전형을 보여주는 좋은 작품으로 평가를 받았다. 빌딩스마트협회는 지난 2009년부터 건설 분야의 BIM 활성화에 기여한 단체 및 개인을 발굴하고 시상하여 한국 건설산업의 선진화 및 경쟁력 향상, BIM 기술의 올바른 활용 및 확산을 위하여 노력하고 있다.  BIM 어워즈 2024는 그라피소프트, 아키소프트, 트림블의 후원으로 빌딩스마트협회와 한국건설기술연구원이 공동주최하였으며, 10월 22일 심사위원 심사 및 심층 논의를 통하여 ▲대상 일반분야 4점, 학생분야 2점 ▲최우수상 일반분야 4점, 학생분야 2점 ▲우수상 일반분야 4점, 학생분야 3점 ▲특별상(아키캐드상, 트림블상) 일반분야 2점, 학생분야 1점으로 총 22점의 수상작이 선정됐다. BIM 어워즈 2024의 시상식은 11월 19일 건설회관에서 열리는 ‘빌드스마트 콘퍼런스(buildSMART CONFERENCE) 2024’ 행사와 함께 진행한다. 수상 작품은 시상식 당일 행사장에 전시되며, 추후 빌딩스마트협회 홈페이지에 게시될 예정이다.
작성일 : 2024-10-29
LLM RAG의 핵심 기술, 벡터 데이터베이스 크로마 분석
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 대규모 언어 모델(LLM : Large Language Model)의 검색증강생성(RAG : Retrieval-Augmented Generation) 구현 시 핵심 기술인 임베딩 벡터 데이터베이스로 유명한 크로마(Chroma)의 핵심 구조를 간략히 분석한다. RAG는 생성형 AI의 환각현상을 줄여 전문가적인 정보를 생성하는 데에 도움을 준다.  크로마의 동작 방식을 이해하면 LLM 기술 개발 시 이해도와 응용력을 높일 수 있다. 참고로, 벡터 베이터베이스는 다양하게 있으나 크로마는 사용하기 쉽고 오픈되어 있어 현재 많이 활용되고 있다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   그림 1. 벡터 데이터베이스의 종류   크로마는 AI 지원 오픈소스 벡터 베이터베이스로, RAG를 처리할 때 필수로 사용되는 데이터베이스 중 하나이다. 크로마를 이용해 LLM 기반의 다양한 앱(지식 서비스 등)을 개발할 수 있다. 예를 들어, 각종 건설 규정, BIM 관련 지침 등을 요약하고 설명해주는 전문가 시스템을 개발할 때 사용할 수 있다.   그림 2   크로마는 임베딩 벡터를 메타데이터와 함께 저장하고, 질의를 통해 해당 임베딩 도큐먼트를 검색할 수 있다. 크로마는 독립적인 서버로서 동작할 수 있다.   설치 및 사용 윈도우 명령창이나 터미널을 실행한다. 크로마 설치를 위해 다음과 같이 터미널에 명령을 입력한다.    pip install chromadb   벡터 데이터베이스에 저장되는 단위는 다음과 같다.    collection = client.create_collectoin(name='test', embedding_function=emb_fn) collection.add(    embeddings=[       [1.1, 2.3, 3.2],       [4.5, 6.9, 4.4],       [1.1, 2.3, 3.2]    ],    metadatas=[       {"uri": "img1.png", "style": "style1"},       {"uri": "img2.png", "style": "style2"},       {"uri": "img3.png", "style": "style1"}    ],    documents=["doc1", "doc2", "doc3"],    ids=["id1", "id2", "id3"], )   여기에서 보는 것과 같이, 벡터 좌표계에 위치할 임베딩 벡터, 벡터에 매달아 놓을 메타데이터와 도큐먼트, ID를 하나의 컬랙션 단위로 저장한다. 이를 통해 벡터 간 유사도, 거리 등을 계산해 원하는 도큐먼트, 메타데이터 등을 얻을 수 있다. 이 때 임베딩 벡터는 미리 학습된 임베딩 모델을 사용할 수 있다.  질의해서 원하는 벡터를 얻으려면 벡터 공간에서 거리 계산이 필수적이다. 이 때 사용하는 함수는 <그림 3>과 같다.    그림 3   컬렉션에 벡터 추가와 질의는 다음과 같다.    collection.add(    documents=["doc1", "doc2", "doc3", ...],    embeddings=[[1.1, 2.3, 3.2], [4.5, 6.9, 4.4], [1.1, 2.3, 3.2], ...],    metadatas=[{"chapter": "3", "verse": "16"}, {"chapter": "3", "verse": "5"}, {"chapter": "29", "verse": "11"}, ...],    ids=["id1", "id2", "id3", ...] ) collection.query(    query_texts=["doc10", "thus spake zarathustra", ...],    n_results=10,    where={"metadata_field": "is_equal_to_this"},    where_document={"$contains":"search_string"} )   여기서, where의 metadata_field를 이용해 다음과 같은 조건 비교 연산이 가능하다.   $eq, $ne, $gt, $gte, $lt, $lte   그리고, 논리 연산자인 $and, $or를 지원한다. 크로마는 향후 워크플로, 가시화, 질의 계획, 분석 기능을 준비하고 있다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-10-07
공간정보 GIS 기반 IoT 데이터 분석 스타일 대시보드 만들고 서비스해보기
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 공간정보 기반 서비스 웹 애플리케이션을 개발하기 위해 장고(Django)와 부트스트랩(Bootstrap)을 사용해 GIS 기반 IoT 데이터 분석 스타일의 대시보드 개발 방법을 간략히 정리하고, 개발 후 서비스하는 방법을 살펴본다.  이를 통해 공간정보 기반 IoT 장비를 하나의 대시보드로 관리하고 분석하는 것이 가능하다. 여기서 공간정보는 GIS, BIM, 3D 점군(point cloud) 데이터와 같이 공간상 좌표로 표현되는 모든 정보를 말한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 블로그 | http://daddynkidsmakers.blogspot.com 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | www.facebook.com/groups/digestpodcast   그림 1. IoT 대시보드 웹 앱   이 글은 개발자가 애용하고 있는 파이썬(Python) 기반의 장고 플랫폼을 사용한다. 부트스트랩은 반응형 웹 사이트를 개발하기 위한 가장 인기 있는 HTML, CSS 및 자바스크립트(JavaScript) 프레임워크이다. 이번 호에서는 다음의 내용을 이해할 수 있다.  부트스트랩 대시보드 UI 라이브러리 사용법 장고 프레임워크의 데이터 모델과 웹 UI 간의 연계 방법 GIS 맵 가시화 및 이벤트 처리 실시간 IoT 데이터에 대한 동적 UI 처리 방법   요구사항 디자인 다음과 같은 목적의 웹 앱 서비스를 가정한다.  GIS 기반 센서 위치 관리 IoT 데이터셋 표현 IoT 장치 관리 IoT 장치 활성화 관리 KPI 표현 계정 관리 기타 메뉴    개발 환경 준비 개발 도구 개발에 필요한 도구는 다음을 사용한다. UI : bootstrap 웹 앱 프레임워크 : DJango GIS : leaflet, Cesium 데이터 소스 : sqlite, spreadsheet, mongodb 구현된 상세 소스코드는 다음을 참고한다. https://github.com/mac999/IoT_simple_dashboard/tree/main   장고 기반 웹 앱 프로젝트 생성 장고는 파이썬으로 작성된 고수준의 웹 프레임워크로, 웹 애플리케이션 개발을 빠르고 쉽게 할 수 있도록 도와준다. 장고는 ‘The web framework for perfectionists with deadlines’라는 슬로건을 가지고 있으며, 많은 기능을 내장하고 있어 개발자가 반복적인 작업을 줄이고 핵심 기능에 집중할 수 있도록 한다. 다음과 같이 명령창을 실행하고, 장고 웹 앱 프로젝트를 생성한다.    python -m venv myenv source myenv/bin/activate  pip install django pandas django-admin startproject iot_dashboard cd iot_dashboard python manage.py startapp dashboard   생성된 프로젝트 폴더 구조는 <그림 2>와 같다.   그림 2   디자인 스타일 고려사항 부트스트랩 레이아웃 표현 부트스트랩은 웹 개발에서 널리 사용되는 프론트엔드 프레임워크로 주로 HTML, CSS, 자바스크립트로 작성되어 있다. 트위터의 개발자에 의해 처음 만들어졌으며, 웹 애플리케이션의 개발 속도를 높이고 반응형 디자인을 쉽게 구현할 수 있도록 도와준다.  부트스랩의 그리드 시스템은 12개 열로 디자인된다. 이는 유연성과 사용 편의성을 제공하기 위한 디자인 결정이다. 반응형 웹사이트를 구축하는 데에 많이 사용된다.  참고로, 12라는 숫자는 많은 약수(1, 2, 3, 4, 6, 12)를 갖고 있어 다양한 열의 조합으로 균등하게 나눌 수 있다. 이를 통해 분수나 번거로운 나머지 없이 다양한 레이아웃을 만들 수 있다. 유연성 : 12개의 열을 사용하면 다양한 화면 크기와 디바이스에 적합한 레이아웃을 쉽게 만들 수 있다. 각 요소가 차지하는 열의 수를 조정하여 대형 데스크톱 화면, 태블릿 및 스마트폰에서 잘 보이는 반응형 디자인을 만들 수 있다. 이해하기 쉬움 : 12개의 열을 기반으로 한 그리드 시스템은 디자이너와 개발자에게 직관적이다. 그리드 내에서 요소가 어떻게 동작할지 시각화하고 계산하기 쉽기 때문에, 일관된 레이아웃을 생성하고 유지하기가 간단하다. 디자인 관행 : 12개의 열을 사용하는 그리드 시스템은 부트스트랩 이전부터 다양한 그래픽 디자인 및 레이아웃 소프트웨어에서 사용되어 왔다.      ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-09-03
AI 전문가 에이전트 개발을 위한 LLM 기반 구조화된 JSON 데이터 RAG 및 생성하기
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 최근 챗GPT(ChatGPT)와 같은 AI 전문가 서비스 개발을 위한 LLM(Large Language Model, 대규모 언어 모델) 기술 중 하나인 LLM 기반 구조화된 형식의 데이터 생성하는 방법을 간략히 소개한다.    ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   LLM을 다양한 시스템과 연동해 사용하려면, LLM의 출력이 기계가 이해 가능한 JSON, SQL, Code 형태여야 한다. 이번 호에서는 JSON 입출력이 가능하도록 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 처리하는 방법을 개발한다.  이를 잘 이용하면, 건설, 건축 분야의 PDF 파일 등을 학습하고, 필요한 정보를 기계 처리 가능한 형식으로 출력해 계산 가능한 표, 수식 등의 형식으로 정보를 생성할 수 있다.   그림 1. LLM 기반 텍스트 입력 및 구조화된 JSON 형식 생성 절차 개념도   이번 호에서는 오픈AI(OpenAI) 챗GPT와 같이 API를 사용하려면 구독해야 하는 상용 모델 대신 라마, 미스트랄과 같은 오픈소스 모델을 사용한다. LLM 모델을 컴퓨터에 다운로드받고 구동하기 위해 올라마(Ollama)를 이용하고, LLM 프롬프트와 RAG 처리를 위해 랭체인(LangChain)을 사용한다.   개발 환경 준비 다음과 같이 개발 환경을 설치한다. 그리고 올라마(https://ollama.com) 도구를 설치하도록 한다.   pip install llama-cpp-python pip install 'crewai[tools]' pip install langchain   Text to JSON  라마 모델을 로딩하고 JSON 문법으로 출력하도록 GBNF(GGML BNF) 문법 정의를 이용해 JSON 출력을 생성한다. 다음 코드를 실행한다.   from llama_cpp.llama import Llama, LlamaGrammar import httpx grammar_text = httpx.get("https://raw.githubusercontent.com/ggerganov/llama.cpp/master/grammars/json_arr.gbnf").text grammar = LlamaGrammar.from_string(grammar_text) llm = Llama("llama-2-13b.Q8_0.gguf") response = llm(     "JSON list of name strings of attractions in SF:",     grammar=grammar, max_tokens=-1 ) import json print(json.dumps(json.loads(response['choices'][0]['text']), indent=4))   출력 결과는 다음과 같이 샌프란시스코에 있는 놀이 시설을 보여준다.    [     {         "address": {             "country": "US",             "locality": "San Francisco",             "postal_code": 94103,             "region": "CA",             "route": "Museum Way",             "street_number": 151         },         "geocode": {             "latitude": 37.782569,             "longitude": -122.406605         },         "name": "SFMOMA",         "phone": "(415) 357-4000",         "website": "http://www.sfmoma.org/"     } ]   이와 같이 LLM 출력을 컴퓨터 처리하기 용이한 구조로 생성할 수 있다. 참고로, 여기서 사용한 JSON 문법은 <그림 2>와 같이 정형 규칙 언어로 정의된 것을 사용한 것이다.    그림 2. json.gbnf(https://github.com/ggerganov/llama.cpp/tree/master/grammars)     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-08-05
랭체인 아키텍처 및 동작 메커니즘 분석
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 랭체인(LangChain) 아키텍처와 동작 방법을 분석한다. 현재 챗GPT(ChatGPT)와 비슷한 인공지능 챗봇 서비스 개발 등에 대중적으로 사용되는 랭체인은 LLM(Large Language Model : 대규모 언어 모델) 통합과 PDF 등 다양한 데이터 소스를 지원하여 LLM 모델 활용성을 극대화한다. 이 글을 통해 LLM 서비스 개발에 필요한 랭체인의 아키텍처와 동작 원리를 이해할 수 있을 것이다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   그림 1   랭체인은 LLM에 원하는 결과를 얻을 수 있도록 다양한 프롬프트 입력 및 구조화된 출력, RAG, 튜닝과 같은 기능을 제공하는 라이브러리다. 랭체인 설치는 다음과 같이 진행할 수 있다.  pip install langchain   랭체인의 기본 사용법 랭체인은 모델 입출력, 데이터 검색, 에이전트 지원, 체인, 컨텍스트 메모리 기능을 제공하며, LCEL(LangChain Expression Language)을 이용해 각 구성요소를 유기적으로 연결시킬 수 있다. LCEL은 유닉스 파이프라인 개념을 차용했다. 다음은 LCEL의 예시를 보여준다.  from langchain.chat_models import ChatOpenAI from langchain.prompts import ChatPromptTemplate from langchain.schema import BaseOutputParser # LCEL 예시 chain = ChatPromptTemplate() | ChatOpenAI() | CustomOutputParser() 이와 더불어 목적에 맞는 다양한 프롬프트 템플릿, 구조화된 출력을 제공한다. from langchain.output_parsers.json import SimpleJsonOutputParser json_prompt = PromptTemplate.from_template(     "Return a JSON object with `birthdate` and `birthplace` key that answers the following question: {question}" ) json_parser = SimpleJsonOutputParser() # JSON 파서 # 프롬프트, 모델, 파서 체인 생성 json_chain = json_prompt | model | json_parser  # 유닉스 파이프라인 개념 차용함. result_list = list(json_chain.stream({"question": "When and where was Elon Musk born?"})) print(result_list)   그림 2   랭체인 구조 분석 패키지 구조 랭체인 구조를 분석하기 위해, 깃허브(GitHub)의 랭체인 소스코드를 다운로드한 후 UML로 모델링해 본다. 주요 패키지는 <그림 3>과 같다.  랭체인 소스코드 : https://github.com/langchain-ai/langchain   그림 3   cli는 랭체인의 커맨드 라인 인터페이스(command line interface), core는 랭체인의 핵심 구현 코드가 정의된다. 이 부분은 <그림 4>와 같은 패키지로 구성된다.    그림 4   참고로, 이 패키지들은 <그림 5>의 일부이다.   그림 5. 랭체인 v.0.2.0 패키지   LCEL 언어 동작 구조 이 중에 핵심적인 것만 분석해 본다. 우선, LCEL의 동작 방식을 위해 어떤 디자인 패턴을 구현하였는지 확인한다. 이 부분은 runnables 패키지가 담당한다. 이 언어는 유닉스의 파이프라인 처리를 다음과 같이 흉내낸다.  z = a | b | c z.stream('abc') 이를 위해 파이썬(Python) 문법을 적극 사용하고 있다. 우선 ‘|’ 연산자를 오버로딩(overloading)하기 위해, 파이썬 Runnable 클래스를 정의해 ‘__or__’ 연산자를 구현한다. 이 연산자는 self object와 right object 두 객체를 입력받아 리스트를 만든 후 리턴하는 역할을 한다. 앞의 예시에서 보면, ‘a | b’를 실행 가능한 객체 리스트로 만들어 리턴한다. 결론적으로 a, b, c 객체를 리스트로 만들고 이 리스트를 z에 할당한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-07-04
[무료다운로드] 오픈소스 LLaVA 기반 멀티모달 생성형 AI 서비스 만들기
BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 챗GPT 4.0(ChatGPT 4.0)과 같은 LMM(Large langauge Multi-modal Model : 멀티모달 대규모 언어 모델)인 LLaVA(Large Language and Vision Assistant : 라바) 기반 멀티모달 생성형 AI 서비스 개발 방법을 설명한다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   라바는 이미지 투 텍스트(Image To Text)와 같은 언어-이미지 시각 어시스턴스(Language-Image Visual Assistant)를 지원하기 위해 ViT(Visual Instruction Tuning : 시각적 지시 조정)을 기반으로 개발된 멀티모달 모델 오픈소스이다. 예를 들어, 이미지를 단순히 분류해 주는 것이 아닌, 이미지 내 특정 객체들을 인식하고 관계를 설명할 수 있는 기술을 지원한다.   그림 1. 단독 로컬 서버 PC에서 라바 서비스 모습   참고로, ViT는 이미지의 특정 위치에 대한 객체 정보를 인식할 수 있도록 학습하는 기술이다. 예를 들어, GPT-4는 특정 부분의 시각적 특징을 인코딩하기 위해 YOLO 모델과 같이 경계 상자를 사용하고, CLIP 모델과 같이 해당 부분에 대한 텍스트 임베딩을 입력하여 학습한다. Visual Instruction Tuning : https://arxiv.org/abs/2304.08485   그림 2. ViT의 개념   라바의 NeXT 버전은 구글 제미나이 프로의 성능을 능가했다고 밝혔으며, 이전 버전인 라바 1.5에 비해 이미지 해상도, OCR 기능 등이 개선되었다고 한다.    그림 3. 라바 아키텍처   이번 호에서는 Ollama를 이용해 라바 NeXT를 로컬 PC에서 실행하는 방법을 따라해 본다.    라바의 개요 라바는 대형 멀티모달 모델로, GPT-4.0과 유사한 LMM을 개발하고자 마이크로소프트 연구팀에서 오픈소스로 개발되었다. MS는 라바의 논문, 깃허브(GitHub) 코드, 데모 사이트 등을 공개하였다.  LLaVA Demo : https://llava.hliu.cc LLaVA paper(Visual Instruction Tuning - Microsoft Research) : https://www.microsoft.com/en-us/research/publication/visual-instruction-tuning 라바 LMM은 비전 인코더, LLM 모델을 기반으로 개발되었으며, 이미지 투 텍스트에서 인상적인 성능을 보여준다. 라바는 비전 인코더로 오픈AI(OpenAI)에서 공개한 CLIP 모델을 사용했으며, 메타(페이스북)에서 공개한 LLaMA 기반 Vicuna LLM 모델을 사용했다. 학습은 A100 GPU×8×1 Day 와 60만개 데이터셋을 사용했다. 라바를 설치하고 실행해 보기 위해서는 다음의 개발 환경이 컴퓨터에 미리 설치되어 있다고 가정한다.(우분투, 엔비디아, 쿠다 등의 설치 방법은 지난 연재를 참고하기 바란다.) NVIDIA driver, CUDA, Python, anaconda, Ubuntu 22.04 Tensorflow, PyTorch Ollama(https://ollama.com/download)     ■ 자세한 기사 내용은 PDF로 제공됩니다.
작성일 : 2024-06-03