성공적인 유동 해석을 위한 케이던스의 CFD 기술 (20)   터보 기계 설계 및 해석 분야에서 실제 적용 사례는 CFD 모델의 효율성과 적응성을 입증하는 증거이다. 이러한 애플리케이션은 고급 시뮬레이션 도구가 복잡한 엔지니어링 문제를 해결하는 데 얼마나 중요한 역할을 하는지 보여준다. 이러한 실제 시나리오를 살펴봄으로써 CFD 기술이 산업 발전에 미치는 직접적인 영향에 대한 귀중한 인사이트를 얻을 수 있다.    ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr   그림 1. 터보차저 컴프레서가 장착된 토요타 GT86 CS-R3 랠리카(왼쪽 상단)   토요타 모터스포츠의 터보차저 컴프레서 최적화 독일 쾰른에 위치한 고성능 엔진 및 섀시 설계 전문 기업으로 유명한 토요타 모터스포츠는 케이던스(Cadence)의 피델리티(Fidelity) 소프트웨어를 사용하여 터보차저 컴프레서의 효율성을 개선하는 야심찬 프로젝트를 수행했다.(그림 1) 이 작업은 터보차저 부품의 설계가 이미 고도화되어 있었기 때문에 쉽지 않은 과제였다. 실제 프로토타입을 제작하는 기존 방식은 소요 시간이 길어 부적절했기 때문에, 팀은 보다 혁신적인 접근 방식인 수치 최적화를 선택했다. 문제는 이미 재료의 구조적 한계에 근접해 작동하는 컴프레서 임펠러를 최적화해야 한다는 것이었다. 이를 위해서는 다분야 최적화 프로세스를 위해 CFD와 전산 구조 역학(CSM)을 통합하는 미묘한 접근 방식이 필요했다. 이 팀은 폰 미제스 응력을 안전 한도 내에서 유지하면서 등방성 효율, 총 압력 비율 및 작동 범위를 개선하기 시작했다. 토요타 모터스포츠는 임펠러의 다양한 측면을 정의하는 154개의 파라미터를 포함하는 최적화 프로젝트에 착수하여 케이던스의 피델리티 소프트웨어를 활용했다. 기본 설계에서 특정 파라미터를 유지하는 데 신중을 기하여 궁극적으로 33개의 주요 설계 변수에 집중했다. 여러 설계 반복에 걸쳐 메시 품질과 일관성을 보장하기 위해 피델리티 오토메시(Fidelity Automesh)를 사용하여 강력한 메시 전략을 구현했다. 이 최적화를 통해 <그림 2>에 자세히 설명된 대로 성능이 크게 향상되었다. 생성된 디자인 중 두 가지 디자인이 모든 공기역학적 및 구조적 목표를 충족하는 것으로 나타났다. 설계 D1은 압력비가 8.0% 증가하고 효율이 1.4% 증가했으며 스톨 마진이 확장되었다. 이러한 개선은 구조적 무결성을 보장하고 초크 질량 유량 요건을 유지하면서 달성되었다.   그림 2. 원래 지오메트리와 선택된 디자인(D1 및 D2)의 비교. 설계 D1은 압력 비율이 8.0% 증가하고 효율이 1.4% 증가했으며 스톨 마진이 확장되었다.   이 사례 연구는 터보차저 압축기 효율의 한계를 뛰어넘는 데 있어 다분야 CFD-CSM 최적화가 얼마나 효과적인지 보여준다. 토요타 모터스포츠의 접근 방식은 첨단 기술 개발에서 수치 최적화의 이점을 강조하여, 기존 방법으로는 실현 불가능한 설계 대안을 신속하게 탐색하고 평가할 수 있게 해준다. 이 프로젝트의 성공은 까다로운 모터스포츠 및 자동차 엔지니어링 영역에서 터보 기계 설계를 개선할 수 있는 통합 계산 방법의 잠재력을 반영한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 미국 새너제이에서 열린 GTC에서 주요 CAE 소프트웨어 공급업체들이 엔비디아 블랙웰(NVIDIA Blackwell) 플랫폼을 도입해 자사 시뮬레이션 도구를 최대 50배까지 가속화한다고 발표했다. 이들 공급업체에는 앤시스, 알테어, 케이던스, 지멘스, 시높시스 등이 포함된다. 가속화된 CAE 소프트웨어와 엔비디아 쿠다-X(CUDA-X) 라이브러리 그리고 성능을 최적화하는 블루프린트를 병용하면 자동차, 항공우주, 에너지, 제조, 생명과학 분야 제품의 개발 시간과 비용을 줄일 수 있으며, 설계 정확도는 높이면서 에너지 효율을 유지할 수 있다는 것이 엔비디아의 설명이다. 소프트웨어 제공업체는 고객이 실시간 인터랙티브 기능을 갖춘 디지털 트윈을 개발하도록 지원할 수 있으며, 이제 엔비디아 블랙웰 기술을 통해 이를 가속화할 수 있다. CAE 소프트웨어 업계에서는 자사 소프트웨어에 블랙웰을 통합하는 생태계가 확장되고 있다. 여기에는 대표적으로 알테어, 앤시스, 비욘드매스, 케이던스, 콤솔, 엔지스(ENGYS), 플렉스컴퓨트, 헥사곤, 루미너리 클라우드, M-스타, 오토데스크 계열사인 나바스토, 뉴럴 콘셉트, 엔톱, 리스케일, 지멘스, 심스케일, 시높시스, 볼케이노 플랫폼스 등이 있다.     케이던스는 엔비디아 그레이스(Grace) 블랙웰 가속 시스템을 활용해 항공기의 이착륙 시뮬레이션이라는 전산유체역학(CFD)의 대형 과제를 해결하고 있다. 케이던스는 단일 엔비디아 GB200 NVL72 서버에서 케이던스 피델리티(Fidelity) CFD 솔버를 사용해 수십억 개의 셀 시뮬레이션을 24시간 이내에 실행했다. 이는 기존의 수백만 개 코어를 가진 CPU 클러스터에서도 며칠이 지나야 완료가 가능한 작업이었다. 이 혁신을 바탕으로 항공우주 산업은 더 안전하고 효율적인 항공기를 설계하면서도, 비용이 많이 드는 풍동 실험 횟수는 줄여 출시까지 걸리는 시간을 단축할 수 있을 전망이다. 리스케일이 새롭게 출시한 CAE 허브(CAE Hub)를 활용하면 엔비디아 기술과 더불어 다수의 독립 소프트웨어 공급업체가 개발한 쿠다 가속 소프트웨어에 간편하게 접속할 수 있다. 리스케일 CAE 허브는 클라우드에서 엔비디아 GPU와 엔비디아 DGX Cloud(DGX 클라우드)에 기반한 유연하고 향상된 성능의 컴퓨팅과 AI 기술을 제공한다. 고속 항공기를 만드는 붐 슈퍼소닉(Boom Supersonic)은 리스케일 CAE 허브에서 실시간 디지털 트윈을 위한 엔비디아 옴니버스 블루프린트(Omniverse Blueprint)와 블랙웰 가속 CFD 솔버를 사용할 예정이다. 이를 통해 새로운 초음속 항공기 설계와 최적화에 나설 계획이다. 제품 개발 주기의 대부분이 시뮬레이션에 기반한 붐 슈퍼소닉은 블랙웰 GPU로 가속화된 리스케일 플랫폼을 통해 다양한 비행 조건을 테스트하고 시뮬레이션을 반복하며 요구 사항을 개선할 전망이다. 실시간 디지털 트윈을 위한 엔비디아 옴니버스 블루프린트는 현재 일반적으로 사용이 가능하며, 리스케일 CAE 허브에도 포함돼 있다. 이 블루프린트는 엔비디아 쿠다-X 라이브러리와 엔비디아 피직스네모 AI, 엔비디아 옴니버스 플랫폼을 통합했다. 더불어 물체 부근의 공기 움직임을 연구하는 외부 공기역학을 위한 엔비디아 NIM 마이크로서비스를 최초로 추가했다. 엔비디아의 젠슨 황(Jensen Huang) 창립자 겸 CEO는 “엔비디아 블랙웰에서의 쿠다 가속 물리 시뮬레이션은 실시간 디지털 트윈을 개선하고 엔지니어링 프로세스 전반을 재구상하고 있다. 사실상 모든 제품이 물리적으로 구현되기 훨씬 전에 디지털 트윈으로 먼저 생성되고 생명력을 얻을 날이 다가오고 있다”고 말했다.

성공적인 유동 해석을 위한 케이던스의 CFD 기술 (17)   이번 호에서는 메시 어댑테이션(mesh adaptation)의 개념을 살펴보고, 피델리티 2024.1(Fidelity 2024.1)의 최신 메시 적응 기능을 소개한다. 또한 케이던스 피델리티(Cadence Fidelity)의 메시 어댑테이션의 장점과 모범 사례를 공유하고, 피델리티 2024.1에서 메시 어댑테이션을 사용할 때 중요한 고려 사항을 중점적으로 다룬다.    ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr     항공우주 및 방위 산업은 설계 프로세스를 가속화하는데 필수인 정확하고 효율적인 시뮬레이션을 보장하기 위한 과제를 계속 해결해 나가고 있다. 유동장 예측을 향상시키기 위해 메시 생성 프로세스를 자동화하는 다양한 기술이 개발되었다. 기존에는 전산 유체 역학(CFD)을 위한 메시를 생성하려면 물리학에 대한 깊은 이해와 복잡한 모범 사례를 준수해야 했기 때문에, 결과가 일관되지 않는 경우가 많았다. 이로 인해 특히 중요한 흐름 영역에서 성능이 과도하게 향상되거나 성능이 저하되는 그리드가 제대로 정제되지 않았다. 이 문제에 대한 잠재적인 해결책은 정확도를 개선하고 셀 수를 관리 가능한 수준으로 유지하는 아웃풋 기반 어댑티브 리메싱(Out-Put Based Adaptive Remeshing)이다.   메시 어댑테이션 소개 메시 조정에는 기존 메시를 변경하여 필수적인 흐름 특징을 보다 정확하게 캡처함으로써, 궁극적으로 계산 비용을 크게 늘리지 않고 시뮬레이션 결과를 개선하는 작업이 포함된다. 이 메시 조정 프로세스는 더 작은 셀 크기를 필요로 하는 중요한 흐름 특징이 있는 특정 영역을 타기팅하여 메시 개선 프로세스를 자동화한다. 이 최적화를 활용하면 정확도가 향상되고 관리 가능한 셀 수를 유지하여 전체 CFD 워크플로 처리 시간을 개선할 수 있다.   피델리티 2024.1의 메시 적용 피델리티 2024.1의 최신 업데이트는 피델리티 CFD의 밀도 기반 솔버(DBS) 기능을 향상시켜 피델리티 포인트와이즈(Fidelity Pointwise) 및 피델리티 헥스프레스(Fidelity Hexpress) 메시로 어댑티브 리메싱을 수행할 수 있도록 한다. 이 메시 개선 방식은 정확도와 성능을 개선하기 위해 절단 오차 추정치를 사용한다. 이는 포인트 클라우드 데이터 파일(pcd 파일)을 내보내면 메시를 수정할 위치를 알려주어 워크플로를 조정할 수 있다. 또한 리메싱 프로세스를 자동화하기 위해 새로운 파이썬 스크립트(Python Script)가 개발되었다. 시뮬레이션을 설정할 때 사용자는 특정 파라미터를 사용하여 메시 적응 기능을 활성화할 수 있다. 이 기능을 선택하면 시뮬레이션이 끝날 때 pcd 파일이 생성된다. 피델리티 CFD에는 리메싱 프로세스를 자동화하는 파이썬 스크립트가 포함되어 있어 메시 적응 워크플로를 간소화한다. 수동으로 리메싱을 수행하고 적응된 메시로 시뮬레이션 설정을 재설정하는 작업은 시간이 많이 소요되는 문제점이 있다. 케이던스 피델리티에서 이 문제점을 해결하기 위해 만들어진 파이썬 스크립트는 시뮬레이션부터 피델리티 포인트와이즈 또는 피델리티 헥스프레스의 리메싱까지 모든 메시 적응 단계를 자동화하여 이 과정을 간소화한다. 이 스크립트를 실행하는 방법은 일괄 실행 또는 GUI에서 실행하는 두 가지가 있다. 사용자는 수행할 총 리메싱 횟수를 지정하고 지정된 횟수 동안 워크플로를 실행할 수 있다.       ■ 자세한 기사 내용은 PDF로 제공됩니다.

  18　THEME. 디지털 전환을 이끄는 제품 개발・제조 기술의 혁신 혁신과 지속가능성을 위한 제조 기술로 진화하는 3D 프린팅 / 김태화 제품 개발 검증의 가속화를 위한 AI 시뮬레이션 프레딕터 / 이종학 최적설계의 대중화 : 더 쉽게 더 알차게 / 최병열 디지털 전환의 성공을 위한 CAE, AI/ML과 디지털 리얼리티 플랫폼 / 전완호   INFOWORLD   Editorial 17　엔지니어링 패러다임 전환 : AI+IoT가 이끄는 산업 혁신   People&Company 34　지멘스 디지털 인더스트리 소프트웨어 존 폭스 부사장　“솔리드 엣지 2025로 중소기업 제품 개발의 디지털화 도울 것”   New Products 37　제품 개발의 생산성 향상부터 SaaS 지원 확대까지　솔리드 엣지 2025 / 솔리드 엣지 X 40　산업 표준에 기반한 차세대 선박 설계 설루션　ShipConstructor 43　애니메이션/가상 프로덕션/모바일 게임 개발 기능 강화　언리얼 엔진 5.5 74　이달의 신제품   Culture 62　구글코리아가 만든 창의와 혁신의 축제, 2024 유튜브 웍스 어워즈 코리아   Case Study 48　언리얼 엔진으로 만든 버추얼 아이돌 플레이브　통합 시각화 파이프라인으로 새로운 경험 제공 53　적층제조를 활용한 외슬러의 제품 혁신　3D 프린팅과 래티스 디자인의 결합   On Air 55　캐드앤그래픽스 CNG TV 지식방송 지상중계　우주를 향한 기술 개발과 혁신의 미래 64　캐드앤그래픽스 CNG TV 지식방송 지상중계　인공지능 시대, 건축 기술의 혁신과 도전 과제   Focus 56　KOIIA 산업데이터스페이스 기술위원회 발족 세미나 개최 58　유니버설 로봇, 협동 로봇 기반의 자동화 플랫폼 비전 제시 60　델, 새롭게 진화할 2025년 AI 기술 전망 소개   Column 65　디지털 지식전문가 조형식의 지식마당 / 조형식　디지털 철학과 디지털 지속가능성을 시작하다 68　현장에서 얻은 것 No.19 / 류용효　AI와 PLM의 융합이 가져올 미래   72　New Books   Directory 131　국내 주요 CAD/CAM/CAE/PDM 소프트웨어 공급업체 디렉토리   CADPIA   AEC 75　BIM 칼럼니스트 강태욱의 이슈 & 토크 / 강태욱　생성형 AI 기반 BIM 전문가 시스템 개발해 보기 82　데스크톱/모바일/클라우드를 지원하는 아레스 캐드 2025 (9) / 천벼리　BIM 도면 분할 84　새로워진 캐디안 2025 살펴보기 (2) / 최영석　라이브 업데이트 기능 소개   Mechanical 87　제조 산업의 설계와 가공 혁신을 위한 기술 / 지더블유캐드코리아　ZWCAD LM/MFG, ZW3D를 통한 설계 프로세스 개선   Visualization 90　산업 분야를 혁신하는 실시간 3D의 힘 / 유니티 코리아　유니티를 활용한 산업 VR & AR 구현 전략과 비전   Reverse Engineering 98　시점 – 사물이나 현상을 바라보는 눈 (1) / 유우식　호기심   Analysis 105　성공적인 유동 해석을 위한 케이던스의 CFD 기술 (17) / 나인플러스IT　피델리티 CFD로 메시 어댑테이션 향상 108　제품 개발 혁신을 가속화하는 크레오 파라메트릭 11.0 (8) / 김성철　메커니즘 다이내믹 시뮬레이션 소개 114　앤시스 워크벤치를 활용한 해석 성공 사례 / 정세훈　해석 사례로 살펴보는 플루언트의 iFSI 기능 118　초보자에서 전문가까지 만족시키는 유동 해석 프로그램 시메릭스MP / 케이더블유티솔루션　시메릭스MP의 해석 과정 소개 122　모델 기반 개발의 추진 방법과 적용 사례 / 오재응　MBD의 기능에 기반한 플랜트와 제어 모델 연계 개발 128　모델링 및 시뮬레이션을 사용한 BMS 개발 / 이웅재　안전한 전기차 배터리 관리 시스템의 설계를 위한 M&S     캐드앤그래픽스 당월호 책자 구입하기   캐드앤그래픽스 당월호 PDF 구입하기

성공적인 유동 해석을 위한 케이던스의 CFD 기술 (16)   터보 기계는 흐르는 유체와 회전하는 요소 사이에서 에너지 전달이 일어나는 기계에 초점을 맞춘 기계공학의 한 분야이다. 이러한 장치는 많은 산업 분야에서 중추적인 역할을 한다.이번 호에서는 지오메트리 준비를 위한 팁과 메시의 생성/변형/세분화에 대한 내용을 소개한다.    ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr   효과적인 지오메트리 준비를 위한 팁 지오메트리 생성 후에는 안정적인 터보 기계 시뮬레이션을 달성하기 위해 효과적인 모델 준비가 필수이다. 이 프로세스를 관리하는 데 도움이 되는 팁을 다음과 같이 소개한다.  지오메트리 정리 및 수리 : CAD 모델에서 틈새, 겹침 또는 중복된 가장자리를 복구한다. 양질의 메시를 생성하려면 깨끗하고 빈틈없는 지오메트리가 필요하다.  메시 최적화 : 날카로운 모서리나 모서리에 필렛을 추가하고 지오메트리를 분할하여 로컬 메시를 세분화할 수 있도록 한다.  가능한 경우 단순화 : 연구 중인 유동 물리학에 필수적이지 않은 작은 피처와 디테일을 제거한다.  매개변수화 : 설계 연구를 위해 치수를 쉽게 변경할 수 있도록 지오메트리를 매개변수화한다. 이러한 팁을 따르면 엔지니어는 터보 기계 형상이 최고 수준의 표준에 맞게 준비되었다고 확신할 수 있다.   메시 생성 지오메트리 생성 및 준비 외에도 전처리에는 복잡한 형상을 위한 메시 생성이 포함되며, 이는 종종 터보 기계 CFD 워크플로의 병목 현상이 된다. 터보 기계 구성 요소의 복잡성과 작동의 동적 특성으로 인해, 정확한 시뮬레이션 결과를 얻기 위해서는 정밀하고 잘 구성된 메시가 필요하다. 자동화 및 템플릿 기반 접근 방식을 활용하면 이 단계의 효율성을 높이고 전반적인 생산성을 높일 수 있다.   메시 생성의 기본 사항 메시 생성은 계산 영역을 셀 또는 요소라고 하는 작은 영역으로 세분화하여 그 위에 지배 방정식을 푸는 프로세스이다. 잘 구성된 그리드는 필수적인 흐름 특징과 물리적 현상을 포착하는 정확하고 효율적인 터보 기계 시뮬레이션을 보장한다. [참고] 피델리티 오토메시를 통한 향상된 터보 기계 메싱 피델리티 오토메시(Fidelity Automesh) 소프트웨어 패키지는 회전 기계 메싱을 위한 툴로, 피델리티 오토그리드를 통한 자동화된 멀티블록 구조형 메싱과 피델리티 헥스프레스를 통한 비정형 메싱 기능을 제공한다. 모든 유형의 터보 기계 애플리케이션을 위한 템플릿을 갖춘 이 설루션은 메시 프로세스를 간소화하여 복잡한 지오메트리를 손쉽게 처리하고 고품질 메시를 빠른 시간 내에 제공한다. 피델리티 오토메시로 시뮬레이션 워크플로를 가속화하여 설계 혁신과 최적화에 집중할 수 있다.   그림 1. (a) 풍력 터빈의 구조화된 메시, (b) 로터 블레이드 팁의 하이브리드 메시   메시 유형 터보 기계 시뮬레이션에 사용되는 주요 메시 유형과 기법은 다음과 같다.  Structured : 일정한 간격의 그리드 포인트로 구성된 구조화된 메시(그림 1-a)는 일관된 패턴을 사용하며, 종종 격자형 구조와 유사하다. 예측 가능한 흐름 패턴이 있는 영역에서는 고품질 해상도를 제공하지만, 복잡한 지오메트리에서는 구현하기가 어려울 수 있다.  멀티블록 : 계산 도메인은 구조화된 격자로 개별적으로 메시 처리된 여러 개의 간단한 블록으로 나뉜다. 이 방법을 사용하면 복잡한 도형에 대해 국소적인 세분화가 용이하고 그리드를 쉽게 생성할 수 있다.  Unstructured : 이러한 메시는 불규칙한 패턴으로 구성되며 2D에서는 삼각형, 3D에서는 사면체로 구성되는 경우가 많다. 복잡한 형상에 적합한 비정형 메시는 복잡한 모델에 쉽게 적용할 수 있지만, 중요한 흐름 영역에서 해상도가 저하되는 경우가 있다.  Hybrid : 구조화된 메시와 구조화되지 않은 메시의 장점을 결합한 하이브리드 메시(그림 1-b)는 경계 레이어와 같이 더 높은 해상도가 필요한 영역에는 구조화된 그리드를 사용하고, 복잡한 기하학적 영역에는 구조화되지 않은 그리드를 사용한다.  Conformal : 이 기술은 지오메트리의 여러 부분에 걸쳐 메시가 연속되도록 하여 인접한 메시 블록 사이의 간격과 중첩을 제거한다. 컴프레서나 터빈의 블레이드와 같이 간격이 좁은 구성 요소 사이의 흐름을 정확하게 캡처하는 데에 필수이다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

성공적인 유동 해석을 위한 케이던스의 CFD 기술 (14)   항공 음향학은 난류 유체 운동 또는 표면과 공기역학적 힘의 상호작용으로 인한 소음 발생을 연구하는 학문이다. 이번 호에서는 효과적인 항공 음향 시뮬레이션을 위한 전략과 실제 사례에 대해 살펴본다.    ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr   경계 및 초기 조건 지오메트리 및 메시 프로세스에 이어 음파가 반사되지 않고 빠져나갈 수 있는 경계를 지정한다. 일반적인 방법으로는 변수를 감쇠시켜 경계 반사를 방지하는 스펀지 레이어 또는 파동을 기하급수적으로 감쇠시키는 비반사 레이어인 PML(Perfectly Matched Layers : 완벽하게 일치하는 레이어)이 있다. 그런 다음 흐름 시나리오에 따라 유입, 유출, 벽 및 기타 조건을 설정한다. 시뮬레이션 유형에 따라 초기 흐름 또는 노이즈 필드를 제공해야 할 수도 있다.   솔버 선택 솔루션 전략은 문제의 복잡성, 원하는 정확도, 사용 가능한 리소스에 따라 선택해야 한다. 케이던스의 피델리티 찰스(Fidelity CharLES)는 시간 의존적인 간접 LES(Large Eddy Simulation) 방법론을 활용한다. 이러한 과도 시뮬레이션의 경우 가장 높은 관심 주파수를 포착하는 시간 간격을 선택하여 시간적 해상도가 충분한지 확인한다.   음향 유추 및 소스 올바른 음향 모델을 사용하는 것은 항공 음향 시뮬레이션의 정확성과 신뢰성을 위한 기본이다. 적절한 음향 유추는 소음원의 특성과 문제의 특정 요구 사항에 따라 결정되는 경우가 많다. 따라서 시뮬레이션에 올바른 소스 조건을 통합하는 것은 소음 발생으로 이어지는 물리적 현상을 나타내므로 매우 중요하다. 일부 시뮬레이션, 특히 직접 방법론(direct methods)을 사용하는 시뮬레이션에서는 와류 방출 또는 경계층 상호 작용과 같은 물리적 프로세스를 나타내는 명시적인 소스를 도입해야 할 수도 있다. 간접 방법에서는 소스 조건이 계산된 유동장에서 파생되는 경우가 많다. 예를 들어, 난류 통계는 RANS(Reynolds Averaged Navier-Stokes) 시뮬레이션에서 추출한 다음 항공 음향학적 유추에서 소스 조건으로 사용할 수 있다. 이러한 소스 용어가 작용하는 위치를 정확하게 정의하는 것이 중요하다. 회전하는 기계와 관련된 시나리오에서는 블레이드에 가까운 영역이 주요 소스 영역으로 지정될 수 있다.   후처리와 최적화 항공 음향 시뮬레이션을 수행하려면 전처리 및 시뮬레이션 단계만큼이나 후처리 및 최적화 단계도 중요하다. 계산이 완료되면 방대한 데이터 세트가 기다리고 있다. 피델리티 찰스는 시뮬레이션 데이터에 숨겨진 의미 있는 정보를 추출하는 데에 도움이 되도록 다음과 같은 후처리 도구를 제공하며, 모두 한 가지 목표를 염두에 두고 설계되었다. Quantitative Imaging : 시뮬레이션에서 직접 정량적 PNG 이미지를 생성한다. Modal Decomposition : 흐름과 음향 필드를 개별 모드로 분해한다. Ffowcs Williams-Hawkings Acoustic Predictions : 원거리 데이터에서 근거리 소음을 예측한다.   그림 1. 효율적인 초음속 비행체(ESAV)의 마하수 윤곽선 플롯   피델리티 찰스는 데이터 분석 기능을 제공할 뿐만 아니라 <그림 1>에 표시된 것처럼 시뮬레이션 데이터에 생명을 불어넣는 플롯, 등고선 지도, 그래픽 표현과 같은 고급 시각화 도구도 제공한다. 등고선 및 표면 플롯을 통해 압력 및 속도 필드에 대한 인사이트를 얻어 흐름 특징과 노이즈 원인을 정확히 파악할 수 있다. 스펙트로그램과 주파수 플롯을 사용하면 공명하는 톤 사운드와 혼란스러운 광대역 노이즈를 구분하는 데에 도움이 될 수 있다. 파티클 추적과 유선형 플롯은 난류 구조, 와류 및 기타 노이즈 생성 현상에 대한 그림을 그리는 또 다른 깊이 있는 레이어를 추가한다. 더 자세히 살펴보면, 특정 작업이나 프로세스를 사용자 지정 및 자동화하고, 변수 및 방정식을 생성하여 음압 레벨(SPL : Sound Pressure Level) 또는 난기류 강도 등 파생된 수치를 계산하여 시각적 인사이트를 정량화하기 위한 파이썬 API(Python API)와 내장 식 평가기를 찾을 수 있다. SPL과 같은 지표는 음향 핫스팟을 강조하며, 전체 음압 레벨(OASPL : Overall Sound Pressure Level)은 지정된 주파수 범위의 총 SPL을 측정한 값이다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

성공적인 유동 해석을 위한 케이던스의 CFD 기술 (13)   항공 음향학은 난류 유체 운동 또는 표면과 공기역학적 힘의 상호작용으로 인한 소음 발생을 연구하는 학문이다. 이번 호에서는 지난 호에 이어, 항공 음향 시뮬레이션과 관련된 구체적인 과제 및 기법에 대해 살펴본다.   ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr   Validation and Verification 모든 시뮬레이션과 마찬가지로, 실험 데이터 또는 분석 솔루션과 비교하여 결과를 검증하고 검증하는 것은 매우 중요하다. 이를 통해 시뮬레이션 결과의 정확성과 신뢰성을 보장할 수 있다. 검증은 계산 솔루션이 기본 수학적 모델을 정확하게 나타내는지 여부를 결정하는 과정과 관련이 있다. 반면에 검증은 수학적 모델이 물리적 현실을 얼마나 잘 포착하는지 평가한다. 검증의 주요 측면은 다음과 같이 그리드 수렴, 솔루션 일관성 및 코드 비교이다. Grid Convergence : 다양한 그리드 해상도에서 시뮬레이션(그림 1)을 수행하여 솔루션이 그리드 독립적인 상태에 접근하고 있는지 확인할 수 있다. 이는 그리드 이산화로 인한 수치 오류를 최소화하는 데 필수이다. Solution Consistency : 시간 단계, 초기 조건 또는 경계 조건과 같은 매개 변수가 약간 변경되었을 때 솔루션이 예상대로 작동하는지 평가하는 작업이 포함된다. Code Comparisons : 동일한 문제를 다루는 여러 시뮬레이션 코드의 결과를 평가(코드 간 비교)하면 솔루션의 일관성과 신뢰성에 대한 통찰력을 얻을 수 있다. 검증 외에도 시뮬레이션을 검증하는 주요 방법은 물리적 실험, 벤치마크 문제 및 불확실성 정량화를 통해 이루어진다. Physical Experimentation : 연구자는 시뮬레이션 결과를 실험 데이터와 비교하여 실제 시나리오에 대한 계산 모델의 충실도를 측정할 수 있다. Benchmarking Problems : 분석적 또는 널리 사용되는 솔루션이 존재하는 표준 문제에 대한 벤치마킹은 새롭거나 변경된 시뮬레이션 설정의 성능을 측정할 수 있는 수단을 제공한다. Uncertainty Quantification : 측정 오류, 모델 근사치 또는 경계 조건 추정에서 비롯된 불확실성을 인식하고 정량화하는 것은 중요하다. 이를 통해 시뮬레이션 결과에 대한 신뢰도를 보다 명확하게 파악할 수 있다.   그림 1. 고밀도 모터사이클 메시   항공 음향 시뮬레이션의 과제 항공 음향 시뮬레이션은 유체 역학 및 음향 현상을 포착하기 어렵기 때문에 수많은 과제를 안고 있다. 몇 가지 주요 과제는 다음과 같다. Wide Range of Scales : 항공 음향 현상은 광범위한 공간적, 시간적 스케일에 걸쳐 있다. 음파의 파장은 밀리미터에서 미터까지 다양하며, 소리를 생성하는 난류 구조의 크기도 매우 다양하다. 이러한 모든 스케일을 캡처하려면 매우 미세한 그리드 해상도와 긴 시뮬레이션 시간이 필요하다. Acoustic Wave Amplitudes : 관심 있는 항공 음향 신호는 난류의 유체 역학적 압력 변동보다 훨씬 낮은 진폭을 갖는 경우가 많다. 이러한 미묘한 음향파를 지배적인 흐름 구조와 구별하는 것은 어려운 일이다. Far-Field Propagation : 국부적인 공기역학 소스에 의해 생성된 소리는 먼 거리까지 전파될 수 있다. 소음원부터 멀리 떨어진 관찰자까지 전체 도메인을 시뮬레이션하려면 계산이 꽤 많이 소요된다. Complex Geometries : 실제 항공 음향 문제는 항공기 엔진이나 차량 외관과 같이 복잡한 기하학적 구조를 포함하는 경우가 많다. 이러한 형상을 모델링하고 유체 흐름과 소리 전파에 미치는 영향을 모델링하면 시뮬레이션이 복잡해진다. Boundary Conditions : 적절한 경계 조건의 선택과 구현은 매우 중요하다. 부정확하거나 지나치게 단순한 경계 조건은 허위 반사 또는 기타 비물리적 동작을 유발할 수 있다. Transient Nature : 많은 항공 음향 문제는 본질적으로 불안정(unsteady)하기 때문에 Transient 시뮬레이션이 필요하다.(그림 2) 이로 인해 계산적인 노력이 증가하고 통계적으로 의미 있는 결과를 얻기가 어렵다. Nonlinear Interactions : 많은 시나리오에서, 특히 높은 소음 수준에서는 비선형 공기역학적 및 음향학적 상호 작용이 발생한다. 이러한 비선형성을 시뮬레이션하려면 세부 사항과 계산 리소스에 대한 추가적인 주의가 필요하다. Multiphysics Interactions : 경우에 따라 항공 음향 시뮬레이션은 열 전달이나 연소와 같은 다른 물리적 효과도 고려해야 하므로 시뮬레이션 설정이 더욱 복잡해질 수 있다. Numerical Dissipation : 수치적 방법은 인위적인 소멸을 도입하여 관심 있는 음향 신호를 감쇠 시키거나 완전히 억제할 수 있다. 이러한 모든 문제는 항공음향을 정확하고 효율적으로 시뮬레이션하는데 따르는 복잡성을 강조한다. 이러한 과제를 해결하기 위한 노력은 이 분야의 지속적인 발전을 이끌며 계산 능력과 방법론의 경계를 넓혀 왔다.   그림 2. 일시적인 특성을 강조하는 비행 중인 항공기의 LES   항공 음향 시뮬레이션을 위한 솔루션 실제 엔지니어링 과제를 해결하든 기초 연구를 하든 올바른 시뮬레이션 소프트웨어를 선택하는 것은 매우 중요하다. 항공 음향 분야에서 정확하고 효율적인 시뮬레이션을 지원하는 소프트웨어 도구가 등장했다.  케이던스(Cadence)의 유동 시뮬레이션 소프트웨어인 피델리티 찰스(Fidelity CharLES)는 항공 음향을 포함한 고충실도 유동 분석을 위해 설계되었다. 찰스는 소산과 분산을 최소화하면서 불안정한 흐름을 시뮬레이션할 수 있는 최첨단 수치 기법과 모델을 통합하여 LES(Large Eddy Simulation)의 잠재력을 활용한다. 유한 체적법에 기반한 다양한 솔버 공식을 사용하여 저속, 고속 및 반응 유동을 포함한 다양한 유동 조건을 캡처하여 최적의 성능을 제공한다.     ■ 자세한 기사 내용은 PDF로 제공됩니다.

성공적인 유동 해석을 위한 케이던스의 CFD 기술 (10)   이번 호에서는 CFD에 유한요소법을 활용해 더 적은 요소 수로 해석 정확도를 높일 수 있는 곡선형 혼합 오더 메시(Mixed Order Mesh)를 생성하는 방법을 살펴본다.   ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr   High-Order 메시 커브는 전산유체역학(CFD) 솔버 커뮤니티에서 유한요소법(FEM)을 활용하는 사람들에게 큰 도움이 될 새로운 기술이다. 유한요소기법은 유한 체적 및 유한 미분 방법과 같은 기존 CFD 방법보다 적은 요소 수로 정확도를 높인다. 선형 요소의 가장자리, 면, 내부에 버텍스(새로운 자유도)를 추가로 도입하여 정확도를 높일 수 있다. 곡선 지오메트리에 인접한 요소의 경우 이러한 새로운 자유도가 지오메트리에 위치해야 하므로 원래 선형 요소의 모양이 변경된다. 메시가 점성이 있는 경계를 향해 요소들이 모여 있는 경우 이 과정은 더 어렵다. 또한 내부 요소의 가장자리와 면은 요소 반전을 방지하기 위해 경계 요소 곡률에 따라 곡선을 만들어야 한다. 케이던스 피델리티 포인트와이즈(Cadence Fidelity Pointwise)에서 사용하는 WCN 스무딩에 대한 연구를 통해 혼합 오더 메시(Mixed Order Mesh)를 사용하여 지오메트리 곡률을 해결할 수 있다. 요소는 곡률이 심한 지오메트리 근처에서는 최대 4차 다항식(quartic)까지 올라갈 수 있으며, 곡률이 심한 지오메트리에서 멀리 떨어진 곳에서는 선형을 유지한다. 메시 평활화 방법은 비용 함수를 사용하여 원하는 요소 모양과 양의 자코비안을 각 요소에 적용한다. 요소가 지오메트리 근처에서 곡선이 될 때 점성 메시 간격이 유지된다. 결과는 복잡한 3D 구성에 대해 표시된다.   지오메트리 선형 메시를 올리고 표면 곡률에 따라 곡선을 그리려면 지오메트리에 쉽게 액세스하고 강력한 초기화 및 평활화 프로세스가 필요하다. 초기화 중에 고차 노드가 지오메트리에 정확하게 배치되고 메시 평활화 중에 표면에 유지되도록 하려면, 지오메트리에 대한 표면 검색작업이 필요하다. 엘리베이트 및 스무딩을 위한 지오메트리 액세스는 메시링크 API¹) 를 통해 제공된다. 메시링크는 지오메트리 및 메시 데이터를 관리하기 위한 라이브러리로, 메시 생성 및 메시 적응 애플리케이션과 관련된 함수를 쿼리할 수 있는 간단한 인터페이스를 제공한다.   혼합 오더 커브 프로세스 혼합 오더 메시 커브는 유효한 선형 메시로 시작하는 프로세스를 사용한다. 프로세스의 주요 구성 요소는 <그림 1>의 순서도에 나와 있다. 이 백서 전체에서 요소의 차수 또는 다항식 차수는 선형, 이차, 입방체와 같은 Q1~4 명명법을 사용하여 표시되며, 이차 요소는 각각 Q1, Q2, Q3, Q4이다. 고차 요소는 라그랑지안 기저 함수를 사용하여 요소의 가장자리, 면, 내부에 고차 노드를 고르게 분포시킨다. 이러한 물리적 노드는 하위 요소와 요소 모양을 적용하기 위해 WCN 방식에 필수이다.   그림 1. 혼합 오더 메시 커브 프로세스의 순서도에는 가장 안쪽 고도 루프를 통과하는 여러 경로가 포함되어 있다. 진입 지점에 따라 색상으로 구분된 화살표를 따라가게 된다.   고도 프로세스는 입력된 선형 메시에서 시작하여 사용자가 요청한 최종 차수인 Qfinal에 도달할 때까지 최대 차수인 Qmax를 한번에 하나씩 증가시킨다. 각 차수 패스동안 먼저 표면 요소와 볼륨 요소의 편차를 테스트한다. 고차 점이 지오메트리에서 너무 많이 벗어나는 서피스 요소(허용 오차 기준)는 높이가 올라가고, 그 섭동이 볼륨에 퍼진다. 마지막으로, 요소 반전을 수정하고 엘리베이션 프로세스에서 생성된 요소의 품질을 개선하기 위해 WCN 메시 스무딩이 수행된다. 각 스무딩 반복 후 각 볼륨 요소의 편차를 다시 테스트하여 추가 높이 조정이 필요한지 여부를 결정한다. 이 프로세스는 모든 요소가 편차 기준을 충족하거나 최종 정도에 도달할 때까지 반복되며, 메시 평활화 프로세스가 수렴한다. 품질 제약 조건은 인접한 요소가 한 차수 이상 차이가 나지 않도록 보장한다. 최종 출력은 같은 차수의 요소 간에 공유되는 고차 노드가 포함된 메시이다. 그러나 차수가 다른 요소 간에 공유되는 면과 가장자리는 동일한 인터페이스 노드를 공유하지 않다. 따라서 내보내기 전에 이러한 인터페이스에서 형상 적합성을 적용한다.   요소 편차 메트릭 편차 메트릭(Deviation Metric)은 엘리먼트 엘리베이션 프로세스 및 메시 스무딩 프로세스의 일부로, 엘리먼트 엘리베이션 프로세스를 제어한다. 편차 메트릭은 곡선 경계 또는 다른 볼륨 요소에 인접한 요소의 가장자리와 면에 있는 테스트 노드의 변위를 측정한다. 이러한 테스트 노드의 변위가 임계값 거리를 초과하면 해당 요소에 상승 플래그가 지정된다. 높이를 트리거하는 임계값은 요소 내의 최소 선형 에지 길이에 입력 편차 임계값 파라미터(일반적으로 1~5%)를 곱한 값이다.   서피스 요소 편차 곡선 경계에 인접한 요소의 경우 편차 메트릭은 6차 가우스 구적법 점 위치에 배치된 테스트 노드를 사용한다. 그런 다음 테스트 노드를 지오메트리에 투영하고, 원래 위치와 투영된 위치 사이의 거리를 측정한다. 편차량은 <그림 2>에서 선형 삼각형의 중심(청록색)에 있는 테스트 노드를 곡선 지오메트리 표면(주황색)에 투영하여 보여준다.   그림 2. 지오메트리에 투영된 표면 요소의 중심에 있는 테스트 노드     ■ 자세한 기사 내용은 PDF로 제공됩니다.

성공적인 유동 해석을 위한 케이던스의 CFD 기술 (8)   전산 유체 역학(CFD) 시뮬레이션은 긴 설계 주기를 단축하고 비용이 많이 드는 실험 횟수를 줄이기 위해 널리 사용되어 왔다. 하지만 기존 CFD 솔버 기술과 컴퓨팅 리소스의 정확도와 속도 제한으로 인해 CFD 분석의 잠재력이 제한되었다. 이러한 문제로 인해 일반적으로 CFD 사용자는 효율적인 가상 엔지니어링을 수행하지 못했다. 턴키 CFD 솔루션인 케이던스 밀레니엄 M1(Millennium M1) CFD 슈퍼컴퓨터는 대형 와류 시뮬레이션(LES)을 위한 케이던스 피델리티(Fidelity) LES 솔버와 같은 그래픽 처리 장치(GPU) 상주 CFD 솔버와 확장 가능한 고성능 컴퓨팅(HPC) 하드웨어의 조합으로 이러한 장애물을 극복하여 전례 없는 성능을 발휘한다. 고품질 합성 데이터의 신속한 생성을 통해 제너레이티브 AI(generative AI)는 정확도 저하 없이 최적의 시스템 설계 솔루션을 빠르게 식별할 수 있다.   ■ 자료 제공 : 나인플러스IT, www.vifs.co.kr   밀레니엄 M1은 처리 시간을 며칠에서 몇 시간으로 단축하여 항공우주, 자동차, 발전 및 터보 기계 애플리케이션에서 LES의 실제 적용 범위를 확장한다.   그림 1. 케이던스 밀레니엄 M1 CFD 슈퍼컴퓨터   밀레니엄 M1의 주요 효과 밀레니엄 M1은 설계 시간 및 컴퓨팅 리소스 절약 효과를 가져다줄 수 있다.   GPU 가속  고성능의 GPU 상주 CFD 솔버가 최저 전력 소비로 빠른 시간 내에 결과를 제공한다.   턴키 솔루션 바로 사용할 수 있는 단일 CFD 슈퍼컴퓨팅 솔루션을 위해 피델리티 CFD 소프트웨어와 HPC 하드웨어를 결합한다.   최적화된 성능 확장 가능한 HPC 아키텍처와 최신 GPU 상주 솔버가 최적의 시스템 성능을 위해 튜닝되었다.   뛰어난 확장성  빠른 처리 시간을 위해 애플리케이션에 따라 스택형 컴퓨팅 노드를 확장할 수 있다.   표 1. 밀레니엄 M1은 자동차, 항공우주 및 터보 기계 애플리케이션을 위한 당일 시뮬레이션 처리 시간을 제공한다.   밀레니엄 M1의 특징 밀레니엄 M1은 CFD 슈퍼컴퓨팅을 위한 통합 하드웨어 및 소프트웨어 플랫폼이다.   GPU 가속 GPU 가속화는 항공우주, 자동차, 터보 기계 및 기타 여러 산업에 막대한 영향을 미치며 고충실도 CFD를 혁신하고 있다. CFD에 GPU 컴퓨팅을 활용하면 엔지니어링 효율성을 높일 수 있다. 주어진 컴퓨팅 투자에 대해 피델리티 LES 솔버는 CPU 대비 최대 10배의 처리량 증가를 제공한다. 고정된 시뮬레이션 처리량의 경우, CPU 컴퓨팅 대비 GPU 컴퓨팅의 에너지 요구량 감소는 약 17배이다.   그림 2. 합동 타격 미사일(JSM) 기체용 밀레니엄 M1의 피델리티 LES 확장성 확장성 밀레니엄 M1은 외부 공기역학 및 항공 음향에서 연소 및 다중 물리학에 이르기까지 애플리케이션 전반에 걸쳐 거의 선형에 가까운 확장을 제공한다. 이 제품은 두 개의 GPU 노드에서 14시간 이내에 착륙 구성의 실제 항공기를 정확하게 시뮬레이션하는 등, 빠른 시간 내에 결과를 얻을 수 있는 대규모 LES 시뮬레이션을 지원한다.   고충실도 LES 밀레니엄 M1의 피델리티 LES 솔버는 고급 수치 방법과 모델을 결합하여 GPU 가속을 통해 비용 효율적이고 높은 처리량의 시뮬레이션을 제공한다. 고유한 솔버 이산화가 최신 서브 그리드 스케일 및 벽 모델링과 결합되어 그리드 해상도에 높은 견고성을 제공하는 LES 기능을 제공한다.   그림 3. 다양한 메시 크기에 대한 샌디아 플레임 D 실험과 Fidelity CharLES 결과 비교     ■ 자세한 기사 내용은 PDF로 제공됩니다.

케이던스 디자인 시스템즈는 디지털 트윈의 다중물리(멀티피직스) 시스템 설계 및 분석을 가속화할 수 있는 ‘케이던스 밀레니엄 엔터프라이즈 다중물리 플랫폼(Cadence Millennium Enterprise Multiphysics Platform)’을 발표했다. 1세대 플랫폼인 케이던스 밀레니엄 M1(Cadence Millennium M1)은 하드웨어 및 소프트웨어 솔루션을 결합해 고성능 CFD(전산유체역학) 시뮬레이션을 가속화한다. GPU를 탑재한 HPC 하드웨어와 최적화된 GPU 가속화(Acceleration) 및 생성형 AI를 활용할 수 있는 케이던스 고성능 피델리티 CFD(Cadence high-fidelity CFD) 소프트웨어가 턴키로 포함된 것이 특징이다. 밀레니엄 M1은 통합 클러스터로 융합하여, 복잡한 기계 시스템을 시뮬레이션할 때 빠른 TAT(Turnaround Time)과 거의 선형에 가까운 확장성을 고객에게 제공하는 것이 목표이다. 자동차, 항공우주 및 방위산업, 에너지 및 터보기계 등 산업에서는 성능과 효율면에서 새로운 차원의 기계 시스템을 설계하는 것이 핵심적인 우선 과제가 되었다. 자동차 설계자들은 성능을 최적화하고 온실가스를 줄이기 위해 연비 개선, 항력 및 소음 감소, 전기 자동차 주행 거리 연장에 집중하고 있다. 또한 A&D 및 터보기계 설계 엔지니어들에게는 효율 향상, 탄소 배출량 감소, 유지보수 빈도를 줄이는 것이 중요하다. 이런 목표를 달성하기 위해서는 다중물리 시뮬레이션 기술의 발전이 필수적이다. 속도, 정확성, 용량 및 계산 속도를 가속화하는 것은 디지털 트윈 시뮬레이션에 필수 요소로서, 프로토타입을 개발하고 테스트하기에 앞서 의도한 대로 작동할 수 있다는 확신을 줄 수 있는 설계 혁신의 원동력이 된다.   ▲ 이미지 출처 : 케이던스 웹사이트   GPU 내장 CFD 솔버와 전용 GPU 하드웨어를 결합한 케이던스 밀레니엄 플랫폼은 최대 1000개의 CPU 코어로 GPU당 슈퍼컴퓨터급의 처리량을 제공한다. 동급 CPU 대비 향상된 에너지 효율로 몇 주가 걸리던 처리 시간을 몇 시간으로 단축할 수 있게 지원한다.  케이던스 피델리티 CFD 솔버는 복잡한 시뮬레이션 문제를 해결할 수 있으며 높은 정확도를 제공한다. 밀레니엄 플랫폼은 확장형 아키텍처와 유연성을 갖춘 피델리티 솔버를 통해 여러 GPU 노드에서 선형에 가까운 확장성을 제공한다. 또한, 생성형 AI를 접목한 디지털 트윈은 고품질의 다중물리 데이터를 빠르게 생성하고, 생성형 AI가 최적의 시스템 설계 솔루션의 디지털 트윈 시각화를 안정적으로 생성할 수 있다. 케이던스는 밀레니엄 플랫폼이 주요 공급업체의 GPU를 바탕으로 클라우드 환경에서 8개 이상의 GPU를 구성하거나 온프레미스 환경에서 최소 32개 GPU를 구성할 수 있으며, 고객이 원하는 구성 방식을 적용할 수 있는 유연하고 확장성 높은 솔루션을 제공한다고 소개했다. 케이던스의 밴 구(Ben Gu) 다중물리 시스템 분석 R&D 부사장은 “케이던스는 35년의 역사를 통해 매우 어려운 컴퓨팅 분야에서 정확성을 유지하면서 동시에 계산 속도를 향상시키는데 주력해 왔다. 알고리즘 처리량은 여전히 핵심 우선순위이며 이제 우리는 생성형 AI를 활용하여 방대한 양의 설계 및 시뮬레이션 데이터에서 정보를 추출하고 있다”면서, “밀레니엄 플랫폼은 디지털 트윈 및 AI 애플리케이션의 가속화와 확장성을 제공하는 거대한 도약이며, CFD는 성능과 효율이 향상되면서 아주 유용하게 활용될 준비를 마쳤기 때문에 밀레니엄 M1의 뛰어난 성능은 빠른 제품을 출시를 해야 하는 산업계에 혁신을 가져올 것”이라고 전했다.