Valentis 메타모델
— 적응형 샘플링부터 전체 출력 예측까지

앞선 두 글에서는 메타모델(서로게이트 모델, Surrogate Model)이 무엇인지, 그리고 어떤 메타모델을 선택해야 하는지 살펴봤다.

이번 글에서는 한 단계 더 들어가, Valentis 메타모델 기능을 실제로 어떻게 사용하는지를 다룬다. 데이터를 불러오는 순간부터 정확도 검증, 부족한 영역에 대한 샘플 보강, 그리고 모든 출력값을 한 번에 예측하는 과정까지 전체 흐름을 살펴본다.

메타모델은 “한 번 학습하고 끝나는” 기능이 아니다. 학습 → 검증 → 보강 → 재학습의 반복 속에서 신뢰할 수 있는 모델이 만들어진다. Valentis는 이 반복 과정을 하나의 화면 안에서 수행할 수 있도록 구성되어 있다.

1. 데이터 불러오기 — 두 가지 경로

메타모델을 학습하려면 입력 변수와 출력 결과가 짝지어진 데이터가 필요하다. Valentis는 두 가지 경로를 제공한다.

① 데이터 변환(Data Transposition) 연동 앞 단계에서 시나리오 해석 결과를 Valentis로 정리해 두었다면, Use Data Transposition 버튼 한 번으로 입력·출력 데이터를 그대로 가져올 수 있다. 별도의 CSV 파일을 다시 만들 필요가 없다.

② CSV 직접 불러오기 INPUT 파일과 OUTPUT 파일을 각각 지정해 불러올 수도 있다. 다른 CAE 도구에서 정리한 데이터도 이 방식으로 바로 학습에 사용할 수 있다.

데이터가 불러와지면 입력 변수와 출력 항목이 자동으로 인식되고, 이후 모델 설정과 시각화 축 선택에 반영된다.

2. 모델 학습 — 교차검증으로 정확도를 함께 본다

Model Settings에서 학습할 메타모델을 선택한다. 모델은 세 그룹으로 구분된다.

• Statistical — Isotropic Kriging (GPR · Matern 5/2), Polynomial Regression, Linear Regression
• Machine Learning — Random Forest, Gradient Boosting
• Deep Learning — Neural Network (MLP)

Polynomial을 선택하면 Polynomial Degree(1~4차) 설정이 나타난다. 또한 CV Folds(k) 값으로 교차검증 분할 수를 지정할 수 있다. 기본값은 5다.

Train Model을 실행하면 모델 학습과 교차검증이 함께 수행되고, 다음 지표가 표시된다.

• CoP (Coefficient of Prognosis) — 학습에 사용하지 않은 데이터에 대한 설명력. 메타모델 품질을 판단하는 핵심 지표
• RMSE / NRMSE — 평균 제곱근 오차와 정규화 오차
• MAE / NMAE — 평균 절대 오차와 정규화 오차

여기서 중요한 점은, 이 지표들이 단순한 학습 R²가 아니라 교차검증 기반 평가값이라는 것이다.

Kriging처럼 학습 데이터를 매우 잘 따라가는 모델은 학습 성능만 보면 과도하게 좋아 보일 수 있다. 하지만 실제로 중요한 것은 학습에 사용하지 않은 새로운 데이터에 대해 얼마나 잘 예측하는가다. 교차검증은 이 일반화 성능을 확인하기 위한 과정이다.

함께 표시되는 Predicted vs Actual 그래프 역시 교차검증 결과를 기준으로 한다. 점들이 대각선에 가까울수록 예측값이 실제 해석 결과와 잘 맞는다는 뜻이다.

3. 응답면 시각화 — 설계 공간을 눈으로 본다

학습이 끝나면 Response Surface에서 입력 변수 두 개(X₁, X₂)와 출력 하나(Z)를 선택해 3D 응답면을 확인할 수 있다.

곡면 위에는 학습 데이터가 두 가지로 구분되어 표시된다.

• Train (80%) — 파란 점
• Test (20%) — 주황 다이아몬드

각 점에 마우스를 올리면 케이스 번호와 잔차의 절댓값(|Residual|)을 확인할 수 있다. 이를 통해 어느 영역에서 모델이 잘 맞고, 어느 영역에서 예측 오차가 커지는지 직관적으로 파악할 수 있다.

축을 바꾸면 응답면이 즉시 다시 그려진다. 변수 조합을 바꿔가며 설계 공간 전체의 경향을 시각적으로 탐색할 수 있다.

4. 전체 출력 예측 — 한 번에 모든 결과를

메타모델의 가장 직접적인 활용은 새로운 입력 조건에 대한 결과를 즉시 예측하는 것이다.

Valentis는 화면에서 선택한 출력 하나만 학습하는 것이 아니라, 모든 출력에 대해 개별 메타모델을 함께 학습한다. 따라서 Predict 패널에 입력값을 넣으면 모든 출력의 예측값이 한 번에 리스트로 표시된다. 현재 응답면에서 보고 있는 출력은 파란 배경으로 강조된다.

예측을 실행하면 3D 응답면 위에 빨간 다이아몬드 마커가 표시된다. 이를 통해 예측 지점이 응답면의 어느 위치에 놓이는지도 함께 확인할 수 있다.

여섯 모델 모두 예측값과 함께 불확실성(σ)을 제공하며, 예측값 옆에 ± σ 형태로 표시된다. 다만 σ를 산출하는 방식은 모델 계열마다 다르다.

• Kriging — 가우시안 프로세스의 사후 표준편차
• Polynomial, Linear Regression — 회귀 표준오차
• Random Forest, Gradient Boosting, Neural Network — 앙상블 구성원 간 예측 산포

응답면 자체도 σ에 따라 색이 입혀져, 설계 공간에서 어느 영역의 예측이 더 불확실한지를 한눈에 볼 수 있다.

“방금 해석한 케이스에서 변수 하나만 조금 바꾸면 결과가 어떻게 될까?” 같은 What-if 질문에, 해석을 다시 수행하지 않고 그 자리에서 빠르게 답할 수 있다.

5. 잔차 평가 — 이상치를 확인하고 재학습한다

모델이 전반적으로 잘 맞더라도, 특정 케이스에서만 유독 크게 어긋나는 경우가 있다. 측정·해석 과정의 이상치일 수도 있고, 해당 영역에서 응답이 특이하게 변하는 경우일 수도 있다.

Residual Evaluation 패널은 잔차 분포와 통계를 보여주고, 권장 임계값을 제안한다.

• Residual Threshold를 직접 입력하거나 Use Recommended로 권장값 적용
• Apply & Retrain으로 임계값을 넘는 케이스를 제외하고 모델 재학습
• 이상치 제거 전후의 성능 변화 비교

함께 제공되는 Residual Analysis는 히스토그램과 Q-Q 플롯으로 잔차 분포를 보여준다. 잔차가 한쪽으로 치우치거나 특정 패턴을 보인다면, 현재 모델이 응답을 충분히 설명하지 못하고 있다는 신호일 수 있다.

다만 잔차가 큰 케이스를 무조건 제거해서는 안 된다. 실제 물리 현상이 반영된 중요한 데이터일 수도 있기 때문이다. 이상치 제거는 항상 해석 조건과 물리적 의미를 함께 확인한 뒤 적용해야 한다.

6. 적응형 샘플링 — 어디를 더 해석할지 알려준다

메타모델 정확도가 부족할 때, 무작정 해석 케이스를 늘리는 것은 비효율적이다.

정말 필요한 질문은 이것이다.

“설계 공간의 어느 지점을 추가로 해석해야 모델 정확도가 가장 많이 개선되는가?”

Valentis의 Adaptive Sampling은 이 질문에 답하기 위한 기능이다. 동작 흐름은 다음과 같다.

1. 여러 출력 중 CoP가 가장 낮은, 즉 가장 부정확한 출력을 찾는다
2. 해당 출력에 대해 Kriging 모델을 학습한다
3. 설계 공간에 LHS 기반 후보점, 기본 2,000개를 생성한다
4. 각 후보점에서 예측 불확실성(σ)을 계산한다
5. 선택 전략에 따라 가장 유익한 새 샘플 k개, 기본 10개를 추천한다

전략은 두 가지다.

• Max Uncertainty (σ) — 예측 불확실성이 가장 큰 지점을 우선 추천
• Hybrid (σ + Residual proximity) — 불확실성에 더해, 기존 데이터에서 잔차가 컸던 영역 근처를 함께 고려

선택된 새 샘플은 Export New Only로 내보낼 수 있다. 이 입력 조건으로 추가 CAE 해석을 수행하고 결과를 다시 불러와 재학습하면, 가장 효과적인 위치에 최소한의 해석만 보강해 모델 정확도를 끌어올릴 수 있다.

이것이 학습 → 검증 → 보강 → 재학습 반복의 핵심이다. 적응형 샘플링은 보강할 지점을 감으로 고르는 대신, 데이터에 근거해 제안한다.

7. 모델 비교 보고서 — 선택을 데이터에 맡긴다

어떤 메타모델이 현재 데이터에 가장 잘 맞는지 확신하기 어렵다면 Comparison Report를 실행하면 된다.

Valentis는 여섯 모델을 동일한 데이터에 모두 학습시키고, 교차검증으로 평가한 뒤 출력별 성능 순위를 정리한다. Model × Output 매트릭스, 그룹 구분, 출력별 추천 모델 요약까지 한 화면에 정리된다.

모델 선택 기준에 대한 자세한 내용은 앞 글 〈어떤 메타모델을 선택할까〉에서 다뤘다.

마무리

Valentis 메타모델은 단순한 “곡면 맞추기 도구”가 아니다.

데이터를 불러오고, 교차검증으로 정확도를 확인하고, 응답면을 시각화하고, 모든 출력을 한 번에 예측한다. 여기에 잔차 평가, 이상치 확인, 적응형 샘플링, 모델 비교까지 이어지면서 메타모델링의 전체 사이클을 하나의 흐름으로 묶는다.

핵심은 신뢰다.

학습 R²가 아닌 교차검증 기반 평가, 예측 불확실성 정보, 적응형 샘플링은 모두 같은 질문에 답하기 위한 장치다.

“이 모델을 믿고 설계 의사결정에 활용해도 되는가?”

메타모델은 비싼 해석을 빠른 예측으로 바꾼다. Valentis는 그 예측을 더 신뢰할 수 있도록 만든다.

키워드: Valentis 메타모델, 메타모델 도구, 적응형 샘플링, Adaptive Sampling, 전체 출력 예측, CoP 교차검증, 응답면 분석, Kriging 불확실성, 잔차 평가, Surrogate model, 예측 정확도, 데이터 기반 설계