Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.44 No.4 pp.1-11
DOI : https://doi.org/10.11627/jksie.2021.44.4.001

A Study on the Remaining Useful Life Prediction Performance Variation based on Identification and Selection by using SHAP

Yeon Ah Yoon^*

, Lee Seung Hoon^*

, Yong Soo Kim^**†

^*Department of Industrial and Management Engineering Kyonggi University Graduate School
^**Department of Industrial and Management Engineering Kyonggi University

^†Corresponding Author : kimys@kgu.ac.kr

Received 23/09/2021 Finally Revised 20/11/2021 Accepted 29/11/2021

Abstract

Recently, the importance of preventive maintenance has been emerging since failures in a complex system are automatically detected due to the development of artificial intelligence techniques and sensor technology. Therefore, prognostic and health management (PHM) is being actively studied, and prediction of the remaining useful life (RUL) of the system is being one of the most important tasks. A lot of researches has been conducted to predict the RUL. Deep learning models have been developed to improve prediction performance, but studies on identifying the importance of features are not carried out. It is very meaningful to extract and interpret features that affect failures while improving the predictive accuracy of RUL is important. In this paper, a total of six popular deep learning models were employed to predict the RUL, and identified important variables for each model through SHAP (Shapley Additive explanations) that one of the explainable artificial intelligence (XAI). Moreover, the fluctuations and trends of prediction performance according to the number of variables were identified. This paper can suggest the possibility of explainability of various deep learning models, and the application of XAI can be demonstrated. Also, through this proposed method, it is expected that the possibility of utilizing SHAP as a feature selection method.

Key Words : Remaining Useful Life , Explainable Artificial Intelligence , Shapley Additive Explanations , Feature Selection , Deep Learning

SHAP를 활용한 중요변수 파악 및 선택에 따른 잔여유효수명 예측 성능 변동에 대한 연구

윤 연아^*, 이 승훈^*, 김 용수^**†

^*경기대학교 일반대학원 산업경영공학과
^**경기대학교 산업경영공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

최근 여러 기능이 결합된 복잡한 시스템에서 고장이 발 생하기 전 유지보수를 위한 예방보전의 중요성이 대두되고 있으며, 이에 따라 많은 분야에서 고장예지 및 건전성 관리 (Prognosis and health management, PHM)에 대해 활발히 논의되고 있다. PHM 기술은 센서를 이용하여 시스템이나 장비의 상태를 모니터링하고 고장의 징후를 포착하는 진단 과 잔여유효수명(Remaining useful life, RUL) 예측 및 효과 적인 관리 기술을 의미한다[9]. 잔여유효수명은 현재 시점 에서 시스템의 고장이 발생할 미래 시점까지 남아있는 기 간으로 정의할 수 있으며, 이를 신뢰성 있게 예측하는 것이 PHM기술을 통한 안전성 확보와 시스템의 장기 운용 측면 에서 매우 중요하다할 수 있다[4]. 잔여유효수명 예측 방법 은 크게 모델기반 접근법(Model-based approach), 데이터 기반 접근법(Data-driven approach) 그리고 융합접근법 (Hybried approach)로 구분할 수 있으며[19], 이 중 데이터 기반 접근법을 통한 잔여유효수명 예측에 대한 연구가 대 다수를 이루고 있다.

이에 따라 잔여유효수명의 예측 성능 향상을 위한 다양한 딥러닝 알고리즘이 제안되고 있다. 그러나 딥러닝은 내부에 서 일어나는 의사결정 과정을 파악하기 어렵다는 블랙박스 (black-box) 특징이 존재한다. 따라서 최근 인공지능 기술의 성능 향상뿐만 아니라 인공지능 모델의 해석에도 관심이 증대되고 있으며, 설명가능한 인공지능(Explainable artificial intelligence, XAI)에 관한 연구가 확대되고 있다[1]. 통 상적으로 XAI 기술은 복잡한 구조를 가지고 있는 심층신경 망 기반 인공지능 모델들이 내린 결정과정을 알기 쉽게 분석하는 기술들을 의미한다[10]. XAI는 활발한 연구가 진 행 중인 분야로 LIME(Local interpretable model-agnostic explanations), SHAP(Shapley additive explanations), SA(Sensitivity analysis), LRP(Layer-wise relevance propagation) 등 다양한 알고리즘이 제안되고 있다[8].

터보팬 엔진은 항공기 추진에 주로 사용되며, 구조적 특성상 작은 결함이 큰 고장으로 이어지므로 사고를 줄 이기 위해서는 높은 신뢰성이 요구된다[7]. 터보팬 엔진 은 다양한 구성요소로 이루어져 있으며 온도, 압력, 속도 등 여러 센서를 통해 데이터를 수집하여 엔진의 상태를 파악할 수 있다. 그러나 과도한 센서 데이터의 경우 데이 터의 양과 복잡성으로 인해 데이터에 잡음(noise)이 존재 하며, 이는 예측을 어렵게 하는 문제가 존재한다[20]. 따 라서 데이터 전처리과정이 필요하며, 이에 따라 중요한 변수를 식별하는 과정이 요구된다.

본 논문에서는 여러 딥러닝 모델을 통해 항공기 터보 팬 엔진의 잔여유효수명을 예측하고 설명가능한 인공지 능 기술 중 SHAP 알고리즘을 통해 예측 모델별 변수의 중요도를 파악하고자 하였다. 또한 SHAP을 활용한 변수 선택(feature selection) 기법을 제안하여 변수 개수에 따 른 예측 성능의 변동 및 추세를 확인하였다.

본 논문의 구성은 제2장에서 관련문헌을 소개하고 제3 장에서 연구 프로세스 및 방법론을 제시한다. 제4장을 통해 실험결과를 보이고 마지막으로 제5장을 통해 결론 및 추후 연구 과제를 다룬다.

2. 관련문헌 연구

관련문헌 연구는 크게 3가지로 이루어진다. 딥러닝을 활용한 잔여유효수명 예측, 설명가능한 인공지능 기술 중 SHAP을 활용한 연구, 그리고 새로운 변수 선택 기법 을 제안한 문헌을 조사하였다.

첫 번째로, 딥러닝을 활용하여 잔여유효수명을 예측을 진행한 연구에 대한 관련문헌을 확인하였다. Babu et al.[3]은 다변량 시계열 데이터 기반 잔여유효수명을 추 정하기 위해 새로운 합성곱신경망(Convolutional neural network, CNN)을 활용한 심층 아키텍처 회귀 접근법을 제안하였다. Li et al.[13]은 슬라이딩 윈도우(Sliding window) 기법을 통해 시간 시퀀스의 길이를 데이터 테이블 로 처리하고 LSTM(Long short term memory)와 CNN을 결합한 방향 비순환 그래프(Directed acyclic graph, DAG) 네트워크를 제안하여 터보팬 엔진의 잔여유효수명을 예 측하였다. Li et al[14].는 슬라이딩 윈도우 기법을 통해 1 차원 시퀀스 데이터를 2차원 형상벡터(feature vector)로 추출하고, 이를 입력데이터로 활용하여 Deep CNN을 통 해 잔여유효수명을 예측하는 방법을 제안하였다. Zhang A et al.[21]은 Bi-LSTM(Bidirectional LSTM) 반복 신경 망에 기초한 전이학습(Transfer learning) 알고리즘을 통 한 잔여유효수명 예측 방법을 제안하였다.

두 번째로 SHAP 알고리즘을 활용한 관련문헌 연구를 수행하였다. 오재영 외[16]는 SHAP value 해석에 의한 입력 특징 중요도를 기반으로 입력 특징을 선택하여 태 양광 발전량 예측 시스템의 성능을 향상시킬 수 있음을 확인하였다. Hong et al.[6]은 CNN, LSTM, Bi-LSTM 앙 상블 모델을 통해 터보팬 엔진의 잔여유효수명을 예측하 고 SHAP 알고리즘을 활용하여 해당 딥러닝 모델의 설명 가능성을 입증하였다. 그러나, 해당 연구에서는 단 하나 의 앙상블모델에 적용하였으며, 본 연구에서는 다양한 딥러닝 모델에서의 적용 가능성을 입증하기 위한 연구를 진행하였다. Marcílio and Eler[15]는 XG Boost 모델에 Tree SHAP을 적용하여 변수 선택을 진행할 시 다른 변 수 선택 방법에 비해 더 나은 결과를 달성함을 보였다.

마지막으로 전통적인 변수 선택 기법이 아닌 새로운 변 수 선택 기법을 제안한 관련문헌 연구를 수행하였다. Hancer et al.[5]는 더 나은 분류 성능을 달성하기 위해 릴 리프(Relief)와 피셔 점수(Fisher score)를 활용한 새로운 필 터 기준을 구축하고 DE(Differential evolution) 기반 방법 론을 제안하였다. Seijo-Pardo et al.[17]는 필터와 임베디드 방법의 서로 다른 개별 방식을 이용하는 새로운 앙상블 변수 선택방법을 제안하고 서포트벡터머신(Support vector machine, SVM) 모델에 적용하여 우수성을 입증하였다. Zhang et al.[22]은 변수 선택 기능이 내장된 서포트벡터머 신 모델을 개발하고 대표적인 주행 사이클 데이터를 사용 하여 해당 모델의 우수성을 입증하였다.

각 분야에서 많은 연구가 수행되고 있으나, 딥러닝을 통해 잔여유효수명을 예측하고 이에 대한 해석을 진행한 연구는 미미하다. 잔여유효수명 예측 관련 연구의 경우 예측력 향상에 초점이 맞추어져 있으며, 이를 해석하기 위해 SHAP 알고리즘을 활용한 문헌은 매우 적다. 변수 선택 기법 또한 다양한 앙상블 방법들이 개발되고 있으 나, 대부분 분류 모델에 적용되며 예측 모델에 적용된 연 구는 비교적 적다. 따라서 본 논문에서는 딥러닝을 통해 터보팬 엔진의 잔여유효수명을 예측하고 SHAP 알고리 즘을 활용하여 변수의 기여도를 파악하고자 하였다. 또 한 해당 기여도를 기반으로 변수 선택을 진행하여 변수 선택에 따른 예측성능 변동 및 추세를 파악하고자 한다.

3. 잔여유효수명 예측 및 SHAP을 통한 변수 기여도 분석프로세스

본 논문에서 제안하는 연구 프로세스는 <Figure 1>과 같다. 먼저 잔여유효수명 예측을 위해서는 센서 기반으 로 측정된 run-to-failure(RTF) 데이터가 필요하므로, 본 연구에서는 널리 사용되는 벤치마크 데이터 세트 중 C-MAPSS(Commercial modular aero-propulsion system simulation)를 통해 실험을 진행하였다. 해당 데이터는 21 개의 센서 측정변수가 존재하며 이를 통해 터보팬 엔진의 상태를 파악하고 잔여유효수명을 예측할 수 있다. 연구 프 로세스는 크게 데이터 전처리, 잔여유효수명 예측, SHAP 을 활용한 중요변수 파악 및 중요변수 선택에 따른 잔여유 효수명 예측 성능 변동을 파악하는 단계로 이루어진다.

3.1 데이터 전처리

본 연구 프로세스의 첫 번째 단계는 데이터 전처리 및 데이터 준비 단계이다. 분석 데이터의 센서 측정값의 경 우 일부는 엔진 성능 저하에 대한 정보를 포함하지 않는 다. 따라서 센서 측정값의 추세를 확인하고 이 중 변동성 을 보이지 않는 변수를 제거한다. 그 다음 모델 학습 시 변수별 동일한 정도의 스케일을 반영하기 위해 데이터 정규화(normalization)를 진행한다. 센서 데이터의 경우 시그널 특성이 존재하므로 단일 시점에서 샘플링된 데이 터 포인트와 비교하여 일정기간 동안의 패턴 변화를 탐 지하고 더 많은 시퀀스 정보를 얻는 것이 중요하다. 따라 서 윈도우 사이즈를 하나의 관측치로 보는 슬라이딩 윈 도우 기법이 다방면에서 사용되고 있다[12]. 해당 기법을 통해 단일 시점(time step)에서 윈도우 사이즈 내의 모든 센서 데이터로 형상 벡터(feature vector)를 형성할 수 있 다. 해당 기법을 통해 각 예측 모델별 적합한 형상벡터를 추출하고 이를 입력데이터로 활용하기 위한 데이터 전처 리 과정을 거쳤다. 따라서 입력 차원(input dimension)의 형상은 N_tw × N_ft으로 표현할 수 있다. 여기서 N_tw는 시 퀀스 차원(time sequence dimension), N_ft는 선택된 형상 의 개수(number of selected feature)를 의미한다. 해당 방 법은 Li et al.[14]에 의해 제안된 방법으로 형상 추출에 효율적이라는 것이 입증되었다.

3.2 잔여유효수명 예측

두 번째 단계는 잔여유효수명 예측 단계로 본 연구에 서는 대표적으로 사용되는 DNN(Deep neural network), CNN, RNN(Recurrent neural network), 그리고 RNN의 파 생모델 3가지로 총 6가지 딥러닝 모델을 활용하였다.

DNN의 경우 딥러닝에서 가장 기본적인 기법으로 알 려져 있으며 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)이 존재하는 인공 신경망이다[18]. DNN은 일반적인 인공신경망과 마찬가 지로 비선형 관계들을 모델링할 수 있으며, 선형모델과 활성화 함수(Activation function)의 적용을 반복하여 학습 이 진행된다. CNN의 경우 처음에는 이미지 프로세싱을 위해 제안되었으나, 최근 음성 인식, 영상, 센서 데이터 와 같은 시그널 데이터에도 이를 활용한 연구가 진행되 고 있다[2]. CNN은 합성곱층(Convolution layer)과 풀링 층(Pooling layer)으로 학습이 진행된다. 슬라이딩 윈도우 방법을 통해 1차원 시퀀스 데이터를 2차원 형상 벡터로 변형하고, 이를 입력데이터로 활용하는 2차원 구조의 CNN을 통해 예측 모델을 구축하였다. RNN은 연속적으 로 변하는 시계열 데이터를 다루기 위한 인공신경망 중 하나로 임의의 길이를 가진 시계열 데이터를 학습하는데 적합함이 많은 연구에서 입증되었다. RNN의 입력값은 시간에 따라 순차적으로 입력층을 통해 은닉층으로 들어 가며, 은닉층의 뉴런은 각각의 시점에서 바로 이전 시점 의 은닉층의 뉴런에서 나온 값을 계속해서 자신의 입력 으로 보내는 재귀적인 활동을 한다. RNN은 시계열 데이 터를 처리하는데 유용하게 사용되나, 시점이 길어질수록 기울기(gradient)값이 0으로 수렴하거나 무한으로 발산하 여 과거에 입력으로 들어왔던 데이터의 영향력이 감소하 는 vanishing gradient 문제가 존재한다[11]. 이러한 문제 를 해결하기 위해 다양한 RNN 파생모델이 개발되었다. LSTM(Long short term memory)는 RNN의 은닉층에 셀 상태(cell state)를 추가하여 vanishing gradient 문제를 해 결하고자하였다. 은닉층의 정보 흐름을 제어하는 게이트 시스템인 망각게이트(forget gate), 입력게이트(input gate), 출력게이트(output gate)가 존재하며, 이를 통해 장기간 이전의 시계열 데이터를 현재 출력층에 반영시킨다. 이 러한 셀 내부 구조의 기능을 통해 RNN의 단점을 보완하 고 장기간 이전 데이터에 대한 정보도 더 잘 기억할 수 있는 장점이 존재한다. GRU(Gated recurrent units)는 LSTM의 복잡한 연산구조를 간소화하여 변형된 구조로 게이트의 개념을 이용한 RNN의 일종이다. LSTM의 경 우 총 세 개의 게이트를 가지고 있으나, GRU는 업데이 트게이트(update gate)와 리셋게이트(reset gate)로 구성되 어 LSTM에 비해 연산속도가 빠르다는 장점이 존재한다. 마지막으로 Bi-LSTM(Bidirectional LSTM)은 기존 LSTM 계측에 역방향으로 처리하는 LSTM 계층을 추가한 구조 이다. Bi-LSTM은 과거와 미래의 양방향으로 데이터를 수집하고 기억할 수 있어 기존 LSTM에 비해 더 많은 정 보에서 학습 특징을 추출할 수 있다는 장점을 가지고 있 다. Bi-LSTM은 입력계층, 망각게이트, 입력게이트, 출력 게이트로 변형된 포워드 계층(forward layer), 백워드 계 층(backward layer) 그리고 출력 계층으로 이루어진다. 과 거와 미래 데이터에 모두 의존함으로써 오랜 과거의 시 계열 데이터가 반영되지 않는 문제점을 개선하였다.

총 6개의 모델을 통해 시스템의 잔여유효수명을 예측 하고, 이에 대한 잔여수명 예측 성능을 파악하기 위해 본 논문에서는 성능평가 지표로 RMSE(Root mean square error)와 PHM Score 함수를 사용하였다. RMSE는 추정값 또는 모델이 예측한 값과 실제 데이터에서 관찰되는 값 의 차이를 다룰 때 흔히 사용되는 측도로 아래 수식과 같이 표현할 수 있다.

R M S E = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} d_{i}^{2}}

여기서 d_i = RUL′ⁱ - RUL_i로 실제 RUL과 예측 RUL의 차이를 의미한다. N은 테스트데이터 샘플의 전체 수를 의미하며, i는 각 테스트 유닛을 의미한다. PHM Score는 International Conference of Prognostics and Health Management Data Challenge에서 제안된 잔여유효수명 예측 성능 평가 지표로 초기의 예측보다 늦은 예측에 더 많은 불이익을 부가하는 지표이다. 이에 대한 수식은 아래와 같으며, <Figure 2>와 같은 함수 형태를 보인다.

s = \sum_{i = 1}^{N} s_{i}, s_{i} = {\begin{array}{l} e^{- \frac{d_{i}}{13} - 1} & , for d_{i} < 0 \\ e^{\frac{d_{i}}{10} - 1} & , for d_{i} \geq 0 \end{array}

3.3 SHAP을 활용한 중요변수 파악

본 연구 프로세스의 세 번째 단계는 SHAP을 사용하여 중요변수를 파악하는 단계이다. SHAP은 머신러닝 모델의 출력을 설명하기 위해 게임 이론의 섀플리 값(Shapley value) 을 기반으로 한 알고리즘이다. 섀플리 값은 하나의 특성 에 대한 중요도를 알기 위해 여러 특성들의 조합을 구성한 후 해당 특성의 유무에 따른 평균적인 변화를 통해 얻어낸 값이다. <Figure 3>과 같이 학습데이터와 학습된 모델을 통해 새로운 입력데이터에 대한 예측 결과에 대한 영향도의 섀플리 값을 계산하여 입력 변수가 학습된 모델이 출력값에 대해 어떠한 공헌도를 가지는지 설명할 수 있다[6]. 타 설명 가능한 인공지능 기술과 다르게 데이터만이 아닌 모델의 기여에 대한 정보를 포함하여 사용한 모델이 각 변수에 부여하는 중요성을 알 수 있는 특징이 존재한다. 이는 데이 터의 모든 인스턴스에 대해 각 입력 특징의 섀플리 값의 절대값을 취하여 평균을 구하는 것으로 입력 특징의 중요도 로 사용할 수 있음을 의미한다.

Python 패키지를 통해 섀플리 값을 계산할 수 있으며 본 연구에서는 딥러닝 모델에 적용되는 Deep SHAP을 통해 분석을 진행하였다. SHAP plot 중 summary plot은 특성 중요도(Feature importance)와 특성 효과(Feature effects) 를 결합하여 <Figure 4>와 같이 예측 결과에 대한 기여도가 큰 변수를 순서대로 나열한 결과를 보여준다. Summary plot은 옵션을 통해 다양한 모양으로 나타낼 수 있으며, 이를 통해 타점들의 분포 또한 확이할 수 있다. 각 점은 특성에 대한 섀플리 값과 관측치이며, x축은 섀 플리 값에 의해 결정되고 y축은 특성에 의해 결정된다. 색은 특성값의 낮음에서 높음까지를 의미하고 겹치는 값 이 y축의 방향으로 내포됨에 따라 특성 당 섀플리 값의 분포를 알 수 있다. SHAP 계산 원리에 따라 모델별 변 수 기여도의 순위가 상이하게 나타나므로 각 모델별 summary plot을 확인하여 일반적으로 잔여유효수명 예측 시 기여도가 큰 변수를 파악할 필요성이 존재한다. 이를 통해 잔여유효수명 예측을 위해 중요한 변수가 무엇인지 확인할 수 있다.

3.4 중요변수 선택에 따른 잔여유효수명 예측 성능 변동 확인

각 모델별 summary plot을 확인하고 기여도가 낮은 순 서부터 하나씩 변수를 제거해나가며 변수 개수에 따른 예측 성능의 변동 및 추세를 확인하였다. 예측 성능 변동 을 파악하기 위한 지표로는 RMSE만 사용하였으며, 이는 전체적인 모델의 예측 성능 변동을 파악하기 위함이다. PHM Score의 경우 늦은 예측에 더 큰 패널티를 부가하 므로 전체적인 모델 성능을 파악하기에는 부적절할 것으 로 판단하였다. 각 모델별 예측 성능 변동 추세를 비교하 였으며, 가장 큰 변동을 보이는 변수 개수를 파악하였다. 또한 변수 개수에 따른 특정 범위의 잔여유효수명 예측 력의 변동을 확인하기 위한 추가적인 경향분석을 수행하 였다. 이는 잔여유효수명이 길게 남은 시스템에 비하여 짧은 잔여유효수명을 가지고 있는 시스템의 위험성이 더 크며, 빠른 시점의 잔여유효수명을 정확하게 예측하는 것이 더욱 중요하기 때문이다. 각 모델별 특징을 비교분 석하고 단기 잔여유효수명 예측 성능만을 중점적으로 파 악하고자 하는 경우 최소한으로 필요한 변수의 개수를 파악하고자 하였다.

4. 실험결과 및 분석

4.1 데이터 소개

본 논문에서 사용한 C-MAPSS 데이터세트는 NASA의 PCoE(Prognostics center of excellence)에서 제공되는 터 보팬 엔진의 RTF 데이터세트이다. 터보팬 엔진의 모듈은 <Figure 5>와 같으며 크게 팬(fan), 저압 압출기(Low pressure compressor, LPC), 고압 압축기(High pressure compressor, HPC), 저압 터빈(Low pressure turbine, LPT), 고 압 터빈(High pressure turbine, HPT)으로 구성되어 있다.

해당 데이터세트는 <Table 1>과 같이 총 4가지 서브데 이터세트로 구성되어 있으며, 본 연구에서는 단일 운용 모드 및 고장모드를 가지는 FD001 데이터 세트만을 사 용하여 분석을 진행하였다. 각 엔진은 정상범주로 취급 되는 공개되지 않은 서로 다른 초기 마모 및 제조 변동 을 지니고 있다. 해당 데이터는 train set, test set, RUL set이 별도로 분할되어 존재한다. 데이터의 변수는 엔진 의 번호를 의미하는 unit, 각 unit별 cycle, 운영설정변수 (operating) 3개, 센서 측정 변수(measurement) 21개로 총 26개의 변수로 구성되어 있다. train set을 이용하여 모델 을 구축하고 그 모델을 이용하여 test set의 정확한 잔여 수명을 예측하는 것이 해당 데이터를 활용한 잔여유효수 명 예측의 목적이라고 할 수 있다[20].

4.2 데이터 전처리 및 데이터 준비

잔여유효수명을 예측하기 위해 활용되는 21개의 센서 측정 변수는 온도, 압력, 속도 등 각 컴포넌트의 정보를 파악하기 위해 수집되었다. <Table 2>는 각 센서의 물리 적인 의미들과 센서의 추세를 나타낸다. 센서별 추세 확 인 결과, 변동성을 보이지 않는 변수 7개를 제거하여 총 14개의 센서 측정변수를 통해 분석을 진행하였다.

추세파악을 통한 변수 선택을 진행한 후 모델 학습 시 변수별 동일한 정도의 스케일(Scale)을 반영하기 위해 정 규화를 수행하였다. 최소-최대 정규화(Min-max normalization) 를 활용하였으며, 이에 대한 수식 아래와 같다.

x_{n o r m}^{i, j} = \frac{2 (x^{i, j} - x_{min}^{j})}{x_{max}^{j} - x_{min}^{j}} - 1 \forall i, j (r a n g e [- 1, 1])

일반적인 시스템의 성능 저하는 초기 열화가 발생하기 전까지 거의 변화가 존재하지 않으므로 열화 발생 전의 데이터를 포함하여 분석을 수행하는 것은 부적절할 수 있다. 따라서 초기에는 일정한 값을 가진다는 가정 하에 전처리를 진행한 연구가 다수 존재한다[3, 13, 14]. 본 연구에서는 초기 일정한 값을 125로 설정하여 전처리를 진행하였다.

마지막으로 슬라이딩 윈도우(sliding window) 방법을 통해 형상벡터를 추출하는 과정을 거쳤다. 본 논문에서 는 반복 시험을 통해 적합한 윈도우 사이즈를 30으로 설 정하여 분석을 진행하였으며, 이를 통해 추출된 형상벡 터를 입력데이터로 사용하였다.

4.3 잔여수명 예측 결과

본 논문에서는 잔여수명을 예측하기 위해 총 6개의 모 델을 사용하였다. 각 모델별 입력데이터의 형상 및 은닉 층 종류의 차이가 존재하나 레이어 깊이(depth), 활성화 함수 등 파라미터 값은 최대한 동일한 조건으로 설계하 였다. 각 모델들은 총 5개의 레이어를 가지며, 각 레이어 뒤에 Dropout layer를 0.2로 설정하여 추가하였다. 활성화 함수는 elu 함수를 사용하였으며, 최적화 함수는 Adam, 배치사이즈(Batch size)와 에포크(Epochs)는 각각 500과 200으로 설정하였다. 손실함수는 RMSE를 사용하였으며, 최종적으로 RMSE와 PHM Score 성능 지표를 통해 성능 을 확인하였다. 각 모델별 잔여유효수명 예측 성능을 파 악하기 위해 10번씩 반복 측정하였으며, 이에 대한 결과 는 <Table 3>과 같다. 전체 변수를 사용한 경우 CNN이 비교적 가장 우수한 성능을 보였으며, Bi-LSTM이 가장 저조한 성능을 보였다. 모든 모델의 성능이 차이가 존재 하나, 적절한 예측성능을 보였다할 수 있으며, 가장 우수 한 RMSE 값을 보인 모델을 대상으로 SHAP 알고리즘을 통해 summary plot을 확인하였다.

4.4 SHAP을 통한 중요변수 파악

Summary plot의 feature 번호는 SHAP 알고리즘 수행 시 부여되는 feature 번호로 각 센서 번호와 맵핑하여 결 과를 해석할 수 있다. 각 모델별 summary plot은 <Figure 6>과 같으며, 변수 중요도 순위는 <Table 4>와 같다. 각 모델별 summary plot을 통해 도출된 기여도 순위가 상이 한 결과를 보이나, 대부분 feature 6, 7(sensor 11, 12)가 잔여유효수명 예측에 높은 기여를 한다는 것을 알 수 있 다. 이는 Phi와 Ps30의 센서 측정값이 터보팬 엔진의 잔 여수명 예측에 가장 큰 영향을 미치는 변수이며, 이는 고 압 압축기(High pressure compressor, HPC)의 관리가 터 보팬 엔진의 수명에 영향을 미칠 수 있음을 의미한다.

4.5 변수 선택에 따른 잔여수명 예측 성능 변동 확인

터보팬 엔진의 상태 파악 및 잔여수명 예측 시 필요 한 최소한의 센서 수를 파악하기 위해 도출된 summary plot을 기반으로 기여도가 낮은 순서부터 변수를 하나씩 제거해나가면서 예측 성능을 비교하였다. 예측 성능 변 동을 파악하기 위한 지표로는 RMSE 값만 사용하였다. 이는 PHM Score의 경우 모델의 전체적인 예측보다 늦은 예측에 더 큰 패널티를 부가하므로 전체적인 모델의 예 측 성능 변동을 파악하기 위한 지표로는 RMSE만을 사 용하는 것이 적절하다고 판단하였기 때문이다. 해당 실 험에 대한 결과는 <Table 5>와 같으며 이를 시각화하여 <Figure 7>과 같은 추세를 파악하였다.

변수 개수별 예측 성능 변동이 존재하며, 변수가 하나 씩 제거될 때마다 RMSE가 상승하는 경향을 보임을 확 인하였다. GRU의 예측 성능이 비교적 변동이 적으며, Bi-LSTM의 경우 변동의 폭이 가장 큼을 확인할 수 있 다. 또한 대부분의 모델은 변수 개수 6-7개부터 가장 크 게 증가하는 추세를 보였다.

특정 범위에 대한 잔여유효수명 예측 성능 변동을 파 악하기 위해 추가적인 경향분석을 수행하였다. 마지막으 로 기록된 데이터에 대한 test unit들을 단기 잔여유효수 명을 가진 것부터 장기 잔여유효수명을 가진 unit으로 정 렬한 후 타점하여, 잔여유효수명 범위에 따른 예측 성능 을 확인하였다. 대표적으로 14개, 10개, 7개, 4개를 사용 하였을 때의 잔여유효수명 예측 그래프를 확인하였으며, 이는 <Figure 7>과 같다. 해당 그래프에서 파란색은 예측 한 잔여유효수명을 빨간색은 실제 잔여유효수명을 나타 낸다.

DNN의 경우 잔여유효수명이 짧을수록 우수한 예측 정확도를 보였으나 타 모델들과 비교하였을 때, 단기 잔 여유효수명의 예측력이 비교적 저조함을 확인하였다. 또한 오히려 변수 7개만을 사용하는 경우 단기 잔여유 효수명 예측 정확도가 더욱 안정적임을 알 수 있다. 변 수 개수에 따른 예측 성능의 변동이 타 모델들에 비해 미미함을 알 수 있다. CNN의 경우 모든 변수를 사용한 경우 RMSE값이 가장 낮은 우수한 예측 모델이었으며, 예측 산포가 타 모델들에 비해 적음을 알 수 있다. RNN의 RMSE 값은 타 모델들과 비교하여 큰 차이가 보이지 않았으나, 그래프 확인 결과 비교적 넓은 범위의 잔여유효수명 예측 편차가 큼을 알 수 있다. 단기 잔여 유효수명 예측이 비교적 정확하였으며, 변수 7개를 사용 하는 경우까지 양호한 단기 잔여유효수명 예측 결과를 보였다. LSTM의 경우 다른 모델들과 상이하게 단기 잔 여유효수명에 비해 장기 잔여유효수명 예측이 더욱 안 정적임을 알 수 있다. 90 이상의 잔여유효수명을 가진 unit의 예측이 안정적인 성능을 보였으며, 변수 개수에 따른 불안정한 예측 정확도를 보이는 범위 및 편차가 타 모델들에 비해 큼을 알 수 있다. GRU는 변수 개수 에 따른 예측력의 추세가 모두 비슷하며, 변동성이 가장 미미함을 알 수 있다. 단기 잔여유효수명 예측력의 경우 14개의 변수를 사용하였을 때보다 7개의 변수를 사용한 경우 더욱 정확하였음을 알 수 있다. Bi-LSTM은 타 모 델들과 비교하였을 때 단기의 잔여유효수명 예측값이 불안정함을 보인다.

전체 모델들의 경향을 각각 분석한 결과 대부분 단기 잔여유효수명을 정확하게 예측하였으며, 변수 개수가 줄 어듦에 따라 단기 잔여유효수명 예측 성능이 불안정해짐 을 알 수 있다. 또한 대부분 40-60사이 범위의 잔여유효 수명은 불안정한 예측값을 보였다. 그러나 총 변수가 14 개가 아닌 7개까지만을 사용하여도 대부분의 모델에서 단기 잔여유효수명 예측결과가 양호하다고 할 수 있다. 실제 유지보수 계획 수립 시 장기의 잔여유효수명보다 단기의 잔여유효수명이 더욱 중요하며 위험성이 크므로, 단기 잔여유효수명의 예측 성능만을 중점적으로 파악하 고자 하는 경우, 변수 7개만을 통해 분석을 수행하여도 적절한 예측 성능을 보임을 시사할 수 있다.

5. 결론 및 추후 연구과제

복잡한 시스템의 잔여유효수명 예측에 관한 연구가 활발히 이루어지고 있으며, 우수한 성능을 보이기 위해 다양한 딥러닝 모델이 활용되고 있다. 또한 딥러닝 모델 의 해석을 위해 설명가능한 인공지능 기법이 대두되고 있다. 본 논문에서는 다양한 딥러닝 모델을 통해 터보팬 엔진의 잔여유효수명을 예측하고 모델별 중요한 영향을 미치는 변수를 파악하였다. 또한 SHAP 알고리즘의 특징 을 이용하여 이를 변수선택기법으로 활용하는 경우 예측 성능의 변동을 파악하였다.

C-MAPSS 데이터세트를 통해 분석을 수행한 결과, 대 부분의 예측모델에서 Phi와 Ps30 센서 측정값이 터보팬 엔진의 잔여유효수명 예측에 높은 기여를 함을 확인하였 다. 이를 통해 터보팬 엔진의 구성부품 중 HPC의 관리 가 중요함을 시사할 수 있다. SHAP을 통해 도출된 summary plot을 기반으로 변수 선택을 진행하여 예측 성능 의 변동을 파악한 결과, 모든 모델의 변동 추세가 비슷함 을 확인하였다. 6-7개의 변수를 사용하는 경우 가장 크게 RMSE가 상승하는 추세를 보였으며, 잔여유효수명의 범 위가 40에서 60 사이인 경우 비교적 부정확한 값을 보였 다. 이를 통해 변수 7개만을 사용하여도 터보팬 엔진의 상태를 파악하고 잔여유효수명을 적절한 성능을 보이며 예측할 수 있음을 시사할 수 있다.

본 연구를 통해 다양한 딥러닝 모델의 설명 가능성을 제기할 수 있다. 모델별 잔여유효수명 예측 시 기여도가 큰 변수를 파악할 수 있으며, 이를 통해 유의미한 결과를 도출할 수 있다. 또한 SHAP을 활용한 모델 해석 및 변 수 중요도 파악뿐만 아니라 변수 선택 기법으로써의 활 용성을 입증할 수 있다.

본 연구에서는 앙상블 모델이 아닌 단일 딥러닝 모델 만을 사용하였으나, 추후 예측력이 더욱 우수한 앙상블 모델을 사용하는 경우에도 해당 프로세스의 활용성 및 범용성을 입증할 수 있을 것으로 기대된다. 또한 해당 연 구에서 활용한 C-MAPSS 데이터세트는 터보팬 엔진의 잔여유효수명 예측을 위해 널리 사용되는 벤치마크 데이 터세트이나, 이는 시뮬레이션 데이터라는 한계가 존재하 므로, 센서가 더욱 많이 부착되어있는 실제 항공기 터보 팬 엔진의 데이터를 통해 연구를 수행할 경우 더욱 확실 한 결과를 파악할 수 있을 것으로 사료된다.

Acknowledgement

This work was supported by Kyonggi University‘s Graduate Research Assistantship 2021.

Figure

<Figure 1>.

Research Process

<Figure 2>.

PHM Score Function of Error

<Figure 3>.

Operation Method of SHAP Algorithm

<Figure 4>.

Example of Summary Plot (Results of DNN)

<Figure 5>.

Diagram of the Turbofan Engine Modules

<Figure 6>.

Summary Plot of Each Model

<Figure 7>.

RMSE Variation with the Number of Features for Each Model

Table

<Table 1>.

C-MAPSS Dataset

<Table 2>.

List of C-MAPSS Dataset

<Table 3>.

Result of RUL Prediction Performance

<Table 4>.

Rank of Variable Importance of Each Model

<Table 5>.

Result based on the Number of Features for Each Model (RMSE)

Reference

Adadi, A. and Berrada, M., Peeking inside the black-box: a survey on explainable artificial intelligence(XAI), IEEE Access, 2018, Vol. 6, pp. 52138-52160.
Ahn, G., Yoo, J. H., Lee, S. H. and Kim, S. B., Explainable convolutional neural networks for multisensor data, Journal of the Korean Institute of Industrial Engineers, 2019, Vol. 45, No. 2.
Babu, G.S., Zhao, P., and Li, X.L., Deep convoultional neural network based regression approach for estimation of remaining useful life, International Conference on Database Systems for Advanced Applications, 2016, pp. 214-228.
Choi, Y. H. and Kim, H. S., Prognostics and health management for battery useful life prediction based on electrochemisty model: A tutorial, The Journal of Korean Institute of Communications and Information Sciences, 2017, pp. 939-949.
Hancer, E., Xue, B., and Zhang, M., Differential evolution for filter feature selection based on information theory and feature ranking, Knowledge-based systems, 2018, Vol. 140, pp. 103-119.
Hong, C.W., Lee, C., Lee, K., and Ko, M.S., Kim, D. E. and Hur, K., Remaining useful life prognosis for turbofan engine using explainable deep neural networks with dimensionality reduction, Sensors, 2020, Vol. 20, No. 22, pp. 6626.
Hong, C.W. and Hur, K., Prognosis of the remaining useful life of a turbofan engine using deep neural network and pearson correlation coefficient, Journal of the KNST, 2021, Vol. 4, No. 1. pp. 078-083.
Jung, C.Y. and Lee, H.J., A comparative study of explainable AI techniques for process analysis, Journal of the Institute of Electronics and Information Engineers, 2020, Vol. 57, No. 8, pp. 51-59.
Jung, S.J. and Hur, J.W., Deep learning approaches to RUL prediction of lithium-ion batteries, Journal of the Korean Society of Manufacturing Process Engineers, 2020, vol. 19, no. 12, pp. 21-27.
Ko, G.H., Lim, G.M., and Cho, H.M., Survey on feature attribution methods in explainable AI, Journal of KIISE, 2020, pp. 1181-1191.
Kwon, H.G., Lee, D.K., and Shin, M.S., Dynamic forecasts of bankruptcy with recurrent neural network model, Journal of Intelligence and Information Systems, 2017, Vol. 23, No. 3, pp. 139-153.
Laguna, J.O., Olaya, A.G., and Borrajo, D., A dynamic sliding window approach for activity recognition, International conference on user modeling, adaptation, and personlization, 2011, pp. 219-230.
Li, J., Li, X., and He, D., A directed acyclic graph network combined with CNN and LSTM for remaining useful life prediction, IEEE Access, 2019, Vol. 7, pp. 75464- 75475.
Wang, J. Wen, G., Yang, S., and Liu, Y., Remaining useful life estimation in prognostics using deep bidrectional lstm neural network, IEEE, In 2018 prognostics and system health management conference(PHM-chongqing), 2018, pp. 1037-1042.
Marcilio, W.E. and Eler, D.M., From explanations to feature selection: accessing SHAP values as feature selection mechanism, IEEE, In 2020 33^rd SIBGRAPI conference on Graphics, Patterns and Images(SIBGRAPI), 2020, pp. 340-347.
Oh, J.Y., Lee, Y.G., and Kim, G.B., Improvement of solar power forecasting using interpretation of artificial intelligence, The transactions of the Korean Institute of Electrical Engineers, 2020, Vol. 69, No. 7, pp. 1111-1116.
Seijo-Pardo, B., Porto-Diaz, I., Bolón-Canedo, V., and Alonso-Betanzos, A., Ensemble feature selection: homogeneous and heterogeneous approaches, Knowledge-Based Systems, 2017, Vol. 118, pp. 124-139.
We, J.W., Choi, D.J., Lee, H.B., Lim, J.T., Lim, H.J., Bok, K.S., and Yoo, J.S., K-NN query optimization scheme based on machine learning using a dnn model, Journal of the Korea contents association, 2020, Vol. 20, No. 10, pp. 715-725.
Yu, S., Wu, Z., Zhu, X., and Pecht, M., A domain adaptive convolutional LSTM model for prognostic remaining useful life estimation under variant conditions, IEEE, In 2019 Prognostics and System Health Management Conference(PHM-Paris), pp. 130-137.
Yun, Y.R., Kim, S.G., Cho, S.H., and Choi, J.H., Neural network based aircraft engine health management using C-mapss data, International Journal of Aerospace System Engineering, 2019, Vol. 13, No. 6, pp. 17-25.
Zhang, A., Wang, H., Li, S., Cui, Y., Liu, Z., Yang, G., and Hu, J., Transfer learning with deep recurrent neural networks for remaining useful life estimation, Applied Sciences, 2018, Vol. 8, No. 12, pp. 2416.
Zhang, X., Wu, G., Dong, Z., and Crawford, C., Embedded feature-selection support vector machine for driving pattern recognition, Journal of the Franklin Institute, 2015, Vol. 352, No. 2, pp. 669-685.