1. 서 론
최근 해군은 불안정한 동북아 정세에 대비하기 위하 여 이지스함, 대형상륙함, 차기 잠수함 등의 첨단 무기체 계 전력보강에 주력하고 있다. 그리고 적정 장비 가동률 을 보장하기 위해서는 정확한 수리부속 수요예측을 통하 여 적재적소에 수리부속을 공급해야 한다. 따라서 수리 부속 수요예측 정확도 제고는 전투준비태세에 직접적인 영향을 미치는 중요한 요소이다. 수리부속 수요예측 저 조는 재고 고갈시 정비 지연에 따른 가동률 저하, 재고 과잉시 국방예산의 비효율적 사용 및 장기 비수요 수리 부속 발생 등을 야기한다.
우리군은 이러한 문제점을 해결하기 위하여 수리부속 수요예측 정확도 제고에 지속적인 노력을 기울이고 있 다. 현재 군에서 사용하는 수리부속 수요예측 기법은 시 계열 기법으로 이동평균법, 지수평활법 등 3~8개 기법을 활용하고 있다. 또한 장비정비정보체계(DELIIS, Defense Logistics Integrated Information System)를 통하여 기준 수요자료 뿐만 아니라, 수리부속 수요와 관련된 다양한 자료를 관리하고 있다. 이러한 대규모 데이터가 관리되 는 정보체계를 활용하여 민간의 다양한 기법들에 대한 벤치마킹을 통해 수요예측 정확도 향상과 군수운영 발전 의 근간이 되어 전투력 강화로 이어질 수 있을 것이라 기대된다[9]. 이러한 배경 하에 본 연구에서는 최근 빅데 이터와 맞물려 주목을 받고 있는 데이터마이닝 기법을 이용하여 현재 해군에서 운영하는 함정 수리부속을 대상 으로 수요예측 정확도 제고에 기여하고자 한다.
2. 이론적 고찰
2.1. 군 수요예측 관리실태
수리부속의 수요예측은 각 군 소요판단의 원천이 된 다는 점에서 중요하다. 수리부속 소요산정의 경우 먼저 사단급 이하 편성부대 및 야전부대에서 수요산정 작업을 실시 한 후 실질적인 예산편성은 각 군 군수사령부에서 이루어지게 된다. 야전부대의 경우 과거의 수요실적 자 료나 소모실적, 청구실적 등을 통해 수요예측을 실시하 고 보급수준 소요 등을 추가로 고려하여 총 소요를 산정 하고 이를 군수사령부에서는 통합하여 예산편성(안)을 작성하게 되는 것이다[11].
모든 수리부속 구매 및 획득 업무는 1년 단위로 이루 어진다. 그러므로 재고가 없는 수리부속의 경우 일반적 으로 확보하기까지 적게는 수개월부터 많게는 최대 1년 간의 시간이 소요된다. 하지만, 우리군의 수요예측은 그 정확도가 저조하여 자원의 낭비를 초래하고 나아가 작전 임무에 제한을 주는 상황이다. 이처럼 군 수요예측의 정 확도가 낮은 이유는 단순하고 획일적인 수요예측 모형을 적용하고 있기 때문이다. <Table 1>은 각 군별로 사용하 고 있는 수요예측 모형과 판단방법이다. <Table 1>에서 보는 바와 같이 육군과 해군, 공군은 수요예측을 위해 적 용하고 있는 모형이 각각 다르다. 육군은 산술평균법과 단순이동평균법, 최소자승법 등 상대적으로 해군과 공군 에 비해 단순한 수요예측 모형을 적용하고 있다. 해군의 경우에는 육군과 같은 산술평균법과 단순이동평균법, 최 소자승법 외에 단순지수평활법, 이중지수평활법, 홀트-윈 터스 모형 등 새로운 모형을 2009년부터 적용하고 있으 나, 연도별 수요실적에 의한 수요예측으로 인해 새로운 모형의 적용은 많은 제한이 있다. 공군의 경우에는 가중 이동평균법, 선형이동평균법을 비롯한 5가지 모형을 사 용하고 있다. 이와 같은 수요예측 모형을 활용하여 현재 우리 군의 수요예측 정확도는 품목 적중 기준 70~75%, 수량 고려 시 실제 적중률은 40~50% 수준이다[10].
2.2. 수요예측분야 데이터마이닝
데이터마이닝은 의미심장한 경향과 규칙을 발견하기 위해서 대량의 데이터로부터 자동화 혹은 반자동화 도구 를 활용하여 탐색하고 분석하는 과정이다[7]. 일반적인 데이터마이닝의 목적은 수집된 대량의 데이터에서 통계 적방법론을 기반으로 의사결정나무 기법, 인공신경망 기 법 등을 활용하여 가치있는 정보를 추출하는 것이다[2].
데이터마이닝은 영상분야에서 이미지 패턴을 추출하 는 분야로 주로 사용되어 왔으나, 최근에는 대용량 데이 터 활용도에 대한 관심이 높아짐에 따라 금융, 통신, 유 통 분야 등 대용량 데이터 수집이 편리한 분야에서 많이 활용되었으며, 수요예측 분야에도 적용이 되고 있다[8].
기존 연구에서 많은 논문들이 수요예측 분야에 데이 터마이닝 기법을 적용하고 그 유용성을 보여주었다. 고 객의 주문정보로부터 주문한 선박 부품 내역에 대한 데 이터(주문번호, 부품코드, 부품명, 수량, 단위 등)를 통하 여 재고관리 품목의 거래빈도, 품목간 연관성을 분석하 여 품목의 출고준비에 소요되는 시간을 줄인 바 있으며 [5], 물 사용량을 예측하기 위하여 3년간의 일일 수요량 의 데이터를 이용하여 요일별 특성을 포함한 계절적 특 성 등에 대한 상관분석 후 다중선형 자기회귀 모델과 칼 만필터 모델로 수요예측 결과를 도출하였으며[1], 회복실 환자의 평균 체류시간을 확인하여 체류시간에 미치는 요 인들을 파악하여 체류시간 예측을 분석하였다[12]. 그리 고 농산물 유통시장의 부정거래를 예측하는 모형은 6개 농산물 도매시장법인으로부터 32개월 청과거래 정산 데 이터를 수집하여 경매장 구분, 경매구분, 품목코드 등 34 개의 변수 중 16개 변수를 선정하여 의사결정나무 기법 을 이용, 허위거래를 탐지하는 모형을 제시하였다[6]. 또 한 공군 항공기 수리부속 수요를 예측하기 위하여 수리 부속 관련 자료를 정리, 변수를 추출(불출 개수 대비 소 모개수 비율, 연도별 소모개수 합, 수리율, 폐기율, 조달 기간 등)하여 의사결정나무, 베이지안 네트워크 등의 기 법을 사용하여 수리부속 발생여부를 예측하는 모델을 제 시하였다[4].
기존 데이터마이닝을 적용하여 수요예측을 한 연구들 은 대부분 분류, 발생여부를 예측하였다. 본 연구에서는 다양한 변수들을 입력변수로 한 데이터마이닝 기법을 적 용하여 수리부속 소요수량에 대한 예측 정확도를 제고하 고자 한다.
3. 수리부속 수요예측 모형
3.1. 데이터 수집 및 변수 선정
해군 장비정비정보체계는 2005년부터 2008년까지 3년 간 개발되었으며, 개발 목적은 군수자산의 가시화를 통 해 자산관리의 효율성, 투명성, 정확성을 제고하고 정비, 보급 등 제반 군수업무를 통합 관리하기 위한 것이다. 이 러한 개발 목적을 달성하기 위하여 기존의 정비 및 보급 업무 관련 정보시스템인 군수종합정보체계, 함정정비정 보체계, 항공종합정보체계를 통합하여 일원화하였으며, 군수업무 수행에 필요한 정보의 공유를 위해 국방부 및 타군의 정보시스템과 연동하고 웹 기반의 정비기술을 적 용하였다. 이렇게 해군 장비정비정보체계는 보급․정비 업무와 야전․창정비 업무에 대한 다양한 기능과 군수정 보를 제공하는 등 해군 군수분야의 핵심적 역할을 하고 있다[3].
이와 같이 보급․정비에 대한 데이터가 축적된 체계 를 통하여 현재 해군에서 접적해역 경비, 청해부대 파병, 사관생도 원양실습 지원 등 다양한 분야에서 운영하고 있는 DDH-O 구축함 O척의 정비실적 데이터를 수집하 였다.
수집한 데이터는 정비날짜 수리부속 소모개수, 수리내 역 등의 자료가 포함되어 있다. 본 연구의 목적은 수리부 속 수요예측이므로 데이터를 수리부속별/연도별(2009~ 2016년)로 재정리하였으며, 수리부속 품목수는 총 29,083 개였다. 이 자료에 추가하여 연도별 인가저장품목(ASL : Authorized Stockage List/각급 보급부대에서 현 보급운영 을 지속하고 장차 예측되는 소요를 충당하기 위하여 항 상 저장 유지하도록 인가된 보급품) 선정개수, 요수리품의 수리율(수리된 개수/수리부속 입고량), 연도별 수리부속 청구/불출 비율(청구한 수리부속 수량/불출된 수리부속 수량), 함정 운영일을 확보하였다. 함정 운영일의 경우 해당 수리부속의 장비 운영일이 가장 좋은 자료이나 장 비정비정보체계 내에서 획득할 수 있는 자료는 각 함정 의 주엔진에 대한 운영일 자료만 축적되어 있었다. 함정 특성상 주엔진이 가동한다는 것은 함정이 바다에서 항해 하는 것이며, 그에 따라 함정에 탑재된 모든 장비들도 가 동된다고 할 수 있다. 그래서 본 연구에서는 O척의 주엔 진 운영일의 평균을 모든 수리부속의 연도별 운영일로 동일하게 적용하였다. 이와 같은 데이터 수집을 통하여 최종적으로 활용할 설명변수는 <Table 2>와 같이 총 42 개의 변수이다.
목적변수는 f년 수리부속(Cf, f = 16) 소요수량예측으 로 선정하였으며, 훈련 및 테스트 데이터(7:3)를 분할하 여 검증하였다. 이 때 예측력 척도는 평균제곱오차(MSE : Mean Square Error/관측치와 예측치 사이의 차이가 적을 수록 예측을 잘한 것이므로 평균제곱오차가 적을수록 모 형의 예측력이 높음)를 사용하였다. 테스트 데이터를 이 용하여 MSE를 총 10회 확인하였으며, 최종 MSE는 그 평균을 사용하였다.
3.2. 모델 구축
본 연구에서는 목적변수가 수리부속 소요수량으로 연 속형이다. 이에 따른 최적의 수요예측 모델을 구축하기 위 하여 데이터마이닝 기법 중 회귀나무모형, 랜덤포레스트 모형, 신경망모형, 선형회귀모형 4가지 기법을 사용하였으 며, 모델 구축에는 공개 소프트웨어인 R을 사용하였다.
3.3. 결과 분석
3.3.1. 회귀나무모형
회귀나무모형은 분류나 예측의 근거를 알려주기 때문에 이해하기가 쉬우며, 데이터를 구성하는 입력변수의 수가 지나치게 많을 경우에도 작업이 용이하다. 본 연구에서는 회귀나무모형 기법인 CART(Classification and Regression Tree) 방법을 사용하였으며, R 소프트웨어의 RPART 패 키지를 활용하였다. 회귀나무모형 트리구성은 <Figure 1> 과 같으며, 회귀나무모형을 구성한 변수는 f-1-f-5/f-7년 소모개수, f-1-f-3년 ASL 선정개수, f-3/f-6년 청구불출비 율 총 11개 변수이다.
회귀나무모형의 세부적인 분할규칙은 <Table 3>과 같 이 나타났다. 예를 들어 f-2년 소모개수가 1,550개 이상 인 경우 f년 소요수량은 200개로 예측되었으며, f-2년 소 모개수 1,550개 이하, f-4년 소모개수 1270개 이하, f-3년 ASL 선정개수 835개 이하, f-1년 ASL 선정개수가 179.5 개 이하인 경우 f년 소요수량이 1.47개로 예측되었다. 수 리부속의 소요수량을 예측하려면 <Table 3>과 같은 분할 규칙을 이용하여 f년 소요수량을 예측할 수 있을 것이라 고 판단된다.
회귀나무모형에 대한 테스트 데이터의 MSE 확인결과 는 89.23이며, 산점도 결과는 <Figure 2>와 같으며 산점 도가 45도 대각선을 중심으로 모여 있으면 예측력이 좋 다고 할 수 있다. 산점도 결과 그래프와 같이 실제 소모 수량이 있음에도 0으로 예측하는 수량이 다수 존재한다. 분류규칙에서와 같이 f-5년 소모실적이 많은 품목들이 f 년에는 소요가 없다고 예측하였는데 5년 주기로는 수리 부속 소모가 발생하는 품목들이 적음을 알 수 있다.
3.3.2. 랜덤포레스트모형
랜덤포레스트는 앙상블 기법을 활용한 모델로써 앙상 블 기법은 주어진 데이터로부터 여러 개의 모델을 학습 한 다음, 예측시 여러 모델의 예측결과들을 종합, 사용하 여 정확도를 높이는 기법이다. <Figure 3>은 랜덤포레스 트모형 수행 후 수리부속 데이터에 대한 변수 중요도를 평가한 결과로써 %IncMSE 값이 높을수록 중요한 변수 이다. 분석결과는 f-4년 소모개수, f-3년 소모개수, f-1년 소모개수, f-2년 ASL 선정개수, f-7년 청구불출비율, f-4 년 청구불출비율 순으로 변수가 중요하다고 분석하였다.
회귀나무모형의 트리 구성과 랜덤포레스트모형의 변 수 중요도를 비교하면 소모개수, ASL 선정개수, 청구불 출비율로 선택된 변수가 유사하였다.
랜덤포레스트에 대한 테스트 데이터의 MSE 확인결과 는 24.47이며 회귀나무모형과 비교시 예측력이 매우 높 음을 알 수 있으나 회귀나무모형과 같이 소요수량을 직 관적으로 알 수 없는 한계점을 가진다. 산점도 결과는 <Figure 4>와 같으며 그래프 상에서도 관측치와 예측치 가 유사한 점들이 많음을 알 수 있다.
3.3.3. 신경망 모형
신경망은 인간의 뇌를 본 따서 만든 모델로써 예측성 능이 우수하며, 특히 은닉층에서 입력값이 조합되므로 비선형적인 문제를 해결 할 수 있는 특징이 있다. 그러나 의사결정나무 등의 모델과 비교하면 만들어진 모델을 직 관적으로 이해하기가 어렵고 수작업으로 모델을 수정하 기 어려운 단점이 있다.
신경망 모형 작성시 첫 번째 단계는 목표변수와 관련성 이 높은 입력변수를 선택하는 것이다. 입력정보를 나타내 는 입력변수에 따라 출력결과가 많이 달라질 수 있으므로 기존 회귀나무모형과 랜덤포레스트에서 중요하다고 선정 된 연도별 소모개수, ASL 선정개수, 청구불출비율을 입력 변수로 선정하였다. 선정된 입력변수들은 표준화과정을 거쳐 0, 1 사이 값으로 변경하였다. 신경망은 은닉층에 따 라 예측력의 차이를 보이는데 단층, 다층의 예측력 비교 시 다층이 좋았으며, 다층에서도 은닉노드를 5, 3으로 할 경우 예측력이 가장 좋았다. 그래서 최종모형은 <Figure 5>와 같이 은닉층이 두 개인 다층신경망 구조로써, 입력 층 22개, 2개의 은닉층에는 5/3개의 은닉노드, 출력층은 1 개의 노드로 이루어져 있는 구조로 구성하였다.
신경망 모형에 대한 테스트 데이터의 MSE 확인결과는 57.78이며 회귀나무모형과 비교시 예측력이 높으나 랜덤 포레스트보다는 예측력이 낮았다. 산점도 결과는 <Figure 6>과 같으며 그래프 상에서도 관측치와 예측치가 유사한 점들도 있으나 실제 소모가 발생한 품목이 있음에도 불구 하고 0으로 예측하는 수량이 많았다.
3.3.4. 선형회귀모형
회귀분석은 변수사이의 함수적 관계를 조사하는 통계 적 방법이며, 본 연구에서는 목적변수가 연속형이므로 선 형회귀모형을 사용하였다. 선형회귀모형 수행결과 P값은 0.000***으로 0.05보다 작아 유의하다고 할 수 있으나 R2 값이 0.41로 낮았으며, AIC 값도 110713로 높게 나왔다. 단계적 방법(Stepwise selection) 후 R2 값 및 AIC 값에는 큰 변동이 없으므로 선형회귀모형에는 적합하지 않다고 할 수 있다. 단계적 방법 이후 제거된 변수를 확인한 결과 기존 모델과 동일하게 중요하지 않다고 평가된 연도별 재 생율/폐기율/운영일이 포함되어 있었으나, 다른 모델에서 중요하다고 평가된 f-7년 ASL 선정개수, f-6년 소모개수, f-4년 청구불출비율이 제거되었음을 알 수 있었다.
MSE 값도 225.38로 다른 모델의 예측력에 비해 매우 낮은 예측력을 보였으며, <Figure 7>의 그래프에서 볼 수 있듯이 관측치와 예측치가 다른 점들이 많았다.
3.3.5. 모델별 예측력 및 변수활용결과
4가지 기법의 MSE 값은 <Table 4>와 같다. 랜덤포레 스트 모형의 MSE 값이 24.47로 가장 작으며, 산점도 그 래프도 45도 대각선을 중심으로 잘 모여 있음을 알 수 있다. 예측 정확도를 측정하기 위하여 본 연구에서 예측 력이 가장 높은 랜덤포레스트 모형을 이용하여 테스트 데이터의 실제 소모수량과 랜덤포레스트 모델을 이용한 예측치를 비교하였다. 실제 소모수량과 예측량의 차이가 0인 품목을 테스트데이터를 10회 변경하여 확인한 결과 평균은 90%가 나왔으며, 이는 우리 군 전체 수리부속의 정확도인 40~50%보다 약 40~50% 높은 결과를 보여주었 다. 그러나 본 연구는 DDH-O의 O척이므로 전체 수리부 속과 비교하는 것은 제한이 있으나 DDH-O 구축함에 대 해서는 높은 정확도를 보여주었다.
최초 연도별 소모실적 등 총 42개의 변수를 식별하여 활용하였으나 각 모델에서 활용한 변수들은 <Table 5>와 같다. 기존 변수 선정과정에서 수리부속 소요와 관련이 많 을 것이라고 판단했던 연도별 소모실적, ASL 선정개수, 청구불출비율이 모든 모델에서 중요변수로 활용되었다.
운영일 또한 수리부속 소요산정에 매우 중요한 변수로 판단되었으나, 현 장비정비정보체계 내 축적된 자료의 한 계로 인하여 각 모델의 설명변수로 활용하기에는 제한이 되었다.
4. 결 론
본 연구에서는 해군 함정 수리부속의 수요예측 정확 도 제고를 위하여 지난 7개년의 수리부속 수요데이터를 분석하고 데이터마이닝 기법을 활용하여 수리부속 수요 예측 모델을 제안하였다.
본 연구의 의의로는 현재 군에서 사용하는 시계열 기 법에서 벗어나 수요예측 모델을 제안하였으며, 수요예측 정확도 제고에 연관성을 갖는 변수들을 식별할 수 있었 다는 점에서 의미가 있다.
제안한 모델 중에서 가장 성능이 좋은 모델은 랜덤포레 스트 모델로서 MSE는 24.47, 정확도는 90%로 우리 군에 서 기존에 사용하는 수요예측 모델보다 40~50% 향상된 결과를 도출하였다. 그러나 DDH-O 구축함 수리부속에 대 한 정확도로 전체 수리부속에 적용하기에는 한계가 있으 며, 확장된 수리부속 수요예측 관련 연구가 필요하다.
추가적으로 설명변수 중 장비 운영시간이 수요예측에 끼치는 영향이 많을 것으로 판단하여 함정 운영일을 변 수에 추가하였으나, 장비정비정보체계 내 장비 운영시간 이 단순하게 함정 주엔진의 가동시간만 주어져 있었다. 그래서 모델 구축시 수요예측에 중요한 변수로 채택되지 않았지만, 수리부속 소모에 결정적인 역할을 할 것으로 판단되며, 장비정비정보체계 내에 이와 연관되어 자료를 축적할 수 있는 시스템이 구축되어야 할 것이다.
제안사항으로 수요예측 정확도를 제고하기 위해서는 수요예측에 사용되는 원천자료의 신뢰성 제고가 필요하 다. 특히 장비정비정보체계에서 수리부속 소모 등의 자 료가 축적되는 만큼 이를 관리하는 업무 담당자의 지속 적인 관심이 매우 중요하며, 이와 같은 인식의 변화가 데 이터의 정확도 향상에 많은 도움이 될 것이다.
본 연구에서는 수리부속 소모실적 및 ASL 선정개수, 청구/불출비율 등의 데이터를 분석에 활용하였으나, 향후 장비 운영시간, 기상정보, 정비기록 등 외부 데이터나 비 정형화된 텍스트 데이터를 추가적으로 활용한다면 보다 향상된 수요예측 결과를 얻을 수 있을 것이라고 기대된다.
