Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.38 No.3 pp.159-168
DOI : https://doi.org/10.11627/jkise.2015.38.3.159

A New Metric for Evaluation of Forecasting Methods : Weighted Absolute and Cumulative Forecast Error

Dea-Il Choi

, Chang-Soo Ok†

Department of Industrial Engineering, Hongik University, Seoul

Corresponding author: okcs@hongik.ac.kr

Received July 19, 2015 Finally Revised September 11, 2015 Accepted September 14, 2015

Abstract

Aggregate Production Planning determines levels of production, human resources, inventory to maximize company’s profits and fulfill customer's demands based on demand forecasts. Since performance of aggregate production planning heavily depends on accuracy of given forecasting demands, choosing an accurate forecasting method should be antecedent for achieving a good aggregate production planning. Generally, typical forecasting error metrics such as MSE (Mean Squared Error), MAD (Mean Absolute Deviation), MAPE (Mean Absolute Percentage Error), and CFE (Cumulated Forecast Error) are utilized to choose a proper forecasting method for an aggregate production planning. However, these metrics are designed only to measure a difference between real and forecast demands and they are not able to consider any results such as increasing cost or decreasing profit caused by forecasting error. Consequently, the traditional metrics fail to give enough explanation to select a good forecasting method in aggregate production planning. To overcome this limitation of typical metrics for forecasting method this study suggests a new metric, WACFE (Weighted Absolute and Cumulative Forecast Error), to evaluate forecasting methods. Basically, the WACFE is designed to consider not only forecasting errors but also costs which the errors might cause in for Aggregate Production Planning. The WACFE is a product sum of cumulative forecasting error and weight factors for backorder and inventory costs. We demonstrate the effectiveness of the proposed metric by conducting intensive experiments with demand data sets from M3-competition. Finally, we showed that the WACFE provides a higher correlation with the total cost than other metrics and, consequently, is a better performance in selection of forecasting methods for aggregate production planning.

Key Words : Forecasting Error , Aggregate Planning , Weighted Absolute and Cumulative Forecasting Error

수요 예측 평가를 위한 가중절대누적오차지표의 개발

최 대일

, 옥 창수†

홍익대학교 산업공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

Hongik University

1.서 론

총괄계획은 주어진 수요 예측에 따라 회사의 이익을 극대화하는 각 기간의 생산수준, 재고수준, 생산능력수준을 결정하는 것이다[5]. 즉, 총괄계획수립을 위해서는 수요 예측 자료는 필수적이며 이 수요 예측의 정확도는 총괄 계획의 결과에 대단히 큰 영향을 미친다. 예측오차가 커 질수록 재고의 과잉이나 부족이 발생하게 되고 결과적으 로 재고비용, 부족재고비용, 생산비용과 같은 비용들이 증가하게 되어 총괄계획이 부정확해지는 결과를 초래한 다[5]. 따라서, 효과적인 총괄계획 수립을 위해서는 정확 한 수요 예측이 선행되어야 하므로 우수한 수요 예측기법 의 선정이 중요하다.

일반적으로 예측 기법에 대한 평가는 예측오차의 측정 을 통해 이루어지고 대표적인 예측오차 지표로는 Mean Squared Error(MSE), Mean Absolute Deviation(MAD) 등 이 사용된다. 그러나 Wright[16]는 대표적인 예측오차 지 표인 MAD, MSE가 우수한 예측기법이 현장에서 더 많 은 재고 비용을 발생시키는 경우가 존재하는 것을 확인 했다. 이는 기존의 예측오차지표를 최소화하는 예측기법 이 반드시 총괄계획이나 생산계획단계에서 비용의 최소 화 또는 이익의 최대화를 보장하지 않음을 의미한다. 다시 말해, 비용을 최소화하거나 이익을 최대화하는 총괄계획 수립을 위한 적절한 예측 기법을 선정할 때, 기존 평가 지 표인 MAD와 MSE 등과 같은 기존 지표들은 한계를 가 지고 있음을 의미한다.

따라서 본 연구에서는 총괄계획 수립에 적합한 수요 예측 기법의 선정을 위해 비용 또는 이익 측면에서 예측 기법의 성능을 평가할 수 있는 새로운 지표로서 WACFE (Weighted Absolute and Cumulative Forecast Error)를 제 안한다. 기존의 예측오차 지표는 예측치와 실제치의 차 이에 기반하는 예측오차에만 초점을 맞추는 반면, 그 오 차가 야기하게 되는 결과는 고려하지 않는다. 이러한 기 존 예측오차 지표들의 단점을 보완하기 위해 WACFE는 예측오차와 그 오차로 인해 발생하는 이익과 비용에 초 점을 맞춘 지표이다. 특히, 중장기 수요 예측에 의존하는 총괄계획에서의 예측오차는 재고의 과잉과 부족에 큰 영향 을 미치기 때문에 반드시 이를 고려해야 할 필요가 있다.

본 논문의 구성은 다음과 같다. 먼저, 제 2장에서는 기 존 수요 예측 성과지표들에 대한 간략한 설명과 한계점을 설명하고, 제 3장에서는 본 연구에서 제안하는 WACFE 를 소개한다. 제 4장, 제 5장은 제안한 새로운 지표가 총 비용에 대한 설명력을 검증하는 실험의 설계와 그 실험 의 결과에 대하여 논하고, 제 6장에서는 결론 및 향후 연 구에 대하여 논한다.

2.수요 예측 성과지표

본 장에서는 기존 수요 예측 지표에 대해서 설명하고 이 지표들이 가지는 한계점에 대해 논의한다.

2.1.예측의 정확도

기간 t의 예측오차는 기간 t에 대한 예측치와 실제수요 의 차이이다. 따라서 예측오차는 식 (1)과 같다.

E_{t} = D_{t} - F_{t}

(1)

여기서 E_t는 기간 t의 예측오차를 의미하고 D_t 는 기간 t의 실제수요, F_t는 기간 t의 예측수요를 의미한다.

예측오차의 지표 중 한 가지는 평균제곱오차(mean squared error : MSE)라는 것이 있으며, 식 (2)와 같이 표현한다.

{MSE}_{n} = \frac{1}{n} \sum_{t = 1}^{n} E_{t}^{2}

(2)

MSE는 예측오차의 변동을 추정한 것이다. 기간 t에서 오차의 절대치인 기간 t에서의 절대편차 A_t 를 정의하면 식 (3)과 같다.

A_{t} = |E_{t}|

(3)

평균절대편차(mean absolute deviation : MAD)는 모든 기간에 대한 절대편차의 평균으로 정의되며. 식 (4)와 같다.

{MAD}_{n} = \frac{1}{n} \sum_{t = 1}^{n} A_{t}

(4)

평균절대백분율오차(mean absolute percentage error : MAPE) 는 수요의 절대오차의 평균을 백분율로 나타낸 것이고, 식 (5)와 같이 표현한다.

{MAPE}_{n} = \frac{\sum_{t = 1}^{n} |\frac{A_{t}}{D_{t}}| 100}{n}

(5)

마지막으로, 누적예측오차(cumulated forecast error : CFE) 는 예측오차의 합계이고, 식 (6)과 같이 표현한다.

{CFE}_{n} = \sum_{t = 1}^{n} E_{t}

(6)

2.2.기존 예측오차 평가지표의 한계

일반적으로 예측오차의 평가기준이 되는 것은 예측오 차의 변동성(variability)과 치우침(bias)이다. 변동성은 예측 치와 실제치의 차이 절대값의 합을 의미하고 치우침은 예 측치와 실제치의 차이의 단순 누적합을 의미한다. Wallace and Stahl[14]는 예측오차에서 변동성보다 치우침이 재고 또는 부족재고를 지속적으로 발생시킨다는 관점에서 더 나쁜 유형의 예측오차라고 설명했다.

<Table 1>은 Wallace and Stahl[14]가 언급한 예측오차 의 변동성과 치우침에 대한 개념을 설명하기 위한 예제이다. 동일한 수요에 대해 예측 1, 2, 3이 주어져있고, 각 예측 의 예측오차의 변동성과 치우침 정도가 주어져있다.

두 예측치를 비교해 보면, 예측 1의 변동성은 50으로 예측 2에 비해 상대적으로 낮은 반면에 치우침 현상은 200으로 매우 높다. 이는 예측 2가 기간 4에서 고객수요에 비해 훨씬 많은 과잉재고를 야기함을 의미한다. 반면, 예 측 2는 150이라는 높은 변동성을 갖지만 치우침 현상은 0으로서 기간 4에서 과잉재고 또는 부족재고가 전혀 없음 을 의미한다. 예측 1의 경우는 기간 2와 기간 3 동안에 총 200의 재고가 발생하였고, 이를 해소하지 못했다. 예측 2 는 기간 1에서부터 기간 4까지 지속적으로 예측오차가 발 생했지만, 과잉예측과 과소예측이 서로 상쇄되어 치우침 은 0이다. 예측 1과 같이 과대예측이 지속된다면 과잉재 고, 초과 생산능력, 인력해고와 같은 문제가 나타난다. 반 대로 계속해서 과소예측을 하게 되면 출하지연, 고객 불 만족, 계획에 없던 잔업 등의 결과가 발생한다. 따라서 치우침은 가장 나쁜 유형의 예측오차라고 할 수 있다[14].

그러나 이처럼 수요 예측모형의 평가를 위해 기본적 으로 활용되는 변동성과 치우침의 개념만으로는 재고의 과부족측면을 설명하기에 어려움이 있다. <Table 1>의 예 측 3은 예측 2와 동일한 변동성과 치우침을 갖지만, 이를 재고의 과부족 측면에서 본다면 두 예측치는 확연하게 다르다고 볼 수 있다. 예측 2의 경우, 기간 1에서 200의 과잉재고를 갖게 되고, 기간 2에서 300, 기간 3에서 200 의 과잉재고를 보유하며 기간 1에서 기간 4까지 총 700 에 대한 재고유지비용이 발생하게 된다. 반면에 예측 3 은 기간 1에서 200, 기간 3에서 100으로 총 300에 대한 재고유지비용만을 발생한다. 기존 예측오차 평가지표들 로는 동일한 결과를 갖는 두 예측치지만, 재고의 과부족 측면에서 본다면 예측 2는 예측 3에 비해 훨씬 더 많은 재고와 관련된 비용들을 야기하게 된다.

이를 통해 기존 성과지표를 사용한 평가방법으로는 비슷한 성과를 보인 예측치들이 실제 생산운영에 적용되 었을 때, 이익 또는 비용에 미치는 영향은 완전히 다르게 나타날 수 있다는 것을 알 수 있고, 이는 기존 지표들의 한계라고 볼 수 있다.

3.WACFE(Weighted Absolute and Cumulative Forecast Error)

본 연구에서 예측모형의 새로운 평가지표로써 가중절대 누적오차지표(Weighted Absolute and Cumulative Forecast Error : WACFE)를 제안한다. 기존 예측모형의 성과지표 들은 예측오차의 변동성과 치우침을 고려하지만, 오차에 따라 발생하는 비용 측면은 적절하게 설명하지 못하는 경 우가 존재하는 것을 Wright[16]의 사례를 통해 확인했다. <Table 2>과 같이 실제 수요와 두 개의 예측 방법에 의 한 예측치가 있다고 하자.

<Table 3>은 <Table 2>에 주어진 예측 1, 2에 대한 오 차지표들의 결과와 총 기대이익을 계산한 결과이다. 여 기서 총 기대이익은 예측치에 근거하여 선형모형을 사용 한 생산계획을 수립하고 그 생산계획을 실수요와 비교하 는 실험과정을 통해 산출했다. 이 실험과정에 대해서는 4장에서 자세히 설명한다.

<Table 3>을 보면 예측 2가 MAD, MSE, MAPE, CFE의 값들 모두 우수하다. 그러나 이러한 기존 성과지표들의 결 과와는 반대로 총 기대이익은 예측 1이 7,580으로 더 많은 이익이 발생하였고, 예측 2가 7,400으로 더 적은 이익이 발생했다. 정리하면, 예측 2는 기존 성과지표로는 우수한 성과를 보였지만 이익측면에서는 상대적으로 더 적은 이익 을 초래한 반면, 예측 1은 기존 성과지표로는 나쁜 결과를 보이지만 총 이익측면에서는 비교적 많은 이익이 발생했다.

<Figure 1>은 <Table 3>의 실수요와 예측수요의 그래프 를 통해 오차를 비교한 것이다. 예측 1의 예측수요와 실 수요의 오차는 총 800이고, 예측 2의 총 예측오차는 500 이다. 이는 기존 지표들의 결과와 동일하게 예측 2의 예 측오차가 더 적은 값을 보이고 있다.

반면, <Figure 2>에서 보는 것과 같이 실수요와 예측 수요의 누적 그래프를 통해 오차를 살펴보면 예측 1의 경우, 600의 오차를 보이고 있고, 예측 2는 1,000의 오차 를 보인다. <Figure 1>에서 예측1의 오차가 상대적으로 더 크게 나타난 것과는 반대로 <Figure 2>의 누적그래프 에서는 예측 1이 더 작은 오차를 보이고 있다. 예측기법 2의 실수요 대비 예측수요 그래프를 보면 기간 1, 4에서 는 오차가 발생했지만, 기간 2, 3에서는 정확한 예측을 했다. 그러나 누적그래프에서는 예측 2의 예측수요가 실 수요에 비해 계속 부족 상태임을 확인할 수 있다.

여기서 수요의 누적 값과 예측수요의 누적 값 간에 발 생하는 차이는 과잉재고와 부족재고를 의미한다. 예측 2 의 성과지표들이 가장 좋은 결과를 보였음에도 불구하고 기대이익이 더 적은 이유는 전 기간동안 지속적으로 발생 한 부족재고 때문이라고 볼 수 있다. 반면, 예측 1의 예측 오차지표 결과는 좋지 못했지만, 기대이익이 비교적 높은 이유 역시 재고의 과부족이 적게 발생했기 때문이다. 결국 실수요와 예측수요의 누적값의 오차가 커질수록 이익이 감소하고 작아질수록 이익이 증가한다는 것을 알 수 있다.

따라서 본 연구에서는 실제수요 누적값과 예측수요 누 적값의 차이의 합을 WACFE라고 정의하고, WACFE를 새로운 성과지표로 제안한다. WACFE 값은 매 기간의 CFE의 절대값의 합을 나타내고, 식 (7)에 의해 계산된다.

{WACFE}_{n} = \sum_{t = 1}^{n} W_{t} |{CFE}_{t}|

(7)

where

$W_{t} = \{\begin{matrix} Weight for - forecasting \\ if {CFE}_{t} \leq 0 \\ Weight for_forecasting \\ if {CFE}_{t} > 0 \end{matrix}$

and ${CFE}_{n} = \sum_{t = 1}^{n} E_{t} = E_{t} + {CFE}_{t - 1}$

여기서 W_t는 재고유지비용과 부족비용 사이의 비율을 반영하기 위한 가중치이다. 만약 누적실수요 대비 누적예 측수요가 크다면 재고유지비용이 발생할 것이고, 누적실 수요 대비 누적예측수요가 작다면 부족재고비용이 발생 할 것이다. 그러나 실세계에서 재고유지비용과 부족재고 비용은 일대일 관계가 아니다. 따라서 이러한 재고유지 비용과 부족재고비용의 비율을 반영하기 위해 가중치를 적용한다. 실제로 이 지표(예제의 W_t는 1로 고정)를 앞서 설명한 예제에 적용해 보면 예측 1, 2의 WACFE는 각각 600, 1,000이다. WACFE의 값이 우수한 예측 1이 예측 2 보다 상대적으로 더 높은 기대이익을 보이고 있다. 즉, WACFE는 기존 성과지표에 비해 총 이익(비용)을 비교적 잘 설명하는 지표라고 할 수 있다. 이에 대한 보다 정확 한 검증을 위해 실험을 실시했다.

4.실험 모형

제안하는 새로운 성과지표의 비용과 이익에 대한 설 명력을 검증하기 위해 실험을 실시하였다. <Figure 3>은 실험의 전체적인 흐름을 나타내는 그림이다.

먼저, 수요데이터를 두 부분으로 나누어 전반부는 예 측을 위한 과거수요로 사용하고, 후반부는 예측치의 평 가를 위한 실제 관측수요로 사용한다.

과거수요를 기반으로 다양한 예측모형에 따라 예측치 들을 생성한다. 생성된 예측치들을 수요 데이터의 실제 관측수요와의 비교를 통해 기존 성과지표 MAD, MSE, MAPE, CFE 값과 제안한 WACFE 값을 측정한다. 다음 으로 생성된 예측수요를 기반으로 선형모형에 따른 최적 총괄계획을 수립하고, 이 시점에서 정규생산 비용, 해고 비용과 고용비용을 산출한다. 그리고 총괄계획의 생산량 대비 실제 수요의 차이에서 발생하는 재고유지비용, 부 족재고비용이 산출된다. 이렇게 산출된 비용들과 실제수 요에 따라 발생하는 판매이익을 고려하여 기대이익을 계 산한다. 이는 각 예측기법에 의해 예측된 수요가 야기하 는 이익을 의미하고 해당 예측기법의 평가 지표로 활용 될 수 있다. 마지막으로 제안된 WACFE 지표의 우수성 을 보이기 위해 예측치들의 각 지표에 의한 순위를 작성 하고 실제 발생하는 비용에 의한 순위와 비교한다. 예측 의 목적을 이익최대화 또는 비용최소화를 위한 총괄계획 수립이라고 할 때 총비용에 의한 예측치의 순위와 가장 비슷한 순위를 보이는 평가지표가 가장 우수한 평가지표 라고 판단할 수 있다. 순위간 유사성 평가에는 Spearman 의 순위상관계수를 활용한다. Spearman 순위상관계수는 두 변수의 분포를 모를 때, 그 상대적인 순위 자료를 이 용하여 두 변수 간의 연관성을 판단하는 방법이다[13]. 상 관계수 r는 1과 가까울수록 양의 상관관계임을 나타낸다. 실험에서는 WACFE 계산에서 가중치 W_t 는 실험에 사용 된 총괄계획 모형에 주어진 재고유지비용과 재고부족비 용의 조건에 따라 과대예측에 대해서는 2, 과소예측은 5 를 적용한다.

4.1.수요 자료와 예측기법

본 연구의 실험은 M3-Competition data를 활용하여 진 행한다[10]. M-Competition은 1982년 Makridais에 의해 시작되었고, 1,001개의 시계열에 대해 15개의 예측기법을 적용했다. M3-Competiton은 M-Competition에서 더 확장된 3,003개의 시계열 자료(micro, industry, macro, etc)와 24개 의 예측기법의 결과를 제공한다. 실험을 위해 M3-Competition의 월간 시계열 자료에서 MICRO, INDUSTRY, MACRO 3가지 수요의 분류에서 각각 5개의 시계열 자료를 추출 하여 실험에 적용했다. <Figure 4>는 실험에 사용된 시계 열 자료의 형태를 나타낸 그래프이고, <Table 4>는 각 시 계열 자료의 Fitting Period와 Forecasting Period를 나타내 고 있다. 15개의 수요자료 모두 18기간의 예측치를 사용 하여 각 예측기법들을 예측오차를 평가한다.

<Table 5>는 M3-Competition에 적용된 24개의 예측 기법에 대한 간략한 설명이다.

먼저 Single은 시계열 예측기법으로 잘 알려진 지수평 활법은 전기의 예측치에 예측오차의 일정 비율을 더한 값에 기초하는 가중평균방법이다.

M3-Competition에 포함된 추세를 고려하는 모델로는 Holt, Robust-Trend, Winter, Dampen, PP autocast, Theta-sm, Comb S-H-D가 있다. Holt는 추세를 반영하는 추세조정 지수평활법이고, Robust-Trend는 중앙값에 기반하여 추 세를 추정하는 예측기법으로 Grambsch and Stahel에 의 해 개발되었다[9]. Robust-Trend는 연간 데이터에서 가장 좋은 성능을 냈다. Winter는 수준, 추세, 계절성을 모두 사용하는 예측기법이고, Dampen는 Gardner, McKenzie에 의해 개발된 기법으로 Holt에 감쇠변수를 적용하여 불규칙 한 추세를 감소시켰다[7, 15]. PP autocast는 Holt, Winter 모델의 가장 최적의 변수값을 자동으로 설정하는 예측 소 프트웨어이다. Comb S-H-D는 Single/Holt/Dampen의 세 가 지 기법을 혼합한 모델이다.

Theta모델은 Theta라는 계수를 통해 시계열의 부분 곡 률을 수정하는 개념을 기반으로 한다. 곡률을 수정하여 새로운 Theta line을 생성하여 시계열을 분해하는 것이 이 모델의 목적이다[2]. M3-Competition 결과, Theta모델은 매우 우수한 성능을 보였다.

ARIMA 모델은 자기회귀(AR : Auto Regression) 모형과 이동평균(MA : Moving Average)의 결합 형태로서 Box and Jenkins에 의해 개발되었다[4]. AutoBox1, 2, 3은 ARIMA 모형에 간섭탐지를 적용한 모형과 적용하지 않은 모형으로 나뉜다. AutoBox1은 간섭탐지를 사용하지 않고, AutoBox2 는 ARIMA 단계를 거친 후 간섭을 점검한다. AutoBox3은 간섭을 검토 후에 ARIMA 모형을 실행한다. AAM1, 2는 ARIMA를 사용하기 쉽게 자동화하여 시간을 절약하고 예 측정확성을 얻는 예측 소프트웨어로서 AAM1은 이상치 에 대한 처리가 없는 반면, AAM2는 선택적으로 이상치에 대해 분석한다[11]. ARARMA 모형은 Parzen에 의해 일반 적인 시계열 모델링으로서 제안되었다. 이 모델은 ARIMA 방법론의 대안으로서 M1-Competition의 보다 긴 예측기 간에서 가장 낮은 MAPE값을 보였다[12].

M3-Competition에 사용된 전문가 시스템으로는 ForecastPro, SmartFcs, RBF, Flores/Pearce1, 2, ForecastX가 있다. Forecast- Pro는 지수평활, Box-Jenkins, Croston’s Method, 이동평균 등을 지원하는 시스템이고, SmartFcs 지수평활, Box-Jenkins, Croston’s Method를 ForecastX는 4개의 지수평활과 2개 의 이동평균 기법을 제공한다. RBF는 Collopy와 Armstrong 에 의해 처음 개발되었고, 시계열 기록의 특징과 기술지식 들을 사용하여 예측한다. RBF는 충분한 기술지식을 가 지고 있을 때 강력한 효과가 있다. 특히 강한 추세가 있 는 시계열의 예측에 유용하다[1, 6]. Flores/Pearce1, 2는 데이터의 특징들에 고려하여 4개의 예측기법 중 하나를 자동으로 선택해주는 시스템이다. Flores/Pearce1은 사용 자의 개입을 허용하지 않고, Flores/Pearce2는 사용자가 예측기법을 선택 가능하도록 허용하고 있다[7].

마지막으로 Automat ANN은 인공신경망(ANN : Artificial Neural Networks)을 이용한 예측기법이다. ANN은 두 뇌 정보처리방법에 영감을 얻은 정보처리 패러다임이다. Automat ANN은 예측목적을 위한 ANN의 구조를 선택 하는 자동화 절차를 개발했다. 그러나 특정 시계열에서 는 나쁜 결과를 보인다[3].

4.2.총괄계획 모형

총괄계획은 각 기간에 대한 수요 예측이 주어졌을 때, 수요를 만족시키면서 정규근무, 초과근무, 하청, 재고과 부족, 인력 규모를 변경하는 비용 등과 같은 비용들을 최 소화하고자 하는 것이다. 기본적으로 총괄계획의 산출물 은 생산계획이다. 총괄계획 수립 시, 모든 기업은 설비의 생산능력이나 노동력과 같은 제약들을 지니고 있기 때문 에 선형모형을 사용하여 일련의 제약조건 하에서 이익을 최대화하는 방법이 매우 효과적이다.

본 연구에서는 총괄계획 수립을 위해 선형모형을 사 용한다. 앞서 산출된 예측치를 Chopra and Meindl의 저 서의 총괄생산계획 모형에 적용하여 총괄계획을 수립하 고, 그 계획에 따른 총 기대 이익을 산출한다.

총괄계획 모형의 결정변수들은 아래와 같다[5].

W_t = t월의 노동력 크기, t = 1, ⋯, T

H_t = t월 초에 고용하는 종업원의 수, t = 1, ⋯, T

L_t = t월 초에 해고하는 종업원의 수, t = 1, ⋯, T

P_t = t월에 생산되는 제품 수, t = 1, ⋯, T

I_t = t월 말의 재고, t = 1, ⋯, T

S_t = t월 말의 부족한 제품의 수, t = 1, ⋯, T

C_t = t월에 하청 계약되는 제품의 수, t = 1, ⋯, T

O_t = t월에 작업된 초과시간의 수, t = 1, ⋯, T

다음은 총괄계획 모형의 발생 비용이다.

정규시간 노동비용 = $\sum_{t = 1}^{T} 640 W_{t}$

초과시간 노동비용 = $\sum_{t = 1}^{T} 6 Q_{t}$

고용/해고비용 = $\sum_{t = 1}^{T} 300 H_{t} + \sum_{t = 1}^{T} 500 L_{t}$

재고유지/재고부족비용 = $\sum_{t = 1}^{T} 2 I_{t} + \sum_{t = 1}^{T} 5 S_{t}$

자재비용과 하청계약비용 = $\sum_{t = 1}^{T} 10 P_{t} + \sum_{t = 1}^{T} 30 C_{t}$

정규시간 노동비용은 작업자 1명당 지불되는 한 달 임금 으로 640달러(4달러/시간×8시간/일×20일/월)이다. 초과시 간 노동비용은 시간당 6달러이다. 작업자 한 명을 고용 하는 비용은 300달러이고 해고하는 비용은 500달러이다. 재고유지비용과 재고부족비용은 단위당 각각 2달러, 5달 러이다. 마지막으로 자재비용은 단위당 10달러이고 하청 계약비용은 단위당 30달러이다.

총괄계획 모형의 목적함수는 식 (8)과 같다.

\begin{matrix} Minimize \sum_{i = 1}^{T} 640 W_{t} + \sum_{i = 1}^{T} 6 O_{t} \\ + \sum_{i = 1}^{T} 300 H_{t} + \sum_{i = 1}^{T} 500 L_{t} + \sum_{i = 1}^{T} 2 I_{t} \\ + \sum_{i = 1}^{T} 5 S_{t} + \sum_{i = 1}^{T} 10 P_{t} + \sum_{i = 1}^{T} 30 C_{t} \end{matrix}

(8)

식 (9)는 노동력, 고용, 해고 제약식이고, 식 (10)는 생산 능력 제약식으로 정규시간과 초과시간의 가용 노동시간 에 근거하여 결정되는 전체 가용 생산능력을 제한한다. 식 (11)은 재고균형 제약식이고, 식 (12)는 초과시간 제한 제약식으로 작업자가 월 10시간 이상 초과시간 근무를 할 수 없음을 나타낸다.

W_{t} = W_{t - 1} + H_{t} - L_{t} for t = 1, ..., t

(9)

P_{t} \leq 40 W_{t} + Q_{t} / 4 for t = 1, ..., t

(10)

I_{t - 1} + P_{t} + C_{t} = D_{t} + S_{t - 1} + I_{t} - S_{t} for t = 1, ..., t

(11)

O_{t} \leq 10 W_{t} for t = 1, ..., t

(12)

4.3.기대이익 계산

앞서의 총괄계획 모형을 통해 정규시간 노동비용, 초과 시간 노동비용, 고용/해고비용, 재고유지/재고부족비용, 자 재비용과 하청계약비용을 얻을 수 있다. 이를 활용하여 실제 생산에 따라 발생하는 총 예상비용을 계산한다.

비용은 크게 재고비용과 제품생산 비용으로 나뉜다. 먼 저 실수요 대비 재고의 과부족에 대한 비용을 재고비용으 로 고려한다. 또한 총괄계획 기간 동안의 정규시간 노동 비용, 초과시간 노동비용, 자재비용과 하청계약비용의 합 은 제품생산을 위해 투입된 비용이다. 그러나 이러한 제 품생산비용을 그대로 반영하는 것은 비용 계산에서 오류 를 야기한다. 가령 과대예측과 과소예측에 대한 비용 계 산에서 제품생산비용을 그대로 반영한다면 실수요보다 적 게 생산한 과소예측이 월등하게 좋은 비용을 갖게 된다.

이러한 문제를 제거하기 위해 본 연구에서는 기대이 익을 활용했다. 식 (13)은 기대이익 계산에 대한 식이다.

\begin{matrix} Expected Profit = \\ (SP - PC) . \min (TD, TF) - IC \end{matrix}

(13)

여기서 SP는 판매가격(Selling Price)를 의미하고, Shopra, Meindl의 저서의 총괄생산계획 모형에 주어진 40을 판매 가격으로 한다. PC 는 제품원가(Product Cost)이고, 식 (14) 를 통해 구할 수 있다.

\frac{\sum_{t}^{T} (300 H_{t} + 500 L_{t} + 640 W_{t} + 6 O_{t} + 10 P_{t} + 30 C_{t})}{\sum_{t}^{T} P_{t}}

(14)

TD는 총괄계획 기간 동안의 전체 수요(Total Demand) 를 의미하고, TF (Total Forecast)는 계획 기간 동안의 전 체 예측수요를 의미한다. TD와 TF 둘 중 최소값을 곱하는 이유는 전체 예측수요가 전체 실제수요보다 작을 경우, 판매에 대한 이익을 얻을 수 없음을 반영하기 위함이다. IC 는 재고관련비용(Inventory related Cost)로서 재고유지 비용과 재고부족비용의 합이다.

5.실험 결과

수요 예측의 성과지표들과 예측의 오차로 인해 발생 하는 비용 또는 이익 사이의 상관관계를 확인하기 위해, 4장에서 설명한 실험 모형에 따라 실험을 진행하였다. 최 종적으로 24개의 예측기법의 MAD, MSE, MAPE, CFE, WACFE 결과값과 총 기대이익과의 순위상관계수를 통 해 각 지표들의 비용 또는 이익에 대한 설명력을 확인할 수 있었다.

<Table 6>은 실험의 결과로서 15개 각각의 시계열자료 에 대해 각 지표들과 기대이익 사이의 순위상관계수 r을 계산한 표이다. MICRO 수요에서 기대이익과 MAD의 순 위상관계수 r은 0.902이고 MSE는 0.904, MAPE와 CFE, WACFE는 각각 0.659, 0.939, 0.986이다. 이는 WACFE는 예측오차의 산포를 나타내는 MSE, MAD, MAPE에 비해 총 이익의 발생측면을 훨씬 잘 설명할 수 있다는 것을 의미 하고, CFE도 이익을 상당히 잘 설명하고 있지만, WACFE 보다 0.047낮은 r값을 보였다. INDUSTRY 수요에서도 마 찬가지로 MAD, MSE, MAPE, CFE는 각각 0.765, 0.841, 0.725, 0.923의 r값을 나타내고 있고 WACFE는 0.930으로 가장 높은 r값을 갖는다. MACRO 수요의 경우는 모든 지표 가 대체로 이익과의 높은 상관관계를 보이고 있고, WACFE 가 0.986으로 다른 지표들에 비해 우세함을 보였다. 15회 실험에 대한 평균의 결과는 WACFE의 순위상관계수 r값 이 0.967로 가장 높았고, CFE가 이보다 조금 낮은 0.924 이다. MAD, MSE, MAPE는 각각 0.849, 0.882, 0.754로 0.9에 미치지 못하는 비교적 낮은 r값을 보였다.

특히 CFE와 WACFE 모두 비교적 높은 r값을 보이긴 했 지만, CFE는 0.9 이하의 r값이 5회 나타났지만, WACFE는 15회의 실험에서 한 번의 실험을 제외하고 모두 0.9 이 상의 r값을 유지했다. 결국 WACFE는 수요의 형태와 상 관없이 예측오차에 따라 발생하는 이익을 비교적 상당히 잘 설명한다고 할 수 있다.

6.결 론

본 논문에서는 수요 예측기법을 평가하는 새로운 지 표로서 이익(비용) 기반의 지표인 WACFE를 제안했고, 이 지표가 실제 생산운영에서 예측오차에 따라 발생하는 비용과 이익을 적절하게 설명하고 있음을 검증했다. 반 대로 MAD, MSE, MAPE, CFE와 같은 기존 지표들은 WACFE에 비해 비교적 이익과의 상관관계가 낮았다. 이 는 비용과 이익 측면에서 가장 우수한 예측모형을 선정 하기 위해 기존 지표들을 사용하는 것이 부적절함을 시 사한다. 실제 현장에서의 예측모형 선정과 계획수립 과 정에서 WACFE를 고려한다면 이익(비용) 측면에서 보다 효율적인 결과를 얻을 수 있을 것으로 예상된다.

또한 향후 과제로는 WACFE를 활용한 새로운 예측기 법의 개발이 필요할 것으로 보인다.

Figure

<Figure 1>.

Difference between Predicted and Actual Demand

<Figure 2>.

Difference between Cumulative Predicted and Actual Demand

<Figure 3>.

Model of Simulation

<Figure 4>.

15 Time Series for Simulation

Table

<Table 1>.

Example about Demand Forecasting Error

(a) Forecast 1

	Period	Result
Variability	0	100	100	0	50
Bias	0	100	200	200	200

(b).

Forecast 2

	Period	Result
Variability	200	100	100	200	150
Bias	200	300	200	0	0

(c).

Forecast 3

	Period	Result
Variability	200	200	100	100	150
Bias	200	0	100	0	0

<Table 2>.

Actual Demand and Forecasts

	Period	Average
Demand	500	200	500	500	500
Forecast 1	700	300	500	100	400
Forecast 2	200	500	500	700	475

<Table 3>.

Total Cost and Results of Forecasting Performance Measures

	Forecast 1	Forecast 2
Performance Measure	MAD	200	125
MSE	60,000	32,500
MAPE	40	25
CFE	400	100
WACFE	600	1,000
Total Expected Prof it	7,580	7,400

<Table 4>.

Fitting Period and Forecasting Period

Category	Data	Fitting Period	Forecasting Period
MICRO	Demand 1	50	18
Demand 2	50	18
Demand 3	50	18
Demand 4	50	18
Demand 5	50	18
INDUSTRY	Demand 6	123	18
Demand 7	123	18
Demand 8	123	18
Demand 9	126	18
Demand 10	123	18
MACRO	Demand 11	116	18
Demand 12	116	18
Demand 13	116	18
Demand 14	116	18
Demand 15	116	18

<Table 5>.

The 24 Methods Included in the M3-Competition

Method	Description
Naive/simple
1. Naive2	Deaseasonalized Naive(Random Walk)
2. Single	Single Exponential Smoothing
Explicit trend models
3. Holt	Automatic Holt’s Linear Exponential Smoothing(two parameter model)
4. Robust-Trend	Non-parametric version of Holt’s linear model with median based estimate of trend
5. Winter	Holt-Winter’s linear and seasonal exponential smoothing(two or three parameter model)
6. Dampen	Dampen Trend Exponential Smoothing
7. PP-autocast	Damped Trend Exponential Smoothing
8. Theta-sm	Successive smoothing plus a set of rules for dampening the trend
9. Comb S-H-D	Combining three methods : Single/Holt/Dampen
Decomposition
10. Theta	Specific decomposition technique, projection and combination of the individual components
ARIMA/ARARMA model
11. B-J automatic	Box-Jenkins methodology of Business Forecast System
12. Autobox1	Robust ARIMA univariate Box-Jenkins with/Robust ARIMA univariate Box-Jenkins with/
13. Autobox2
14. Autobox3
15. AAM1	Automatic ARIMA modeling with/without intervention analysis
16. AAM2
17. ARARMA	Automated Parzen’s methodology with Auto regressive filter
Expert system
18. ForecastPro	Selects from among several methods : Exponential Smoothing models/Box Jenkins/Poisson and negative binomial models/ Crostin’s Method/Simple Moving Average
19. SmartFcs	Automatic Forecasting Expert System which conducts a forecasting tournament among four exponential smoothing and two moving average methods
20. RBF	Rule-based forecasting : using three methods-random walk, line arregression and Holt’s, to estimate leveland trend, involving corrections, simplification, automatic feature identification and re-calibration
21. Flores/Pearce1	Expert system that chooses among four methods based on the characteristics of the data
22. Flores/Pearce2
23. ForecastX	Runs tests for seasonality and outliers and selects from among several methods : Exponential Smoothing, Box-Jenkins and Croston’s method
Neural networks
24. Automat ANN	Automated Artificial Neural Networks for forecasting purpose

<Table 6>.

Result of Validation(Spearman Rank Correlation Coefficient)

Demand Category	MAD	MSE	MAPE	CFE	WACFE
MICRO	Demand 1	0.990	0.912	0.924	0.993	0.997
Demand 2	0.881	0.932	0.553	0.949	0.971
Demand 3	0.932	0.960	0.551	0.933	0.997
Demand 4	0.882	0.886	0.502	0.888	0.992
Demand 5	0.825	0.829	0.765	0.930	0.972
Average	0.902	0.904	0.659	0.939	0.986
INDUSTRY	Demand 6	0.897	0.892	0.903	0.936	0.959
Demand 7	0.850	0.878	0.880	0.979	0.942
Demand 8	0.643	0.755	0.502	0.907	0.958
Demand 9	0.535	0.768	0.440	0.893	0.791
Demand 10	0.900	0.909	0.900	0.902	0.997
Average	0.765	0.841	0.725	0.923	0.930
MACRO	Demand 11	0.824	0.863	0.824	0.867	0.977
Demand 12	0.824	0.863	0.824	0.867	0.977
Demand 13	0.984	0.978	0.982	0.995	1.000
Demand 14	0.835	0.834	0.835	0.837	0.983
Demand 15	0.937	0.970	0.931	0.979	0.996
Average	0.881	0.902	0.879	0.909	0.986
Total Average	0.849	0.882	0.754	0.924	0.967

Reference

Adya M , Armstrong JS , Collopy F , Kennedy M (2000) An application of rule based forecasting to a situation lacking domain knowledge , Journal of Forecasting, Vol.16; pp.477-484
Assimakopoulos V , Nikolopoulos K (2000) The theta model : a decomposition approach to forecasting , Journal of Forecasting, Vol.16; pp.521-530
Balkin SD , Ord JK (2000) Automatic neural network modeling for univariate time series , Journal of Forecasting, Vol.16; pp.509-515
Box GEP , Jenkins GM (1976) Time Series Analysis Forecasting and Control Sanfransisco , USA : 1st Holden Day Inc,
Chopra S , Meindl P (2007) Supply Chain Management : Strategy, Planning and Operation , Gabler,
Collopy F , Armstrong JS (1992) Rule based forecasting : development and validation of an expert systems approach to combining time series extrapolations , Management Science, Vol.38; pp.1392-1414
Flores BE , Pearce SL (2000) The use of an expert system in the M3 competition , Journal of Forecasting, Vol.16; pp.485-496
Gardner ES , McKenzie E (1985) Forecasting Trends in Time Series , Management Sci, Vol.31; pp.1237-1246
Grambsch P , Stahel WA (1990) Forecasting demand for special services , International Journal of Forecasting, Vol.6; pp.53-64
Makridakis S , Hibon M (2000) The M3-Competition : results, conclusions and implications , International Journal of Forecasting, Vol.16 (4) ; pp.451-476
Melard G , Pasteels JM (2000) Automatic ARIMA modeling including interventions, using time series expert software , Journal of Forecasting, Vol.16; pp.495-508
Parzen E (1982) ARARMA models for time series analysis and forecasting , Journal of Forecasting, Vol.1; pp.67-82
Spearman C (1904) The Proof and Measurement of Association between Two Things , The American Journal of Psychology, Vol.15 (1) ; pp.72-101
Wallace TF , Stahl RA (2002) Sales Forecasting : a new approach , TF Wallace and Co,
Winters PR (1960) Forecasting Sales by Exponentially Weighted Moving Averages , Management Sci, Vol.6; pp.324-342
Wright DJ (1988) Decision Support Oriented Sales Forecasting Methods , Journal of the Academy of Marketing Science, Vol.16 (3-4) ; pp.71-78