Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.45 No.3 pp.57-65
DOI : https://doi.org/10.11627/jksie.2022.45.3.057

Multi-period DEA Models Using Spanning Set and A Case Example

Kiseong Kim

, Taehan Lee†

Department of Industrial and Information Systems Engineering, Jeonbuk National University

^†Corresponding Author : myth0789@jbnu.ac.kr

Received 28/07/2022 Finally Revised 06/09/2022 Accepted 07/09/2022

Abstract

DEA(data envelopment analysis) is a technique for evaluation of relative efficiency of decision making units (DMUs) that have multiple input and output. A DEA model measures the efficiency of a DMU by the relative position of the DMU’s input and output in the production possibility set defined by the input and output of the DMUs being compared. In this paper, we proposed several DEA models measuring the multi-period efficiency of a DMU. First, we defined the input and output data that make a production possibility set as the spanning set. We proposed several spanning sets containing input and output of entire periods for measuring the multi-period efficiency of a DMU. We defined the production possibility sets with the proposed spanning sets and gave DEA models under the production possibility sets. Some models measure the efficiency score of each period of a DMU and others measure the integrated efficiency score of the DMU over the entire period. For the test, we applied the models to the sample data set from a long term university student training project. The results show that the suggested models may have the better discrimination power than CCR based results while the ranking of DMUs is not different.

Key Words : Data Envelopment Analysis , Multi-period Efficiency , Spanning Set , Production Possibility Set

생성집합을 이용한 다 기간 성과평가를 위한 DEA 모델 개발 및 공학교육혁신사업 사례적용

김 기성, 이 태한†

전북대학교 산업정보시스템공학과 / 일반대학원 산업시스템공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

성과평가는 다양한 조직 및 project 등에서 일상적으로 이루어진다. DEA 모델은 복수의 입력요소와 산출요소를 갖는 조직단위(DMU: Decision making unit)에 대한 상대 적인 효율성 평가 방법론으로 Charne et al.[2]이 CCR 모 델(을 발표한 이래 다양한 연구가 수행되었다[1, 3]. 초창 기 DEA는 비영리 조직의 상대적인 성과평가를 위한 모 델로 활용되었으나 이후 영리 조직의 성과평가에도 확장 되어 왔다.

DEA 모델의 기본 원리는 평가대상 DMU 들의 입력과 산출 실적 데이터를 기반으로 입력요소와 산출요소의 생 산가능집합(Production Possibility Set)을 정의하고 해당 영역의 frontier에 위치하는 DMU들과 그렇지 못한 DMU 로 구분하여 DMU들의 상대적인 효율성을 평가하는 것 이다. 비효율적인 DMU의 경우 효율적인 DMU들과의 상대적인 격차에 따라 서열화가 가능하다.

많은 DEA 모델은 단일기간의 입력과 산출을 기반으 로 DMU의 효율에 대하여 다루고 있다. 그러나 다 기간 에 걸쳐 이루어지는 project 혹은 다 기간의 조직에 대한 평가가 요구되는 경우도 많다. 이 경우 다수의 기간에 걸 쳐 제공되는 투입 및 산출 데이터를 기반으로 전체 기간 에 대한 각 DMU의 성과평가가 필요하다.

다 기간의 성과평가를 위한 여러 모델 및 사례연구가 수행되었다. Park and Park[16]은 다 기간 투입 및 산출 데 이터로 생산가능집합을 정의하고 다 기간의 효율성 평가 모델을 제시하였지만 제시한 모델은 결국 CCR 모델을 기 간별로 적용하여 worst 값을 효율성 지수로 제시한 모델이 다. Jablonsky[8, 9]는 Park[16]의 모델을 수정하여 CCR 모 델을 기간별로 적용하여 평균값을 제공하는 모델 및 super- efficiency 모델을 제시하고 있다. Kao and Liu[12]는 생산가능집합을 정의하지 않았지만 기간별 투입 및 산출 데이터에 전체 기간의 투입 및 산출의 합을 추가하여 생성 되는 생산가능집합에서 전체 기간 합의 효율성지수를 산 출하고 구해진 효율성 지수 하에서 기간별 상대적인 효율 성을 측정하는 형태의 모델을 제시하였다. Kao and Hwang[10]은 Kao and Hwang[11]에서 개발된 연속적인 두 단계 시스템의 효율성 측정을 Kao and Liu[12]과 같은 방 법으로 다기간으로 확장하였다. Xu et al.[18]은 두 단계 시스템에 feedback 요소를 추가하여 다기간으로 확장한 모형을 제시하였다. Nicolaou and Dimitriou[15]는 CCR 모 형을 기간별로 적용하여 각 기간의 효율성 지수를 구한 후 효율성 지수를 종속변수로 하는 회귀 모형을 구하여 투입 요소와 효율성 지수의 상관관계를 파악하고자 하였다. Gazori-Nishabori et al.[6]은 단일기간 network DEA 모델 을 다 기간으로 확장한 모델을 제시하였다. Esmaeilzadeh and Hadi-Vencheh[5]는 Park and Park[16]이 제시한 모델 의 목적함수를 기간별 지수의 평균으로 바꾼 super efficiency 모델을 제시하였다. Hajiagha el al.[7]은 다 기간의 투입 및 산출 데이터의 평균과 표준편차를 활용하여 신뢰 구간을 구하여 양쪽 끝단의 데이터를 활용하여 CCR 모델 을 적용하는 모델을 제시하였다. Lee et al.[13]은 투입의 효과가 여러 기간에 걸쳐 나타나는 경우 그 효과의 일관성 을 고려한 효율성 평가 모델을 제시하였다. Ma and Ahn[14]는 물류기업의 다 기간 재무 데이터를 투입과 산 출로 하여 매 기간의 CCR 모형을 적용하여 malmquist 생 산성지수를 통한 생산성의 변화 연구를 수행하였다. Son et al.[17]은 시간대별로 변화하는 데이터를 구간으로 나누 어 기간으로 정의하고 Kao and Liu[12]와 같은 효율성지수 산출을 통한 전기차 충전소의 효율성 측정 연구를 수행하 였다.

대부분의 기존 연구에서는 생산가능집합을 명확히 정 의하지 않고 단일기간의 DEA 모형에 다 기간의 기간 별 데이터 및 전체 기간의 투입 산출의 합을 확장 적용하는 형태의 모델을 활용하고 있다. 본 논문에서는 먼저 생산 가능집합을 정의하는 생성집합의 개념을 도입하여 다 기 간 성과평가의 경우 단일기간과 달리 비교 대상 기간 데 이터의 범위에 따라 다양한 생산가능집합을 정의할 수 있음을 보이고 정의된 생산가능집합 하에서 다수의 DEA 모델들을 제시하고자 한다. 또한 제시된 모델들을 다 기 간 인력양성 사업인 공학교육 혁신사업에 적용하여 그 결과를 비교 분석하고자 한다.

2. 생산가능집합

DEA 모델은 효율성의 측정을 위하여 평가대상이 되 는 DMU들의 투입 및 산출로 생산가능집합을 정의하고 특정 DMU의 효율성은 정의된 생산가능집합에서 해당 DMU의 투입과 산출의 위치에 따라서 효율성을 측정하 는 것으로 볼 수 있다. 따라서 생산가능집합의 정의에 따 라 효율성의 측정치가 달라질 수 있다. 다 기간 성과평가 를 위하여 n 개의 DMU가 T 기간 동안 각각 m개의 투 입 요소를 활용하여 s종류의 산출을 내는 경우 아래와 같이 투입 및 산출 데이터를 정의하자.

\begin{array}{l} x_{i j}^{t} : DMU j 의 기간 t 의 투입 요소 i 의 양, \\ i = 1, 2, \dots, m, j = 1, 2, \dots, n, t = 1, 2, \dots, T \\ y_{r j}^{t} : DMU j 의 기간 t 의 산출 요소 r 의 양, \\ r = 1, 2, \dots, s, j = 1, 2, \dots, n, t = 1, 2, \dots, T \\ {\bar{x}}_{i j} = \sum_{t = 1}^{T} x_{i j}^{t} / T, i = 1, \dots, m, j = 1, \dots, n \\ {\bar{y}}_{r j} = \sum_{t = 1}^{T} y_{r j}^{t} / T, r = 1, \dots, s, j = 1, \dots, n \end{array}

위 투입 및 산출량을 표현하는 아래와 같은 열벡터를 정의하자.

\begin{array}{l} x_{j}^{t} = {(x_{1 j}^{t}, x_{2 j}^{t}, \dots, x_{m j}^{t})}^{'} \in R_{+}^{m} \\ y_{j}^{t} = {(y_{1 j}^{t}, y_{2 j}^{t}, \dots, y_{s j}^{t})}^{'} \in R_{+}^{s} \\ {\bar{x}}_{j} = {({\bar{x}}_{1 j}, {\bar{x}}_{2 j}, \dots, {\bar{x}}_{m j})}^{'} \in R_{+}^{m} \\ {\bar{y}}_{j} = {({\bar{y}}_{1 j}, {\bar{y}}_{2 j}, \dots, {\bar{y}}_{s j})}^{'} \in R_{+}^{s} \end{array}

2.1 생성집합

일반적으로 DEA 모델이 가정하는 생산가능집합은 평 가하고자 하는 DMU를 포함하여 비교 대상이 되는 모든 DMU의 투입 및 산출 데이터를 기반으로 정의한다. 예 를 들어 기간 p의 DMU o 의 효율성 측정을 위한 CCR 모델은 아래와 같다.

\begin{array}{l} (C C R_{o}^{p}) \\ θ_{o, p}^{C C R} = min θ \\ s . t . θ x_{o}^{p} - \sum_{j = 1}^{n} λ_{j} x_{j}^{p} \geq 0 \\ \sum_{j = 1}^{n} λ_{j} y_{j}^{p} \geq y_{o}^{p} \\ λ_{j} \geq 0, j = 1, \dots, n, θ i s f r e e \end{array}

위 모델은 기간 p의 모든 DMU들의 투입 및 산출 데 이터집합 $C C R^{p} = {(x_{j}^{p}, y_{j}^{p}), j = 1, \dots, n}$ 로 생산가능집합을 ${(x, y) | x \geq \sum_{j = 1}^{n} λ_{j} x_{j}^{p}, y \leq \sum_{j = 1}^{n} λ_{j} y_{j}^{p}, λ_{j}^{t} \geq 0}$ 와 같이 정의하고 DMU o 의 투입 및 산출 값인 $(x_{o}^{p}, y_{o}^{p})$ 의 생산가능집합 내에서의 상대적인 위치를 통하여 효율성을 측정하는 모델이다. 위와 같은 생산가능집합은 투입 요소를 증가 시킬 때 얻어지는 산출 역시 투입의 증가에 선형으로 비례해서 증가한다는 불변규모수익(Constant return-to scale: CRS)의 생산가능집합이다. 반면 Banker et al.[1] 가 제시한 BCC 모델의 생산가능집합은 ${(x, y) | x \geq \sum_{j = 1}^{n} λ_{j} x_{j}^{p}, y \leq \sum_{j = 1}^{n} λ_{j} y_{j}^{p}, \sum_{j = 1}^{n} λ_{j} = 1, λ_{j} \geq 0}$ 로 convexity 제약을 추가하 여 투입의 증가율과 산출의 증가율이 달라질 수 있는 변 동규모수익(Variable return-to scale: VRS)의 생산가능 집 합을 정의하여 효율성을 측정하는 모델이다. 두 생산가 능집합은 규모의 경제 및 한계 체감의 반영 측면에서 각 각 장단점을 가지고 있다. 그러나, 두 모델의 생산가능집 합을 정의하는 투입 및 산출 데이터는 $C C R^{p} = {(x_{j}^{p}, y_{j}^{p}), j = 1, \dots, n}$ 로 동일하다. 이와 같이 생산가능집합을 정의하는 DMU의 투입 및 산출 데이터의 집합(CCR^p)을 생산가능집합의 spanning set(생성집합)이라고 정의하자. DMU의 효율성 측정 입장에서 살펴보면 생성집합은 결 국 효율성 측정 시에 비교 대상이 되는 투입 및 산출의 집합이라고 할 수 있다. 일반적으로 생성집합에는 효율 성을 측정하고자 하는 DMU의 데이터를 포함시키게 된 다. 즉 생성집합으로 정의되는 생산가능집합에서 생성집 합 내의 하나의 데이터의 상대적인 위치로 효율성을 측 정한다. 측정하고자 하는 DMU의 데이터를 생성집합에 서 제외한 경우가 super-efficiency 모델[4]이라고 할 수 있다.

2.2 다 기간 성과평가를 위한 생산가능집합

생산가능집합의 측면에서 살펴보면 단일기간의 효율 성 측정의 경우 생산가능집합을 정의하는 생성집합은 해 당 기간의 모든 DMU의 투입과 산출 데이터로 유일하게 주어진다고 볼 수 있다. 그러나, 다 기간의 경우 다수 기 간의 투입 및 산출 자료가 있으므로, 특정 DMU의 특정 기간 혹은 전체 기간의 효율성 측정을 위하여 다양한 spanning set을 정의할 수 있고, 이를 통하여 다양한 생산 가능집합의 정의가 가능하다.

또한, DMU o 의 다 기간 효율성은 크게 평가기간 동 안 DMU o 의 기간별 효율성을 각각 측정하여 전체 기간 의 평가를 하는 방법과 다 기간의 투입산출을 기반으로 전체 기간에 대한 하나의 효율성 측정치를 산출하는 방 법이 가능하다.

먼저 각 DMU의 기간별 효율성 측정을 통한 성과평가 를 위하여 가능한 spanning set을 생각해 보자. DMU o 의 기간 p의 투입 및 산출 $(x_{o}^{p}, y_{o}^{p})$ 의 효율성을 측정하기 위하여 기본적으로 위의 CCR 모델과 같이 해당 기간 DMU들의 투입 및 산출의 집합을 생각할 수 있다. 이 경 우 CCR 모델을 기간별로 적용함을 의미한다. 추가로 다 기간의 투입 및 산출을 포함하는 아래와 같은 spanning set들을 정의하자.

\begin{array}{l} M P = {(x_{j}^{t}, y_{j}^{t}), j = 1, \dots, n, t = 1, \dots, T} \\ M P E_{o}^{p} = {(x_{j}^{t}, y_{j}^{t}), j = 1, \dots, n, j \neq o, t = 1, \dots, T} \cup (x_{o}^{p}, y_{o}^{p}) \\ M P A_{o}^{p} = {({\bar{x}}_{j}, {\bar{y}}_{j}), j = 1, \dots, n} \cup (x_{o}^{p}, y_{o}^{p}) \\ M P A E_{o}^{p} = {({\bar{x}}_{j}, {\bar{y}}_{j}), j = 1, \dots, n, j \neq o} \cup (x_{o}^{p}, y_{o}^{p}) \end{array}

MP는 모든 DMU의 전체 기간별 투입 및 산출 데이터 의 집합이며, $M P E_{o}^{p}$ 는 DMU o 의 기간 p의 효율성 측정을 위하여 MP에서 효율성 측정 대상인 DMU o 의 경우 측정 대상 기간 p의 투입 및 산출만을 포함시키고 그 외 기간의 투입 및 산출은 제외한 집합이다. $M P A_{o}^{p}$ 는 DMU별 전체 기간의 투입 및 산출의 평균에 DMU o 의 기간 p의 투입 및 산출을 추가한 집합이며, $M P A E_{o}^{p}$ 는 $M P A_{o}^{p}$ 에서 DMU o 의 평균은 제외한 집합이다. 생성집합 하에서 DMU o 의 기간 p 효율성은 생성집합으로 정의되는 생산가능집합 하 에서 $(x_{o}^{p}, y_{o}^{p})$ 의 상대적인 위치가 된다. MP의 경우 모든 DMU의 모든 기간의 투입 및 산출과 비교했을 때 $(x_{o}^{p}, y_{o}^{p})$ 의 상대적인 효율성을 의미하고 $M P E_{o}^{p}$ 경우 측정 대상 DMU o 의 경우 측정 기간 p이외의 기간을 비교 대상 집합에서 제외하여 비교하는 것이며 $M P A_{o}^{p}$ , $M P A E_{o}^{p}$ 의 경우 전체 기간의 평균치 대비 효율성을 측정하는 것 이다.

위의 각각의 spanning set으로 불변규모수익 하의 가능 한 생산가능집합은 아래와 같이 정의할 수 있다. 물론 변 동규모수익 하의 생산가능집합은 λ의 convexity 제약을 추가하여 정의할 수 있다.

\begin{array}{l} P^{M P} = {(x, y) | x \geq \sum_{t = 1}^{T} \sum_{j = 1}^{n} λ_{j}^{t} x_{j}^{t}, y \leq \sum_{t = 1}^{T} \sum_{j = 1}^{n} λ_{j}^{t} y_{j}^{t}, λ_{j}^{t} \geq 0} \\ P^{M P E_{o}^{p}} = {(x, y) | x \geq \sum_{t = 1}^{T} \sum_{j = 1, j \neq o}^{n} λ_{j}^{t} x_{j}^{t} + λ_{o}^{p} x_{o}^{p}, \\ y \leq \sum_{t = 1}^{T} \sum_{j = 1, j \neq o}^{n} λ_{j}^{t} y_{j}^{t}, λ_{j}^{t} + λ_{o}^{p} y_{o}^{p}} \\ P^{M P A_{o}^{p}} = {(x, y) | x \geq \sum_{j = 1}^{n} λ_{j} {\bar{x}}_{j} + λ_{o}^{p} x_{o}^{p}, y \leq \sum_{j = 1}^{n} λ_{j} {\bar{y}}_{j} + λ_{o}^{p} y_{o}^{p}} \\ P^{M P A E_{o}^{p}} = {(x, y) | x \geq \sum_{j = 1, j \neq o}^{n} λ_{j} {\bar{x}}_{j} + λ_{o}^{p} x_{o}^{p}, y \leq \sum_{j = 1, j \neq o}^{n} λ_{j} {\bar{y}}_{j} + λ_{o}^{p} y_{o}^{p}} \end{array}

다음으로 다 기간의 투입산출을 기반으로 전체 기간 에 대한 하나의 효율성 측정치를 산출하기 위한 아래와 같은 spanning set들을 정의하자.

\begin{array}{l} O M P = {(x_{j}^{1}, x_{j}^{2}, \dots x_{j}^{T}, y_{j}^{1}, y_{j}^{2}, \dots, y_{j}^{T}), j = 1, \dots, n} \\ M P S = {(x s_{j}, y s_{j}), j = 1, \dots, n} \\ M P A = {({\bar{x}}_{j}, {\bar{y}}_{j}), j = 1, \dots, n} \end{array}

OMP는 각 DMU의 기간별 데이터가 아닌 전체 기간 의 투입 및 산출 데이터를 하나의 데이터로 정의한 집합 이며, MPS 는 각 DMU의 전체 기간의 각 투입 및 산출 요소의 합, MPA 는 각 DMU의 전체 기간의 각 투입 및 산출 요소의 평균이다.

위의 각각의 spanning set으로 불변규모수익 하의 가능 한 생산가능집합은 아래와 같이 정의할 수 있다.

\begin{array}{l} P^{O M P} = {(x^{1}, \dots, x^{T}, y^{1}, \dots, y^{T}) | (x^{1}, \dots, x^{T}) \\ \geq \sum_{j = 1}^{n} λ_{j} (x_{j}^{1}, \dots, x_{j}^{T}), (y^{1}, \dots, y^{T}) \geq \sum_{j = 1}^{n} λ_{j} (y_{j}^{1}, \dots, y_{j}^{T})} \\ P^{M P S} = {(x, y) | x \geq \sum_{j = 1}^{n} λ_{j} x s_{j}, y \leq \sum_{j = 1}^{n} λ_{j} y s_{j}} \\ P^{M P A} = {(x, y) | x \geq \sum_{j = 1}^{n} λ_{j} {\bar{x}}_{j}, y \leq \sum_{j = 1}^{n} λ_{j} {\bar{y}}_{j}} \end{array}

3. DEA 모델 및 다기간 성과평가

앞에서 정의된 DMU o 의 기간 p의 효율성 측정을 위 한 각 생산가능집합 하에서 DEA 모델은 아래와 같이 수 립될 수 있다.

\begin{array}{l} (I M P P_{o}^{p}) \\ θ_{o, p}^{I M P P} = min θ \\ s . t . θ x_{o}^{p} \geq \sum_{t = 1}^{T} \sum_{j = 1}^{n} λ_{j}^{t} x_{j}^{t} \\ \sum_{t = 1}^{T} \sum_{j = 1}^{n} λ_{j}^{t} y_{j}^{t} \geq y_{o}^{p} \\ λ_{j}^{t} \geq 0, j = 1, \dots, n, t = 1, \dots, T, θ i s f r e e \end{array}

$(I M P P_{o}^{p})$ 는 P^MP 하에서 DMU o 의 기간 p의 효율성 지수를 측정하는 모델이다. 이는 각 DMU 들의 기간별 데이터를 각각 독립된 데이터로 활용하게 되므로 결국 DMU의 수가 기간의 수만큼 배가된 확장된 단일기간 모 델의 형태라고 볼 수 있다.

\begin{array}{l} (I M P E P_{o}^{p}) \\ θ_{o, p}^{I M P E P} = min θ \\ s . t . θ x_{o}^{p} \geq λ_{o}^{p} x_{o}^{p} + \sum_{t = 1}^{T} \sum_{j = 1, j \neq o}^{n} λ_{j}^{t} x_{j}^{t} \\ λ_{o}^{p} y_{o}^{p} + \sum_{t = 1}^{T} \sum_{j = 1, j \neq o}^{n} λ_{j}^{t} y_{j}^{t} \geq y_{o}^{p} \\ λ_{j}^{t} \geq 0, j = 1, \dots, n, j \neq o, t = 1, \dots, T \\ λ_{o}^{p} \geq 0, θ i s f r e e \end{array}

$(I M P E P_{o}^{p})$ 는 $P^{M P E_{o}^{p}}$ 하에서의 모델로 DMU 들의 기간 별 데이터를 각각 독립된 데이터로 활용하지만 비교 대 상에서 p이외의 기간의 DMU o 의 데이터를 제외한 모 델이다. 따라서 $(I M P E P_{o}^{p})$ 역시 $(I M P P_{o}^{p})$ 와 마찬가지로 DMU의 수가 증가된 단일기간 모델과 동일하다.

\begin{array}{l} (I M P A P_{o}^{p}) \\ θ_{o . p}^{I M P A P} = min θ \\ s . t . θ x_{o}^{p} \geq λ_{o}^{p} x_{o}^{p} + \sum_{j = 1}^{n} λ_{j} {\bar{x}}_{j} \\ λ_{o}^{p} y_{o}^{p} + \sum_{j = 1}^{n} λ_{j}^{t} {\bar{y}}_{j} \geq y_{o}^{p} \\ λ_{o}^{p}, λ_{j} \geq 0, j = 1, \dots, n, θ i s f r e e \end{array}

$(I M P A P_{o}^{p})$ 는 각 DMU 들의 전체 기간의 평균치를 비 교 대상으로 하였을 때 $(x_{o}^{p}, y_{o}^{p})$ 의 효율성을 측정하는 모 델로 각 DMU의 기간 평균치들을 투입과 산출 데이터로 갖는 새로운 DMU를 가정한 단일기간 모델의 확장이라 고 할 수 있다.

\begin{array}{l} (I M P A E P_{o}^{p}) \\ θ_{o . p}^{I M P A E P} = min θ \\ s . t . θ x_{o}^{p} \geq λ_{o} x_{o}^{p} + \sum_{j = 1, j \neq o}^{n} λ_{j} {\bar{x}}_{j} \\ λ_{o} y_{o}^{p} + \sum_{j = 1, j \neq o}^{n} λ_{j} {\bar{y}}_{j} \geq y_{o}^{p} \\ λ_{j} \geq 0, j = 1, \dots, n, θ i s f r e e \end{array}

$(I M P A E P_{o}^{p})$ 는 비교 대상 DMU들의 전체 기간의 평균 치 중에서 효율성 측정 대상 DMU의 평균을 제외한 모 델이다.

위 모델들로 얻어지는 DMU o 의 기간 p의 효율성 지 수들 사이에는 아래와 같은 관계가 성립한다.

Lemma 1.

i) $θ_{o, p}^{I M P P} \leq θ_{o, p}^{I M P E P} \leq θ_{o, p}^{C C R}$
ii) $θ_{o, p}^{I M P P} \leq θ_{o, p}^{I M P A P} \leq θ_{o, p}^{I M P A E P}$

proof.

i) 각 모델의 비교대상 투입 및 산출 데이터의 집합인 생성집합이 $C C R^{p} \subset M P E_{o}^{p} \subset M P$ 이므로 자명하다.
ii) $(θ^{*}, λ_{o}^{p *}, λ_{1}^{*}, λ_{2}^{*}, \dots, λ_{n}^{*})$ 가 $(I M P A P_{o}^{p})$ 의 임의의 해라고 하면 아래 $(θ, λ_{j}^{t})$ 는 $(I M P P_{o}^{p})$ 의 실행가능해이다.

$\begin{array}{l} θ = θ^{*} \\ λ_{j}^{t} = λ_{j}^{*} / T for j \neq o and t \neq p \\ λ_{o}^{p} = λ_{o}^{*} / T + λ_{o}^{p *} \end{array}$

따라서 $θ_{o, p}^{I M P P} \leq θ_{o, p}^{I M P A P}$ 이다. 또한 $M P A E_{o}^{p} \subset M P A_{o}^{p}$ 이 므로 $θ_{o, p}^{I M P A P} \leq θ_{o, p}^{I M P A E P}$ 이다.□

다 기간의 투입산출을 기반으로 전체 기간에 대한 하 나의 효율성 측정치를 산출하기 위하여 정의된 생산가능 집합 하에서의 DEA 모델은

\begin{array}{l} (O M P P_{o}) \\ θ_{o}^{O M P P} = min θ \\ s . t . θ x_{o}^{t} \geq \sum_{j = 1}^{n} λ_{j} x_{j}^{t}, t = 1, \dots, T \\ \sum_{j = 1}^{n} λ_{j} y_{j}^{t} \geq y_{o}^{t}, t = 1, \dots, T \\ λ_{j} \geq 0, j = 1, \dots, n, θ i s f r e e \end{array}

$(O M P P_{o})$ 는 P^OMP 하에서 DMU o 의 전체 기간의 효 율성 지수를 측정하는 모델로 각 DMU들의 전체 기간의 투입 및 산출을 비교 대상으로 하므로 각 기간의 투입 요소 및 산출 요소를 모두 서로 다른 요소로 다루는 것 과 동일하게 되어 결국 투입 및 산출 요소의 개수가 기 간의 수만큼 배가된 확장된 단일기간 모델과 동일하다고 볼 수 있다.

\begin{array}{l} (M P S P_{o}) \\ θ_{o}^{M P S P} = min θ \\ s . t . θ x s_{o} \geq \sum_{j = 1}^{n} λ_{j} x s_{j} \\ \sum_{j = 1}^{n} λ_{j} y s_{o} \geq y s_{o} \\ λ_{j} \geq 0, j = 1, \dots, n, θ i s f r e e \end{array}

$(M P S P_{o})$ 는 각 DMU의 전체 기간의 투입 및 산출 요 소들의 합을 산출하여 상대적인 효율성을 측정하는 것으 로 단일기간의 CCR 모델과 근본적으로 동일하다.

\begin{array}{l} (M P A P_{o}) \\ θ_{o}^{M P A P} = min θ \\ s . t . θ {\bar{x}}_{o} \geq \sum_{j = 1}^{n} λ_{j} {\bar{x}}_{j} \\ \sum_{j = 1}^{n} λ_{j} {\bar{y}}_{j} \geq {\bar{y}}_{o} \\ λ_{j} \geq 0, j = 1, \dots, n, θ i s f r e e \end{array}

(MPAP_o)는 $(M P S P_{o})$ 에서 각 DMU의 전체 기간의 투 입 및 산출 요소들의 합을 평균으로 바꾼 것으로 두 모 델은 결국 같은 결과를 제공한다. 즉 $θ_{o}^{M P A P} = θ_{o}^{M P S P}$ 이다.

단일기간 성과평가의 경우 DEA 모델을 통하여 효율성 지수를 산출하면 그 자체로 DMU의 효율성을 평가할 수 있다. 그러나 다 기간 성과평가의 경우 전체 평가 기간의 평가가 요구된다. 위에서 제시된 모델들 중 $(O M P P_{o})$ , $(M P S P_{o})$ , (MPAP_o)는 전체 기간의 통합 효율성 지수를 제공하는 반면 $(I M P P_{o}^{p})$ , $(I M P E P_{o}^{p})$ , $(I M P A P_{o}^{p})$ , $(I M P A E P_{o}^{p})$ 는 각 DMU의 기간별 효율성 지수를 산출한다. 이 경우 기간별 효율성 지수를 기반으로 전체 기간 효율성 측정이 필요하다.

DMU의 기간별 효율성 지수의 산출을 위하여 기본적 으로 단일기간 CCR 모델을 활용할 수 있다. CCR 모델 을 활용한다는 것은 각 기간의 데이터만을 활용하여 해 당 기간의 DMU의 효율성 지수를 평가 기간에 걸쳐 산 출하고 이를 바탕으로 평가하는 방법이다. Park and Park[16]은 CCR 모델을 기간별로 적용하여 기간별 효율성 지수를 구하고 그 최소값(input oriented 모델의 경우)을 전체 효율성 지수로 산출하는 모델을 제시하고 slack 모 델을 통하여 기간별 efficiency score 및 referent DMU를 제공하였다. Jablonsky[8]는 Park and Park[16]의 모델을 수정하여 CCR 모델을 기간별로 적용하여 평균값을 효율 성 지수로 산출하는 모델을 제시하였다.

4. 적용사례

공학교육 혁신사업은 대학의 공학교육 혁신센터를 지 원하여 공학교육 혁신을 위한 중장기 전략 및 실행방안 수립 및 공학교육프로그램의 질적 개선을 통한 공학계열 내 창의․융합형 글로벌 공학 기술 인재 양성과 산업경 쟁력 강화를 유도하고자 하는 정부지원 사업이다. 해당 사 업은 2012년부터 2022년까지 10년에 걸친 장기 사업으 로 선정된 대학의 공학교육혁신센터에서는 캡스톤디자 인, 기업 연계형 교육, 확산활동 및 특화 프로그램 등 학 생들의 창의력 향상 및 실무 및 글로벌 역량 강화를 위 한 다양한 프로그램을 운영하였다. 앞에서 제시된 다기 간 성과평가 모델을 공학교육 혁신사업에 적용해 보고자 한다. 위 사업은 총 3단계로 이루어졌으며 그 중 2016~ 2019년 4년 동안 10개 공학교육 혁신센터의 데이터를 활 용하였다. 모델의 적용을 위하여 <Table 1>과 같이 2가 지 투입 요소 및 대표적인 4가지 산출요소를 정의하고 10개 공학교육혁신센터의 4년간의 데이터를 수집하였다.

수집된 데이터에 대하여 3절에서 제시된 다양한 DEA 모델을 적용하여 효율성 지수를 산출하였다. LP solver는 CPLEX 12.9를 사용하였다. 먼저 기간별 효율성 지수를 산출하는 모델 중 IMPP, IMPEP, CCR 세 모델을 적용하 여 얻은 효율성 지수 결과가 <Table 2>와 같다.

전술한 바와 같이 IMPP 및 IMPEP는 전체 기간의 데 이터를 활용하여 효율성 지수를 산출하는 모델이고 CCR 은 특정 기간의 효율성 지수를 해당 기간의 데이터만을 활용하여 평가하는 단일기간 모델로 lemma 1의 i)과 같 이 효율성 지수가 순서대로 증가하게 된다. 모델 사이의 효율성 지수의 증감이 통계적으로 유의한지 테스트하기 위하여 DMU별 전체 기간의 결과인 각 모델 별 40개의 효율성 지수들에 대하여 paired t test를 효율성 지수는 정규분포를 따른다고 보기 어렵지만 샘플의 수가 40개로 충분히 크다고 판단되므로 paired t test를 적용하였다. IMPP와 CCR 및 IMPEP와 CCR 사이의 차이는 p-value 가 0.0001보다도 작아 통계적으로 유의미한 차이를 보임 을 확인할 수 있었다. IMPP와 IMPEP를 통하여 얻어진 효율성 지수는 U6의 2018년 2019년 U8의 2017년 2018 년을 제외하면 모두 동일하다. U6과 U8의 해당 기간의 변화는 결국 해당 기간 모든 대학들보다 자기 자신의 타 기간 데이터가 더 우수하다는 의미가 된다. 따라서 자기 자신의 타 기간과도 비교의 필요성이 있는지에 따라 두 모델의 적용이 가능할 것이다.

CCR과 달리 IMPP와 IMPEP는 전체 기간의 데이터를 활용하므로 전체 기간 중 기간별 전체적인 효율성 차이 의 비교가 가능할 수 있다. 표에서 보듯이 CCR의 경우 해당 기간의 데이터만을 활용하므로 모든 기간에 다수의 효율적인 DMU들이 존재한다. 반면 IMPP와 IMPEP의 경우 2018년 2019년이 상대적으로 2016년, 2017년과 비 교하면 전체적으로 효율성지수가 낮다. 연도별 전체적인 효율성의 차이가 존재하는지 판단하기 위하여 IMPP와 IMPEP의 기간별 결과에 대하여 Mann whitney U test를 수행하였다. 테스트 결과 IMPP의 경우 2017년과 2018년 및 2017년과 2019년 사이의 p-value는 모두 0.028, IMPEP의 경우 각0.037과 0.045로 해당 두 해의 효율성 지표는 유의미한 차이가 있다고 볼 수 있다. 또한 2016 년과 2017년 및 2018년과 2019년 사이에는 유의미한 차이가 확인되지 않았다. 즉, 전체 4년 중 초반 2년(2016, 2017)과 후반 2년(2018, 2019) 사이에는 통계적으로 유의 미한 효율성의 차이가 있다고 볼 수 있다.

다 기간 평가는 결국 전체 기간의 효율성 평가가 필요하 다. 전술한 바와 같이 3에서 제시된 모델들은 기간별 효율성 지수를 산출하는 모델과 전체 기간의 통합 효율성 지수를 제공하는 모델로 구분할 수 있다. 기간별 모델의 경우 기간 별 평가 결과를 통하여 전체의 효율성을 산출하는 것이 필요하며 그 방법으로 여러 가지가 있을 수 있으며 그중 가장 대표적인 것이 평균을 활용하는 것이다. 앞에서 제시 된 기간별 효율성 지수를 얻을 수 있는 모델 중 IMPP, CCR, IMPAP의 적용 결과의 4년간 평균 효율성 지수 및 통합 효율성 지수를 제공하는 모델인 OMP와 APA의 효율성 지 수와 순위(ranking) 결과가 <Table 3>과 같다.

5개의 모델로부터 얻은 효율성 지수 사이에 유의미한 차이가 있는지를 확인하기 위하여 Wilcoxon paired rank test를 수행하였다. Wilcoxon paired rank test는 정규분포 모집단에서의 paired t test와 유사한 테스트로 정규분포 를 따르지 않는 작은 수의 샘플의 유의성을 판별하기 위 한 검정이며 귀무가설(H₀)은 두 개의 모델로부터 얻어진 각 기간의 효율성 지수에 차이가 없다는 것이다. 5개 모 델들 각 pair별 검정 결과가 <Table 4>와 같다. 결과를 보면 유의수준 0.05하에서 효율성 지수 사이에 유의미한 차이가 존재하는 (IMPP / CCR, IMPAP, APA / OMP) 세 그룹으로 구분할 수 있음을 알 수 있다.

각 모델에서 산출된 전체 기간의 효율성 지수에는 차이 가 존재하더라도 DMU들 사이의 순위에는 모델들 사이에 차이가 존재하지 않을 수도 있다. <표3>의 순위를 살펴보 면 IMPP와 OMP는 동일하며, CCR과 APA도 동일하다. 모 델들 사이의 순위의 유의미한 차이가 있는지 확인하기 위 하여 kendall’s tau rank correlation test를 세 모델로부터 얻 어진 효율성지수의 순위에 대하여 수행하였다. kendall’s tau rank correlation test는 두 쌍의 순위 데이터의 상관관계 를 검정하는 것으로 귀무가설(H₀)은 두 모델로부터 얻어 진 순위가 독립이라는 것이다. 테스트 결과 IMPP와 CCR 은 p-value가 0.00002로 순위의 차이가 없다고 볼 수 있다. IMPP와 APA 및 CCR과 APA는 p-value가 0.0277로 유의수 준 95%에서는 귀무가설 기각, 99% 유의수준에서는 귀무 가설 채택의 결과를 얻었다.

위와 같이 공학교육 혁신사업의 데이터를 적용하여 본 결과 본 논문에서 제시한 다 기간의 데이터를 활용한 다양한 DEA 모델(IMPP 등)의 경우 단일기간의 데이터 를 활용하는 모델(CCR)에 비하여 전체적으로 DMU들 사이의 서열화 능력이 더 우수하며 DMU별 순위에는 큰 차이가 없는 결과를 보여주고 있다. 또한 전체 기간 중 효율성의 차이가 있는 특정 기간의 구분도 가능할 수 있 으며 생성집합에 따라 모델이 제공하는 서열화 능력의 차이가 존재하므로 효율성 측정의 환경에 따라 적절한 생성집합을 사용하여 좀 더 타당한 성과평가가 가능할 것으로 판단된다.

5. 결 론

본 논문에서는 다 기간 성과평가를 위한 DEA 모델을 제시하였다. 단일기간과 달리 다 기간의 성과평가는 평 가대상 DMU의 데이터 및 비교 대상 DMU 데이터의 범 위를 다양하게 정의하여 평가가 가능한 상황을 설명하기 위하여 생성집합의 개념을 도입하였다. DMU의 다 기간 성과평가를 위하여 가능한 여러 생성집합을 정의하여 다 양한 생산가능집합을 정의하였다. 정의된 생산가능집합 하의 DEA 모델들을 제시하고 모델들 사이의 효율성 지 수를 비교하였다. 공학교육 혁신사업의 데이터를 활용하 여 제시된 모델들을 적용한 사례의 결과를 제시하였다. 본 논문에서 제시한 다 기간의 DMU의 투입 및 산출을 비교 대상에 포함하는 모델들이 기존의 대부분 연구에서 적용한 기간별로 CCR 모델을 적용한 결과와 비교하여 순위에는 큰 차이가 없지만 좀 더 차별화된 효율성 지수 를 제공함을 확인할 수 있었다. 향후 생성집합의 추가적 정의 및 새로운 형태의 생산가능집합의 정의, super efficiency 모델, 지연효과를 고려하는 경우의 생성집합에 대 한 분석, 생성집합을 통한 network DEA의 정의 등의 추 가적인 연구가 가능할 것으로 기대한다. 또한, 사례로 활 용한 공학교육 혁신사업의 성과평가는 투입 요소의 차이 가 크지 않은 점, 정성적인 결과의 반영이 어려운 점 등 의 한계를 갖지만 추가 데이터의 확보 및 정성적 요소와 결합한 모델 등을 통하여 좀 더 현실적인 평가가 가능할 것이다. 또한, 본 연구에서 제시된 다양한 DEA 모형은 여러 기간 동안 이루어지는 다양한 인력양성 사업, 연구 개발 사업 및 다 기간 성과평가의 사례 연구로 제시된 항만, 공항, 교육 시스템 등의 성과평가에 적용이 가능할 것이다.

Acknowledgement

이 논문은 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임(NRF-2018R1D1A1B 07048505)

Figure

Table

<Table 1>.

Input and Output Data for the Test

<Table 2>.

Period Efficiency Scores

<Table 3>.

Aggregated Efficiency Scores

<Table 4>.

The Results of M-W Test

Reference

Banker, R.D., Charnes, A., and Cooper, W.W., Some models for estimating technical and scale inefficiencies in data envelopment analysis, Management Science, 1984, Vol. 30, No. 9, pp. 1078-1092.
Charnes, A., Cooper, W.W., and Rhodes, E., Measuring the efficiency of decision making units, EJOR, 1978, Vol. 2, No. 6, pp. 429-444.
Charnes, A., Clark, T., Cooper, W.W., and Golany, B., A developmental study of data envelopment an alysis in measuring the efficiency of maintenance units in the US Air Forces, Annals of Operations Research, 1985, Vol. 2, pp. 59-94.
Chen, Y., Measuring super-efficiency in DEA in the presence of infeasibility, EJOR, 2005, Vol. 161, pp. 545-551.
Esmaeilzadeh, A. and Hadi-Vencheh, A., A super- efficiency model for measuring aggregative efficiency of multi-period production systems, Measurement, 2013, Vol. 46, No.10, pp. 3988-3993.
Gazori-Nishabori, A., Khalili-Damghani, K., and Hafezalkotob, A., Multi-period network data envelopment analysis to measure efficiency of a real business, Journal of Industrial and Systems Engineering, 2019, Vol. 12, No. 3, pp. 55-77.
Hajiagha, S.H., Razavi, H., Hashemi, S.H., Mahdiraji, H., and Azaddel, J., Multi-period data envelopment analysis based on Chebyshev inequality bounds, Expert Systems with Applications, 2015, Vol. 42, No. 21, pp. 7759-7767.
Jablonsky, J., Efficiency analysis in multi-period systems: an application to performance evaluation in Czech higher education, Central European Journal of Operational Research, 2016, Vol. 24, pp. 283-296.
Jablonsky, J., Marek, L., and Berka, P., Multi-period data envelopment analysis models and resource allocation: A case study, Journal of Physics Conf. Series, 2018,
Kao, C. and Hwang, S.N., Multi-period efficiency and Malmquist productivity index in two-stage production systems, EJOR, 2014, Vol. 232, No. 3, pp. 512-521.
Kao, C. and Hwang, S.N., Efficiency decomposition in two-stage data envelopment analysis: An applicationton on-life insurance companies in Taiwan, EJOR, 2008, Vol. 185, pp. 418-429.
Kao, C. and Liu, S.T., Multi-period efficiency measurement in data envelopment analysis: The case of Taiwanese commercial banks, Omega, 2014, Vol. 47, pp. 90-98.
Lee, T., Zhang, Y., and Jeong, B., A multi-period output DEA model with consistent time lag effects, Computers & Industrial Engineering, 2016, Vol. 93, pp. 267-274.
Ma, J. and Ahn, Y., Analyzing the Efficiency and Multi-period Productivity of the Logistics Companies in Korea, Korea Logistics Review, 2022, Vol.32, No.1, pp. 43-52.
Nikolaou, P. and Dimitriou, L., Lessons to be Learned from Top-50 Global Container Port Terminals Efficiencies: A Multi-Period DEA-Tobit Approach, Maritime Transport Research, 2021, Vol 2, 100032.
Park, K. and Park, K., Measurement of multiperiod aggregative efficiency, EJOR, 2009, Vol. 193, No. 2, pp. 567-580.
Son, D., Gang, Y., and Kim, H., Analysis on the Efficiency Change in Electric Vehicle Charging Stations Using Multi-Period Data Envelopment Analysis, Journal of the Society of Korea Industrial and Systems Engineering, 2021, Vol 44, No 2, pp. 1-14.
Xu, Y.W., Zhang, H.J., Cheng, K., Zhang, Z.X., and Chen, Y.T., Efficiency measurement in multi-period network DEA model with feedback, Expert Systems with Applications, 2021, Vol. 175, 114815.