Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.41 No.3 pp.61-71
DOI : https://doi.org/10.11627/jkise.2018.41.3.061

Efficiency Analysis of Project Management Offices Using Bootstrap DEA

Joong-Hoon Ko

, Sung-Hun Park

, Eun-Song Bae

, Dae-Cheol Kim^†

School of Business Administration, Hanyang University

^†Corresponding Author : dckim@hanyang.ac.kr

Received 06/08/2018 Finally Revised 18/09/2018 Accepted 19/09/2018

Abstract

The purpose of this study is to analyze the efficiencies of project management offices in large information system construction projects using the data envelopment analysis. In addition, we tried to estimate the confidence interval of those efficiencies using bootstrap DEA to give a statistical meaning. The efficiency by the CCR model is analyzed as eight project management offices are fully efficient and 22 project management offices are inefficient. On the other hand, there are 15 project management offices are fully efficient, but 15 project management offices are inefficient in the BCC model. As the result of the scale efficiencies, of the inefficient project management offices, 13 project management offices are inefficient in scale. It is possible to eliminate the inefficiency in the CCR model by improving their project performances. And, the nine project management offices showed that the inefficiency was due to pure technical efficiency, and these companies should look for various improvements such as improvement of project execution system and project management process. In order that the inefficient project management offices be efficient, it is analyzed that more efforts must be made for on-budget and on-time as a result of examining the potential improvement potentials of inefficient project management offices.

Key Words : Efficiency , Data Envelopment Analysis(DEA) , Bootstrap DEA , Project Management Office(PMO)

부트스트랩 자료포락분석을 이용한 프로젝트 관리 조직의 효율성 분석

고중훈

, 박성훈

, 배은송

, 김대철^†

한양대학교 경영학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

Hanyang University
2017

1. 서 론

오늘날 급변하는 비즈니스 환경 속에서 기업들은 경쟁 력을 높이고자 정보시스템을 구축하고 있으며, 이에 대한 투자규모도 매년 증가하고 있다. 하지만, 기업의 비즈니스 전략에 따라 추진되는 많은 정보시스템 구축 프로젝트들 이 예산초과와 납기지연을 초래하고 있다. 그리고, 많은 프로젝트들이 프로젝트 본연의 기대 효과(Benefit)를 제대 로 달성하지 못하고 있는 것 또한 현실이다. 정보시스템은 데이터를 수집하고, 저장하고, 처리하고, 정보와 지식을 전달하기 위한 통합된 요소들의 집합이다. 기업은 영업활동 을 수행하고 관리하며, 고객 및 공급 업체와 상호작용하고, 시장에서 경쟁하기 위해 정보시스템에 의존하고 있다[12]. 전사적 자원 관리(enterprise resource planning) 시스템, 공급 사슬 관리(supply chain management), 고객 관계 관리(customer relationship management)를 위한 정보시스템을 구축 하는 프로젝트들이 대표적인 정보시스템(information system, IS) 프로젝트이다.

미국의 Standish Consulting Group은 CHAOS Manifesto 2013 보고서에서 프로젝트 성공의 기준을 일정준수(on time), 예산준수(on budget), 요구사항충족(customer requirement fulfillment)을 제시하고 있다[27]. 이 보고서에 의하면 성공 한 프로젝트가 2004년 29%에서 2012년 39%로 상승하기는 했으나, 여전히 전체 프로젝트 중에서 61%는 ‘실패’ 또는 ‘노력이 요구되는’ 상태인 것으로 보여주고 있다[27]. 또 한, 이 보고서에 의하면 ‘노력이 요구되는’ 프로젝트들은 예 산초과 및 일정지연을 초래했으며, 예산초과의 경우 2010 년 71%에서 2012년 79%로 증가하였고, 일정지연은 2010 년 46%에서 2012년 59%로 증가하였음을 보여준다[27]. 이와 같은 프로젝트의 실패율을 줄이고, 성공률을 높이기 위한 대안으로써 많은 기업들과 공공기관들이 프로젝트 관리 조직(project management office, PMO)을 도입하고 있는 추세이다. 한편, 미국 PM Solutions에 의해 2010년 에 수행된 설문조사에 따르면, 2000년 48%, 2006년 77%, 2010년 88%에 이르는 기업들이 프로젝트 관리 조직을 도 입했다고 발표했다[24], 최근 국내에서도 이에 대한 관심 이 더욱더 높아졌으며, 2014년도부터 본격적으로 공공기 관들도 프로젝트 관리 조직을 도입하게 되었다. 초기에는 일부 대형 정보화 사업에서만 도입되었던 이 제도는 현재 중․소형 공공기관으로 확산되는 추세에 있다.

Martin et al.[22]은 “프로젝트 관리 조직의 유무에 따라 프로젝트 성과(일정, 예산, 품질) 중에서 예산에서 성과 차 이가 있다”라고 주장하였다. 김태우[17]는 국내 소프트웨 어 산업을 대상으로 조사한 연구에서 프로젝트 관리 조직 이 범위관리, 일정관리, 통합관리 등의 프로젝트 성과에 유의한 영향을 미친다고 하였다. 또한, BIA[6]는 “프로젝 트 관리 조직을 도입한 후, 일 년 내에는 프로젝트 성공확 률이 37%, 2년 후에는 62%, 5년 후에는 65%로 증가시킬 수 있으며, 프로젝트 관리 조직의 운영을 통해 프로젝트의 성공적인 관리를 수행하고 있다”고 하였다. 하지만, 이러 한 성공률은 산출량(output)에만 초점을 맞추고 있어 투자 에 따른 성과 즉, 효율성을 반영하지 못한다고 할 수 있다.

효율성(efficiency)이란 산출량에만 초점을 맞춘 성과(outcome) 와는 다른 개념으로써 투입량 대비 산출량을 의미 한다. 즉, Lee and Oh[21]는 “효율성은 투입한 노력 또는 자원 대비 획득한 성과의 비율”이라고 하였다. 기업 내 많은 경영 활동들이 프로젝트에 의해 그리고, 한정된 자 원으로 이루어지고 있기 때문에 자원의 효율적 사용이 무엇보다 중요하다. 이와 같은 이유로 대형 정보시스템 을 구축하는데 있어서 프로젝트 관리 조직이 얼마나 효 율적․효과적으로 운영되는지에 대한 연구가 무엇보다 중요하다. 프로젝트 규모에 대한 정의를 살펴보면, Bloch et al.[7]은 15백만 미국 달러 이상의 규모를 갖는 정보기술 (information technology, IT) 프로젝트를 대형 프로젝트로 정의하였다. 한국에서는 10억 원 이상의 정보시스템 구축 프로젝트들이 대형 프로젝트로 간주되고 있는 바, 우리는 이를 대형 정보시스템 프로젝트라고 정의하고자 한다.

앞에서 언급한 바와 같이 프로젝트 관리 조직을 도입 하는 기업들이 매년 증가하고 있으나, 국내․외적으로 프로젝트 관리 조직의 효율성 분석에 관한 연구가 미비 하다. 이에 프로젝트 관리 조직에 대한 효율성 관련 연구 는 의미가 있다고 할 수 있다. 특히 효율성은 상대적으로 평가될 때 더 많은 의미가 있다. 즉, 상대적으로 높은 효 율성을 나타내는 프로젝트 관리 조직을 벤치마킹함으로 써 효율성을 개선할 수 있으며, 이는 프로젝트 관리 조직 의 자원 배분에 있어서 중대한 영향을 미칠 수도 있을 것이다. 또한, 기업은 프로젝트 관리 조직의 효율성 개선 함으로써 프로젝트 성공률을 향상시키는 동시에 프로젝 트 관리 성숙도 역시 높일 수 있을 것이다. 본 연구에서 는 자료포락분석을 이용하여 프로젝트 관리 조직의 상대 적 효율성을 살펴보고자 한다. 또한, 부트스트랩 자료포 락분석을 이용하여, 일반적 자료포락분석에 의해 도출된 효율성의 신뢰구간을 추정하고, 프로젝트 관리 조직의 운용에 있어서 개선 방안을 제시하고자 한다.

2. 이론적 배경

2.1 자료포락분석

본 연구에서 프로젝트 관리 조직의 효율성 분석은 자 료포락분석(data envelopment analysis, DEA)을 바탕으로 하고 있다. 상대적 효율성 평가를 위한 자료포락분석은 비모수적 분석방법으로써, 학교, 은행, 병원, 공공기관 등 과 같은 다양한 산업분야에서 효율성 분석의 유용한 도 구로 이용되고 있다. Charnes et al.[8]에 의해 처음으로 고안된 자료포락분석은 Farrell[13]의 상대적 효율성을 기 반으로 하는 이론이다[3, 8, 13]. 동시에 다수의 투입요소 와 산출요소를 고려하여, 생산변경을 도출한 다음에 다 른 의사결정단위(decision-making unit, DMU)들과 비교함 으로써 상대적 효율성을 측정하는 방법이다[14, 18, 23]. 의사결정단위란 은행, 학교, 병원 등과 같은 평가대상의 조직단위를 의미하며, 각각의 프로젝트 관리 조직이 이 에 해당된다. 즉, 자료포락분석은 상대적 효율성을 분석 하기 위한 주요 수단으로써, 프로젝트 관리 조직의 효율 성을 산출하기 위해 적용한 분석방법이다.

자료포락분석은 연구목적 및 자료특성에 따라 여러 가지 모형들이 존재한다. 대표적으로 사용되는 모형으로는 CCR (Charnes, Cooper and Rhodes) 모형과 BCC(Banker, Charnes and Cooper) 모형이 있다[3, 8]. CCR 모형은 생산 가능 집합에 있어 불변규모수익을 가정하기 때문에 불변규모 수익(constant returns to scale, CRS) 모형이라고도 한다. BCC 모형은 가변규모수익을 가정한다는 특징이 있어 가변 규모수익(variable returns to scale, VRS) 모형이라고도 한다 [2, 16]. 이러한 CCR 모형과 BCC 모형은 자료특성에 따 라 각각 투입기준모형과 산출기준모형으로 나뉜다. 일반 적으로 산출요소를 고정하고 효율성을 측정할 때에는 투 입기준모형을, 반대로 투입요소를 고정하고 효율성을 측 정할 때에는 산출기준모형으로 효율성 분석을 실시한다.

효율성 분석의 평가대상, 즉 의사결정단위가 A부터 G 까지 있고, 각각의 의사결정단위마다 한 개의 투입(x)과 한 개의 산출(y)이 주어지고 있음을 보여준다. CCR 모형 에서는 투입 대비 산출의 비율이 가장 높은 D(효율성 = 1)를 기준으로 생산변경이 이루어진다. 즉, 관측치 D가 생 산가능하면 다른 의사결정단위들도 동일한 비율만큼 생산 가능하다는 것을 의미한다. 예를 들어, CCR 모형에서 관 측치 C는 생산변경 선상인 C₁까지 생산을 늘릴 수 있으 며, 이때 산출기준 모형에서의 C의 효율성은 $\bar{C C_{1}} / \bar{x_{c} C}$ 가 된다. 반면에 투입기준 모형에서의 관측치 C점은 C3까지 투입을 줄일 수 있으며, 이때 효율성은 $\bar{C C_{3}} / \bar{y_{c} C}$ 가 된다 (<Figure 1> 참조).

<Figure 1>에서 볼 수 있는 것처럼 BCC 모형에서는 관 측치 B, D, F, G(효율성 = 1)를 기준으로 생산변경이 이 루어진다. 즉, CCR 모형은 가장 효율적인 의사결정단위 들의 선형결합으로 생산변경이 주어지는 반면, BCC 모형 의 생산변경은 선형결합이 아닌 볼록결합(convex combination) 으로 주어진다. 앞에서와 마찬가지로 관측치 C를 살펴보면 산출기준 모형에서의 C는 BCC 모형의 생산변경 선상인 C₂까지 생산을 늘릴 수 있다. 따라서 산출기준 모 형에서의 C의 효율성은 $\bar{C C_{2}} / \bar{x_{c} C}$ 가 되며, 투입기준 모형 에서의 효율성은 $\bar{C C_{4}} / \bar{y_{c} C}$ 가 된다.

만약, 평가대상인 의사결정단위가 K개이고, $D M U_{k} (k = 1, 2, 3, \dots, k)$ 마다 M개의 투입요소 x_m와 N개의 산출요 소 y_n가 주어진다고 가정을 하면, k번째 관측치인 DMU_k 의 효율성에 대해 산출기준 CCR 모형을 수식화하면 다 음의 식 (1)과 같다.

\begin{array}{l} ϕ^{k^{*}} = max ϕ^{k} \\ s u b j e c t t o \\ x_{m}^{k} = \sum_{k = 1}^{K} x_{m}^{k} λ^{k} (m = 1, 2, 3, \dots, M) \\ ϕ^{k} y_{n}^{k} = \sum_{k = 1}^{K} y_{n}^{k} λ^{k} (n = 1, 2, 3, \dots, N) \\ λ^{k} \geq 0 (k = 1, 2, 3, \dots, K) \end{array}

(1)

반면에 k번째 관측치인 DMU_k의 효율성에 대해 산출 기준 BCC 모형을 수식화하면 식 (2)과 같다.

\begin{array}{l} ϕ^{k^{*}} = max ϕ^{k} \\ s u b j e c t t o \\ x_{m}^{k} = \sum_{k = 1}^{K} x_{m}^{k} λ^{k} (m = 1, 2, 3, \dots, M) \\ ϕ^{k} y_{n}^{k} = \sum_{k = 1}^{K} y_{n}^{k} λ^{k} (n = 1, 2, 3, \dots, N) \\ \sum_{k = 1}^{K} λ^{k} = 1 \\ λ^{k} \geq 0 (k = 1, 2, 3, \dots, K) \end{array}

(2)

이 두 모형에 의한 기술적 효율성의 차이를 이용하여 규모에 따른 비효율성을 유추할 수 있다. 또한, 가변규모 수익 모형은 최적의 규모 상태가 아닐 수 있다. 가변규모 수익 모형을 활용하여 의사결정단위가 규모의 수익이 증 가되는 ‘규모의 경제’ 혹은 체감되는 ‘규모의 불경제’상 태에 있는지를 판단할 수 있다[21].

2.2 부트스트랩 자료포락분석

비모수적 분석방법인 자료포락분석에 의해 계산된 효율 성은 통계적인 의미를 갖지 않을 뿐만 아니라 신뢰구간을 설정할 수 없다는 한계가 있다. 따라서 자료포락분석 의해 계산된 효율성에 신뢰구간을 설정할 수 있는 대표적인 방 법으로 부트스트랩 기법을 들 수 있다. 이 부트스트랩 기 법은 반복적으로 복원 추출을 수행하여 모수의 추정치를 구하고, 이에 근거하여 효율성이 통계적으로 유의한 신뢰 구간을 추정함으로써 통계적 의미를 부여할 수 있다.

산출기준 BCC 모형에서 부트스트랩 자료포락분석의 절차를 정리하면 다음과 같다.

∙1단계 : K개의 의사결정단위들로부터 k번째 의사결정 단위의 효율성( $\hat{ϕ^{k}}$ )을 계산한다.
∙2단계 : K개의 의사결정단위들 중에서 p개를 무작위 복 원 추출하여 생산가능집합을 구성하고, k번째 의사결정단위의 효율성( $\hat{\hat{ϕ^{k}}}$ )을 측정한다.
∙3단계 : 2단계를 B번 반복하여 $(\hat{\hat{ϕ_{1}^{k}}}, \hat{\hat{ϕ_{2}^{k}}}, \dots, \hat{\hat{ϕ_{B}^{k}}})$ 와 같이 k번째 의사결정단위에 대한 부트스트랩 효율성 값의 분포를 얻는다. 반복횟수 B는 2000회 이 상이면 충분하다[26].
∙4단계 : 3단계의 부트스트랩 효율성의 분포를 이용하여 계산된 효율성( $\hat{ϕ^{k}}$ ) 주위로 분포확률을 다음과 같이 구할 수 있다.

$p r (- \hat{b_{α}} \leq [\hat{\hat{ϕ^{k}}} - \hat{ϕ^{k}}] \leq \hat{a_{α}}) \approx 1 - α$

(3)
∙5단계 : 4단계에서의 구해진 확률은 근사적으로 진정한 효율성(ϕ^k)를 중심으로 측정된 효율성이 분포 할 확률과 같다. 식 (3)에서 $\hat{a_{α}}$ 와 $\hat{b_{α}}$ 을 찾기 위해 $[\hat{\hat{ϕ^{k}}} - \hat{ϕ^{k}}]$ 의 값을 작은 값부터 큰 값을 순서대로 정렬한 후, 정렬된 값들의 양쪽 끝단에서 α/2 에 해당하는 값이 각각 하한값( $\hat{a_{α}}$ )과 상한값( $\hat{b_{α}}$ ) 이 된다. 이를 이용하면 진정한 효율성(ϕ^k) 값에 대한 (1 - α)의 신뢰구간은 다음과 같다.

$\hat{ϕ^{k}} + \hat{a_{α}} \leq ϕ^{k} \leq \hat{ϕ^{k}} + \hat{b_{α}}$

(4)

신뢰구간을 구하는 다른 방법으로는 부트스트랩 효율 성의 평균을 이용하여 편의(bias)를 계산한 후, 효율성에서 이를 제거하는 방식을 선택할 수도 있다. 그러나 최근 연 구는 이러한 이중적인 계산법이 불필요한 오차를 발생시 킬 수도 있다[21]. 이와 같은 이유로 본 연구에서는 앞에서 설명한 1단계에서 산출기준 자료포락 모형에 의해 계산된 효율성( $\hat{ϕ^{k}}$ )이 식 (4)에 의하여 도출된 신뢰구간 내에 포함 이 되면, 효율성 $\hat{ϕ^{k}}$ 은 통계적으로 유의하다고 판단한다.

2.3 프로젝트 관리 조직

Kwak and Dai[20]는 프로젝트 관리 조직을 프로젝트를 추진하는 조직에게 교육 및 훈련, 자문 등과 같이 관리 적․행정적․기술적 서비스를 제공하고 지원하기 위해 상 근 직원을 가지고 있는 조직상의 독립체라고 정의하였다. 구본재 등[19]은 프로젝트 관리 조직을 프로젝트 관리 능 력을 향상시키고 발전시키기 위한 프로젝트 근간이 되는 조직으로 정의하였다. 따라서 Bates[5] 프로젝트 관리 조 직은 프로젝트 관리 능력을 향상시키고 발전시키기 위해 실직적인 사항을 제시해 주는 프로젝트 근간 조직이며, 이 조직을 운영한다는 것은 해당 회사의 프로젝트 관리 방법을 공식화하는 것이다. 또한, PMI[25]은 기업 내에서 진행 중인 모든 프로젝트 통합하고, 프로젝트 포트폴리오 를 관리하는 조직이며, 프로젝트 방법론, 프로세스 및 절 차, 통제, 도구, 인력, 교육 및 훈련 등의 기능을 수행한다 고 정의하고 있다.

기존의 선행 연구들을 살펴보면, 학자들마다 프로젝트 관리 조직의 기능 및 역할에 대해 다양하게 정의하고 있 으나, 그의 중요성은 공통적으로 역설하고 있다. Bates[5] 는 프로젝트 관리 조직의 영역을 프로젝트 위험평가, 프 로젝트 성과평가, 그리고 조직의 변화관리까지 확대 및 수행을 해야 진정한 효과를 거둘 수 있다고 하였다. 반면 에 Crawford[10]는 조직의 프로젝트 관리 역량에 관한 연 구를 통해 프로젝트 관리 조직은 프로젝트 지원, 통제 및 계획수립, 프로젝트 방법론과 프로젝트 관리 도구 지원, 프로젝트 관리자의 역량 및 경력개발 지원, 프로젝트 전략 목표 수립, 자원관리, 감사 및 검토, 구매 및 계약 기능을 수행해야 한다고 하였다. 이와는 달리, Desouza and Evarsito [11]는 프로젝트 관리 조직을 전략적 수준(strategic level), 전술적 수준(tactical level), 운영적인 수준(operational level) 으로 구분하였으며, 프로젝트 성과를 향상시키기 위해 프 로젝트 관리자에 대한 행정적으로 지원해야 하며, 모범사 례 관리 및 지식개발 등의 지식 관리를 수행해야 한다고 하였다. Ayyagari et al.[11]은 지식영역(프로젝트 관리 방 법론, 표준 템플릿 및 체크리스트 개발 등), 통제영역(전 사적인 차원의 프로젝트 관리, 변경관리, 위험평가, 프로 젝트 성과측정 등), 자원영역(프로젝트 관리자 선정 및 팀 원채용, 자원할당, 프로젝트 예산편성 등) 등 3가지 가치 영역(value domain)으로 구분함은 물론 프로젝트 관리 조 직의 기능들에 대해 상세하게 제시하였다. 한편, Hill[15] 은 여러 선행 연구들을 기초하여 프로젝트 관리 조직의 기능을 크게 5가지로 분류하였고, 가장 구체적이면서 포 괄적으로 제시하였다. 본 연구에서 프로젝트 관리 조직의 효율성을 평가하기 위해 Hill[15]이 제시한 기능들을 적용 하였다. 이 기능들을 세부적으로 살펴보면 다음과 같다. Table 1

3. 연구방법

3.1 분석대상

본 연구를 위한 의사결정단위에 대한 자료는 2017년 7 월 1일부터 8월 31일까지 정보시스템 구축 프로젝트를 수행한 프로젝트 관리 조직의 담당자들을 대상으로 온라 인 설문을 통해 수집되었다. 전체 65명이 설문에 응답했 다. 프로젝트 예산이 10억 원 이상인 정보시스템 구축 프로젝트들을 관리․감독한 30개의 프로젝트 관리 조직 들을 분석 대상으로 선정하였다. 프로젝트 관리 조직의 특성은 다음의 <Table 2>와 같다.

3.2 투입 및 산출요소 선정

본 연구는 프로젝트 관리 조직의 효율성을 평가하는 것이다. 따라서 Hill[15]의 선행 연구를 기초로 실행관리, 기반관리, 자원통합, 기술지원, 그리고 업무 연계성 등의 다섯 개의 기능을 투입요소로 선정하였다. 투입요소들을 살펴보면, 실행관리는 프로젝트 관리 방법론, 프로젝트 관리 도구, 표준 및 점검기준, 그리고 프로젝트 지식관리 들로 구성되어 있다. 기반관리는 프로젝트 지배구조, 평 가, 조직 및 구조, 근무 설비 및 장비 지원 등으로 구성되 어 있다. 자원통합은 자원 관리, 훈련 및 교육, 경력 개발, 팀 구성 등으로 구성되어 있으며. 기술지원은 멘토링, 프 로젝트 계획수립, 감사, 프로젝트 문제해결 등으로 구성 되어 있다. 마지막으로 업무 연계성은 프로젝트 포트폴 리오 관리, 고객관계 관리, 공급업체 및 주요계약자 관리, 사업성과 관리를 포함한다. 반면에, 산출변수는 미국의 PMI[25]와 Standish Consulting Group[27]에서 공통적으로 제시하고 있는 일정준수(on time), 예산준수(on budget), 고 객의 요구사항 충족(customer requirement fulfillment) 이 외에 프로젝트 성과(project performance)로 구성하였다.

프로젝트 관리 조직으로부터의 각각의 기능들에 대한 지원 정도와 프로젝트 성과들에 대한 측정은 리커트 7점 척도를 이용하였다. 앞에서 언급한 프로젝트 관리 조직의 주요 5개의 기능들은 각각 4개의 하위 기능들로 구성이 되어 있다. 이들에 대한 측정은 정보시스템 구축 프로젝트를 수행 한 프로젝트 관리 조직의 담당자에 의하여 측정이 되었다. 주요 기능에 대한 점수는 하위 기능들의 평균을 사용하였다.

자료포락분석은 투입요소 및 산출요소의 수를 많이 반 영하여 효율성을 측정할 경우 왜곡될 가능성이 높아질 수 있다. 즉, 자료포락분석은 투입 및 산출변수의 개수가 늘 어날수록 판별력이 낮아지고, 의사결정단위의 수가 많을 수록 판별력이 높아질 수 있다[4]. 이에 Cooper et al.[9]은 의사결정단위의 개수를 투입변수와 산출변수의 합의 3배 수 이상을 사용할 것을 권장하였다[8]. 본 연구에서 분석 대상의 개수는 30개이고, 투입변수와 산출변수의 합이 9 개이므로 이 조건을 만족한다. 투입변수와 산출변수에 대 한 기술통계량은 다음의 <Table 3>과 같다.

4. 분석 결과

4.1 DEA와 부트스트랩 DEA에 의한 효율성

프로젝트 관리 조직을 도입한 정보시스템 구축 프로젝 트들을 중심으로 효율성을 분석한 결과는 아래의 <Table 4>와 같다. CCR 모형에 의한 효율성을 살펴보면, 완전 효 율적인 의사결정단위 8개, 비효율적인 의사결정단위는 22 개로 분석되었다. 전체 의사결정단위들의 평균 효율성은 0.80로 비교적 높게 나타난 반면, BCC 모형에 의한 효율성 을 살펴보면 완전 효율적인 의사결정단위가 15개, 비효율 적인 의사결정단위 15개로 나타났다. 평균 효율성은 0.89 로 나타났으며, BCC 모형에서의 완전 효율적인 의사결정 단위의 개수가 CCR 모형보다 거의 2배가량 높게 나타났 다. BCC 모형에 의한 효율성이 CCR 모형에서의 효율성보 다 높거나 같게 나타났다. 이러한 결과는 자료포락분석 모 형의 특성에 따른 결과라 할 수 있는데, 이는 CCR 모형은 규모의 수익불변을 가정하고 있는 데에 반해 BCC 모형은 규모의 수익가변을 가정하고 있기 때문이다.

4.2 DEA를 이용한 상대적 효율성 분석

CCR 모형 및 BCC 모형에 의해 계산된 효율성을 이용 하여 규모의 효율성(scale efficiency)을 살펴보면, DMU3, DMU4, DMU9, DMU17 등 총 8개의 의사결정단위가 완 전 효율적이고, 규모면에서 가장 비효율적인 프로젝트 관리 조직은 DMU30으로 분석되었다. 특히, DMU30은 비효율의 원인이 순수 기술적 효율성에 의한 것이 아니 라 전적으로 규모에서의 비효율성에 의해 발생한 것이라 할 수 있다. 즉, 프로젝트 관리 조직이 현실적으로 지닐 수 있는 규모의 경제를 고려하였을 때에는 상대적으로 효율적인 운영을 하고 있는 것으로 해석할 수 있다. 그러 나 효율성에 있어 최적으로 프로젝트 관리 조직을 운영 하고 있는 다른 기업들의 프로젝트 관리 조직(불변규모 수익 기준)에 비해 투입량이 비슷함에도 불구하고 프로 젝트 성과가 다소 떨어지는 것으로 보여 진다. 따라서 실 행관리, 기반관리, 자원통합, 기술지원, 업무연계성 등의 지원정도가 투입변수로 주어졌을 때, 성과변수에 대한 향상을 통해 CCR 모형에서 나타난 비효율을 제거할 수 있을 것으로 분석되었다. 순수 기술적 효율성에 의한 비 효율적 의사결정단위들 중에서 DMU21이 가장 비효율적 인 것으로 나타났으며, 이러한 프로젝트 관리 조직들은 프로젝트성과를 높여 효율성을 제고시키려는 노력도 중 요하지만, 규모의 경제를 고려하더라도 효율적으로 운영 되는 다른 프로젝트 관리 조직들(가변규모수익 기준)에 비해 상대적으로 효율성이 많이 낮다. 이들은 효율성을 향상시키기 위해서는 사업수행체계 및 프로젝트 관리 프 로세스 개선, 조직구조 개편 등 다양한 개선 방안이 모색 되어야 할 것으로 보인다.

또한, <Table 5>의 ‘규모의 수익’ 열에 있는 람다의 합 으로 불변규모수익(constant return to scale, CRS), 규모수익 체감(decreasing return to scale, DRS), 규모수익체증(increasing return to scale, IRS)을 판단할 수 있다. 규모의 효율성을 분석한 결과, 규모가 최적 상태인 규모수익불변(CRS)은 8 개, 규모수익체감(DRS)은 21개, 규모수익체증(IRS)은 1개로 나타났다. 규모수익체증(IRS) 상태인 DMU26은 투입량을 확대해야 할 필요가 있다. 즉, 프로젝트 관리 조직의 운영 에 들어가는 투입이 증가하는 비율보다 그에 따른 산출 (성과)의 증가 비율이 더 크기 때문에 투입량을 증대시킴 으로써 효율성을 제고시키는 것이 바람직하다. 반면, 그 외 의 프로젝트 관리 조직들은 대부분이 규모수익체감(DRS) 상태로 나타났다. 효율성을 높이기 위하여 투입의 규모를 줄이거나 또는 성과를 높이고자 할 때 확대되는 투입의 규모를 신중히 고려해야 하는 것이 필요하다. 따라서, 이들 은 투입량을 줄이기보다는 산출을 늘리는 방향으로 프로젝 트 관리 조직의 운영을 고려해야 한다. 마지막으로 DMU3, DMU4, DMU9, DMU17, DMU19, DMU22, DMU23, DMU28 총 8개 프로젝트 관리 조직들이 기술적 효율성(technical efficiency), 순수 기술적 효율성(pure technical efficiency), 규모의 효율성(scale efficiency)이 모두 완전 효율적인 것 으로 나타났다.

4.3 비효율적 의사결정단위의 잠재적 개선치

자료포락분석은 동시에 다수의 투입요소 및 산출요소 들을 고려하여 생산변경(efficiency frontier)을 도출한 다 음에, 이를 다른 의사결정단위들과 비교하여 평가대상의 효율성을 측정하는 방법이다[1, 9]. 따라서 이러한 자료 포락분석의 특성을 이용하면 비효율적인 의사결정단위 가 어떤 의사결정단위를 벤치마킹의 대상으로 효율적인 상태가 될 수 있는지에 대한 정보를 획득할 수 있다. 즉, 비효율적인 의사결정단위에 있어 투입요소 및 산출요소 의 잠재적 개선 가능치를 도출해 낼 수 있으며, 개선 가 능치를 구하는 절차는 다음과 같다.

y_{r j}^{*} = ϕ y_{r j} + s_{r}^{+} (r = 1, 2, 3, \dots, s)

(5)

\begin{array}{l} x_{i j}^{*} = x_{i j} - s_{i}^{-} (i = 1, 2, 3, \dots, m) \\ s u b j e c t t o \\ y_{r j}^{*} \geq y_{r j} \\ x_{i j}^{*} \leq x_{i j} \\ x_{i j}, y_{r j}, x_{i j}^{*}, y_{r j}^{*} \geq 0 \end{array}

(6)

먼저, 비효율적인 의사결정단위의 목표치를 구한다. 식 (5)은 j번째 의사결정단위가 더 효율적이기 위해서는 각각 의 산출요소를 동일한 비율로 늘린 후, 여유분만큼 산출을 더 늘려야 함을 의미한다. 식 (6)은 j번째 의사결정단위의 투입요소를 여유분만큼 줄여야함을 의미한다. 즉, 산출기 준 BCC 모형을 기준으로 생산변경 상의 $x_{i j}^{*}$ 와 $y_{r j}^{*}$ 의 조합 점은 j번째 DMU(x_ij, y_rj)의 목표치가 되며 이를 투영점이 라고 한다. 투영점이란 해당 의사결정단위의 비효율성이 모두 제거된 상태 즉, 효율성을 개선하고자 할 때의 최종 목표치를 의미한다. 따라서 비효율적 의사결정단위에 있 어서 투입요소의 잠재적 개선 가능치는 $- (x_{i j} - x_{i j}^{*}) / x_{i j}$ 가 되며, 산출요소는 $(y_{r j}^{*} - y_{r j}) / y_{r j}$ 가 된다.

위와 같은 방식으로 도출한 비효율적인 의사결정단위 의 잠재적 개선치를 보여준다(<Appendix Table 2> 참조). 그리고, 비효율적인 의사결정단위는 투입량 또는 산출량 을 조절함으로써 효율적인 의사결정단위가 될 수 있다. 잠재적 개선 가능치의 요소별 평균치를 살펴보면, 투입요 소에서는 기술지원(-18.71%)과 기반관리(-17.46%)가 가장 높게 나타났으며, 산출요소에서는 전반적으로 모든 요소 에서 높은 잠재적 개선치를 보였는데 예산준수(80.60%), 일정준수(63.37%) 순으로 나타났다. 이는 비효율적인 프 로젝트 관리 조직들이 효율적으로 운영되기 위해서는 투 입요소의 투입량을 줄이기보다는 상대적으로 예산준수 및 일정준수와 같은 산출량을 늘리는데 많은 노력을 해야 함을 시사한다.

5. 결 론

본 연구에서는 국내의 대형 정보시스템 구축 프로젝 트를 중심으로 일반적 자료포락분석을 이용하여 프로젝 트 관리 조직의 상대적 효율성 및 규모의 효율성을 분석 하였고, 부트스트랩 자료포락분석을 활용하여 효율성의 신뢰구간도 함께 살펴보았다. 자료포락분석 결과를 바탕 으로 비효율적으로 나타난 프로젝트 관리 조직의 비효율 성 원인 또한 살펴보았으며, 게다가 효율적인 프로젝트 관리 조직이 되기 위한 투입 및 산출요소별 잠재적 개선 가능치를 제시하였다.

효율성 분석결과를 요약하면 다음과 같다. 첫째, 산출 기준 CCR 모형과 BCC 모형을 이용한 상대적 효율성 분 석결과, CCR 모형에서는 완전 효율적(= 1.00)인 프로젝트 관리 조직이 8개, 나머지 22개의 프로젝트 관리 조직은 상대적으로 비효율적인 것으로 나타났다. 효율성 평균은 0.80로 나타나 규모에 대한 수익불변 가정 하에서의 평 균보다 0.20정도 비효율성이 존재하고 있는 것으로 분석 되었다. BCC 모형에서는 완전 효율적인 프로젝트 관리 조직이 15개, 비효율적인 프로젝트 관리 조직도 15개로 나타났다. BCC 모형에서의 효율성 평균은 0.89로 분석 되었다.

둘째, 규모 효율성을 이용하여 비효율성의 원인을 살펴 본 결과, 비효율적인 프로젝트 관리 조직 중에서 과반 수 이상인 13개의 기업의 프로젝트 관리 조직이 규모면에서 비효율이 발생하고 있는 것으로 나타났다. 특히, DMU30 (= 0.59)이 가장 비효율적으로 나타났으며(<Appendix Table 1> 참조), 이러한 프로젝트 관리 조직들은 실행관리, 기반 관리, 자원통합, 기술지원, 업무 연계성 등의 투입변수가 주어졌을 때, 성과변수에 대한 향상을 통해 CCR 모형에 서 나타난 비효율을 제거할 수 있을 것으로 보인다. 나머 지 9개는 비효율의 원인이 순수 기술적 효율성에 의한 것 으로 나타났으며, 이들 기업들은 사업수행체계 및 프로젝 트 관리 프로세스 개선, 조직구조 개편 등 다양한 개선 방안 이 모색되어야 할 것으로 보인다. 그리고, 규모수익불변 (CRS)은 8개, 규모수익체감(VRS)은 21개, 규모수익체증 (IRS)은 1개로 나타났다.

셋째, 비효율적 프로젝트 관리 조직의 투입 및 산출요 소별 잠재적 개선 가능치를 살펴보기 위해 투영점을 기 준으로 그 결과를 도출하였다. 분석결과, 프로젝트 관리 조직의 산출요소에서 상대적으로 높은 평균 개선치가 요 구되었으며, 특히 예산준수가 가장 높았고(80.60%), 일정 준수(63.37%)가 그 다음 순으로 높았다. 즉, 비효율적인 프로젝트 관리 조직이 효율적으로 되기 위해서는 산출요 소 중 예산준수 및 일정준수 개선에 보다 많은 노력을 기 울여야 한다는 것을 의미한다(<Appendix Table 2> 참조).

연구결과에 대한 시사점은 다음과 같다. 첫째, 국내 대 형 정보시스템 구축 프로젝트를 중심으로 자료포락분석 을 이용하여 상대적 효율성을 측정하였다. 또한, 효율성 의 신뢰구간에 대한 정보를 함께 얻을 수 있는 부트스트 랩 자료포락분석을 이용하여, 통계적 유의한 효율성의 신뢰구간 측정방법을 제시했다는 점에서 학문적으로 중 요한 의의가 있다. 또한 비효율적으로 나타난 프로젝트 관리 조직에 대하여 비효율의 원인을 분석하고, 이와 더 불어 투입 및 산출요소별 잠재적 개선 가능치를 제시함 으로써 비효율적인 프로젝트 관리 조직들에게 보다 효율 적으로 운영하는데 있어 도움이 될 수 있는 실무적 가치 를 제공하였다는 점에서 의의가 있다.

6. 연구의 한계점 및 향후 연구

본 연구는 프로젝트 관리 조직에 대해 국내․외 여러 선행 연구를 바탕으로 투입 및 산출요소를 선정하였으 나, 자료포락분석의 특성상 투입요소와 산출요소의 선택 에 따라 분석 결과가 달라질 수 있다. 따라서 본 연구의 방법 및 결과를 실제적으로 활용 시에는 이러한 점을 고 려할 필요가 있다.

향후의 연구에서는 다양한 산업분야에 운영되고 있는 프로젝트 관리 조직의 효율성을 다각도로 비교분석하는 연구가 필요하며, 토빗 회귀분석을 이용하여 프로젝트 관리 조직의 효율성에 영향을 미치는 요인들을 파악하여 효율성을 제고시킬 수 있는 토대를 마련하는 연구 역시 필요하다. 마지막으로 또한, 프로젝트 관리 조직의 운영 성과에 영향을 미칠 수 있는 다양한 내․외부적 환경변 수를 고려하여 효율성 분석을 한다면, 실무적으로 의미 있는 결과를 도출할 수 있을 것으로 사료된다.

Acknowledgement

This work was supported by the research fund of Hanyang University(HY-2017).

Figure

<Figure 1>.

Numerical Example

Table

<Table 1>.

Functions of PMO [15]

<Table 2>.

Feature of PMO

<Table 3>.

Descriptive statistics

<Table 4>.

Efficiency and Confidence Interval

<Appendix Table 1>.

Efficiencies by DEA

<Appendix Table 2>.

Potential Improvement Levels of Input and Output Factors for Inefficient DMUs

Reference

Ayyagari, R. , Henry, R.M. , and Purvis, R.L. , A conceptual framework of the alignment of the project management office(PMO) with the organizational structure, Americas Conference On Information Systems, 2006, pp. 3729-3736.
Baek, C.W. and Noh, M.S. , A Study on the contribution of firms open innovation strategies to R&D efficiency , Productivity Review, 2013, Vol. 27, No. 4, pp. 303-319.
Banker, R.D. , Charnes, A. , and Cooper, W.W. , Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis , Management Science, 1984, Vol. 30, No. 9, pp. 1078-1092.
Banker, R.D. , Conrad, R.F. and Strauss, R.P. , A Comparative Application of Data Envelopment Analysis and Translog Methods : An Illustrative Study of Hospital Production , Management Science, 1986, Vol. 32, No. 1, pp. 30-44.
Bates, W.S. , Improving project management , IIE Solutions, 1998, Vol. 30, No. 10, pp. 42-43.
BIA, The Impact of Implementing a Project Management Office-Report on the Results of the On-Line Survey , 2005, pp. 2-5.
Bloch, M. , Blumberg, S. , and Laartz, J. , Delivering largescale IT projects on time, on budget, and on value, Mc- Kinsey and Company, 2011, pp. 1-6.
Charnes, A. , Cooper, W.W. , and Rhodes, E. , Measuring the efficiency of decision making units , European Journal of Operational Research, 1978, Vol. 2, No. 6, pp. 429-444.
Cooper, W.W. , Seiford, L.M. , and Zhu, J. , Handbook on Data Envelopment Analysis, Norwell, Massachusetts : Kluwer Academic Publishers, 2004.
Crawford, L. , Developing Organizational Project ManageEfficiency ment Capability : Theory and Practice , Project Management Journal, 2006., Vol. 36, No. 3, pp. 74-97.
Desouza, K.C. and Evaristo, J.R. , Project management offices : A case of knowledge-based archetypes , International Journal of Information Management, 2006, Vol. 26, No. 5, pp. 414-423.
Encyclopædia Britannica, https://www.britannica.com/topic/information-system.
Farrell, M.J. , The Measurement of Productive Efficiency , Journal of the Royal Statistical Society, 1957, Vol. 120, No. 3, pp. 253-290.
Han, D.Y. and Kim, S.A. , Analyzing the Managerial Efficiency of Software Companies by DEA , Productivity Review, 2008, Vol. 22, No. 4, pp. 6-22.
Hill, G.M. , Evolving the Project Management Office : A Competency Continuum , Information Systems Management, 2004, Vol. 21, No. 4, pp. 45-51.
Joo, H.J. and Kim, D.C. , Efficiency Analysis of Regional SW Growth Supporting Projects Executing Agencies Using DEA , Productivity Review, 2014, Vol. 25, No. 4, pp. 443-463.
Kim, T.W. , A Study on PMO for betterment of Project Success [dissertation], [Seoul, Korea] : Korea University, 2013.
Koh, K.W. and Kim, D.C. , The Analyses of the Operational Efficiency and Efficiency Factors of Retail Stores Using DEA Model, Korean Management Science Review, 2014, Vol. 31, No. 4, pp. 135-150.
Koo, B.J. , Kwon, M.Y. , and Kim, J.S. , IT Governance for Management Innovation, Seoul : Nemobooks, 2006.
Kwak, Y.H. and Dai, C.X.Y. , Assessing the value of project management offices(PMO ), In PMI Research Conference2000, pp. 1-8.
Lee, J.D. and Oh, D.H. , Theory of efficiency analysis- Data Envelopment Analysis, Seoul : Jiphil Media, 2012.
Martin, N.L. , Pearson, J.M. , and Furumo, K.A. , IS Project Management : Size, Complexity, Practices and the Project Management Office , Proceedings of the 38th Annual Hawaii International Conference on System Sciences, 2005, Hawaii, USA, pp. 1-10.
Park, J.S. and Yoo, I.S. , A Study on Factors Affecting The Management Efficiency of Korean Pharmaceutical Firms Listed in the KRX-Using DEA and Tobit Model ,Productivity Review, 2013, Vol. 27, No. 3, pp. 138-165.
PM Solutions, The State of the PMO 2010.
PMI, A Guide To The Project Management Body Of Knowledge(PMBOK Guides), PA : Project Management Institute, 2013.
Simar, L. and Wilson, P.W. , A general methodology for bootstrapping in non-parametric frontier models , Journalof Applied Statistics, 2000, Vol. 27, No. 6, pp. 779-802.
The Standish Group International, CHAOS MANIFESTO 2013, Think Big, Act Small, The Standish Group International,2013, pp. 1-52.