Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.37 No.4 pp.42-53
DOI : https://doi.org/10.11627/jkise.2014.37.4.42

A Priority Analysis on Influential Factors for Invigorating Project Management Office (PMO) in Public Sectors based on Analytic Hierarchy Process (AHP)

Hyungchung Back, Pilsung Kang†
Department of Industrial and Information Systems Engineering, Seoul National University of Science and Technology
Corresponding Author : pskang@seoultech.ac.kr
August 11, 2014 October 13, 2014 October 13, 2014

Abstract

This study identifies influential factors for invigorating the public management office (PMO) system for system integration (SI) projects in public sectors and analyzes the priority of each factor from the point of different stakeholders, i.e., owners, SI company, and PMO. Based on the literature review, four first-level influential factors are identified: legal system maintenance, owner’s capability, SI company’s capability, and PMO’s capability. Among them, the PMO’s capability is determined as the most critical factor by all the stakeholders. Among the second-level influential factors, the capabilities of professional engineers and project managers are considered as important among the PMO’s capability, whereas the reasonable consulting fee is considered as the most critical factor among the legal system maintenance. With respect to each stakeholder, project management capability is considered as the most important factor for owners, while the reasonable consulting fee is considered as the most important factor for PMO.


계층분석과정을 이용한 공공분야 PMO 제도 활성화요인 우선순위 분석

백 형충, 강 필성†
서울과학기술대학교 글로벌융합산업공학과

초록


    Seoul National University of Science and Technology

    1.서 론

    PMO(Project Management Office)는 정부가 추진하는 소프트웨어 생태계 강화 정책의 일환으로 개정한 “소프 트웨어진흥법”에 따라 2013년부터 공공기관에서 발주하 는 시스템 통합(system integration : SI) 사업에 대기업이 참여하는 것을 전면 제한함으로써 발생할 가능성이 높은 문제점들을 보완하기 위하여 시행하는 제도이다. 현행 PMO 제도에서는 발주기관이 정보화사업(IT 프로젝트)의 중요도와 업무난이도, 사업금액의 규모, 그리고 공공기 관의 사업관리역량 등을 총체적으로 고려하여 자체적 판 단으로 PMO 업체를 결정할 수 있는 자율권을 가지고 있 다[30, 31]. 즉, PMO를 수행할 수 있는 자격을 전문지식 및 기술능력을 가진 민간법인 또는 전문 공공기관으로 명시한 뒤, 발주자가 PMO 업체를 선정할 때는 수행역 량, 업무수행 계획 및 기존 PMO 수행실적 등을 종합적 으로 고려하여 평가하도록 하는 것이다. 이에 더하여 사 업관리의 품질제고를 위해 PMO 책임자로는 정보시스템 구축, 컨설팅 등 SI 사업 관련 프로젝트관리자(project manager; PM)급 역할을 다수 수행한 경력자를 지정하도 록 하고 있다.

    하지만 지금까지 대기업의 IT 프로젝트 관리역량에 의 존해 왔던 대부분의 SI 사업을 상대적으로 경험이 부족 한 중소기업에게 발주함으로써 발주기관 입장에서는 상 당한 추가 업무 부담을 가지고 있는 상황이다. 이러한 추 가 업무의 대부분은 상대적으로 부족한 중소기업의 IT 프로젝트 관리역량 리스크를 감소시키기 위해 발주기관 이 직접 사업관리를 수행해야 하는 상황이 빈번히 발생 하는 것에 기인한다. 또한, 최근 중소기업들로 구성된 컨 소시엄 형태로 사업에 참여하는 경우의 증가와 소프트웨 어 분리발주의 법제화 역시 프로젝트 관리와 관련된 발 주기관의 업무관리 범위를 확대시키는 주요 원인으로 지 목되고 있다[27]. 그러나 이를 체계적으로 관리할 수 있 는 공공기관들의 역량이 충분하지 않은 점이 소프트웨어 진흥법의 성공적인 정착을 어렵게 만드는 요인으로 작용 하고 있다.

    이러한 문제점을 극복하기 위한 방안으로 정부는 공 공기관의 전자정부사업 관리 감독을 위탁하는 프로젝트 관리조직(PMO) 도입에 대한 법적근거를 마련하였으나, 현재는 일부 대형 정보화사업에서만 도입되고 있는 실정 이다[30, 31]. 국내 공공기관에서 발주되는 정보화 사업 의 수가 연간 수백 개에 이르는 점을 감안할 때, PMO 제도가 체계적으로 정착되었다고 판단하기에는 다소 무 리가 있다. 2013년 안전행정부에서 개최된 “공공정보화 PMO 도입을 위한 공청회”에 따르면 현행방식의 PMO 제도가 현실화되지 못하는 주요 원인으로 다음과 같은 문 제점들이 제기되었다[31]. 첫째, 공공분야 PMO 제도 도 입을 위한 예산 확보의 어려움이다. PMO 사업이 법적 의무화의 근거가 없기 때문에 예산확보가 현실적으로 어 렵고, 공공기관이 자체적으로 PMO 사업을 별도로 분리 하여 발주하기 위해서는 본 사업 예산의 일부를 나누어 사용할 수밖에 없는 실정이다. 둘째, PMO 제도 도입의 명확한 기준이 명시되어 있지 않다는 점이다. 전자정부법 시행령의 내용은 대상 사업의 기준이 추상적이라 PMO 제도의 대상이 되는 사업과 그렇지 않은 사업을 명확하 게 구분하는 것이 어렵다는 단점이 있다. 셋째, 중견기업 과 중소기업들의 사업수행 역량에 대한 객관적인 검증이 불가능하다는 점이다. 넷째, 공공분야의 PMO 제도 수행 을 위한 전문 인력의 부족현상이다.

    본 연구에서는 공공분야에서 PMO 제도의 성공적인 정착과 활성화를 위하여 필요한 주요 요인을 도출하고 발주자, 사업자, PMO 업체의 세 이해당사자 측면에서 각 요인들의 우선순위를 도출하고 그 차이를 분석하고자 한 다. 이를 위하여 프로젝트 관리 및 성과 측정과 관련된 다양한 문헌연구를 바탕으로 공공분야 PMO 제도에 영 향을 미치는 요인을 도출하였다. 이를 토대로 계층분석 과정(analytic hierarchy process : AHP)을 이용하여 설문 조사를 설계한 뒤, 실제 PMO 제도와 직접적인 이해관계 가 있는 발주자, 사업자, PMO 업체의 역할을 수행하는 IT 프로젝트 전문가들을 대상으로 설문조사를 실시하였다. 수집된 결과를 바탕으로 전체 및 각 이해당사자 관점에 서 PMO 제도 활성화에 영향을 미치는 주요 요인을 도출 하고 그 차이를 분석하였다. 본 연구 결과를 통해 모든 이해당사자들이 시너지 효과를 낼 수 있는 PMO 제도 관 련 정책 수립 및 기반 환경 조성이 이루어 질 수 있을 것 으로 기대한다.

    2.관련 연구

    2.1.PMO 등장 배경 및 정의

    최근 기업경영에 정보시스템이 차지하는 비중이 커지 면서 대규모의 장기 IT 프로젝트가 증가함에 따라 다양 한 문제점이 발생하고 있다. 또한, 여러 이해당사자간 의 사소통의 문제, 업무 프로세스의 변화, 신기술 적용에 따 른 지속적인 변화관리 등 IT 프로젝트 관련 위험요소가 증가함에 따라 IT 프로젝트 관리를 전담하는 전문적인 조직의 필요성에 대한 관심이 높아지고 있다[11, 14, 31]. 프로젝트 관리와 관련한 대부분의 기존 연구는 단위 프 로젝트의 성공적 완료에 초점을 맞추고 있으나, 프로젝 트 범위가 확대되고 도입하는 기술의 위험성이 증가하면 서 단순한 프로젝트 관리 도구의 도입만으로는 복합적인 대규모 IT 프로젝트의 효과적인 관리가 불가능하다는 점 이 지적되어 왔다[8, 21].

    최근 소프트웨어산업진흥법이 개정되면서 중견․중소 기업 주도의 대규모 공공분야 IT 프로젝트 수행이 일반 화 되고 있어 전문적인 프로젝트 관리 조직의 필요성이 증가하고 있다[29, 30, 31]. 공공분야의 프로젝트 관리 조 직인 PMO는 해당 프로젝트의 품질, 비용, 기간 전반에 걸쳐 효율적인 프로젝트 수행을 위한 포괄적이고 전문적 인 지원을 수행하는 것을 목표로 한다. 즉, PMO는 프로 젝트를 관리하는 전문적인 조직으로서 과거의 프로젝트 관리 방식에 비해 보다 대규모 프로젝트를 효율적이고 체계적으로 관리할 수 있다는 장점이 있다[1, 2, 10, 19]. PMO가 주목받기 시작한 이유는 급속한 정보기술의 발전 속도, 복잡하고 대형화된 정보시스템에 대한 사용자 요 구분석과 기능 상세의 어려움, 대규모의 프로젝트에 대 한 관리적 부담 증가 등으로 인해 빈번히 발생하는 완료 기간 지연 및 품질 저하 등의 문제가 정보시스템 개발 프로젝트에서 핵심 쟁점으로 대두되고 있기 때문이다[27].

    PMO와 관련된 선행 연구에서는 PMO를 조직의 운영 목적과 방향에 따라 다양하게 정의하고 있다[2, 4, 9, 16, 26]. Bates[4]는 PMO란 “프로젝트 관리 능력을 향상시키 고 발전시키기 위한 실질적인 사항을 제시하여 주는 프 로젝트 근간의 조직”이며, PMO를 운영한다는 것은 해당 회사의 프로젝트 관리 방법을 공식화한다는 것이라고 정 의하였다. Dai and Wells[9]는 PMO를 “프로젝트 관리 원 칙, 방법론, 도구 및 기법을 구현하며 조직 전반에 걸쳐 프로젝트 관리자와 팀, 전략적인 문제들과 기능 조직들 에 대한 다양한 관리 수준에 도움을 주기 위해 만들어진 조직”이라 정의하였으며, 이진실[26]은 PMO를 “전사 차 원에서 프로젝트를 총괄적으로 관리하기 위한 조직으로, 관리 체계를 구축하고 수행 도중에 발생하는 위험 요인 을 식별하여 효과적으로 통제함으로써 프로젝트가 성공 적으로 완료될 수 있도록 지원하는 조직”이라고 정의하 였다. 또한, Aubry et al.[2]은 PMO는 더 이상 프로젝트 수행 조직과 동떨어진 주체가 아니라 수행 조직과의 긴 밀한 연계를 통해 프로젝트의 성공적인 수행을 위해 사 업 전략과 실행 체계를 종합적으로 관리하는 조직으로 정의하였다.

    2.2.PMO의 기능 및 운영

    PMO의 기능 및 역할을 이해하기 위해서는 프로젝트 관리의 목표에 대해 PMO와 연관된 이해당사자들이 갖 는 관점의 차이를 이해할 필요가 있다. 일반적으로 프로 젝트 관리의 3대 요소인 일정, 예산, 범위는 상호 상충관 계에 있다. 즉, 3대 요소 중 특정 요인의 변경이 발생하 면 다른 요인에 영향을 미치게 된다. 사업자관점에서는 가능한 과업 범위를 조기에 확정함으로써 수행 과정에서 나타나는 변경사항을 최소화하여 프로젝트 성과에 직접 적인 영향을 미치는 요인을 집중적으로 관리하고자 한 다. 그러나 발주자관점에서는 프로젝트의 계획된 목표를 달성하기 위해서는 핵심 과제의 요구사항을 구체화하여 사업자에게 전달하고, 프로젝트 수행 과정에서 제대로 반영되고 있는지를 단계별 확인 및 검증하는 역할을 중 요하게 생각하는 것이 일반적이다. 이와 같이 발주자와 사업자 사이에 극명한 입장의 차이를 나타내는 상황에서 가장 중요한 활동은 객관적인 정보를 기반으로 프로젝트 에 대한 최적의 의사결정을 수행하는 것이다. 이를 위해 서는 프로젝트 현황을 명확하게 파악하고, 발생된 문제 점과 예상되는 이슈와 리스크를 식별하여 의사결정자가 합리적인 판단을 할 수 있도록 대안을 제시할 수 있어야 하는데 이것이 바로 PMO가 수행하는 핵심 기능이라고 할 수 있다.

    Hill[15]은 PMO의 기능을 정의하기 위해 먼저 프로젝 트의 수행에 필요한 관리대상 관점에서 5가지 영역을 구 분하고 각 영역에 걸쳐 20개의 수행 기능을 정의하였다. 이를 바탕으로 PMO가 수행하는 기능을 요약하면 (1) 통 합적인 관점에서 프로젝트 관리 방법론과 프로세스를 표 준화, (2) 실전 적용을 위한 지식과 경험을 지원, (3) 지 속적인 모니터링을 통해 이슈 및 리스크에 대한 해결을 방안 제시, (4) 전사 차원의 프로젝트 관리 수준을 향상 시키기 위해 지속적인 개선활동을 담당하는 것이라고 할 수 있다.

    PMO에 대해 관심이 높아지면서 PMO의 효용성과 효과 적인 PMO 운영 측면에서도 상당한 연구가 진행되었다 [1, 9, 28, 32, 34]. Liu and Yetton[28]은 PMO와 프로젝트 리뷰 활동이 프로젝트 성과에 긍정적 영향을 미치는 것을 실증적으로 검증하였으며. Qing-lan and Chang-wei[32]는 PMO와 같은 프로젝트 관리 수단의 존재가 조직의 전체 성과에 긍정적인 영항을 미치는 것을 입증하였다. 또한, Artto et al.[1]은 PMO를 개별 프로젝트 차원을 넘어 전체 조직관리 차원에서 접근할 때 그 효과가 극대화될 수 있 다는 의견을 제시하였다. PMO를 효과적으로 적용하기 위한 구체적인 방안수립과 관련하여 Singh et al.[34]는 22명의 전문가들로 구성된 집단에 델파이 기법을 적용한 결과, 변화에 유연하게 대처할 수 있는 조직문화, 변화관 리 전략, PMO 관련 리더십 구축 등 PMO를 효과적으로 적용하는데 중요한 13가지 주요 요소를 도출하였다.

    2.3.계층분석과정(Analytic Hierarchy Process : AHP)

    AHP는 다수의 대안이 존재하는 상황에서 다면적인 평 가기준과 다수의 평가 주체가 존재하는 다 기준 의사결 정 문제를 해결하기 위해 Saaty[33]에 의해 개발된 도구 이다. 일반적으로 의사결정문제는 서로 상반된 기준과 불완전한 정보 및 제한된 자원 하에서 최적의 대안을 선 택해야 하는 문제를 내포하고 있다. AHP는 이러한 다수 기준 하에서 평가되는 다수 대안들의 우선순위를 선정하 는 대표적 기법이라고 할 수 있다. AHP는 의사결정의 계층구조를 구성하고 있는 요소간의 쌍대비교에 의한 의 사결정자의 직관적인 판단을 근거로 정량적이고 정성적 인 요소를 동시에 고려할 수 있는 장점으로 인하여 다양 한 분야에서 널리 이용되고 있다.

    일반적으로 AHP를 통한 의사결정은 요인간 가중치를 바탕으로 대안간 비교평가를 수행하여 최적 대안을 선정 하는 것이 목적이지만, 평가요인간의 우선순위 수립이 중 요한 경우에는 대안간 비교평가를 하지 않고 의사결정 평 가요인들의 상대적인 가중치를 추정하고 그 결과를 분석 하는 것 또한 의의를 갖는다. 관련 연구사례로 IT 프로젝 트 관리지표들의 우선순위 수립[23], 정보시스템 감리서 비스의 만족도 향상을 위한 개선항목 도출[24], 소프트웨 어 분할발주 하에서의 위험요인 평가[7], 컨설턴트의 역 량 도출을 통한 컨설팅 역량모델 구축[35], 유니버설 디자 인의 각 요인들에 대한 상대적 중요도를 평가[13] 등이 있다. 본 연구에서는 공공분야 PMO 제도 활성화 요인을 규명하고 이를 바탕으로 계층모형을 구축한 뒤 각 요인들 에 대해 여러 이해당사자 관점에서 상대적 우선순위를 도 출하여 그 차이를 분석하는 것을 목적으로 한다.

    3.AHP 계층모형 구축

    3.1.AHP 계층모형 구축

    본 연구에서는 공공분야 PMO 제도 활성화를 위한 주요 요인 도출을 목적으로 과거 PMO 제도 및 프로젝트 관리 및 성과 평가와 관련된 문헌 조사를 수행하여 법․제도 정비(Law/System Maintenance), 발주자의 역량(Client Capability), 사업자의 역량(IT Service Provider Capability), PMO 수행인력(PMO Manpower)의 4개의 상위요인과 13개의 하위요인을 <Table 1> 및 <Table 2>와 같이 도출하였다.

    첫 번째 상위요인인 「법․제도 정비」를 도출하기 위해 조사한 대표적인 연구들은 다음과 같다. 첫째, 안전행정 부에서 개최된 공청회 및 시행령 등에서 PMO 제도의 초 기 단계에 해당 제도의 의무화 필요성이 꾸준히 제기된 점을 토대로 “의무제”를 첫 번째 하위요인으로 선정하였 다[29, 30, 31]. 둘째, 국내 실정에서 소규모의 PMO조직 이 대기업과의 경쟁에서 살아남기 위해서는 중소기업의 참여가 제도적으로 뒷받침되어야 한다는 점이 지속적으 로 제기되어 “중소기업 상생협력 강화”를 두 번째 하위 요인으로 선정하였다[22, 30, 31]. 셋째, Dai and Wells[9] 에 따르면 연구대상이 되는 330개의 기업 중 60% 이상이 전체 프로젝트 소요 비용 중 2% 미만을 PMO 관련 비용 으로 책정하는 것으로 나타났다. 적절한 PMO 사업대가 산정은 우수한 인력 수급과 직결되는 부분이기 때문에 “사업대가 현실화”를 세 번째 하위요인으로 선정하였다.

    두 번째 상위요인인 「발주자 역량」은 다음과 같은 기존 연구 결과를 토대로 도출되었다. Aurby et al.[3]과 Tam and Tummala[36]는 발주자가 프로젝트의 목적과 필요 기 능을 충분히 이해하고 이를 사업자에게 적절하게 요구하 며 PMO 조직과의 긴밀한 협업체계를 구축하는 “사업관 리역량”과 “업무역량”의 필요성을 사례연구를 통해 주장 하였다. 또한, Singh et al.[34]의 연구에 따르면 PMO 조직 과의 원활한 커뮤니케이션 역량(“사업관리 역량”)과 변화 하는 기술적 환경에 유연하게 대처할 수 있는 역량(“기술 역량”) 등이 PMO의 성공 여부에 중요한 영향을 미치는 것으로 분석되었다.

    세 번째 상위요인인 「사업자 역량」을 도출하기 위해 조사된 대표적인 관련 연구들은 다음과 같다. Goles[12] 는 발주된 IT 시스템의 기능을 효과적이고 효율적으로 구현하기 위해서 사업자의 “수행역량”에 대한 깊이 있는 검토가 필요하다고 주장하였다. 또한, 기술적 수행역량 에 더하여 해당 프로젝트를 비즈니스 과점에서 이해하고 요구되는 기능을 구현할 수 있는 “업무경험” 역시 주요 고려대상이 되어야 한다고 강조하였다. 이에 더하여 Tam and Tummala[36]의 연구에서는 실제 프로젝트를 진행하 는 조직을 지원하며 발주기관과의 원활한 커뮤니케이션 을 진행할 수 있는 “지원체계”의 적합성 또한 사업자의 프로젝트 수행역량을 가늠하는 중요한 요소임이 확인되 었다.

    네 번째 상위요인인 「PMO 수행인력」은 다음과 같은 연구 결과를 토대로 선정하였다. Aubry et al.[2]과 Desouza and Evaristo[10]는 PMO 제도의 성공적인 정착과 효과적 인 운영은 PMO 조직에 속한 수행인력의 역량에 크게 좌 우된다는 점을 제시하였으며, Dai and Wells[9]는 전문 프로젝트 매니저에 의해 제공되는 컨설팅과 멘토링 역량 에 따라 PMO의 효용가치가 달라질 수 있다는 점을 지적 하였다. 이를 바탕으로 국내 PMO 조직을 구성하는 대표 인력들인 “기술사”, “감리사”, “프로젝트 관리자”, “컨설 턴트”의 역량을 네 가지 하위요인으로 구성하였다.

    3.2.AHP 모형 설계 및 설문

    앞 절에서 판별된 공공분야 PMO 제도 활성화에 영향 을 미치는 상위/하위요인을 바탕으로 <Figure 1>과 같이 AHP 분석모형을 최종적으로 설계하였다. 본 연구는 PMO 제도의 활성화를 위한 우선순위 도출과 함께 PMO 제도 와 관련된 이해당사자들의 차이를 분석하는 것을 주목적 으로 한다. 따라서 실제 본 설문조사에 앞서 PMO 도입 관련 이해당사자별 평가요인의 타당성 검증을 위해 발주 기관의 정보기획 담당자, 대형 SI회사에서 PMO 경험자 및 컨설팅 업체에서 PMO를 수행하고 있는 전문 인력 10 명을 대상으로 직접 대면방식을 통한 타당성 검증을 수 행하여 최종 설문지를 설계하였다.

    본 연구를 위한 설문은 2013년 10월 17일부터 27일까 지 진행되었으며, 설문조사 대상은 공공분야 PMO 제도 이해당사자의 그룹을 분류하여 발주자관점의 경우 국가공 무원과 정부산하기관 및 공공기관재직자를 대상으로 하였 으며, 사업자관점의 경우 국내 대기업 및 중소기업 SI업체 재직자, 그리고 PMO 관점의 경우 국내외 컨설팅사 및 감 리컨설팅사, PMO 전문업체 종사자 대상으로 선정하였다.

    각 이해당사자별로 IT 프로젝트를 수행한 경험이 있는 대상자를 150명 선정하여 설문 조사를 수행하였다. 최종 적으로 설문 회신은 108명이 접수 되었으나 설문 결과에 서 답변이 누락된 7명과 일관성 비율 0.1 미만 충족하지 못하는 10명을 제외하고 최종적으로 91명의 설문을 본 연구 대상으로 선정하였다.

    4.PMO 제도 활성화 요인 우선순위 분석

    4.1.PMO 제도 활성화 상위요인 우선순위 분석

    최종적으로 유효한 설문 응답자 91명 중 발주자관점 은 41명으로 전체 응답자의 45%를 차지하였으며, 사업 자와 PMO 업체 관점은 각각 24명(26%) 및 26명(29%)으 로 나타났다.

    공공분야 PMO 제도 활성화 상위요인에 대해 전체 및 이해당사자별 관점에서 평가한 상대적 중요도는 <Table 3>에 제시된 바와 같다. 전체 응답자 관점에서는 PMO 수행 인력에 대한 상대적 중요도가 0.3912로 가장 중요한 것으 로 나타났으며 법․제도 정비(0.2522), 발주자역량(0.1825), 사업자역량(0.1741) 순으로 중요도가 산출되었다. 즉, 모든 응답자가 상위요인 중 PMO 수행인력의 역량을 PMO 제 도 활성화를 위한 가장 중요한 요인으로 평가하였으며 다 음으로 법․제도의 정비가 중요하게 고려되어야 하는 것 으로 평가되었다.

    발주자관점에서 도출된 상위요인의 중요도를 살펴보면 전체 응답자 관점과 동일하게 PMO 수행인력이 가장 중요 한 요인으로 선정되었으며, 다음으로 발주자역량과 법․ 제도 정비가 중요하다고 평가되었다. 특이한 점은 다른 이해당사자들에 비해 발주자역량에 대한 우선순위가 높 게 나타났다는 점이다. 이것은 지금까지는 대형 SI 회사 에 대한 IT 프로젝트 수행 의존도가 높았으나, 향후 공공 분야 정보화 사업을 중견/중소기업에서 수행함에 따른 품 질 저하의 우려가 있는 상황에서 성공적인 프로젝트의 수 행을 위해서는 발주기관의 자체적인 역량 강화가 매우 중 요하다고 생각하는 것으로 평가된다. 다만, 사업자역량에 대해서는 중견/중소기업의 사업 수행역량은 짧은 기간에 확보하는 것이 어렵다는 판단에 따라 중요도가 상대적으 로 낮게 평가되었다.

    사업자관점에서 살펴보면 다른 이해당사자들과 마찬가 지로 PMO 수행인력의 역량확보가 PMO 제도 활성화를 위해 가장 중요한 요인으로 도출되었다. 특히 중소 규모 의 사업자들은 사업관리역량과 전문성이 아직 부족하다 고 스스로 판단하고 있기 때문에 사업의 성공적 수행을 위해 전문적인 사업관리 조직의 지원을 필요로 하는 것으 로 분석되었다. 다음으로 법․제도 정비를 중요하다고 평 가하였는데, 이는 현재 PMO 제도 도입을 발주기관이 자 율적으로 판단하도록 하기 때문에 사업자 입장에서 PMO 지원이 없이 대규모 공공 IT 프로젝트를 자체적으로 수행 하는 것에 대한 우려가 반영된 것으로 판단된다. 또한, 사 업자역량에 대해서는 중소기업 자체적으로 다양한 경험과 사업관리역량을 내재화하기까지는 많은 시간이 소요될 것이라는 판단에서 우선순위가 가장 낮게 평가되어 있다.

    PMO 업체 관점에서도 역시 PMO 수행인력의 역량이 공공분야 PMO 제도 활성화에 가장 큰 영향을 미치는 요 인으로 판별되었다. 다음으로는 법․제도 정비에 큰 관심 을 갖고 있는 것으로 나타났는데, 이는 PMO 수행인력의 전문성에 부합하는 사업 대가의 현실화를 고려하여야 한 다는 점을 내포하고 있는 것으로 여겨진다. 또한, 다른 이 해관계자들과는 다르게 사업자역량이 발주자역량보다 중 요하다고 판단하고 있다. 이는 발주자역량은 PMO 조직 의 지원으로 관리 역량을 보충할 수 있지만, 사업자역량 부족은 PMO조직에서 해결하기 어려운 문제이므로 실제 사업을 수행하는 사업자의 역량을 향상시키는 것이 상대 적으로 더 중요하다고 판단한 것으로 분석된다.

    4.2.PMO 제도 활성화 하위요인 우선순위 분석

    4.2.1.전체관점

    전체 및 각 이해당사자 관점에서 도출된 PMO 제도 활성화를 위한 하위요인별 중요도 비교는 <Table 4>에 나타난 바와 같다. 전체 관점에서 중요도 상위 3개의 요 인은 ‘기술사-사업대가 현실화-프로젝트 관리자’로 나 타나 PMO 수행인력의 역량을 매우 강조하는 것을 알 수 있다. 반면, 중요도 하위 3개의 요인은 ‘지원체계-중소기업 상생협력 강화-기술역량 강화’로써 PMO 수행인력을 제 외한 각 상위요인에서 하나씩 존재하는 것을 알 수 있다.

    법․제도 정비 측면의 PMO 제도 활성화 요인 중에서 는 사업대가 현실화, 의무제, 중소기업 상생협력 강화 순 으로 중요도가 산출되었다. 이는 PMO 사업은 전문영역 이므로 소프트웨어 개발단가와 달리 현실성 있는 적정대 가의 산정이 중요하다는 공감대가 형성된 것으로 볼 수 있으며, PMO 제도 도입 취지에 맞는 최소한의 품질을 확보하기 위해서는 적절한 사업 대가가 필요하다는 것을 나타내고 있다. 또한, 현재 PMO 제도 도입에 대한 의무 조항이 없어 발주기관이 사업 예산을 확보하는데 어려움 이 예상되므로 PMO 제도 활성화를 위해서는 의무제를 도입하여야 한다는 것 또한 강조되고 있다. 발주자역량 측면에서는 사업 관리 역량, 업무역량, 기술역량 순위로 가중치가 산출되었다. 이것은 PMO가 대기업이 수행하던 사업을 책임지는 것이 아니라, 지원조직이므로 사업 성 공을 위해서는 발주기관의 사업관리 및 업무역량을 강화 하는 것이 중요하다는 것으로 판단할 수 있다. 사업자역 량 측면에서는 수행역량, 업무경험, 지원체계 순위로 가 중치가 산출되었다. 이것은 중견/중소 SI 기업의 IT 프로 젝트 성공을 위해서는 체계적인 수행 방법론과 전문성을 갖추어야 한다는 것을 나타내고 있는 것으로 판단된다. 마지막으로, PMO 수행인력 측면에서는 기술사, 프로젝 트 관리자, 컨설턴트, 감리사의 순위로 가중치가 분석되 었다. 이것은 PMO 수행인력이 공공분야 발주물량에 비 해 많이 부족한 상황에서 프로젝트 관리에 충분한 경험 과 역량을 갖춘 인력이 우선적으로 확보 되어야한다는 측면에서 기술사와 프로젝트 관리자의 역량을 높게 평가 하고 있음을 확인할 수 있다.

    4.2.2.발주자관점

    발주자관점에서 중요도 상위 3개의 요인은 ‘프로젝트 관리자-기술사-사업관리역량’으로 나타나 PMO 수행인 력의 역량과 함께 발주자의 자체 사업관리역량이 PMO 제도 활성화에 중요한 영향을 미치는 요인이라고 판단하 고 있음을 알 수 있다. 반면, 중요도 하위 3개의 요인은 ‘감리사-지원체계-중소기업 상생협력 강화’로 나타났다.

    법․제도 정비 측면의 PMO 제도 활성화 요인 중에서 는 사업대가 현실화, 의무제, 중소기업 상생협력 강화의 순으로 가중치가 산출되었다. 이것은 전체적 관점에서와 같은 결과로써 PMO 제도 정착을 위해서는 사업대가 현 실화와 의무제 도입을 중요하게 판단하고 있는 것으로 분석된다. 발주기관 역량 측면에서는 사업 관리 역량, 업 무역량, 기술역량 순으로 가중치가 산출되었다. 이것 역 시 전체적 관점에서와 같은 결과로써 PMO는 사업성공 을 지원하는 조직이므로, 공공분야의 정보화 사업을 지 속적으로 추진하기 위해서는 발주기관의 사업관리 및 업 무역량을 강화하는 것이 중요하다는 것을 인식하고 있는 것으로 분석된다. 또한, 사업자역량 측면에서는 수행역 량, 업무경험, 지원체계 순위로 전체적 관점과 동일한 결 과로 나타났다. 마지막으로, PMO 수행인력 측면에서는 프로젝트 관리자, 기술사, 컨설턴트, 감리사의 순으로 가 중치가 산출되었다. 이것은 PMO 업무를 수행할 인력으 로 공공분야에서의 프로젝트 수행 경력과 실무경험을 중 요하게 평가하고 있다는 것으로 분석할 수 있다.

    4.2.3.사업자관점

    사업자관점에서 중요도 상위 3개의 요인은 ‘기술사-사 업대가 현실화-프로젝트 관리자’로 나타나 전체 응답자 관점의 결과와 순위가 일치하는 것을 알 수 있다. 중요도 하위 3개의 요인은 ‘기술역량-업무경험-지원체계’로써 상 대적으로 사업자역량에 대한 중요도를 낮게 평가하고 있 음을 알 수 있다.

    법․제도 정비 측면에 대해서는 사업대가 현실화, 의 무제, 중소기업 상생 협력 강화의 순으로 중요도가 산출되 었다. 이것은 다른 이해당사자들과 동일한 결과로써 PMO 제도 정착을 위해서는 사업대가 현실화와 의무제 도입이 중요하다고 판단하고 있는 것으로 분석된다. 발주자역량 측면에서는 사업관리역량, 업무역량, 기술역량 순으로 중 요도가 산출되었는데 이 역시 전체적 관점에서와 같은 결과로써 PMO는 사업 성공을 지원하는 조직이므로, 공 공분야의 정보화 사업을 지속적으로 추진하기 위해서는 발주자의 사업관리 및 업무역량을 강화하는 것이 중요하 다는 것을 인식하고 있는 것으로 분석된다. 또한, 사업자 역량 측면에서는 수행역량, 업무경험, 지원체계 순위로 중요도가 분석되었다. 이것은 전체적 관점 및 발주자관 점과 동일한 우선순위로 사업자역량을 평가하고 있는 것 으로 나타났다. 마지막으로 PMO 수행인력 측면에서는 발 주자관점과는 달리 기술사, 프로젝트 관리자, 감리사, 컨 설턴트의 순위로 가중치가 분석되었다. 이것은 PMO 업 무를 수행할 인력으로 공공분야에서의 프로젝트 수행 경 력과 실무경험을 중요하게 생각하지만, 폭넓은 전문지식 과 실무경험을 바탕으로 응용능력을 보유한 기술사를 더 중요하게 평가하는 것으로 판단된다.

    4.2.4.PMO 업체관점

    PMO 업체관점에서 중요도 상위 3개의 요인은 ‘사업 대가 현실화-프로젝트 관리자-기술사’로 나타나 전체 응답자 및 사업자관점의 결과와 동일한 3가지 요인이 판 별된 것을 알 수 있다. 다만, PMO 업체 입장에서는 실제 수익과 직결된 사업대가 현실화를 다른 이해당사자들에 비하여 매우 중요하게 생각하는 것으로 나타났다. 중요 도 하위 3개의 요인은 ‘업무역량-중소기업 상생협력 강 화-기술역량’으로써 상대적으로 발주자역량에 대한 중요 도를 낮게 평가하고 있음을 알 수 있다.

    법․제도 정비 측면에 대해서는 다른 이해당사자들과 동일하게 사업 대가 현실화, 의무제, 중소기업 상생 협력 강화의 순으로 중요도를 나타내는 것을 알 수 있다. 발주 자역량 측면에서는 사업관리역량, 업무역량, 기술역량의 순으로 중요도가 분석되었다. 이 역시 다른 이해당사자 들과 같은 응답결과로써 PMO는 사업성공을 지원하는 조직이므로, 공공분야의 정보화 사업을 지속적으로 추진 하기 위해서는 발주자의 사업관리 및 업무역량을 강화하 는 것이 중요하다고 평가하고 있다. 또한, 사업자역량 측 면에서는 수행역량, 지원체계, 업무경험 순위로 가중치가 분석되었다. 한 가지 주목할 점은 다른 이해당사자들과 달리 프로젝트를 수행하는 주체로서 프로젝트의 성공적 추진을 위해서는 본사 지원조직의 역량을 활용하는 것을 보다 중요하게 생각하고 있다는 점이다. 마지막으로, PMO 수행인력 측면에서는 프로젝트 관리자, 기술사, 컨설턴 트, 감리사의 순으로 중요도가 분석되었다. 이것은 발주 기관 관점과 동일한 응답결과로써 발주사나 PMO 업체 관점에서는 공공분야에서의 프로젝트 수행 경력과 실무 경험을 중요시하는 현상이라 분석된다.

    4.3.각 이해당사자별 우선순위 차이 분석

    모든 이해당사자들은 PMO 제도가 활성화되기 위해서 는 PMO 수행인력의 역량이 확보가 되어야 함을 전제하 는 것을 알 수 있다. 특히 PMO 수행인력 중 기술사와 프로젝트 관리자의 경우 세 이해당사자 관점에서 모두 중요도 상위 3위 이내에 속하는 것을 확인할 수 있다. 두 번째로, PMO 제도가 활성화되기 위해서는 사업대가의 현실화가 이루어져야 함을 알 수 있다. 다만, 이는 이해 당사자 관점에 따라 조금 다른 우선순위를 나타내는데, 실제 대가를 지불해야 하는 발주자관점에서는 우선순위 가 다소 낮게 나타나는 반면, 대가를 지불받는 PMO와 PMO 사업대금 지불과 직접적인 관련이 없는 사업자의 경우 우선순위를 매우 높게 산정한 것을 알 수 있다. 우 선순위 상위요인 중에서 특이한 점은 발주자의 경우 본 인들의 사업관리역량이 충분히 갖춰져야 함을 이미 숙지 하고 있으며 이를 PMO 제도 활성화의 주요 요인으로 판 단하고 있다는 것이다. 이는 발주자가 프로젝트를 발주 한 뒤 종료까지의 관리에 대해 상당히 많은 자원을 투입 할 수 있다는 의지를 나타내는 것으로서 공공 IT 프로젝 트의 성공적인 수행을 위해서는 고무적인 결과라고 할 수 있다.

    각 범주별 하위요인에 대한 이해당사자별 우선순위를 살펴보면 다음과 같다. 우선, 법․제도적 측면에서는 발 주자와 사업자, PMO 수행자 모두 사업 대가 현실화, 의 무제, 중소기업 상생 협력 강화 순으로 가중치를 높게 부 여하였다. 특히 직접적인 관련이 가장 높은 PMO 수행자 의 관점에서는 사업대가 현실화에 가장 높은 가중치를 부여한 것을 볼 수 있다. 이처럼 사업 대가 현실화가 비 교적 높게 평가된 것은 PMO는 공공분야 수행을 위해 전 문적인 사업 관리 활동을 수행하는 조직이므로 중요한 역할을 수행하는 전문 인력의 시장 가치에 상응하도록 사업 대가를 현실화하여야 한다는 것으로 이해된다. 다 만, 발주자 입장에서 사업 대가 현실화는 예산 및 비용의 증가를 의미하므로 상대적으로 낮게 평가한 것으로 분석 된다. 다음으로 의무제의 도입이 중요하다고 평가한 것 은 현행 PMO 제도는 의무제가 아닌 자율제 시행에 따른 사업 예산 확보의 어려움이 있기 때문에, 일정 금액 이상 사업에 한해서는 의무제 도입이 필요하다고 평가자들이 판단한 것으로 보인다. 중소기업 상생 협력 강화의 경우 중요도가 매우 낮은 것으로 나타났는데 이는 이미 PMO 제도 자체가 중소기업에게 충분한 참여의 기회를 제공하 고 있기 때문이다.

    다음으로 발주자역량 측면에서 발주자와 사업자, PMO 업체를 구분하여 분석한 결과 가중치의 차이만 있을 뿐 모두 사업관리역량, 업무역량, 기술역량의 순으로 가중 치가 높게 나타났다. 발주자와 사업자는 특히 사업관리 역량과 업무역량에 대해 중요도를 높게 평가하였다. 다 만, PMO 업체 관점에서는 PMO 전문인력이 발주기관의 사업관리를 충분히 지원할 수 있다는 가정 하에 상대적 으로 중요도를 낮게 평가 한 것으로 판단된다.

    사업자역량 측면에서 발주자와 사업자, PMO 업체를 구분하여 분석한 결과, 이해당사자 모두 수행역량에 높 은 가중치를 부여한 반면, 업무경험에 대해서는 상대적 으로 낮은 가중치가 부여되었다. 이는 중소기업들의 사 업 수행 경험이 부족하지만 단시일 내에 단독으로 수행 할 수 있는 업무역량을 확보하는 것은 한계가 있으며 이 를 PMO 제도를 통해 보완해야 하는 것으로 인식하는 것 으로 분석되었다. 지원체계의 경우 발주자와 사업자관점 에서는 매우 낮은 중요도를 보인 반면에, PMO 업체 관 점에서는 상대적으로 높은 중요도를 갖는 것으로 나타났 다. 이는 프로젝트 수행에서 발생하는 문제에 대해 본사 조직의 역량을 활용하는 것이 PMO 업체 입장에서는 리 스크를 감소시킬 수 있는 방법이기 때문이다.

    마지막으로, PMO 수행인력 측면에 대한 분석 결과, 이 해당사자 모두 기술사와 프로젝트 관리자를 가장 중요한 인적 자원으로 인식하였으며, 컨설턴트와 감리사의 경우 는 상대적으로 낮은 가중치를 갖는 것으로 나타났다. 다 만, PMO 업체 관점에서 컨설턴트에 대한 중요도를 상대 적으로 높게 평가하였는데, 이는 PMO 업체에 근무하는 컨설턴트들의 입장이 고려되었고, 문제 규명 및 해결을 위한 컨설턴트의 전문성을 높게 평가한 것으로 판단된다.

    5.결 론

    본 연구에서는 선행 연구를 기반으로 공공기관에서 발주되는 대형 IT 프로젝트의 품질확보를 위해 시행되는 PMO 제도의 활성화 요인을 규명하고, AHP 계층 모형 구축 및 설문 조사를 통해 PMO 제도 시행에 직접적으로 연관이 있는 세 이해당사자 집단의 관점에서 각 요인들 의 중요도를 분석하였다. 이를 통하여 다음과 같은 시사 점을 도출하였다. 첫째, 모든 이해당사자들은 전문적인 PMO 수행인력의 확보, 그 중에서도 우수한 기술사와 프 로젝트 관리자의 확보가 PMO 제도 활성화의 선결 조건 이라는 것에 대해 공감대를 형성하고 있는 것으로 나타 났다. 둘째, PMO 제도가 활성화되기 위해 PMO 업체와 사업자의 경우 사업대가의 현실화를 강하게 주장하는 것 을 알 수 있다. 이는 PMO를 수행할 수 있는 인력의 전 문성과 현재 시장에서 PMO 업체에 지불하는 대가가 균 형을 이루고 있지 못함을 의미한다. 다만, 이는 이해당사 자 관점에 따라 조금 다른 의견을 나타내는데 실제 대가 를 지불해야 하는 발주자관점에서는 우선순위가 다소 낮 게 나타나는 반면, 대가를 지불받는 PMO 업체와 PMO 사업 대금 지불과 직접적인 관련이 없는 사업자의 경우 우선순위를 매우 높게 산정한 것을 알 수 있다. 셋째, 연 구 계획 단계에서의 예상과는 달리 PMO 제도의 의무제 가 높은 우선순위를 나타내지 못하였다. 세 이해 당사자 중 의무제를 가장 높게 필요로 하는 집단은 실제 프로젝 트를 수행하는 사업자로서 대규모 프로젝트의 수행 경험 부족에 대한 리스크를 PMO 제도를 통해 감소시키고자 하는 것을 확인하였다.

    본 연구는 PMO 제도와 관련하여 처음으로 발주자와 사업자, PMO 업체 등 이해당사자별 관점에서 다면적인 분석을 실시했다는 의의를 갖는다. 즉, 공공분야 PMO 제도에 대해 PMO 업체의 관점에서만 바라 본 것이 아니 라 실무적 관점 즉, 발주자와 사업자관점에서 PMO 제도 에 대한 상대적 중요도를 도출하고 또한 전체적인 관점 을 통합했다는 점이 가장 큰 특징이라고 할 수 있다. 기 존의 일부 연구들은 정부의 제도적 관점이나 PMO의 관 점 등으로 특정 집단의 관점에서 연구 되었으나 본 연구 에서는 실무를 하고 있는 발주자와 사업자의 관점을 포 함하여 우선순위를 도출하고 다시 전체적인 관점의 우선 순위를 제시함으로써 향후 공공분야 PMO 제도 활성화 를 위한 전략적 우선순위 선정의 기초 자료로 활용될 수 있을 겻으로 기대한다.

    Figure

    JKISE-37-42_F1.gif

    AHP Model for Invigorating PMO in Public Sectors

    Table

    First-level AHP Criteria for Invigorating PMO in the Public Sector(I and D Denote Importance and Description of Each Criteria, Respectively)

    Second-Level AHP Criteria for Invigorating PMO in the Public Sector(I and D Denote Importance and Description of Each Criteria, Respectively)

    Priorities of the First-Level Criteria Determined by all and Each Stakeholder.

    Priorities of the Second-Level Criteria Determined by all and Each Stakeholders

    Reference

    1. Artto K , Kulvik I , Poskela J , Turkulainen V (2011) The integrative role of the project management office in the front end of innovation , International Journal of Project Management, Vol.29 (4 ) ; pp.408-421
    2. Aubry M , Hobbs B , Thuillier D (2007) A new framework for understanding organisational project management through the PMO , International Journal of Project Management, Vol.25 (4 ) ; pp.328-336
    3. Aubry M , Richer M-C , Lavoie-Tremblay M (2014) Governance performance in complex environment : The case of a major transformation in a university hospital , International Journal of Project Management,
    4. Bates WS (1998) Improving project management : Better project management begins with a project management office , IIE Solutions, Vol.30 (10 ) ; pp.42-43
    5. Bayazit O (2006) Use of analytic network process in vender selection decisions , Benchmarking : An International Journal, Vol.13 (5 ) ; pp.566-579
    6. Bhang MJ (2008) Study on enhancement of efficiency of project management organizations of public institutions : Centering on Korea rail network authority , Proceedings of Korea Industrial and Systems Engineering,
    7. Cha HJ , Kim JH , Kim WJ (2010) Study on evaluating risk factors under software partitioning order , Entrue Journal of Information Technology, Vol.9 (2 ) ; pp.77-92
    8. Craford L (2006) Developing organizational project management capability : Theory and practice , Project Management Journal, Vol.37 (7 ) ; pp.74-97
    9. Dai CX , Wells WG (2004) An exploration of project management office features and the relationship to project performance , International Journal of Project Management, Vol.22 (7 ) ; pp.523-532
    10. Desouza KC , Evaristo JR (2006) Project management offices : A case of knowledge-based archetypes , International Journal of Information Management, Vol.26 (5 ) ; pp.414-423
    11. Feeny DF , Willcocks LP (1998) Core IS capabilities for exploiting information technology , Sloan Management Review, Vol.39 (3 ) ; pp.9-20
    12. Goles T (2003) Vendor capabilities and outsourcing success: A resource-based view, Vol.45 (2 ) ; pp.199-206
    13. Gu SH , Lee JH (2013) Methodological implications of AHP for universal design evaluation method , The Journal of the Korea Contents Association, Vol.12 (7 ) ; pp.138-146
    14. Han HS , Lee JN , Seo YW (2008) Analyzing the impact of a firm’s capability on outsourcing success : A process perspective , Information and Management, Vol.45 (1 ) ; pp.31-42
    15. Hill GM (2004) Evolving the project management office : A competency continuum , Information Systems Management, Vol.21 (4 ) ; pp.45-51
    16. Hurt M , Thomas JL (2009) Building value through sustainable project management offices , Project Management Journal, Vol.40 (1 ) ; pp.55-72
    17. Jeong JW , Joo HJ (2012) A study on the introduction of PMO in Incheon , Incheon Development Institute,
    18. Kang JH , Kim DS , Kim HS , Ahn YS (2005) A explorative study of the characteristics of superviors on the supervising quality of SI projects : Focusing on SI projects for central administration organizations , Proceedings of the Korean IT Service Society,
    19. Kim JG , Yoon OS (2010) A study on PMO functions that affect project performance enhancement , Proceedings of the Korea Society of Management Information Systems,
    20. Kim SB , Kim SH , Kim WJ (2013) A comparative study on critical competence importance between top and executing ISA , Journal of Korean Institute of Information Technology, Vol.11 (11 ) ; pp.119-131
    21. Kim SY (2008) A study on the PMO integrated performancemanagement model for improving information systemdevelopment projects, [dissertation] , [Seoul, Korea] :Sogang University,
    22. (2009) Korea Labor Institute, A study on the establishment of win-win labor-management relationship for conglomerate and small and medium-sized companies , Ministry of Employment and Labor Republic of Korea,
    23. Kyung TW , Kim SG (2007) A study on the establishment of priority for IT project management using AHP , Information Systems Review, Vol.9 (3 ) ; pp.157-181
    24. Kyung TW , Kim SG (2008) A study on the priority analysis of information systems audit evaluation factors using fuzzy-AHP method , Information Systems Review, Vol.10 (3 ) ; pp.155-183
    25. Lee CC , Park JY , Choi JH (2012) The effect of the project managers' IT competency and managerial competency on the success of SI projects , The Journal of Information Systems, Vol.21 (4 ) ; pp.31-54
    26. Lee JS (2011) An empirical study on the influences and effects of IT PMO governance [dissertation] , [Seoul Korea] : Chungang University,
    27. Lee SH , Shim GB , Choi JH , Shim BS (2011) A study on ICT project separated order plan and establishment of PMO system , Korean Institute of Procurement,
    28. Liu L , Yetton P (2007) The contingent effects on project performance of conducting project reviews and deploying project management offices , IEEE Transactions on Engineering Management, Vol.54 (4 ) ; pp.789-799
    29. Ministry of Security and Public Administration (2013) Electronic government act enforcement ordinance amendment , Presidential Decree No. 24654, Republic of Korea,
    30. Ministry of Security and Public Administration (2013) ReguA lations on e-government project management commitment , Ministry of Security and Public Administration Announcement, 2013-32, Republic of Korea,
    31. Ministry of Security and Public Administration (2013) Public hearing for introduction of PMO in public sectors , Republic of Korea,
    32. Qing-lan C , Chang-wei M (2008) Project management mechanism mediates the influence of business strategy on corporate performance , Proceedings of the 4th International Conference on Wireless Communications Networking and Mobile Computing (WiCOM 08),
    33. Saaty TL (1990) How to make a decision : The analytic hierarchy process , European Journal of Operational Research, Vol.48 (1 ) ; pp.9-26
    34. Singh R , Keil M , Kasi V (2009) Identifying and overcoming the challenges of implementing a project management office , European Journal of Information Systems, Vol.18 (5 ) ; pp.409-427
    35. Suh CJ , Lee JE , Kim SC (2011) A competency model for management consulting : Comparison of the consultant` s competency specialized in small business and large business , The Journal of Vocational Education Research, Vol.30 (2 ) ; pp.135-155
    36. Tam MCY , Tummala VMR (2001) An application of the AHP in vendor selection of a telecommunications system , Omega, Vol.29 (2 ) ; pp.171-182