Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.43 No.2 pp.65-71
DOI : https://doi.org/10.11627/jkise.2020.43.2.065

Development of STAGE-GATE based Evaluation Index for the Improvement of Design Quality of Plant Material

In Tae Lee*, Dong Hyun Baek**
*Major in Project Management, Graduate School of Engineering, Hanyang University
**Department of Business Administration Hanyang University
Corresponding Author : estarbaek@hanyang.ac.kr
24/04/2020 24/05/2020 25/05/2020

Abstract


Worldwide plant market keeps maintaining steady growth rate and along with this trend, domestic plant market and its contractors also maintain such growing tendency. However, in spite of its external growth, win-win growth of domestic material industry that occupies the biggest share in plant industry cost portion is extremely marginal in reality. Domestic plant material suppliers are required to increase awareness of domestic material brand by securing quality and reliability of international standard through improvement of design quality superior to that of overseas material suppliers. Improvement of design quality of plant material becomes an essential element, not an option, for survival of domestic plant industry and its suppliers. Under this background, in this study, priority and importance by each evaluation index was analyzed by materializing plant design stage through survey of experts and defining evaluation index by each design stage and based on this analysis result, evaluation index of stage-gate based decision-making process that may improve design quality of plant material was suggested. It is considered that by utilizing evaluation index of stage-gate based decision-making process being suggested in this study, effective and efficient decision-making of project decision-makers would be enabled and it would be contributory to improve design quality of plant material.



플랜트 기자재 설계품질 향상을 위한 STAGE-GATE 기반 평가항목 개발

이 인태*, 백 동현**
*한양대학교 공학대학원 프로젝트관리학전공
**한양대학교 경상대학 경영학부

초록


    National Research Foundation of Korea
    NRF-2019S1A5C2A04083153

    1. 서 론

    전 세계 플랜트 시장의 규모는 2004년 이후 지속적으로 꾸준한 성장세를 이어가고 있으며, 이에 발맞추어 국내 플랜 트 시장 및 플랜트 업체들 또한 꾸준한 성장세를 이어가고 있다. 에너지 자원의 고갈에 따른 고유가 및 에너지 자원 개발 활성화와 맞물러 고성장세가 지속될 것으로 전망된다. 국내 플랜트 업체들의 규모는 전 세계 플랜트 시장의 규모와 같이 꾸준한 성장세를 이어가고 있지만 외형적인 성장세에 도 불구하고 국내 플랜트 기자재 산업의 동반성장은 극히 미비하다. 국내외 EPC(Engineering Procurement Construction) 업체가 국산 플랜트 기자재를 사용하지 않는 주요 이유는 (중복허용) 국제적으로 품질과 신뢰성 인증 미확보 63.1%, 기자재 관련 독자 설계기술 및 원천기숙 미확보 48.3% 플랜트 기자재 업체의 브랜드 인지도 저하 44.8% 로 조사 되었다[2].

    따라서 플랜트 기자재 설계품질 향상은 선택사항이 아 닌 국내 플랜트 산업 및 플랜트 기자재 업체들의 생존을 위한 필수사항으로 국내 플랜트 기자재 업체들은 해외 기 자재 업체들보다 뛰어난 설계품질 향상을 통해 국제적인 품질과 신뢰성 확보로 기자재 브랜드 인지도를 상승시켜 야 한다.

    본 연구에서는 전문가 설문 조사를 통해 플랜트 설계 단계를 구체화시키고 설계단계별 평가항목을 정의하여 평가항목별로 우선순위 및 중요도를 분석하고 분석한 내 용을 바탕으로 플랜트 기자재 설계품질 향상시킬 수 있는 STAGE-GATE 기반 의사결정 프로세스 평가항목을 제시 하고자 한다. 아울러 도출된 평가항목을 활용하여 프로젝트 의사결정권자들의 효과적이고 효율적인 의사결정이 가능 토록 하여 플랜트 기자재의 설계품질향상에 기여함을 목 적으로 한다. 전문가들을 대상으로 델파이(Delphi) 조사를 활용한 설문조사 및 인터뷰를 실시하였고, STAGE-GATE 설계 평가단계 및 설계 평가단계 평가항목을 도출 하였 다. 또한 AHP(Analytic Hierarchy Process) 계층분석법을 활용하여 설계 평가단계별 평가항목의 우선순위와 중요 도를 도출하여 STAGE-GATE 기반의 의사결정 프로세스 평가항목을 제시하였다.

    2. 이론적 배경

    2.1 프로젝트의 정의

    우리는 일상생활 속에서 프로젝트(Project)라는 용어를 자주 접하며 다양한 종류의 프로젝트들을 발견 할 수 있 다. 여러 단체 및 국가에서는 프로젝트를 각기 다르게 정 의하고 있으나 세계적으로 가장 널리 알려져 있는 미국 프로젝트 관리 단체인 PMI(Project Management Institute) 에서는 프로젝트를 아래와 같이 “유일한 제품, 서비스 또는 결과를 창출하기 위하여 수행하는 한시적인 활동으 로 정의하였다. 최근 들어 급변하는 경영환경 속에서 기 업들이 전략적 목적을 달성하기 위한 주요 수단으로 프 로젝트와 프로젝트 관리를 활용하고 있다[9].

    2.2 플랜트 산업의 이해

    플랜트는 발전소나 정유공장과 같이 기계와 장치를 설 치하여 생산자가 목적으로 하는 원료 또는 중간재, 최종 제품을 제조할 수 있는 생산설비를 의미한다. 이러한 플 랜트를 고객 또는 원청사로부터 수주 받아 기획, 설계하 고 필요한 자재를 조달하여 시공, 시험운용하는 일련의 단계적 활동들을 포함하는 형태의 비즈니스를 EPC 프로 젝트형 플랜트 산업이라고 한다. 플랜트산업은 그 목적에 따라 구분한다. 유전․가스전 개발, 채굴, 수송과 관련된 OIL&GAS 플랜트. 석유, 가스 등 해양자원을 탐사․시추 하거나 생산된 에너지 자원을 저장, 처리, 하역하는 해양 플랜트. 원유를 정제하여 휘발유, 경유 등을 제조하는 정 유플랜트. 석유제품 및 천연가스를 원료로 하여 합성수 지, 에탄올 등을 제조하는 석유화학플랜트 등으로 구분한 다. 이처럼 목적에 따라 플랜트산업은 다양하게 구분되고 있다[2].

    2.3 STAGE-GATE 모델

    STAGE-GATE 모델은 Robert. G. Cooper가 1986년 성공 적인 신제품 개발활동을 위해 제시한 모델로 신제품 Idea 에서 상품화까지 신제품 개발 프로세스를 효율적이고 효 과적으로 개선하기 위한 절차를 제시하였다[3]. STAGEGATE 모델의 과정은 일반적으로 5개의 STAGE와 각 STAGE 통과를 위한 5개의 GATE로 구성되어 있으며, 각 STAGE에서는 다음 STAGE로 넘어가기 위해 평가 또는 수행해야 할 활동을 규제하고 수행된 활동결과를 바탕으 로 이를 평가하여 제품 개발 프로세스에 엄격한 Go/Kill 결정을 하고 있다. 각 STAGE단계에서 GATE를 거쳐 다음 STAGE로 넘어가기 위해서는 GATE에서 Gatekeeper 즉, 의사결정권자들에 의해 각종 산출물들이 전부 작성되었 는지 확인을 통해 프로젝트의 Go/Kill을 결정하고 프로젝 트 우선순위 변경, 프로젝트 자원 추가 및 재분배 등의 의 사결정이 이루어지게 된다. 즉, 효과적인 STAGE-GATE 모델을 운영하기 위해서는 효과적이고 효율적인 의사결 정이 이루어 질수 있도록 신뢰성 있는 평가기준과 항목이 매우 중요하다[13].

    2.4 델파이(Delphi) 기법

    델파이(Delphi) 기법은 1950년대 미국의 Rand Corporation이 군사적 목적에서 개발한 분석 기법중 하나로 일정 주제에 대하여 전문가 집단의 의견과 판단을 추출하고 종합하는 방법을 말한다. 델파이(Delphi)는 개인의 의견 보다는 집단의 의견이 더 우월하다는 전제에서부터 시작 된 것으로 주로 전문가 집단의 견해를 통해 미래 예측, 불확실한 문제에 대한 해결 방안의 제시 등을 이끌어내 는 방법으로서 발전하였다[20].

    델파이(Delphi)기법은 체계적으로 구성된 일련의 설문 지를 통해 동일한 전문가 집단에게 3~4회 반복실시하게 되며, 1차 델파이(Delphi) 조사에서는 개방형 질문을 통해 전문가들의 다양하고 확산적인 의견을 수집한다. 다음 델 파이(Delphi) 조사에서는 이전 델파이(Delphi) 조사를 통해 얻어진 전문가들의 의견과 판단을 정리하여 설문지에 추 가하며 이를 통해 다른 전문가들의 의견이 Feed-Back 되 어 보다 정확한 판단을 할 수 있도록 도와준다. 설문의 횟 수가 거듭 될수록 전문가 집단의 의견은 종합되게 되고 의견이 종합되지 않았을 경우, 추가적으로 설문조사를 반 복적으로 계속 수행할 수 있다[20].

    2.5 AHP(Analytic Hierarchy Process) 계층분석법

    Analytic Hierarchy Process(AHP)는 계층분석법은 의사 결정의 계층구조를 구성하고 있는 요소들 간의 쌍대비교 에 의한 판단을 통하여 평가자의 지식, 경험 및 직관을 포착하고자 하는 의사결정방법이다[23].

    AHP 계층분석법은 일반적으로 4단계의 과정으로 진 행된다. 첫 단계에서는 상호 관계가 있는 의사결정 요소 들의 처계로부터 의사결정 사항들을 계층적으로 분류하 여 의사결정 계층을 설정한다. 두 번째 단계에서는 의사 결정 문제 해결을 위한 의사결정 요소들의 쌍대비교를 통해 투입되는 데이터를 모아서 이를 쌍대비교 매트릭스 로 공통되는 요소들을 기준으로 서로 역수관계를 가지도 록 나타낼 수 있다. 세 번째 단계에서는 의사결정 요소들 의 상대적 가중치를 판단하기 위해 고유치(eigenvalue)방 법을 사용하여 평가항목들의 상대적인 우선순위를 추정 한다. 네 번째 단계에서는 의사결정 문제 해결을 위한 의 사결정 요소들의 상대적 가중치 종합을 통해 각 평가항 목에 대한 상대적 중요도를 판단하고 의사결정 대안의 우선순위를 결정한다[23].

    3. 평가단계 및 항목 정의

    본 연구에서는 플랜트산업에서의 기자재 설계품질 향상 을 위한 평가모델을 제안하기 위하여 문헌연구와 STAGEGATE 의사결정프로세스와 관련된 이론적 배경을 기반으 로 플랜트 산업에서 근무하고 있는 전문가들을 대상으로 델파이(Delphi) 조사를 활용한 설문조사 및 인터뷰를 통하 여 STAGE-GATE 설계 평가단계 및 각 설계 평가단계별 평가항목을 도출 하였다. 또한, 델파이(Delphi) 조사에 참 여한 전문가들을 대상으로 AHP 계층분석법을 활용하여 설계 평가단계별 평가항목의 우선순위와 중요도를 도출 하여 STAGE-GATE 설계 평가단계별 평가모델을 제안하 는 과정을 나타내었다.

    3.1 STAGE-GATE별 평가단계 정의

    본 연구에서는 설계 평가단계 정의를 위해 실제 플랜트 산업에서 근무하는 임직원과 플랜트 기자재 설계활동에 참여한 경험이 있는 전문가를 선정하여 델파이(Delphi) 기법을 활용하였다. 델파이(Delphi) 기법의 질의는 설계 평가단계를 구체화하는 것에 초점이 맞추어졌으며, 전문 가들의 의견을 총 3차례에 거쳐서 수렴하고 종합하였다. 총 3차례 설문조사에서는 2항목의 폐쇄형 질문과 6항목 의 개방형 질문을 통하여 다양하고 확산적인 의견을 수 렴하기 위해 노력하였다.

    1차 델파이(Delphi) 조사에서는 총 208명에게 E-Mail과 인터뷰를 통한 설문조사를 실시하였으며, 그 결과 115명 으로 55.2 %의 설문조사 데이터가 회수 되었다. 2차 델파 이(Delphi) 조사에서는 1차 설문조사에 회신하였던 115명 에게 동일한 방식의 E-Mail과 인터뷰를 통한 설문조사를 실시하였으며, 그 결과 76명으로 66.1%의 설문조사 데이 터가 회수되었다. 3차 델파이(Delphi) 조사에서도 동일한 방식으로 2차 설문조사에 회신하였던 76명을 대상으로 설 문조사를 실시하였고 그 결과 59명으로 77.6%의 설문조사 데이터가 회수되었다.

    그 결과, <Figure 1>과 같이 총 다섯 단계의 STAGE와 이를 검토하고 승인하는 총 다섯 단계의 GATE로 구분하였 으며, 플랜트 프로젝트 설계단계인 3번째 STAGE Development( Design)단계를 <Figure 2>와 같이 구체화하였다.

    3번째 STAGE Development(Design) 단계를 3-1 Basic Concept Development(Design), 3-2 Detail Development(Design), 3-3 Pack- age Development(Design)로 STAGE를 구체화하 였고, STAGE를 검토하고 승인하는 GATE 또한 GATE 4-1, GATE 4-2, GATE 4-3으로 구체화하였다.

    3.2 STAGE-GATE별 평가항목 정의

    본 연구에서는 평가항목 정의를 위해 제 3차 델파이 (Delphi) 설문지에 설계단계 STAGE의 평가항목에 대한 질문을 추가하였다. 설문조사 결과 <Figure 3>과 같이 고 객요구사항 점검이 가장 많은 비중을 차지하였으며, 조 립성 간섭 점검, 3D 모델링 정확도 점검, 실패사례 점검, Lay-Out 점검 순으로 총 다섯 가지 평가항목을 75.5% 이 상의 전문가들이 선택하였다.

    3.3 평가단계별 평가항목 중요도 및 우선순위 선정

    도출된 평가단계별로 평가항목의 중요도 및 우선순위 를 선정하기 위해 AHP 계층분석법을 활용하였다. 5가지 의 평가항목별로 쌍대비교를 실시하였고, 3가지의 평가 단계별 평가항목의 중요도 선정을 위한 설문지를 작성하 였다. 평가항목별 쌍대비교는 Saaty[22]가 제안한 9점 척 도를 활용하여 항목별 상대적 가중치를 산출하였으며, 평가단계별 평가항목 중요도는 비교는 리커트 5점 척도를 활용하여 중요도 및 우선순위를 선정하였다.

    AHP 계층분석법 조사에서는 제 3차 설문조사에 회신 하였던 총 59명에게 E-Mail과 인터뷰를 통한 설문조사를 실시하였으며, 그 결과 32명으로 54.2%의 설문조사 데이 터가 회수 되었다. 평가항목별 중요도 Matrix는 쌍대비교 를 통해 기준항목과 비교항목 간에 상대적 중요도를 측정 하여 항목들 간의 상대적 가중치를 작성하였고, 평가척도 는 Saaty[22]가 제안한 9점 척도를 활용하여 5점부터 1/5 점까지 총 9단계로 구분하여 평가항목별 상대적 중요도 를 평가하였다. 이를 통해 기준항목과 비교항목간의 비교 Matrix를 작성하여 5개 항목에 대한 중요도를 산출하였 고, <Figure 4>와 같이 가중치표를 작성하였다.

    평가단계별 평가항목들의 중요도는 리커트 5점 척도를 활용하여 (1)매우 낮음부터 (5)매우 높음까지 총 5단계로 구분하여 평가하였다.

    평가단계별 평가항목 중요도 설문조사 결과 <Figure 5> 와 같이 Basic Concept Development(Design) 단계에서는 고객요구사항 점검, Detail Development(Design) 단계에서 는 3D 모델링 정확도 점검, Package Development(Design) 단계에서는 Lay-Out 점검이 가장 중요도가 높았다. 설계 단계별 중요도는 Detail Development(Design), Package Development( Design), Basic Concept Development(Design)순으 로 나타났다.

    4. 평가항목 개발

    4.1 의사결정 프로세스 평가항목 개발

    본 연구에서는 플랜트 기자재 설계품질을 평가 할 수 있도록 3가지 평가단계와 5가지 평가항목에 대해 정의하 였고, 정의된 평가단계와 평가항목을 기초로 Design 완성 도 평가 산정표 <Figure 6>~<Figure 8>을 개발하였다. Design 완성도 평가 산정표 Sheet는 MS EXCEL을 활용 하여 개발하였고, 중요도 및 우선순위를 통해 도출된 가 중치를 평가단계별 가중치와 평가항목별 가중치로 각각 적용하였다. 다섯 가지의 평가항목별로 20점씩 총 100점 의 점수를 배정하였으며, 평가항목별 구체적인 평가질문 을 통해 점수를 구분하였다. 각 평가항목별 평가질문은 플랜트 기자재의 특징과 크기, 의사결정권자들의 판단에 의해 변경될 수 있다. 각 평가질문은 Likert 5점 척도를 활용 하여 0.2점 매우 아니다(20%)부터 1점 매우 그렇다(100%) 까지 총 5단계로 구분하여 평가질문에 대해 평가결과를 나타내었다. 평가점수 산정은 각 평가질문별 평가결과에 질문점수와 평가항목 가중치, 평가단계 가중치를 곱하여 설계단계의 Design 완성도 현황을 한눈에 평가 할 수 있 도록 총점 100점으로 평가점수를 환산하여 최종점수를 부여하였다. 부여된 최종점수를 기준으로 프로젝트 의사 결정권자에게 각 평가단계별 수준을 제시할 수 있다.

    Design 완성도 평가 산정표 <Figure 6>~<Figure 8>은 Customer Requirement, Lessons Learned, Lay-Out 등 일반 적인 사항과 각 평가단계별 특징적인 평가항목을 포함하 였다. Basic Development(Design) Score Sheet는 Modeling Basic CAE(Computer Aided Engineering) 해석결과 점검, Detail Development(Design) Score Sheet는 Modeling Detail CAE 점검, Package Development(Design) Score Sheet는 Interference(Assembly, Disassembly, Tools) 등을 포함하였다.

    각 단계별 Design 완성도 평가 산정표 Sheet 를 통해 의사결정권자들에게 평가점수로 각 평가 단계별 평가항 목의 수준을 제시할 수 있고 평가 항목별 평가한 결과를 통해 의사결정권자들이 평가단계별 강한 항목과 약한 항 목을 분석하여 개선점 및 지적사항을 쉽게 파악 할 수 있다. 이를 통해 의사결정권자들은 효과적이고 효율적 인 의사결정이 가능하다.

    <Figure 9>는 프로젝트 의사결정권자들이 각 단계별 Design 완성도 평가 산정표 Sheet를 통해 평가단계별 평 가항목의 수준을 평가한 예시로서, 평가단계별 평가항목 의 수준을 그래프와 평가결과를 통해 표현하였으며, 평 가항목을 분석하여 개선점 및 지적사항을 찾아 효과적이 고 효율적인 의사결정이 가능토록 하여 플랜트 기자재의 설계품질향상에 기여할 것이다.

    5. 결 론

    본 연구에서는 STAGE-GATE라는 의사결정 프로세스 를 기반으로 플랜트 기자재 설계품질 향상을 위한 의사 결정 프로세스 평가항목을 제시하기 위해 전문가 설문조 사를 통해 플랜트 설계단계를 구체화시키고 설계단계별 평가항목을 정의하여 평가항목별로 우선순위 및 중요도 를 분석하고 분석한 내용을 바탕으로 플랜트 기자재 설 계품질을 향상 시킬 수 있는 설계단계별 의사결정 프로 세스 평가항목을 제시하였다.

    첫째, STAGE-GATE와 관련된 기존 문헌조사와 실제 플랜트 산업에서 근무하는 임직원과 플랜트 기자재 설계 활동에 참여한 경험이 있는 임직원을 대상으로 3차례에 걸친 델파이(Delphi) 설문조사 결과를 바탕으로 플랜트 기 자재 설계품질 향상을 위해 플랜트 프로젝트 설계단계를 Basic Concept Development(Design), Detail Development (Design), Package Development(Design) 총 3단계로 구체 화하여 구분하였다.

    둘째, 평가단계별 설계품질 향상을 위한 평가항목 선 정을 위해 설문조사 결과를 바탕으로 적합한 평가항목을 고객요구사항 점검, 조립성 간섭 점검, 3D 모델링 정확 도 점검, 실패사례 점검, LAY-OUT 점검 총 다섯 가지로 정의하였다.

    셋째, 평가단계별 평가항목의 중요도 및 우선순위를 선정하기 위해 AHP 계층분석법을 활용하여, 평가항목별 쌍대비교를 통해 평가항목의 가중치를 선정하였고, 선정 된 평가항목별 가중치를 평가단계별로 구분하여 평가단 계별 평가항목의 중요도 및 우선순위를 도출하였다.

    넷째, 델파이(Delphi) 설문조사를 통해 구체화된 3가지 설계단계별로 5가지 평가항목의 중요도 및 우선순위에 따른 가중치를 기반으로 평가단계별 평가항목의 Design 완성도 평가 산정표 Sheet를 개발하였다.

    이에 본 연구에서 제시하는 STAGE-GATE 기반의 설 계단계별 의사결정 프로세스 평가항목 “Design 완성도 평가 산정표 Sheet”을 활용하여 프로젝트 의사결정권자 들의 효과적이고 효율적인 의사결정이 가능토록 하며 플 랜트 기자재의 설계품질향상에 기여할 수 있을 것이다.

    본 연구의 한계점 및 향후 과제로는 본 연구에서 개발 한 평가항목은 플랜트 기자재 프로젝트의 관점에서 제시 하였고 적용되었기에 평가항목을 타 산업 및 업종에 적 용하기 위해서는 산업의 특성과 기업의 특성, 규모를 고 려한 평가항목에 대한 보완적인 연구가 요구된다. 또한, 실제 다양한 플랜트 기자재 프로젝트에 적용하여 실제 사례연구를 통해 평가단계와 평가항목에 대한 중요도 및 우선순위, 배점, 가중치에 대해 지속적인 검증과 보완 연 구가 수행된다면 연구의 더 큰 효과를 얻을 수 있을 것 이다.

    Acknowledgement

    This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea(NRF-2019S1A5C2A04083153).

    Figure

    JKISE-43-2-65_F1.gif

    Plant Project Process

    JKISE-43-2-65_F2.gif

    Detail 3 Stage Development Process

    JKISE-43-2-65_F3.gif

    Analyze for Evaluation Index

    JKISE-43-2-65_F4.gif

    Weight Table of Evaluation Index

    JKISE-43-2-65_F5.gif

    Evaluation Index of Each Stage

    JKISE-43-2-65_F6.gif

    Basic Development(Design) Score Sheet

    JKISE-43-2-65_F7.gif

    Detail Development(Design) Score Sheet

    JKISE-43-2-65_F8.gif

    Package Development(Design) Score Sheet

    JKISE-43-2-65_F9.gif

    Basic Development(Design) Evaluation Example

    Table

    Reference

    1. Bong, J.G., Elicitation of Safety Education Improvement at Construction Site Applying Delphi Technique, [Master’s Thesis], [Chungju, Korea] : Chungbuk University, 2013.
    2. Choi, B.I., Lee, J.H., and Yoon, S.D., Plant industry technical overview and industry status, Journal of Mechanical and Material, 2012, Vol. 24, No. 1, pp. 6-12.
    3. Cooper, R.G., Optimizing the stage-gate process, Research- Technology Management, 2002, Vol. 45, No. 6, pp. 43-49.
    4. Cooper, R.G., The key to product innovation strategy for revenue generation, Korea Industrial Technology Association, 2010.
    5. Cooper, R.G., The Stage-Gate Idea to launch Process, Journal of Product Innovation Management, 2008, Vol. 25, No. 3, pp. 213-232.
    6. Gwon, S.H. and Hong, S.K., A study on the analysis of validity and reliability of the delphi forecasting in korea, Journal of Technology Innovation, 2009, Vol. 17 No. 1, pp. 99-117.
    7. Ha, J.B., Use of new product development and stage gate process, Pyeongtaek University, 2001, Vol. 15, pp. 185-195.
    8. Jo, G.T., Ahead of the leader of the Analytic Hierarchy Process, Donghyun publisher, Republic of Korea, 2003.
    9. Kang et al., Project Management(For competitive advantage), Bookfile, 2009.
    10. Kim, D.C., Study on the Model of Project Risk Management Process for Automotive Parts Development, [Master’s Thesis], [Seoul, Korea] : Hanyang University, 2014.
    11. Kim, U.G., Difference Analysis on Job According to the Type of Project Organizational Structure on Job Satisfaction and Organizational Commitment of Members, [Master’s Thesis], [Seoul, Korea] : Hanyang University, 2013.
    12. Korea Plant Industries Association, Republic of Korea Power Plant Report, 2007.
    13. Kwak, J.G., Case study on success factors for new product development in the display industry : flat panel TV, [Master’s Thesis], [Cheonan, Korea] : Koreatech University, 2013
    14. Lee, E.C., Jeong, G.S., and Ahn, H.Y., Outlook on the plant industry and competitive analysis of domestic industrial equipment firms, Hana Institute of Finance, 2008, Vol. 29.
    15. Lee, E.C., Jeong, G.S., and Kim, Y.J., Analysis of plant market and plant parts industry, Hana Industry Info, 2009, Vol. 16.
    16. Lee, H.R. and Cho, C.H., A Study on Developing the Design Quality Indicators(DQI) for School Building- Using Delphi Survey Method and Analytical Hierarchical Process(AHP), Journal of Architecture and Building Science, 2012, Vol. 28 No. 5, pp. 69-77.
    17. Lee, J.S., Delphi method and Higher Education, doctoral dissertation, Yonsei University Educational Research Institute, 1998, Vol. 2, pp. 33-46.
    18. Lee, S.H. and Lee, H.S., Evaluation model for design quality using change order analysis, Korean Journal of Construction Engineering and Management, 2000, Vol. 1, No, 1, pp. 72-79.
    19. Lim, H.J., Study on project competency assessment model for small and medium enterprises, [Master’s Thesis], [Seoul, Korea] : Hanyang University, 2012.
    20. Oh, M.H., Inter-Country Tourism Industry Competitiveness Evaluation-Index Development Using Delphi Technique and AHP, [Master’s Thesis], [Seoul, Korea] : Sejong University, 2013.
    21. Park, D.J., A study on priorities of the key competence of port logistics enterprise using AHP method, Journal of Korea Port Economic Association, 2014, Vol. 30, No. 1, pp. 159-173.
    22. Saaty, T.L, Decision making for Leaders The Analytic Hierarchy Process For decisions in a complexity world, RWS Publication, 1995.
    23. Saaty, T.L., The Analytic Hierarchy Process : Planning, Priority Setting, Resource Allocation, New York, Mc- Graw-Hill, 1980.
    24. Sim, S.M., A Study on Qualitative Factors to be used the Forecasting of Electronic Parts for After-Sales Service in Korea, [Master’s Thesis], [Seoul, Korea] : Sungkyunkwan University, 2008.