Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.40 No.4 pp.191-202
DOI : https://doi.org/10.11627/jkise.2017.40.4.191

Competency Modeling Using AHP Methodology and Improvement of National Technical Qualification System

Jae Yul Lee*, Seung-June Hwang**
*Graduate School of Management Consulting, Hanyang University
**Department of Business Administration, Hanyang University
Corresponding Author : sjh@hanyang.ac.kr
October 30, 2017 December 8, 2017 December 11, 2017

Abstract


The purpose of this study is to develop an engineer competency model using Analytical Hierarchy Process (AHP) to improve the national technical qualification system. Korea has managed technical human resources at the government level through the operation of a national technical qualification system that certifies engineers with national certificates or technical grades by laws. However, there have been increasing concerns that the government system is separated from global standards and does not reflect an engineer’s comprehensive capabilities. For these reasons, the new architecture of the system has been continuously discussed and becomes a major policy issue of the Korean government. For the development of the engineer competency model, domestic and global models were separately structured using 554 valid questionnaires with a consistency ratio (CR) of 0.1 or less. The relative importance of engineer competency factors in a domestic model was career (0.383), qualification (0.253), academic degree (0.195), and job training (0.169) whereas the order in the global model was career (0.308), global ability (0.237), job training (0.175), domestic qualification (0.147), and academic degree (0.134). The results of AHP analysis indicated that the evaluation factors and methods recognized by engineers were different from a current government model focusing on domestic qualifications. There was also perceptual difference in the importance of engineer evaluation factors between groups depending on the type of organizations and markets. This means that it is necessary to reflect the characteristics of organizations and markets when evaluating engineer competency. Based on AHP analysis and literature reviews, this paper discussed how to develop a new engineer competency index (ECI) and presented two effective index models verified by simulation test using 59,721 engineers’ information. Lastly, the paper discussed major findings of our empirical research and proposed policy alternatives for the improvement of a national engineer qualification system. The paper contributes to the management of technical human resources since it provides quantitative competency models that are objectively developed by reflecting market recognition and can be effectively used by the policy makers or firms.



다면 AHP 방법론을 활용한 역량 모델링과 국가기술자격제도 개선 방안 도출

이재열*, 황승준**†
*한양대학교 일반대학원 경영컨설팅학과
**한양대학교 경상대학 경영학부

초록


    Korea Engineering & Consulting Association

    1. 서 론

    인적자원관리(Human Resource Management)는 조직의 성과를 달성하는 데 있어서 매우 중요하다[11, 13], 특히 기술인적자원은 지식기반 경제의 핵심 경쟁력이며, 프로 젝트를 발주하는 고객의 가장 중요한 선택 기준이다[22]. 따라서 기업운영의 핵심적인 요소인 엔지니어의 역량을 정확하게 평가하여 관리하는 것은 국가경쟁력의 제고 및 프로젝트의 효율적 수행에 중요하다[10, 14, 25]. 이에 우 리나라는 국가 차원에서 산업에서 필요한 우수한 기술인 적자원을 체계적으로 육성하기 위하여 국가기술자격제 도를 운영하고 있다.

    우리나라 국가기술자격제도에서는 기술자(엔지니어)를 국가기술자격증을 취득하거나 정부 법령에서 정한 학력 및 경력의 요건을 갖추어 기술등급을 부여 받은 자이다. 기술자격 검정제도와 기술등급제도가 근간인 국가기술 자격제도는 사업면허 등록, 프로젝트 사업자 선정, 사업 대가 결정, 엔지니어 임금 등에 광범위하게 활용되고 있 고 개인복지 및 산업 전반에 큰 영향을 미친다.

    그러나 현행 국가기술자격제도는 국제적인 기준에 부 합되지 못하고 일부 계층의 지대(Rent)가 되어 있다는 비 판이 제기된다. 특히 정부의 기술등급 산정에서는 기술 사를 최상위 등급으로 분류하는 등 국가기술자격증이 실 질적으로 상위등급을 결정한다. 이에 따라 석․박사급 고급학력자나 해외 우수인재의 활용을 어렵게 하여 이들 의 채용을 통한 기술 경쟁력의 제고 및 기술 확산의 효 과[1, 5, 28]를 얻기 어렵다. 이처럼 기술등급은 기술자의 역량을 종합적으로 평가하지 못하기 때문에 자격증이 아 닌 직무경력 등을 중시하는 새로운 종합 역량평가제도를 도입해야 한다는 주장이 커지고 있다. 반면 일부에서는 자격시험이라는 검증절차 없이 학력 및 경력만으로 엔지 니어의 기술등급을 부여하는 것은 엔지니어의 전문성을 훼손하고, 고급 기술인력을 양성하려는 국가의 취지와도 벗어나는 것이라는 주장한다.

    기업 차원에서도 프로젝트 등에 배정할 엔지니어를 선정하기 위해 엔지니어의 역량을 평가하기 위한 노력을 하고 있으나 현행 기술자격증 위주의 정부의 역량모델로 는 현실을 반영하기 어렵고 개별적인 평가 기준과 방법 으로는 객관성을 확보하기가 어렵다[22].

    이와 같이 국가기술자격제도의 개편은 중요한 정책과 제이며, 이해관계자 간 갈등이 지속되고 있으나 종합적 인 역량모델을 개발하여 개선하려는 노력은 거의 없었 다. 일부 국내의 선행연구도 대부분 정량화하기 어려워 이를 현장에서 쉽게 활용하는 데는 한계가 있다. 이에 본 연구는 실용적인 관점에서 엔지니어의 역량을 어떻게 정 량화하여 평가할 것인가에 대한 연구에 초점을 맞추어 엔지니어 역량지수를 개발하고 국가기술자격제도의 개 선방안을 제시하고자 하였다.

    본 연구의 세부 목적은 다음과 같다. 첫 번째는 엔지 니어 역량을 평가하는 주요한 요소를 선정하고자 한다. 두 번째는 Saaty[29]의 계층분석과정 방법론을 활용하여 엔지니어 평가요소의 상대적 중요도를 선정하고자 한다. 계층분석모델은 국내에서 필요한 역량과 해외에서 필요 한 역량을 비교하기 위해 국내모델과 글로벌모델로 구분 하여 접근하였다. 세 번째는 다면 AHP 분석결과를 바탕 으로 다양한 이해관계자의 엔지니어 역량에 대한 인식차 이를 검증하고 분석하고자 한다. 네 번째는 AHP 결과 및 기술등급분포 시뮬레이션을 토대로 정량화가 가능한 엔지니어 역량지수를 개발하여 제시하고자 한다. 마지막 으로 실증 분석결과를 바탕으로 우리나라 국가기술자격 제도 개선방안을 제시하고자 한다.

    본 연구는 엔지니어링산업진흥법에 의한 국가기술자 격제도 활용 체계를 중심으로 연구하였다. 국가기술자격 제도가 건설 등 프로젝트 비즈니스에 미치는 영향이 크 고, 엔지니어링산업진흥법은 각 정부 부처에서 시행하고 있는 엔지니어 활용제도의 모법이다. 동 법에 따라 등록 된 엔지니어는 산업 전반에 걸쳐 활동하고 있어 국가 기 술자격제도에 대한 종합적인 평가와 기업특성에 따른 차 이를 파악할 수 있는 장점이 있다.

    2. 문헌 연구

    2.1. 엔지니어의 개념 및 역량모델

    2.1.1. 엔지니어의 개념 및 역량

    엔지니어(Engineer)는 과학기술 지식을 응용하여 자연 력과 자원의 효율적 사용을 통하여 경제적 또는 사회적 부가가치를 창출하는 활동을 수행할 수 있는 역량을 보 유한 자다[2, 7]. 우리나라 법에서 규정된 엔지니어(기술 자)는 국가기술자격법에 의하여 국가기술자격을 취득한 사람(이하 기술자격자) 또는 해당 산업의 기술 관련 학 력이나 경력을 가진 사람(이하 학경력자)이다. 엔지니어 를 프로젝트관리자(Project Manager), 엔지니어(Engineer), 기능인(Technician) 등으로 구분하기도 하나[27], 본 연구 에서는 엔지니어를 이를 모두 포함하는 개념으로 사용하 였다.

    엔지니어의 필요역량은 과학기술지식을 응용할 수 있 는 역량과 함께 사업관리 역량이 엔지니어의 주요 핵심 역량으로 설계된다[3, 18]. 사업관리는 프로젝트에 필요 한 사항을 충족시키기 위하여 지식, 기능, 도구 및 기법 등을 프로젝트 활동에 적용하여 프로젝트의 관리에 필요한 다양한 요소를 통합하는 프로세스다[24]. 이재열 외[18] 는 탐색적 요인분석을 통하여 엔지니어에게 요구되는 핵심 역량을 과학기술 역량과 사업관리 역량으로 규정하였다.

    2.1.2. 엔지니어 역량모델 및 선행연구

    역량은 임무를 수행함으로써 우수한 성과를 내는 개인 이 가지고 있는 내적인 특성이나 기술이다[4, 9, 20]. 역량 모델은 성과를 달성하는데 필요한 지식, 기술, 태도 등을 포괄하는 역량을 기술하여 체계화한 것이다[29]. Sanghi [25]는 역량 모델은 적재적소에 인력을 배치하여 프로젝 트 및 조직의 전략적 목표를 지원하는 매우 유용한 도구로 설명하고 있다. 역량모델은 다양하게 존재한다. Boyatiz [4]는 관리자의 역량에 초점을 두고 역량모델을 기술하였 으며, Garavan and McGuire[8]는 사람과 직무에 초점을 둔 역량모형으로 분류하여 비교하였다.

    우리나라 국가기술자격제도에서 기술등급은 기술인력 이 보유한 직무 수행능력의 수준에 따라 차등적으로 부여되 는 국가기술자격의 단계를 말한다(국가기술자격법 제2조). 현행 각 정부 부처 법령에서는 기본적으로 자격, 학력, 경 력의 요건을 활용하여 엔지니어의 기술등급을 정한다.

    엔지니어의 역량평가 모델에 관한 선행연구를 보면 Shahhosseini and Sebt[27]가 fuzzy-AHP를 통하여 건설프 로젝트에 필요한 엔지니어 역량요소의 가중치를 산정하 는 등 해외에서는 엔지니어의 역량을 평가하기 위한 다 수의 선행연구가 있었다[19, 22]. 국내에서는 국토해양부 가 건설부문 엔지니어 역량을 평가하기 위한 건설기술자 역량지수(ICEC : Index of Construction Engineer’s Competency) 를 만들었다. 동 역량지수에서는 4개의 등급(특 급, 고급, 중급, 초급)으로 분류하고 총 100점 만점 기준 으로 경력(40점 이내), 자격(40점 이내), 학력(20점 이내) 및 교육(3점 이내)의 점수를 합산하여 등급을 부여한다. 국내에서도 AHP를 활용하여 건설 등의 분야에서 엔지니 어의 필요역량을 분석하였으나 평가요소를 객관적으로 측정하기 어려워 계량적 역량모델링을 통한 정책이나 기 업의 실무 목적에 활용하기에는 한계가 있다.

    본 연구에서는 엔지니어의 전문성을 대리할 수 있고 객관적으로 측정 가능한 요소로 한정하여 선행연구와 전 문가 패널 토의 및 설문조사를 통하여 평가요소를 선정하 였다. 이어서 설문조사 결과를 바탕으로 AHP 기법을 통 한 가중치를 선정하여 현행 국가기술자격제도의 적합성 을 검증하고 새로운 모델 구축방안을 제시하고자 하였다.

    2.2. 우리나라 국가기술자격제도

    2.2.1. 국가기술자격 검정제도

    우리나라 국가기술자격 검정시험은 단계별로 등급화 (기술사, 기능장, 기사, 산업기사, 기능사)되어 있다. 국가 기술자격 검정제도는 고용노동부가 국가기술자격법에 의하여 엔지니어의 배출을 주관하고, 한국산업인력공단 등의 시행기관이 엔지니어 검정시험을 시행한다. 기술자 격 검정제도는 1963년 기술사법에 의해 처음 도입되었고 현재는 1973년에 제정된 국가기술자격법에 의해 시행되 고 있다. 1975~2015년중 기술부문(기술사, 기사, 산업기 사) 자격취득자는 335.2만 명이며, 기능부분(기능장, 기 능사)을 포함하면 1,407.9만 명에 달한다[12]. 우리나라의 국가기술자격시험은 외국보다 합격률이 매우 낮다. 특히 기술사 시험의 경우 주요 구미 선진국의 합격률은 50~90% 에 달하나 우리나라는 최근 5년간(2011~2015) 필기시험 합격률은 6.2%, 최종합격률은 3.3%이다[12]. 1975~2015년 기술사 취득자는 46,223명으로 연 평균 1,128명이 기술 사 자격을 취득하였다[12].

    2.2.2. 정부 기술등급 제도(등급 평가 및 활용)

    엔지니어를 기술등급으로 평가하여 활용하는 제도는 1974년 기술용역육성법에서 처음 도입되었고, 이후 13개 정부 부처의 개별 법령으로 분화되었다. 각 개별법령에 서 엔지니어는 특급기술자(또는 기술사), 고급기술자, 중 급기술자, 초급기술자로 등급화되어 있으며, 기술등급은 개인 및 기업의 보상과 연계되어 있다. 동일인이라도 기 술등급 및 활용의 범위는 개별법령에 따라 다소 달라진 다. 엔지니어링산업진흥법, 전력기술관리법, 정보통신공 사업법 등의 기술등급에서는 기술사만이 최고 등급을 받 으며, 국가기술자격증이 없는 기술자는 초급기술자 이하 로 분류된다. 건설기술진흥법에서는 국가기술자격증 없 이는 실질적으로 최고 등급을 받을 수 없다.

    특히 기술등급은 공공프로젝트 사업에 널리 활용되고 있으며, 2015년 말 기준 건설, 엔지니어링서비스, 정보통 신, 전기 분야의 등록된 프로젝트 엔지니어(중복 등록 포 함)는 119만 명이다[15].

    2.3. 해외 국가기술자격제도

    주요 선진국의 기술자격제도는 엔지니어가 등급화되 어 있지 않고 기술사 중심 체계로 단순화되어 있으며, 기 술사의 합격률도 50~90%로 매우 높다. 미국의 기술사 (PE : Professional Engineer)는 20대 중반에서 30대 초반 에 PE 자격을 취득하게 되고 합격률도 첫 시험기준으로 65%~70% 수준이다[21]. 우리나라 기술사가 평균 43세 (2015년 기준)에 합격하는 것과는 큰 차이를 보인다[12].

    영국, 호주, 캐나다, 네덜란드 등 기술 강국 선진국 엔 지니어는 대부분 공과대학을 졸업한 후 4~5년 내외의 수 련기술사 과정을 거쳐 이론시험 없이 경력심사 등으로 기술사의 자격을 쉽게 취득하며, 합격률도 60~90%에 달 한다. 구미 선진국의 경우 정부의 기술등급이 없으며, 엔 지니어의 역량평가는 기본적인 학력, 경력을 본 후 상세 한 사업수행 경력의 평가를 통하여 이루어진다. 즉 우리 나라와 비교하여 선진국의 기술자격제도는 엔지니어의 자격에 대한 진입장벽이 매우 낮고 체계가 단순하며, 등 급화되어 있지 않다.

    2.4. 연구 모형(계층구조 모델)

    계층구조 모델은 국내모델 <Figure 1>과 글로벌모델 <Figure 2>로 나누어 분석하였다. AHP 기법을 활용하여 분석하기 이전 역량요소 항목의 선정과 평가요소에 대한 절대적 중요도를 파악하기 위하여 리커트 5점 척도(① 전혀 중요하지 않음; ② 중요하지 않음; ③ 보통; ④ 중 요함; ⑤ 매우 중요함)를 사용하여 설문조사를 시행하 였다.

    AHP 국내모델에서는 엔지니어의 기술역량을 평가하 는 변수로서 현행 정부의 기술등급에 기초하여 자격증, 학력, 경력, 교육훈련의 4개 항목을 선정하였다. 현행 대 부분 정부 법령의 기술등급에서는 자격증, 학력, 경력 3 가지의 항목으로 엔지니어의 기술등급을 평가하고 있으 나, 건설기술자 평가 시에는 교육점수(3점 이내)를 소폭 반영하고 있어 교육훈련 항목을 포함하였다. 반면 우리 나라의 국가기술자격제도와 기술등급이 주로 국내에서 만 적용되고 해외에서의 통용성이 부족한 점과 글로벌역 량의 개념이 완전하게 정립되지 않아 국내모델에서는 제 외하였다.

    글로벌모델 <Figure 2>의 목적은 설문조사 결과에서 나 타난 엔지니어가 인식하는 역량요소로 글로벌역량의 중 요성을 반영하고, 국내에서 필요로 하는 역량과의 차이를 비교하여 개선점을 모색하기 위함이다. 이를 위해 글로벌 모델에서는 국내기술자격, 학력, 경력, 교육훈련 및 글로 벌역량의 5개 대항목에 경력과 글로벌역량에 하위 계층을 둔 3단계 AHP 역량평가모델로 가중치를 계산하였다. 자 격증의 경우 정부에서 시행하고 있는 국가 기술자격증만 이 기술등급에 반영되고 해외자격증의 경우 등급평가에 반영되지 않는 점을 고려하여 글로벌모델에서는 자격 항 목을 우리나라의 국가기술자격증으로 한정하고 해외자격 증은 글로벌역량에 포함하였다. 글로벌역량에는 해외자 격, 외국어 능력, 해외근무경험 등으로 규정하여, 구체화 하여 정의하였다. 이처럼 글로벌모델에서는 기존의 연구 모델 등과는 달리 자격증과 글로벌역량의 개념을 보다 명 확하게 함으로써 응답자들이 인식하는 항목별 중요도를 보다 정확하게 산출할 수 있을 것으로 기대된다.

    3. 분석 결과

    3.1. 조사자료 및 표본

    본 연구에서는 엔지니어 역량에 관한 선행연구를 통 해 이론적 내용을 고찰하고 기술사 자격을 가진 사장급 인력 5인과 교수 3인으로 구성된 전문가 그룹의 토의를 거쳐서 평가요소를 도출하고 설문조사 도구를 개발하였 다. Devellis[6]의 연구절차에 의거하여 설문 문항이 연구 의 개념들을 잘 반영하고 있는지를 확인하기 위하여 설 문 문항들에 대한 관련 전문가 패널의 검토, 예비조사 및 문항 분석의 절차를 거쳐 최종 설문 문항을 확정하고 최 종 평가항목과 계층화 구조를 도출하였다.

    설문조사는 국가기술자격제도를 사용하는 엔지니어를 대상으로 현장 서면조사, 우편조사 및 온라인 조사를 통 해 두 차례에 걸쳐 시행되었다. 엔지니어 역량요소의 선 정과 절대적 평가를 위해 응답자로부터 629부를 회수하 였으며, 이 중 5년 미만의 경력자 146부를 제외하고 483 부를 활용하였다. AHP 기법을 통한 엔지니어 역량평가 요소의 가중치 선정을 위해서 5년 미만의 경력자이고 국가 기술자격증이 없는 응답자는 제외하였다. 국내모델 조사 에서는 516명, 글로벌모델 조사에서는 421명 등 총 937 명의 설문지를 최초 분석대상으로 하였으며, 이중 일관 성비율(CR)이 0.1을 초과하는 383부를 제외한 554명(국 내모델 321명, 글로벌모델 233명)의 유효응답자의 설문 지를 최종 분석에 활용하였다(<Table 1> 참조). 엔지니어 역량평가모델로 적합성을 검증하기 위한 시뮬레이션에 서는 59,721명의 엔지니어 자료가 활용되었다.

    표본의 정보를 보면<Table 1>, 조직유형별로는 공기업 (Public Firm), 정부와의 계약을 통해 매출이 주로 발생하는 정부의존형 기업(Government Contractor), 민간과의 계약을 통해 매출이 주로 발생하는 민간의존형 기업(Private Contractor), 기타기업으로 분류되었으며[17], 정부의존형 기업 엔지니어의 참여도가 높았다. 국가기술자격별로는 기술사 (PE), 기사(TE), 산업기사(IE), 기능사(TEC) 등 국가기술 자격자의 비중이 70% 이상으로 학경력자(NCE)에 비해 설문 참여비중이 높았다.

    본 연구에서는 결과의 객관성 확보를 위하여 2015년 9 월말 기준 엔지니어링산업진흥법에 의해 등록된 국가기술 자격 종류의 분포를 고려한 중요도(Adjustment Mean)를 산출하고 이를 바탕으로 분석하였다. 조사 시점인 2015년 9월말 기준 엔지니어의 국가기술자격별 구성비는 기술사 6.6%, 기사 37.1%, 산업기사 9.4%, 숙련기술자 2.0%, 기술 자격을 보유하지 않은 학·경력자 44.8%이다.

    3.2. 역량요소 선정 및 절대적 중요도 평가

    <Table 2>는 엔지니어 역량요소 선정에 대한 인식조사 결과이다.

    우리나라 엔지니어 역량모델에는 자격증, 학력, 경력 의 3개 평가 요소로 엔지니어의 전문역량을 평가하고 있 다. 그러나 설문조사 결과 엔지니어들은 기존의 3개의 평가요소 외에 교육훈련 및 글로벌역량이 반영되어야 할 필요성이 있다고 판단하는 것으로 나타났다. 또한, 대학 원 학력도 차등하여 반영하여야 한다는 의견이 다수였 다. 이는 엔지니어 역량평가요소에 교육훈련과 글로벌역 량이 포함되어야 함을 시사해주어 본 계층연구모델의 적 절성을 나타내 준다.

    <Table 3>은 역량평가 항목의 중요성에 대한 절대적 평 가이다. 항목별 절대평가 점수는 경력의 평균점수가 5점 만점에서 4.45점으로 여타 항목보다 높게 나타났다. 기술 사 집단을 제외한 모든 집단에서 경력을 가장 중요한 요 소로 평가하였으며, 학경력자는 자격보다 학력을 중요한 요소로 인지하는 것으로 나타났다. 경력 다음으로는 자 격증(3.76점), 학력(3.67점), 교육(3.43점), 글로벌역량(3.34 점) 순으로 나타났으며 모두 보통(3점) 이상으로 엔지니어 역량평가에서 중요하게 반영될 항목으로 나타났다.

    3.3. AHP 분석 결과

    3.3.1. AHP 일관성 측정 결과

    설문 응답자의 일관성 여부를 판단하는 기준으로 일관 성비율(CR : Consistency Ratio)을 활용하였다. CR은 일관 성지수(CI : Consistency Index)를 경험적으로 얻어진 평 균무작위지수(RI : Random Index)로 나눈 값이다. 응답자 가 완전한 일관성 유지 시 CI 또는 CR은 0의 값을 갖고, 일반적으로 0.1 이상의 값을 가지면 일관성이 부족하여 부적절한 것으로 판단한다. 본 연구에서는 연구결과의 정 확도를 위하여 개별 설문지별로 일관성 검사를 시행하여 CR이 0.1 이하인 경우의 표본만을 대상으로 가중치를 계 산하였다. 분석 결과 국내모델의 목적으로 회수된 516부 의 설문지 중 321부가, 글로벌모델 분석용의 경우 421부 중 233부가 CR이 0.1 미만으로 나타났다.

    3.3.2. 가중치 도출 결과

    가중치 도출을 위하여 평가요소를 구성하고 있는 평 가요소 간에 1대 1로 쌍대비교를 시행하였다[23]. 평가응 답자의 수치를 통합하는 방법은 각 평가자에 대한 고유 벡터를 구하여 각각의 가중치를 구한 다음 각 평가자의 가중치 값을 산술평균하였다. 항목별 가중치 분석은 우 선 주요인에 대한 상대적 중요도를 산출하고, 주요인별 하위요인에 대한 상대적 중요도를 산출하는 과정을 통해 진행했다.

    <Table 4>는 4개의 평가항목으로 구성된 국내모델에 서의 AHP 분석 결과이다. 평가요소의 상대적 중요도(기술 자격증 분포를 고려한 조정 후 가중치)는 경력이 약 38.3%, 자격이 25.3%, 학력이 19.5%, 교육훈련이 16.9%순으로 나타났다. 엔지니어의 국가기술자격자별 구성비를 적용 하여 평가항목별 가중치를 구한 결과를 보면 경력과 학 력의 중요도는 높아졌지만, 자격의 중요도는 낮아졌다. 이는 자격의 중요도를 크게 인식하는 기술사 등 국가기 술자격자의 참여비율이 학경력자에 비해 상대적으로 높 은 데 기인한다. 기술사의 경우 등록된 기술인력에서 차지 하는 비중이 6.6%인데 비해 응답에 참여한 기술사의 비 중이 15.6%(국내모델) 및 28.8%(글로벌모델)에 달한다.

    글로벌모델의 국가기술자격자별 구성비를 적용한 기 준의 가중치는 경력이 30.8%, 글로벌역량이 23.7%, 교육 훈련이 17.5%, 자격이 14.7%, 그리고 학력이 13.4% 순으 로 나타났다(<Figure 3> 참조).

    국내모델과 비교하여 정부 기술등급에 반영되는 국내 기술자격만으로 가중치를 산정할 경우 엔지니어들이 평 가하는 자격의 중요성이 크게 낮아졌으며, 글로벌역량과 교육훈련의 중요성이 드러났다. 이는 해외에서는 자격, 학력 등의 이론적인 평가요소보다는 경험 등 현장의 사 업수행역량이 중요시되고 있음을 보여주고 있는 것으로 대외 경쟁력을 높이기 위해서는 경력, 글로벌역량과 교 육훈련을 중요하게 반영하여 국제 기준과 부합되도록 정 부의 기술등급모델을 개편할 필요성을 제시해 주고 있다.

    글로벌모델에서 국내 사업주가 발주한 프로젝트와 해 외사업주가 발주한 프로젝트 간 수행경험의 중요성은 국 내사업의 중요도가 47.4%, 해외사업의 중요도가 52.6%로 나타났다. 글로벌역량을 구성하는 하위지표에 대한 가중 치는 해외근무, 어학능력, 해외자격의 순으로 나타나, 해 외자격증을 높게 평가하지 않았다(<Figure 3> 참조).

    3.3.3. 자격 특성에 의한 분석

    자격특성에 따른 평가요소의 중요도 평가결과를 살펴 보면(<Table 5> 참조), 국내모델에서는 기술사 집단을 제 외한 나머지 집단에서 경력을 가장 중요한 평가요소로 인식하고 있었으며, 자격증, 학력, 교육훈련의 순으로 중 요도로 평가하였다.

    글로벌모델에서는 국내모델에서와 같이 기술사 집단 을 제외하고는 모든 집단에서는 경력이 가장 중요한 것 으로 나타났으며, 글로벌역량이 모든 집단에서 두 번째 중요한 요소로 평가되었다. 특히 기술사 집단은 다른 집 단이 ‘경력 > 글로벌역량 > 교육훈련 > 국내기술자격 > 학력’의 순으로 평가한 것과는 달리 ‘국내기술자격 > 글 로벌역량 > 경력 > 학력 > 교육훈련’으로 평가하여 큰 차이를 보였다. 일원분산분석(One-way ANOVA)을 사용 하여 검증한 결과 국내모델에서는 국가기술자격증의 종 류에 따라 모든 평가요소 중요도의 인식에서 유의한 차 이가 있었다. 글로벌모델에서는 기술자격증에 따라 국내 기술자격, 경력, 교육훈련의 항목에서는 차이가 있었으 나 학력과 글로벌역량에 차이가 나타나지 않았다.

    <Table 6>은 국내모델의 엔지니어 평가요소 항목에서 어느 자격증 집단에서 차이가 있는지를 알아보기 위하여 LSD 방법으로 사후비교분석을 시행한 결과이다. 기술사 집단은 자격과 경력의 항목의 중요도 인식에서 다른 모든 집단과 차이를 보였다. 학경력자 집단은 자격, 학력, 경력 의 항목에서 기술사 집단과 자격, 경력의 항목에서 기사 집단과 차이를 보였다. 분석결과는 기술자격자와 학경력 자 뿐만 아니라 기술사와 기술사 이외의 집단 간에 현행 기술등급의 산정방식에 대한 인식의 차가 큼을 의미한다.

    3.3.4. 조직 및 직무 특성에 의한 분석

    <Table 7>은 조직 및 직무 특성에 따른 AHP 가중치 분석결과이며, 모든 집단에서 경력 > 자격의 순으로 나 타났다.

    집단 간 평균 차이를 검정한 결과 기업규모와 직무유 형에 따른 엔지니어 평가요소에 대한 중요도의 인식에 차이가 없었다. 발주기관인 공기업과 민간기업 간에는 교육훈련 항목에서 차이를 보였으나, 현행 평가요소인 자격, 학력, 경력에서의 차이는 나타나지 않았다.

    조직유형별로는 국내모델에서는 자격 및 교육훈련에 서, 글로벌모델에서는 국내자격, 경력, 교육훈련 항목에 서 차이를 보였다. 즉 기업규모 및 직무유형은 평가요소 의 중요도에 영향을 미치지 않으나 조직유형은 평가항목 에서 영향을 주고 있는 것으로 나타나, 조직유형에 따라 평가모형의 차별화가 필요함을 보여준다.

    3.4. 기술 역량평가모델의 개발

    3.4.1. 기술 역량모델의 개발 원칙

    본 연구에서는 현행 정부의 기술등급산정방식과 8인 의 전문가 그룹의 토의결과를 기초로 역량평가 모델의 개발에 대한 원칙을 수립하였다.

    • 본 연구의 모델링에서는 국내모델에서 얻은 자격, 학 력, 경력 3개 요소에 대한 가중치만 활용하였다. 현행 정부의 엔지니어 역량평가모델에서 교육훈련과 글로 벌역량이 거의 반영되지 않고 있어 대다수 엔지니어 는 교육훈련과 글로벌역량과 관련한 정보를 정부의 경력관리 정보에 입력하지 않는다. 따라서 중장기적 으로는 5개의 평가요소를 반영하여야 하나, 현재의 엔지니어 정보 인프라 및 실무 활용성을 고려하여 자 격, 학력, 경력의 3개 평가요소로 구성된 모델을 제시 하고 시뮬레이션 결과를 비교․분석하고자 한다.

    • 각 법령별 기술등급의 호환성과 기술사 자격만으로 최고 기술등급으로 평가하는 불합리성을 없애기 위 하여 특급-고급-중급-초급의 4단계의 기술등급 체계 로 바꾸고, 기술계와 숙련기술계를 하나의 기술계로 통합하였다. 엔지니어 기술등급별 기준 점수는 정부 의 건설기술자 역량지수 등을 참고하였다.

    • 자격, 학력, 경력의 평가요소는 선행연구와 설문조사 등을 통하여 점수로 정량화를 시도하였다. 자격과 학 력의 경우 해당 자격증과 학위를 취득하기 위한 소요 기간을 고려하고 각 항목의 최고 단계인 기술사와 박 사에 각 개선안의 만점을 배점한 후 소요기간의 비율 을 선형적으로 계산하여 각 자격과 학력에 대한 배점 을 적용하였다. 경력점수의 경우 현행 건설기술자역량 지수와 같이 학습곡선을 고려하여 log 함수로 경력이 증가할수록 상승폭을 완화하는 방법을 적용하였다(경 력점수 = log N/log 20×경력 만점, N = 경력 연수)

    • 각 평가항목의 기본점수는 최저 엔지니어 기준에 도 달한 자에게 40%를 부여하였다. 국가 기술자격증이 없는 학경력자는 자격만점의 40%를, 고졸 엔지니어 에게는 학력만점의 40%를 배점하였다. 경력은 선진 국 기술사의 최소의 경력이 3~4년임을 고려하여 3~4 년차의 엔지니어에게 기본점수인 40% 수준이 부여되 도록 설계하였다.

    • 자격은 국내의 국가기술자격에 한정하였으며, 자격시 험의 난이도를 고려하여 소요기간을 산정하였다. 기 능사는 응시요건에 학력 및 경력에 대한 제한이 없어 소요기간을 산정하지 않았다. 산업기사는 응시요건인 전문학사와 소요기간을 고려하여 6년(고교 3년+전문 학사 2년+시험 준비 1년), 기사는 응시요건인 학사의 소요기간에 시험 준비기간 2년(고교 3년+학사 4년+ 시험 준비 2년)을 적용하여 9년, 기술사는 응시요건 이 기사자격과 경력 4년이므로 기사의 소요기간 9년과 경력 4년, 시험 준비기간 2년을 합산하여 15년으로 산 정하였다.

    • 학력은 고등학교 입학을 기준으로 학위 취득까지 소 요되는 일반적인 기간을 산정하였다. 석사와 박사 학 위의 경우 석/박사학위의 경력기간 환산에 대한 응답 결과를 활용하여 석사학위는 2년, 박사학위는 4년의 소요기간을 적용하였다.

    • 경력점수의 만점은 문헌연구 및 국내외 사례 등을 고 려하여 최대 20년을 가정하였다. 세계은행이나 아시 아개발은행 등 해외 프로젝트 발주기관의 PM 또는 주요 책임 엔지니어의 자격 요건을 경력 10~15년으로 정하고 있다. 국내의 정부 발주기관의 사업수행능력 평가기준의 사업 책임 기술자에 대한 사업수행능력 평가 시, 경력 만점 기준은 12~17년으로 정하고 있다.

    3.4.2. 엔지니어 등급평가 모델링

    <Table 8>의 역량모델 1은 현행 법(엔지니어링산업진 흥법)에서의 기술등급 평가방식이며, 역량모델 2와 역량 모델 3은 AHP 분석 결과를 바탕으로 제시한 정량적 평 가모델이다.

    (1) 역량모델 1(현행 정부 모델)

    역량모델 1(<Table 9>)은 현행 정부에서 평가하는 기 술등급산정방식이며, 본 연구에서는 엔지니어링산업진흥 법을 기준으로 하였다.

    (2) 역량모델 2(AHP 기본 모델)

    역량지수 = 경력점수 ( log N / log 20 × 47 ) + 자격점수 ( 12 30 자격점수 ) + 경력연수 ( 9 23 ) * N = 경력연수

    역량모델 2(<Table 10>)는 AHP 국내모델의 결과에서 교육훈련 가중치를 제외한 3개의 평가요소로 구성된 가 중치 모형이다. 국내모델 AHP 결과 평가요소의 가중치 는 자격이 25%, 학력이 19%, 경력이 38%, 교육훈련이 17%이다. 여기서 교육훈련의 가중치 17%를 자격, 학력, 경력의 가중치에 비례적으로 배분하여, 100점 만점 기준 으로 환산하였다. 즉 자격점수 30점, 학력점수 23점, 경 력점수 47점을 배점하여 3개의 평가요소의 합산을 통하 여 등급을 산정하는 방법이다. 경력, 자격, 학력의 평가 요소는 선행연구와 설문조사 등을 통하여 점수로 정량화 를 시도하였다. 기본점수는 평가요소별 만점의 40% 수 준을 배점하였다.

    (3) 역량모델 3(AHP 이원화 모델)

    역량지수 = 경력점수 ( log N / log 20 × 47 ) + [ 자격점수 ( 53 ) , 학력 점수 ( 41 ) ] 중 최대값 * N = 경력연수

    역량모델 3은 국내모델 AHP 분석결과를 바탕으로 교 육훈련 가중치를 자격 가중치 또는 학력 가중치에 합산 하여 자격점수(만점 53점)와 학력점수(만점 41점) 중 높 은 점수를 선택하고 이를 경력점수(만점 47점)와 합하여 기술등급을 산정한다. 이는 기술사 등 국가기술자격시험 의 낮은 합격률에서 나타난 바와 같이 엔지니어가 박사 등 고학력 취득과 국가기술자격 취득을 동시에 취득하기 어려운 현실을 반영한 모델이다. 기본점수의 배정방식은 역량모델 2와 동일하다. <Table 11>

    3.5. 역량모델 시뮬레이션 결과

    <Table 12>는 제시된 세 가지 모델로 기술등급 분포의 변화를 시뮬레이션 한 결과다. 엔지니어링산업진흥법에 의해 등록된 엔지니어 중 자격, 학력, 경력의 정보를 등록 한 59,721명의 정보를 활용하였다. 현행 정부의 기술등급 산정방식이 지속될 경우 향후 전체 엔지니어의 69%가 초 급 또는 무등급의 엔지니어로 분류되고, 중급, 고급 및 특 급의 비중은 크게 낮아져 산업에서 수요가 많은 중급 이 상의 엔지니어 육성보다는 초급 이하의 엔지니어를 대량 양산하는 제도로 입증되었다.

    이와 같은 결과는 기술등급제도가 기존 국가자격 취 득자 및 높은 기술등급 보유자의 안정적인 권리 보장이 라는 이해 논리에 맞추어 수차례 변경된데 따른 결과이 다. 기술등급제도의 모법인 엔지니어링산업진흥법의 기 술등급제도 변천 과정을 보면, 학경력자도 1997년 7월 이전에는 학력과 경력만으로 최상위 기술등급까지 승급 이 가능하였고 2012년 말까지는 특급기술자로의 승급이 가능하였으나, 2013년 현행 기술등급제도로 변경된 이후 에는 초급이하로의 승급만 가능하게 되었다. 특히 기술 사의 시험합격률은 선진국과 비교시 극히 낮은데다 최근 합격률이 더욱 낮아지고 있어 자격 취득자의 지대가 되 고 있다. 또한 기존의 기술등급을 소급 인정함으로써 기 득권자의 권리는 강화하였다. 그러나 새로 기술 산업에 진입하는 엔지니어의 경우 기술자격시험의 낮은 합격률 과 학경력자의 초급이하 승급제한에 따른 불이익이 커 유능한 엔지니어의 육성이라는 제도의 취지와 반하게 된 다. 반면 AHP 기법을 활용하여 엔지니어의 인식을 바탕 으로 제시한 모델 2와 모델 3은 초급기술자 이하의 비중 이 30%대로 낮아지고 중급 및 고급 기술자의 분포가 40%대로 높아져 산업의 요구에 부합하였다(<Table 12> 참조).

    4. 토의 및 결론

    4.1. 연구 요약 및 토의

    본 연구에서는 엔지니어의 기술역량을 평가하기 위한 평가요소와 평가요소별 상대적 가중치를 도출하고 엔지 니어 역량지수를 개발하였다.

    AHP 방법론을 활용한 엔지니어 역량평가요소의 가중 치 도출을 위하여 자격, 학력, 경력, 교육훈련으로 구성된 국내모델과 국내기술자격, 학력, 경력, 교육훈련, 글로벌 역량 5개의 요소로 구성된 글로벌모델로 구분하여 접근 하였다. AHP 분석 결과, 4개 평가요소로 구성된 국내모 델의 상대적 중요도는 경력(0.383), 자격증(0.253), 학력 (0.195), 교육훈련(0.169) 순으로 나타났으며, 글로벌모델 에서의 상대적 중요도는 경력(0.308), 글로벌역량(0.237), 교육훈련(0.175), 국내기술자격(0.147), 학력(0.134) 순으로 나타났다. 이와 같은 분석결과는 기술자격 중심으로 평가 하는 현행 정부의 기술등급의 산정방식이 시장의 인식과 는 괴리가 큼을 의미한다.

    기업규모, 직무특성이 엔지니어 평가요소의 중요도에 미치는 유의한 영향을 나타내지 않았다. 반면 국가기술 자격 종류, 국내외 사업유형, 조직유형(공기업, 정부의존 형 및 민간의존형)에 따라 엔지니어 역량평가 요소의 중 요성에 대한 엔지니어의 인식 차가 확인되었다. 사업유 형별 특성을 반영하여 엔지니어 역량평가 모형을 구축할 필요가 있다.

    59,721명의 엔지니어 정보를 활용한 시뮬레이션 결과 에서는 현행 제도가 산업에서 요구하는 고급 엔지니어의 육성이라는 취지에 맞지 않는 것으로 나타났다. 이와 같 은 결과는 우리나라 국가기술자격제도가 시장에서 평가 하는 전문성 평가와 괴리되어 있고 기술사 등 기득권자 의 지대추구(Rent Seeking)로 공정한 경쟁과 정확한 기술 역량 평가를 저해하기 때문이다.

    반면 AHP 분석결과를 바탕으로 새로 제시한 역량모 델에서는 산업에서 요구하는 중급 및 고급기술자의 분포 가 크게 높아졌지만 초급기술자의 비중은 낮아져 산업의 요구에 부합하였다. 이와 같은 AHP 기법을 통한 역량모 델링과 모델별 시뮬레이션 분석결과는 자격증 위주의 현 행제도에서 평가요소를 시장의 요구에 맞게 균형 있게 반영할 수 있도록 자격시스템이 아닌 종합 역량 평가시 스템의 구축이 필요함을 시사한다.

    본 연구 결과를 바탕으로 다음과 같이 새로운 역량평 가시스템 구축 방향성을 제시하고자 한다.

    첫째로, 역량과 관계없이 낮은 등급의 부여로 석․박 사 등 고급학력자 진입을 막고 초급기술자를 양산하는 현행 기술자격 위주에서 자격, 경력 및 학력을 균형 있게 반영하는 새로운 기술역량 평가모델의 개발이 필요하다. 국가기술자격 없이 학력과 경력만으로 평가하여 최상위 기술자가 될 수 있는 새로운 기술등급 승급경로를 추가 할 필요가 있다.

    둘째로, 향후 산업의 필요성에 맞추어 엔지니어 역량 평가 요소로 기존의 자격, 학력, 경력 외에 교육훈련 및 글로벌역량을 역량모델에 반영하여 기술등급을 산정하 도록 해야 한다.

    셋째, 본 연구에서 제시된 역량요소의 가중치는 기업 규모 및 직무특성에 관계없이 사용될 수 있다. 그러나 국 내사업과 해외사업간, 조직유형 간 역량요소의 가중치에 차이가 있었다. 엔지니어 역량 평가 시 사업유형의 특성 을 반영하여 사용할 필요가 있다.

    넷째, 엔지니어의 질적 확보를 위하여 기술사 합격률 을 주요 선진국에서와 같이 대폭 상향하여 기술사의 배 출을 확대해야 한다. 이와 더불어 등급화 된 국가기술자 격증을 선진국과 같이 기술사 중심으로 통폐합하여 기술사 가 다수인 엔지니어 구조로 전환하는 것이 바람직하다. 또한 융복합 시대의 변화에 따라 현행 84개의 종목으로 세분된 기술사 종목을 소수로 통합하여, 산업의 요구에 탄력적으로 대응하고 엔지니어의 경력다양화를 통해 직 업안정성을 높여야 한다.

    다섯째, 장기적으로 엔지니어 기술등급은 가이드라인 으로만 활용하고 기술등급 활용제도는 축소되어야 한다. 기술등급제도는 국가기술자격자를 지나치게 우대하여 경 쟁과 시장의 기능을 저해하고 사회적 갈등을 유발하는 등 경제적, 사회적 부작용이 많다. 기술등급을 의무적으로 활용하는 사례는 구미 선진국에서는 찾아보기 어렵다.

    4.2. 연구의 시사점 및

    본 연구는 시사성 있는 주제이며, 우리나라의 기술경 쟁력 및 기술 인적자원의 육성에 영향이 큰 국가기술자 격제도의 역량평가모델을 개발하고 구체적인 개선 방향 을 제시하였다는 점에서 정책시사점이 크다.

    본 연구에서 제시된 AHP 가중치 및 역량모델은 시장 의 인식을 반영하여 정량화한 것으로 정책 의사결정자가 유용하게 사용할 수 있고 기업 차원에서도 AHP 분석결 과와 제시된 모델을 쉽게 활용할 수 있다. 특히 기업에서 프로젝트에 대한 엔지니어 배정 시 다수의 엔지니어를 대상으로 하는 예비 심사단계에서 객관화된 점수로 평가 할 수 있어 시간과 비용을 줄일 수 있다.

    제시된 평가모델은 다수의 전문 엔지니어를 대상으로 다면 분석하여 결과의 객관성을 높였고 일반적인 역량모 델의 연구가 중요도의 산출에 그친 것과는 달리 이를 실 무에 활용될 수 있도록 사용가능한 구체적 역량지수를 제시하였다. 또한 59,721명의 엔지니어 자료를 활용한 시뮬레이션으로 적합성을 검증하여 정책 활용도가 높다.

    본 연구의 한계점은 교육훈련과 글로벌역량의 중요성 이 확인되었으나 제시된 모델에서는 기초자료 부족 및 현행제도와 비교를 위하여 두 항목을 제외하였고, 국내 모델의 요소별 가중치를 기초로 시뮬레이션을 하였다. 따라서 글로벌모델에 기초로 역량모델링을 통한 시뮬레 이션 결과는 제시된 시뮬레이션 결과와 차이가 있을 수 있어 활용 시 주의가 필요하다.

    본 연구와 관련한 추후 향후 연구 방향은 엔지니어 역 량평가요소로 중요성이 확인된 교육훈련과 글로벌역량을 역량평가모델에 반영할 수 있는 구체적인 방법과 엔지니 어 관련 정보구축에 관한 추가적인 연구가 필요하다.

    Acknowledge

    This research was supported (in part) by the project of Korea Engineering & Consulting Association [Project Name : Improvement for Engineer Competency Rating System in Korea, 2016].

    Figure

    JKISE-40-191_F1.gif
    Domestic Model(321 persons)
    JKISE-40-191_F2.gif
    Global Model(233 persons)
    JKISE-40-191_F3.gif
    Global Model’s AHP Results

    Table

    Sample Characteristics

    Note) SOC = Social Overhead Capital, PFirm = Public Firm,GCon = Government Contractor, PCon = Private ContractorPM = Project Management, CM = Construction Management,PE = Professional Engineer, TE = Technical Engineer,IE = Industrial Engineer, TEC = Technicians,NCE = No Certificate Engineer.

    Selection of Competency Elements

    Absolute Evaluation of Competency Factors

    Note) STD = Standard Deviation.

    Domestic Model’s AHP Weight

    AHP Result by Certificate Characteristics

    Note) PE = Professional Engineer, TE = Technical Engineer, OC = Other Technical Certificate, NCE = No Certificate Engineer.
    *p < .05
    **p < .01(two tail test).

    Multiple Comparison by Certificate Characteristics in Domestic Model

    *p < .01
    **p < .0(two tail test).

    AHP Results by Organization and Job Characteristics

    Note) PFirm = Public Firm, GCon = Government Contractor, PCon = Private Contractor
    *p < 0.05
    **p < .01(two tail test).

    Competency Model Comparison

    Model 1(Current Government Grade)

    Note) PE = Professional Engineer, TE = Technical Engineer, IE = Industrial Engineer.

    Model 2(Engineer Competency Index)

    Note) PE = Professional Engineer, TE = Technical Engineer, MC = Master Craftsman, IE = Industrial Engineer, TEC = Technicians, NCE = No Certificate Engineer.

    Model 3(Engineer Competency Index)

    Simulation Result by Model(%)

    Note) Total 59721 persons, CE(certificate engineer) 27,010 persons, NCE(no certificate engineer) 32,711 persons.

    Reference

    1. T. Alnuaimi , T. Opsahl , G. George (2012) Innovating in the periphery : The impact of local and foreign inventor mobility on the value of Indian patents., Research Policy, Vol.41 (9) ; pp.1534-1543
    2. ASCE (2008) Civil Engineering Body of Knowledge for the 21st Century, American Society of Civil Engineers., ASCE,
    3. F. Bidault , P. Laurent , C. Segla (1992) Competitive and cooperative strategies in engineering services., Long Range Plann., Vol.25 (3) ; pp.43-49
    4. R.E. Boyatzis (1982) The competent manager : A model for effective performance., John Wiley & Sons,
    5. P.L. Chen , D. Tan (2016) Foreign knowledge acquisition through inter-firm collaboration and recruitment : Implications for domestic growth of emerging market firms., Int. Bus. Rev., Vol.25 (1) ; pp.221-232
    6. R.F. DeVellis (2012) Scale development : Theory and applications., Sage publications, Vol.Vol. 26
    7. J.J. Duderstadt , G.F. Knoll , G.S. Springer (1982) Principles of engineering., John Wiley & Sons,
    8. T.N. Garavan , D. McGuire Competencies and workplace learning : some reflections on the rhetoric and the reality, Journal of workplace learning, Vol.13 (4) ; pp.144-164
    9. P. Green (1999) Building robust competencies : Linking human resource systems to organizational strategies., Jossey- Bass Inc Pub,
    10. D.E. Hattan , N. Lalani (1997) Selecting the right consultant team., Institute of transportation engineers, ITE Journal, Vol.67 (9) ; pp.40-46
    11. M. Huemann , A. Keegan , J.R. Turner (2007) Human resource management in the project-oriented company : A review., Int. J. Proj. Manag., Vol.25 (3) ; pp.315-323
    12. Human Resources Development Service of Korea (2016) National Technical Qualification Statistical Yearbook 2015., Human Resources Development Service of Korea,
    13. M.A. Huselid (1995) The impact of human resource management practices on turnover, productivity, and corporate financial performance., Acad. Manage. J., Vol.38 (3) ; pp.635-672
    14. D.R. Kasma (1987) Consultant selection., J. Manage. Eng., Vol.3 (4) ; pp.288-296
    15. Korea Construction Engineers AssociationConstruction Engineer Statistics, https://homenet.kocea.or.kr
    16. http://www.kenca.or.kr
    17. J.Y. Lee , S.J. Hwang (2017) Analysis of Public System ?(tm)s Quality and User Behavior Using PLS-MGA Methodology : An Institutional Perspective., Journal of Society of Korea Industrial and Systems Engineering, Vol.40 (2) ; pp.78-91
    18. J.Y. Lee , K.W. Park , S.J. Hwang (2017) Development and Application of Service Quality Model for Public System., Journal of Society of Korea Industrial and Systems Engineering, Vol.40 (1) ; pp.150-164
    19. Y.Y. Ling (2000) A theoretical framework for selection of consultants by design-build contractors., Journal of Construction Procurement, Vol.6 (2) ; pp.147-163
    20. A.D. Lucia , R. Lepsinger (1999) Art & science of competency models., Jossey-Bass,
    21. NCEES (2017) http://ncees.org
    22. S.T. Ng , L.K. Chow (2004) Evaluating engineering consultants’ general capabilities during the pre-selection process-a Hong Kong study., Eng. Construct. Architect. Manag., Vol.11 (3) ; pp.150-158
    23. M.S. Park , S.H. Han , J.C. Yoon (2016) The Priority Analysis on the Lifelong Education Enhancing Plan using AHP., Journal of the Korea Academia-Industrial Cooperation Society, Vol.17 (3) ; pp.499-508
    24. PMI (2013) A Guide to the Project Management Body of Knowledge, Project Management Institute(PMI),
    25. S. Sanghi (2007) The handbook of competency mapping: understanding, designing and implementing competency models in organizations, SAGE publications India,
    26. T.L Satty (1980) The analytic hierarchy process, McGraw-Hill,
    27. V. Shahhosseini , M.H. Sebt (2011) Competency-based selection and assignment of human resources to construction projects., Sci. Iran., Vol.18 (2) ; pp.163-180
    28. J. Song , P. Almeida , G. Wu (2003) Learning by Hiring : When is mobility more likely to facilitate interfirm knowledge transfer?, Manage. Sci., Vol.49 (4) ; pp.351-365
    29. L.M. Spencer , P.S. Spencer (2008) Competence at Work models for superior performance., John Wiley & Sons,