Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.35 No.4 pp.149-161
DOI : https://doi.org/10.11627/jkise.2012.35.4.149

Open Innovation R&D Efficiency Evaluation by Integrated AHP‐DEA

Tai-Young Kim**†, Hyun-Ku Min*, Seung-June Hwang**
**School of Business and Economics, Hanyang University ERICA
*School of Business and Economics Graduate School, Hanyang University
Corresponding Author tykim1126@gmail.com
5 November 2012 5 December 2012

Abstract

The current environment of technological and competitive changes influences not only the business R&D environment but also government driven national R&D strategies. Open innovation has now become an important paradigm that is replacing the outdated paradigm of closed innovation. Many companies and nations have been increasing R&D investment because R&D has been considered a driving force for national and corporate competitive advantage. The purpose of this paper is to evaluate and compare the performance of R&D focused on open innovation according to scientific and technological outputs which is based on paper publications, patents and etc. Comparisons should not be only based on the quantity but also on the quality of the output. This paper shows that it is possible to develop DEA models that utilize the Analytical Hierarchical Process in order to transform the qualitative index into a quantitative index. Hence, the relative efficiency for R&D organizations is obtained based on both quantity and quality outputs and subsequently provides comprehensive and realistic methods for decision makers to identify levels of project efficiency.

개방형 혁신에 의한 R&D 연구의 효율성 평가 분석 : 과학기술적 성과 관점에서 AHP-DEA방법론 적용

민현구*, 김태영**†, 황승준**
*한양대학교 일반대학원 전략경영학과, **한양대학교 경상대학 경영학부

초록


    1. 서 론

     

    R&D는 기술의 진보를 통해 기업에 수익원을 창출하고 미래에 새로운 비즈니스 가치를 높이는데 기여한다. 기업들은 R&D 활동 강화를 통해 기업을 둘러싼 환경변화와 변화하는 환경에 신속하게 적응하고 대응하고자 한다. 이러한 배경에는 소비자의 다양한 욕구, 시장의 글로벌화, 급속한 기술진보, 기술 및 성능에 대한 융복합화를 통한 새로운 경쟁자의 출현 등이 있으며 이러한 변화에 대응하지 못하는 기업은 도태할 수 밖에 없기 때문이다. CRT 모니터의 강자였던 소니와 핸드폰 시장의 강자였던 노키아의 몰락, 새로운 기술생태계 구축과 관리 역량을 바탕으로 한 애플의 성장 등의 사례를 통해 알 수 있다.

    R&D 혁신활동을 통한 급속한 기술의 진보는 수많은 혁신 제품을 만들어 내고 있다. 하지만 기업이 혁신제품의 출시에 필요한 모든 기술을 직접 개발하는 데는 한계가 있다. 최근의 제품들은 다양한 기능을 포함하고 있어 상품 하나를 개발하기 위해 반도체, 통신, 소프트웨어 등 다양한 기술과 부품을 필요로 하기 때문에 기업이 모든 기술과 부품을 개발하는 데는 한계가 있다[20].

    국가과학기술위원회 조사 결과 민간기업 R&D 투자액은 2003년 14조에서 2010년 32조로 꾸준히 증가하고 있다. 국내 기업은 현재 선진국의 견제와 개발도상국의 추격에 대응하기 위해 스스로 새로운 기술과 시장을 창출해야만 하는 당면과제를 안고 있으며, 이러한 현실을 극복하고자 R&D 투자를 확대해 나가고 있다.

    R&D 투자 증가와 더불어 R&D 발전 방향도 기술 추격형에서 기술주도형으로 패러다임이 바뀌어 가고 있다. 혁신기술로 세계시장을 선도해야 하는 기업의 측면에서는 기술추격형에서 기술주도형 R&D 전략으로 패러다임의 전환을 도모하고 있다. 이러한 기술추격형 산업에는 가전, PC, D램, 자동차, 이동전화 산업이 속한다. 또한 국내 철강, 반도체, 스마트폰 등의 산업에서 이러한 기술주도형 R&D가 진행되고 있다[17]. 기술주도형 R&D의 특징은 응용․개발기술에서 기초․원천기술 연구기반으로 전환하고 새로운 경로를 창출하는 것이다.

    새로운 기술과 시장 창조에는 막대한 연구개발비와 기술개발 및 시장의 불확실성이 존재한다. 이러한 이유로 기업은 적은 R&D 비용으로 시장에 빠르게 새로운 제품을 제공하기 위한 R&D 전략이 필요해졌다. R&D에 있어 기존에는 주로 제품개발을 어떻게 효율적으로 할 것인가에서 최근에는 어떻게 제품을 개발할 것인가라는 효율성 관점과 어떤 제품을 개발할 것인가의 효과성에 더욱 초점이 맞추어 지고 있다.

    R&D 효율성과 효과성 측면에서 개방형 혁신(Open Innovation)을 통해 내외부적으로 상시적인 개발협력 체계를 갖추는 기업들도 빠르게 증가하고 있다. 2003년 Chesbrough [6]는 기업들이 혁신을 가속하기 위하여 기업 내외부의 아이디어를 모두 활용하고, 가치를 창출하기 위해 기업 내외부의 시장경로를 모두 활용하는 활동을 개방형 혁신이라 정의하였다.

    Chesbrough[6]가 개방형 혁신이 기업 성과에 미치는 영향을 기업 사례 중심으로 규명한 이후 개방형 혁신에 대한 다양한 성과와 사례 및 실증연구가 제시되고 있다. 그런데 개방형 혁신에 관한 연구방법은 개별 사례연구와 설문조사 방법 외에 객관적인 분석 방법이 제시되지 않았다. 또한 기존의 연구방법론과 분석모델은 기존의 공개자료를 활용한 분석방법의 제시가 미흡하였다. 윤진효 외[41]는 특허를 통한 기업의 개방형 혁신 분석방법을 보다 체계적인 분석모델의 형태로 제시하였다.

    거래비용관점에서 개방형 R&D를 진행할 경우 <Table 1>같은 요소가 고려되어야 한다. <Table 1>에서 볼 수 있듯이, 개방형 R&D는 첫째, 자원 재배분 비용 증가를 고려하여야 한다. 개방형 R&D의 추진시 R&D 투자비율과 투입인력 등에 대한 비중을 고려하여야 한다. 둘째, 개방형 R&D를 추진할 때는 정보 및 관리, 통제 시스템을 고려하여야 한다. 연구를 함께 진행하는 관련 파트너의 R&D 활동이 기업의 보안 규정에 따라 통제되고 관리되어야 하며, 이를 위하여 연구 파트너의 R&D 활동 범위를 결정해야 한다. 셋째, 개방형 R&D 활동을 통한 혜택을 고려해야 한다. 특히, R&D 성과에 있어 기존의 R&D 성과 평가와는 달리 자원 재배분, 정보와 관리 및 통제 시스템 등에 대한 요소가 고려되어야 한다.

     

     

     

     

    Berchicci[3]는 외부 R&D 지출에 따른 기업 성과간의 관계 연구에서 역 U자 형태의 관계를 보이고 있음을 증명하였다. 이러한 결과는 거래비용관점에서 외부 R&D 지출과 기업성과간에 상쇄효과가 나타남을 의미한다.

    정부지원 R&D 프로그램의 경우, R&D 지원금은 전체 R&D 비용 중 정부지원금에 대한 지원비율이 일정하게 정해져 있어 R&D 지출과 성과간의 관계를 분석하는 데는 한계가 있다.

    R&D 효율성을 측정하고, 효율성에 영향을 미치는 요인을 파악하기 위해 많은 연구가 수행되어 왔다. R&D 프로젝트의 성과평가와 관련된 문헌을 고찰해 보면 자료포락분석(Data Envelopment Analysis, DEA)를 활용한 효율성 분석연구가 다수 진행되고 있다. DEA 분석방법을 활용한 이유는 R&D 활동과 성과에 있어 다수 투입요소들과 다수 산출요소들로 구성되어 있기 때문이다. 박성민 외[30, 31]와 박성민, 고경일 외[29]는 정부지원 R&D 프로젝트에 대한 DEA를 활용한 성과평가를 실시하였으며, 박석종 외[28]는 정부 R&D 프로그램에 대해 DEA를 활용한 성과평가를 실시하였으며, 또한 DEA를 타 방법과 결합하여 R&D 효율성을 분석한 연구논문도 다수 존재한다. Liu and Lu[25]은 정부지원 R&D 프로젝트 참여기관에 대한 성과 평가를 위해 DEA와 Network-based 접근법을 활용하였으며, Hus and Hsueh [12]는 정부지원 R&D 프로젝트의 상대적 효율성을 평가하기 위해, Wang and Huang[36]은 국가간 R&D 활동들에 따른 상대적 효율성 평가를 위해 DEA와 Tobit 모형을 이용한 3단계 접근법을 활용하였다. Jyoti et al. [14]와 Meng et al.[27]는 국가 R&D 조직에 대한 성과 비교와 평가를 위해 DEA-AHP를 활용하였다. 임호순 외[32]는 연구과제 및 사업의 평가선정을 위한 의사결정도구로 활용할 수 있도록 AHP-DEA 통합 모델을 제시하였다.

    기존에 연구된 R&D 성과 효율성 평가 분석 대상은 국내외 문헌 대다수가 정부 지원 R&D 프로젝트 또는 프로그램을 대상으로 연구되어 오고 있다. 또한 그 분석 방법에 있어 다양한 방법들을 분석에 활용하고 있다. 다양한 분석기법 중 AHP-DEA 모델을 활용한 연구에 있어 2008년 Jyoti et al.[14]의 R&D 성과 효율성 분석에 관한 연구가 있다. 하지만 국내의 경우 R&D 성과 효율성 평가에 관한 연구는 대한경영학회지의 1988년부터 2012년까지 R&D 성과 평가에 관한 연구 논문을 검토해 본 결과 박성민의 DEA 기법을 활용한 정부 R&D 프로젝트에 대한 성과평가에 관한 연구 2편만이 확인되었다[29, 30]. 최근에 있어 R&D 성과 평가를 위한 AHP-DEA 모델과 관련한 연구 결과는 적은 편이다. 즉, 대부분의 R&D 성과 효율성 평가 분석이 정량적 성과만으로 연구되었을 뿐 정성적 성과를 포함한 평가 분석이 이루어지지 않은 것으로 판단된다.

    이에 본 연구에 있어 첫째, 개방형 혁신 성과 분석 연구에 있어 객관적인 자료 기반의 성과분석 방법론으로 AHP-DEA 모델을 제시하고자 한다. 둘째, 거래비용관점에서 개방형 혁신활동을 통한 외부 R&D 투입비율에 따른 연구성과간의 관계를 분석하고자 한다. 셋째, 기존에 R&D 성과평가에 있어 성과항목들의 정량적 성과만을 평가해 왔다. 성과평가에 있어 정량적 성과뿐만 아니라 정성적 성과에 대한 반영이 이루어져야 한다. 본 논문에서는 정량적 성과와 정성적 성과를 고려한 상대적 효율성을 분석하고자 한다.

    본 논문은 다음과 같이 구성되었다. 먼저 제 2장에서 R&D 업무 프로세스와 성과평가에 대해 제 3장에서는 배경이론과 연구모형을 제시하며, 제 4장에서는 실증분석과 마지막 제 5장 결론으로 구성되었다.

     

    2. R&D 성과평가 프레임워크와 성과범위

     

    기업 및 정부 R&D 예산이 증가함에 따라 자원의 효율적 사용이라는 문제가 제기 되었으며, R&D 비용과 위험이 증가함에 따라 그 결과물로써 R&D 성과와 기여도를 측정하는 것은 매우 중요시 되었다. 이에 따라 투자 효율성 제고를 위한 효과적인 성과평가 체계 구축을 위한 노력을 시도해 오고 있다. 김홍빈 외[16]는 로직모형의 차용 및 변형을 통해 R&D 프로그램 평가를 위한 성과지표 로드맵과 프레임워크를 제시하였으며, 조용곤 외[8]는 일반적인 프로그램 평가의 로직모형을 벤치마킹 하여 전주기적 활동 프로세스의 개념을 보완 수정하여 행동-프로세스 모형의 개념적 틀을 제시하였다. Bitman and Sarif[4]은 R&D 프로젝트의 성과평가를 위한 개념적 도식적 체계 및 5가지(합리성, 매력도, 책임감, 혁신성, 경쟁력)모형을 제시하였다. 배종태 외[1]는 각 기업별 특성을 고려하고 경영전략과의 연계를 명확히 할 수 있는 R&D 성과평가 분석틀(Framework)을 도출하고 측정 가능한 성과지표군을 제시하였다.

    2005년 국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률에 따르면 연구성과는 연구개발을 통해 창출되는 특허․논문 등 과학기술적 성과와 그 밖에 유․무형의 경제․사회․문화적 성과를 의미하며 <Figure 1>과 같이 연구성과의 개념과 분류를 구성하고 있다(최태진[10]). 최태진[10]은 R&D 프로젝트의 연구성과를 일반적으로 단기적, 직접적으로 발생하는 1차적 성과와 장기적, 간접적으로 발생하는 2차적 성과로 구분하였다. 그러나 연구성과의 측정을 위한 R&D 연구자들마다 분류와 정의가 상이하고 연구성과(Outcome)와 파급효과(Impact)의 경계가 실질적으로 명확하지 않다[23].

    R&D 프로그램의 평가 측정의 어려움으로 인해 프로그램이 미치는 영향이나 효과에 대한 측정보다 Output성과를 얼마나 달성하였는가에 초점을 맞추는 경향이 있었다. 하지만 김홍빈 외[16]는 R&D 프로그램 특성상 R&D 활동을 통하여 발생하는 사회-경제적 기여도 및 효과를 측정하여야 한다고 주장하였다. 조용곤 외[8]는 연구성과범위를 input-output-outcome으로 규정하고 연구하였으며, 최근의 연구성과 범위를 Input-Output-Outcome-Impact로 규정하고 실시되고 있다[12, 30, 31, 35]. Liu and Lu[25]은 Input-Technology 개발-Technology 확산으로 연구성과 범위를 규정하였으며, 박선종 외[28]와 Wang and Huang [36]도 정부 순수 R&D 성과측면에서 Input-Output(특허․논문)에 대한 연구 성과 범위에서 성과를 분석하였다.

    최근의 기업과 정부의 R&D 중심은 기술주도형으로 전환하고자 응용연구 보다는 기초연구에 중점을 두고 있다. 이에 본 연구에서는 개방형 혁신 활동과 이에 따른 R&D 연구성과의 범위에 있어 기술적 성과인 특허․논문에 대한 과학기술적 성과 관점에서 성과분석을 실시하려 한다.

     

     

     

     

    3. 배경이론과 연구모형


    3.1 DEA

     

    DEA는 선형계획법(Linear Programming)에 기초한 효율성 평가 방법이다. DEA는 다수의 투입요소로 다수의 산출물을 생산하는 DMU(Decision Making Unit)들의 효율성을 평가할 때, 각 DMU의 효율성이 최대가 될 수 있게 투입요소와 산출요소에 대한 가중치를 선형계획모형으로 풀어서 구하고, 각 DMU의 상대적 효율성 값을 도출하는 방법이다[16].

    R&D 프로젝트 효율성 분석과 같이 다수산출/다수투입 자료구조를 갖는 경우 DEA 성과평가 모형이 활용 가능하다[31]. Charnes et al.[5]는 효율성의 개념과 선형계획법을 결합한 하나의 모형을 수립하였으며 오늘날 CCR모형으로 불리는 선형계획법 기반의 DEA 모형을 제시하였다. CCR 모형에 이어 Banker et al.[2]는 불변규모수익 조건을 완화하여 가변규모수익 모형을 제시하였으며 오늘날 BCC 모형이라 부른다. BCC 모형은 CCR 모형과는 달리 규모수익(Return to Scale)이 변화할 수 있도록 기존의 제약조건을 수정하여 효율적인 집단이 늘어나는 특성이 있다.

    CCR 모형은 비선형계획법 형태의 CCR 비율모형(CCR ratio model), CCR 비율모형을 선형계획법모형으로 변환한 CCR 승수모형(CCR multiplier model), CCR 승수모형의 쌍대모형(Dual model)인 CCR 포락모형(CCR envelopment model) 등이 있다.

    DEA모형은 DMU(Decision Making Unit)라는 효율성 평가 단위를 정의하여 활용한다. DMU는 투입요소를 결합하여 산출물들을 만들어 내는 과정에서, 독자적인 의사결정능력을 갖는 식별 가능한 조직단위이다. R&D 프로젝트 효율성 평가를 위해 DMU들은 각각의 R&D 프로젝트로 정의 할 수 있다.

    DEA 모형은 DMU별 투입 산출자료가 주어진 상태에서 DMU별로 효율성을 평가하기 위한 가중치를 계산하는 최적화 모형이다.

    CCR포락모형(CCR envelopment model)은 식 (1)에서 식 (6)까지 전개된 수리모형의 형태로 나타낼 수 있다. m은 DMU의 투입개수, s는 DMU의 산출개수, n은 DMU의 수이다. 은 DMU j의 투입요소 i의 양, 은 DMU j의 산출요소 r의 양을 나타낸다.

     

     

    전개된 수리모형에 대하여 여유변수(Slack Variables)를 제거하여 정리하면, 식 (7)에서 식 (10)까지의 형태로 전개된 R&D 프로젝트의 DEA 분석을 위한 완성된 수리모형의 형태로 나타낼 수 있다.

     

     

    3.2 AHP

     

    Saaty[33]에 의해 제안된 AHP 기법은 다요소 의사결정 문제의 구성요소들을 구조화하는 방법으로, 많은 분야에서 가장 널리 사용되고 있는 다기준 의사결정기법(Mulit-criteria Decision Making) 중에 하나이다.

    AHP 기법은 생산시스템 도입 타당성 분석, 각종 에너지 정책 수립, 수송 정책 수립 등 다양한 분야에 응용되고 있다. 이러한 AHP 기법의 특징으로는 첫째, 분석과정이 간단하다. 요소나 대안의 중요도 평가과정에서 쌍대비교를 함으로써 의사결정자의 선호 정보를 얻기가 용이하기 때문이다. 둘째, 분석과정의 특성상 정량적 요소와 정성적 요소를 동시에 고려하기가 용이하다는 점이다[19]. 셋째, 논리적 일관성을 검증 할 수 있으며, 상황의 변화에 따른 민감도를 분석 할 수 있게 해준다. 넷째, 상황과 조건에 따라 유동적으로 수정할 수 있는 모형이며 그룹 의사결정을 지원한다[7].

    AHP 기법의 활용에 있어 연구자들은 퍼지이론(Fuzzy Theory), Artificial Neural Network(ANN), 비용편익 분석, Quality Function Deployment, SWOT 분석, 시뮬레이션 접근법 등 여러 가지 방법들과 통합하는데 관심을 두고 있다[11].

     

    3.3 통합형 AHP-DEA

     

    R&D 조직 내 프로젝트들은 다양한 분야에 다양한 목적을 가지고 연구된다. R&D 조직 내 프로젝트들에 대한 비교와 평가는 공정하게 진행되어야 하며, 그 결과들은 조직의 성과에 올바르게 반영되어야 한다. 올바른 평가와 비교를 위해 투입변수와 산출변수에 양적 특성뿐만 아니라 질적 특성이 반영되어야 한다[14].

    R&D 성과평가 항목들은 논문, 특허, 새로운 상품/기술/ 프로세스 개발, 기술수준 격차, 상업화 수준, 인적자원 개발, 고용창출효과 등이 있으며 이들에 대한 측정과 비교를 통해 평가한다. R&D 성과평가에 있어 대부분은 각 평가항목에 대한 전체 양적인 결과만을 취합하여 평가한다. Wang and Huang[36], 박석종 외[28]는 R&D 효율성 분석시 논문과 특허에 있어 양적인 측면만 고려되었을 뿐 논문 Impact Factor 등 성과의 질적인 측면을 고려하지 못하였다. 논문과 특허 등에 대한 질적 특성을 반영하기 위해 성과항목들에 대해 구체적인 분석이 필요하다. 예를 들어, 논문의 발간에 있어 국내저널, 해외저널과 컨퍼런스 발표, 저널의 피인용수 등 논문에 대한 질적 특성과 우수성이 서로 상이한 특성을 가지는 요인에 대하여, R&D의 효율성을 분석함에 있어 질적인 차이가 성과 평가에 적절하게 반영되기 위해서는 각 요인들의 중요도가 서로 구분되도록 하기 위하여 상이한 가중치가 적용되어야 한다.

    특허 획득의 요인에 대해서도 특허출원과 특허 등록이 구분되도록 하고, 두 요인이 갖는 가치가 다르다는 것을 반영하기 위하여 서로 상이한 가중치가 적용되어야 한다. 이러한 성과평가 항목들에 있어 프로젝트 목적과 성격에 따라 각기 다른 중요성이 반영될 수 있도록 하기 위해 AHP 기법을 활용한다.

    통합형 AHP-DEA 분석 방법은 질적 특성을 반영한 성과측정을 할 수 있는 방법으로, AHP 기법을 이용한 분석 대상의 질적인 요소를 반영하는 접근법과 DEA를 이용한 분석 대상의 양적인 접근법이 통합된 방법이다[24]. AHP를 통해 다수의 성과항목에 대한 가중치를 구하는데 활용되며, DEA의 응용 이전에 성과항목들에 대한 가중치를 각 성과항목에 반영함으로써 각 성과항목들에 대해 질적 특성을 반영한다[14].

    통합형 AHP-DEA 분석방법은 주로 설비시설에 대한 레이아웃 설계와 공급망 성과 평가에 활용되고 개발되어 왔다. Yang and Kuo[38]은 설비시설 레이아웃설계 문제 해결을 위해 AHP-DEA를 제시하였으며, Wang 외[35]는 교각의 위험을 측정하기 위해, Lin et al.[24]는 지방정부의 경제성과 측정을 위해 통합형 AHP-DEA를 적용하였다. 국내연구에서는 인터넷 쇼핑몰의 가치평가 척도의 활용을 위한 경쟁력 평가 방법론 개발 및 경쟁력 평가를 위해 AHP-DEA 방법을 활용하였다[18]. R&D 성과 연구 측면에서는 Jyoti et al.[14]와 Meng et al.[27]의 R&D 성과 비교 평가를 하기 위해 AHP-DEA를 활용하였다.

    국내 R&D 연구에 있어서는 R&D 프로젝트선정에 AHP- DEA 통합 분석을 통한 연구가 진행되어 왔다. 장현덕 외[13]는 기업 또는 국가에 제한된 R&D 자원하에서 최적의 유망기술을 선정 할 수 있는 AHP-DEA 통합 분석모형을 제시하였다. 임호순 외[32]는 R&D 개발사업에 대한 평가 및 선정을 위한 의사결정 방법으로 AHP-DEA를 제시하였으며, 이덕주[21]은 연구개발 프로젝트 선정에 응용될 수 있는 완전순위를 산출할 수 있는 모형을 제시함에 있어 AHP-DEA를 활용하였으며, 양원모[39]은 다양한 R&D 프로젝트 선정에 있어 AHP-DEA 모형을 제시하였다.

    통합형 AHP-DEA 연구들은 일반적으로 세 단계의 통합 방법을 가진다[13, 27]. 첫 번째 단계에서, AHP 분석을 도입하여 DEA 모형의 투입변수와 산출변수를 선정한다[9, 34, 38]. 두 번째 단계에서, DEA를 통해 비교행렬(Pair- wise Comparison Matrix)를 도출하고 이를 AHP 모형에 적용하여 DEA 모형이 다수의 DMU들이 최고 효율성을 가질 수 있다는 문제점을 AHP를 통해 완전 순위를 정함으로써 극복하고, AHP 모형이 평가자의 주관이 개입되는 부분에 대해 DEA 모형을 사용하여 객관성을 확보한다[35, 39]. 세 번째 단계에서, AHP 분석을 통해 산출되는 값들을 DEA 분석에서 가중치를 제약하는 값으로 활용한다[13, 14, 32].

    본 연구에서는 AHP 분석을 통해 다수산출변수/다수입력변수에 대한 가중치 값들을 도출한다. AHP 분석을 통해 도출된 가중치 값들은 질적 특성이 반영될 수 있도록 변수들에 가중치를 적용 후 R&D 성과에 대한 효율성 측정을 위해 DEA 분석을 실시한다. 이와 같은 연구 흐름을 모형화 한 것이 <Figure 2>와 같다.

     

     

     

     

    4. 실증분석

     

    본 연구대상은 R&D 조직 내 48개의 프로젝트를 DMU (Decision Making Unit)로 정하고 이에 대한 연구경쟁력 평가를 위해 통합형 AHP-DEA 분석모형을 활용하여 분석하였다. DEA를 활용한 분석은 LP(Linear Programming) 모형으로 구현된 CCR 포락모형을 이용하여 각 DMU들에 대한 상대적 효율성 평가를 실시하였다.

     

    4.1 산출/투입 변수선택

     

    Wang et al.[37]는 R&D 활동을 위한 주요 투입변수를 인력과 물리적 자원으로 구분하였으며, 인력은 연구자와 기술자 및 연구지원 인력으로, 물리적 자원으로는 총 R&D 비용으로 구성하였다. 정부지원 R&D 사업의 경우 정부지원금, 민간부담금, 참여 연구 인력수, 연구기간을 투입자원으로[30, 31] 고려한다. 박석종 외[28]의 연구에 의하면 상대적 효율성 연구에 관한 주요 투입변수로는 투자비와 연구인력을 주로 선택하여 활용하였음을 알 수 있다.

    본 연구에서는 연구인력의 수, 연구개발기간을 투입변수로 선택하였으며, 투자비는 R&D 전체 투자비 대비 협력투자비 비중을 파악하여 Open Innovation R&D 비중으로 선택활용 하였다.

    산출변수는 논문과 특허 및 기술수준을 활용하였다. 논문과 특허에 있어 양적 특성뿐만 아니라 질적 특성을 반영하기 위해 다음과 같이 좀 더 세분화 하여 측정하였다.

    논문은 연구 아이디어 및 새로운 기술을 확산시키는 대표적인 R&D 성과이다. 논문에 있어 SCI급 저널 논문수, 컨퍼런스 논문 발표수, 외부기관과 공동논문 비중, 논문 피인용수로 구분하였다. 특허는 특허 출원수, 특허 등록수를 활용하였다.

    정부는 과학기술기본법 제14조 2항에 근거하여 국가적으로 중요기술에 대한 기술수준을 평가하고 해당기술수준 향상을 위한 시책을 마련하고자 기술수준 평가를 시행하고 있다. 기술수준 평가는 절대적 기술수준 및 국제비교를 통해 국내 수준을 진단하고 발전추이를 파악함으로써 과학기술정책을 추진하기 위해 중요한 기초자료가 된다. 이러한 기술수준평가 측정은 델파이기법을 활용하여 조사하며 기술성장모형의 해당 기술에 대한 기술성장모형을 도출하고 기술발전 속도 및 기술 격차 등을 분석한다[40].

     

    4.2 AHP 분석을 통한 가중치 산출

     

    AHP 분석은 최종 의사결정의 목표에 적합하도록 기준들의 체계를 계층구조로 작성하는 것으로부터 시작되며, AHP 분석을 <Figure 3>과 같은 모형을 고려하여 수행하였다.

     

     

     

     

     

    투입/산출 변수들의 우선순위 또는 가중치 계산은 16명의 R&D 전문가들에게 설문조사기법을 활용하여 조사한 후 AHP 기법을 활용하여 도출하였으며, 각각 도출된 가중치 값들은 <Table 2>와 같다.

     

    4.3 효율성 분석

     

    각 DMU들에 대한 주요 투입변수와 산출변수의 성과 데이터 값들은 <Table 3>과 같이 평가 결과값들을 정리하였다. <Table 4>는 각 DMU들에 대한 성과 데이터에 AHP 분석을 통해 도출한 가중치 값들을 해당 성과에 반영한 결과를 보여주고 있다.

     

     

     

     

    R&D 프로젝트들에 효율성 평가에 있어 산출지향적(Output-oriented) CCR 모형과 BCC 모형을 활용하여 비교 분석하였다. 효율성 제고를 위해 투입 감소보다는 산출을 증가시키고자 하며 분석결과가 R&D 관리자 및 연구자들에게 유용한 의미를 제공할 수 있도록 산출지향적인 모델을 활용하였다.

     

    4.4 통합형 AHP-DEA 분석 결과

     

    R&D 조직 내 각각의 프로젝트 성과에 대한 DEA의 CCR모형을 활용한 상대적 효율성 평가 결과는 <Table 5>, <Figure 4>와 같다.

    CCR포락모형에 의하여 분석한 <Table 5>, <Figure 4>를 살펴보면, DMU 10의 경우 규모를 줄여야 효율적 프론티어 라인에 도달 할 수 있는 것으로 확인되었으며, 나머지 상대적 효율성이 낮은 DMU들의 경우 규모를 확대해야 프론티어 라인에 도달할 수 있는 것으로 <Table 5>를 통해 확인되었다.

    분석결과를 비교해 보면, 폐쇄형 R&D 측면에서 연구인력의 투입이 많고 개발기간이 긴 동일한 투입요소를 가진 DMU 14,16을 비교해 보면 효율성 평가 결과가 <Table 5>에서 보는 것처럼 DMU 14(1.00), DMU 16(0.8569)로 다르게 나타났다. 즉, 개방형 R&D 비중이 높을수록 효율성이 높게 나타났다.

    분석 결과를 나타낸 <Table 5>, <Figure 4>에서 DMU 16과 DMU 17을 상호 비교해보면, 개방형 R&D 비중이 DMU 17이 높으나, 효율성 값은 DMU 16이 더 높게 나타났다. 이는 R&D 결과 요소인 출원 특허수가 DMU 17보다 DMU 16이 더 높게 나타났기 때문이다. 개방형 R&D 비중이 동일한 DMU 14, DMU 25를 비교해 보면, DMU 25는 투입인력과 기술수준이 낮은 값을 보였음에도 효율성 값이 1.00으로 동일한 결과값을 보이고 있다. 이는 논문에 대한 양적 성과와 질적 성과가 상대적으로 높게 나타났기 때문이다.

     

     

     

     

     

     

     

     

     

     

     

    5. 결 론

     

    본 연구에서는 과학기술적 성과 관점에서 개방형 혁신(Open Innovation) R&D와 폐쇄형(Closed Innovation) R&D 프로젝트들의 효율성을 분석하였다. 성과에 대한 양적 요소뿐만 아니라 질적 요소를 반영하기 위해 AHP기법을 활용한 후 DEA 모델인 산출지향적 CCR 모형을 통해 상대적 효율성 평가를 실시하였다.

    R&D 조직 내 다양한 R&D 프로젝트 성과를 통합형 AHP-DEA 기법을 활용하여 각각의 프로젝트에 대한 CCR 모형으로 비교 평가하였으며, 그 결과 상대적으로 효율성인 높고 낮은 프로젝트들을 파악할 수 있었다. 특히, 프로젝트의 투입변수에 Open Innovation 비중의 반영이 프로젝트 성과에 미치는 영향을 파악해 볼 수 있었으며, 분석결과 기존의 R&D 활동과 달리 개방형 R&D 활동이 기존 R&D 효율성 보다 높게 평가 되었다.

    개방형 혁신 정도에 따른 기업성과간의 연구에서는 비선형 즉 역 U자 모양을 보이는데 이는 일정수준을 지나면 거래비용이 편익보다 크게 되고 너무 많이 개방형 혁신에 의존하게 되면 내부 연구능력을 개발하는데 장애가 되어 오히려 음(-)의 효과를 나타나게 된다[3].

    본 연구결과에서는 다른 투입요소의 조건이 동일할 경우, 개방형 혁신 활동이 높을수록 연구성과는 높게 나타났다. 하지만 본 연구에서는 비선형의 역 U자 모양을 확인 할 수는 없었다. 이는 동일한 개방형 혁신 의존 비율에도 불구하고 성과차이가 너무 크게 나오고 있다는 것을 의미한다. 따라서 기업의 특성을 잘 통제 할 수 있는 변수들을 고려하거나 결합항을 고려해서 개방형 혁신이 높더라도 내부 연구개발 집약도가 높은 경우와 같은 조건들을 충족해야 개방형 혁신의 성과가 높아질 것이다.

    본 논문을 통한 연구의 의의는 3가지로 나누어 볼 수 있다. 첫째, 개방형 혁신성과 분석에 있어 과학 기술적 성과인 논문과 특허 등의 객관적인 자료를 기반으로 AHP- DEA 성과분석 방법론을 제시하였다. 둘째, 거래비용 관점에서 개방형 혁신 정도에 따른 연구 성과와의 관계를 분석하여 개방형 R&D와 폐쇄형 R&D 간의 성과를 비교 제시하였다. 셋째, 지금까지 R&D 성과에 있어 산출물의 양적 결과만을 활용한 연구가 대다수였으나, 연구성과에 있어 논문 건수, 국내외 특허 출원 건수 등 양적인 측면뿐만 아니라 질적인 요소를 반영하여 분석하였다.

    본 연구는 다음과 같은 한계점을 가지고 있다. 첫째, R&D 성과에 있어 과학기술적 성과뿐만 아니라 기술이전 성공률, 상업화 달성여부 등 경제적 성과와 이를 통한 고용창출 효과 등의 파급효과도 존재한다. 이러한 성과들을 포함한 DEA 분석시 상대적 효율성 결과값들은 달라질 수 있다. 둘째, R&D 조직 내 프로젝트 효율성에 영향을 미치는 투입 요소들간의 특성을 구체적으로 파악해 보지 못했다. 셋째, 효율성 값들이 대부분 1의 값들을 많이 보이고 있어 효율성간의 차이가 줄어드는 결과를 보였다.

    이러한 한계점을 극복하기 위한 향후 연구가 시도되어야겠다. 첫째, 더욱 다양한 효율성 분석을 위해 검증방법 제시를 통해 다양한 투입/산출 변수들의 추가 분석이 필요하다. 둘째, <Table 1>에서 정리했던 것처럼 개방형 R&D 추진시 Position, Risk, Benefit에 대한 계량화 및 어느 수준에서 참여 비중이 결정되어야 하는지에 대한 연구 및 이러한 요소들이 효율성에 어떠한 영향을 미치는지 분석할 필요가 있다. 마지막으로 R&D 효율성 간의 변별력을 높이기 위한 다양한 방법론의 연구가 제시되어야 할 것이다.

     

    Acknowledgement

     

    The authors are grateful to the reviewers for their constructive comments and suggestions. Their comments and suggestions have helped in adding the value to the paper.

    Figure

    Table

    Reference

    1. Bae, J.T. and Bong, S.H., Development of a performance index in private company R&D activity. Journal of Technology Innovation, 1998, Vol. 12, p 45-69.
    2. Banker, R.D., Chanes, A., and Cooper, W.W., Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management Science, 1984, Vol. 30, p 1078-1092.
    3. Berchicci, L., Towards an open R&D system : Internal R&D investment, external knowledge acquisition and innovative performance. Research Policy, 2012, Vol. 42, p 117-127.
    4. Bitman, W.R. and Sarif, N., A Conceptual Framework for Ranking R&D Projects. Engineering Management, 2008, Vol. 55, p 267-278.
    5. Charnes, A., Cooper, W.W., and Rhodes, E. Measuring the efficiency of decision making units. European Journal of Operational Research, 1978, Vol. 3, p 429-444.
    6. Chesbrough, H.W., Open Innovation : the new imperative for creating and profiting from technology. Boston, Massachusetts, USA : Harvard Business school press; 2006.
    7. Cho, K.T., Cho, Y.K., and Kang, H.S., Analytic Hierarchy Decision Making of Proceeding Leaders, Seoul, Korea : Donghyun, 2003, p 9-12.
    8. Cho, Y.G. and Cho, K.T., Development of an evaluation model in public R&D programmes-conceptual approach. The korean Operations Research and Management Science Society, 2005, p 1045-1051.
    9. Choi, J.W., A study on the improvement of management outcomes in the start-up companies using AHP and DEA-Focusing on the tenant companies of business incubator center-. [dissertation]. [Seoul, Korea] : Ky.
    10. Choi, T.G., Strategic Design of the Government R&D Management System based on the Analysis of Relationship between R&D Program Types and their Outputs. [dissertation]. [Seoul, Korea] : Konkuk University; 200.
    11. Ho, W., Integrated analytic hierarchy process and its applications-A literature review. European Journal of Operational Research, 2008, Vol. 186, p 211-228.
    12. Hsu, P.M. and Hsueh, C.C., Measuring realtive efficiency of government-sponsored R&D projects : A three- stage approach. Evaluation and Program Planning, 2009, Vol. 32, p 178-186.
    13. Jang, H.D. and Lee, J.H., An efficient selection of promising technology using DEA and AHP. Korean Corporation Management Review, 2011, Vol. 6, p 67-85.
    14. Jyoti, Banwet D.K. and Deshmukh, S.G., Evaluating performance of national R&D organizations using integrated DEA-AHP technique. International Journal of Productivity and Performance Management, 2008, Vol. 57, p 370-386.
    15. Kim, B.W. and Oh, H.S., An effective R&D performance measurement system : survey of Korean R&D researchers. Omega, 2002, Vol. 30, p 19-31.
    16. Kim, H.B., Yoon, J.H., Kim, J.S., and Kim, K.S., A Performance Indicator Roadmap Framework for evaluating Government R&D Programs. Proceeding of The Korean Institute of Industrial Engineers Spring Conference, 2009, p 1-9.
    17. Kim, M.S. and Jeong, H.J., Countstratgy Post catch-up in Mobile Phone industry. Korea Information Society Development Institute, 2010, Vol. 22, p 1-16.
    18. Kim, M.S., Internet shopping mall evaluation by AHP/ DEA. [dissertation] [Seoul, Korea] : Korea University, 2001.
    19. Kim, S.H., Jeong, B.H., and Kim, J.K., Analysis and Application of Decision making. 8th ed. Seoul, Korea : Youngchimunwhasa, 2009, p 379-401.
    20. Kim, Y.G., A Direction of Industrial Technology Policy for Open Innovation., Issue paper 2011-11. Seoul, Korea : KIAT, 2011.
    21. Lee, D.J., Bae, S.S., and Kang, J.S., Development of R&D project selection model and web-based R&D project selection system using hybrid DEA/AHP model. Journal of the Korean Institute of Industrial Engineers, 2006, Vol. 32.
    22. Lee, J.J. and Lee, K.C. The Role of Government and The Strategy of Post Catch-up Science and Technology. Proceedings of Korea Technology Innovation Society Conference, 2010, p 223-239.
    23. Lee, K.W., Kim, H.B., and Jang, I.H., Implication and Analysis of Application system and management of Pubic R&D Performance. Korea Institute of Science and Technology Evaluation and Planning, 2012, Vol. 2, p 3-7.
    24. Lin, M.I., Lee, Y.D., and Ho, T.N., Applying integrated DEA/AHP to evaluate the economic performance of local governments in China. European Journal of Operational Research, 2011, Vol. 209, p 129-140.
    25. Liu, J.S. and Lu, W.-M., DEA and ranking with the network-based approach : a case of R&D performance. Omega, 2010, Vol. 38, p 453-464.
    26. Management Manual of R&D Performance in Ministry of Education, Science and Technology. Seoul, Korea : Ministry of Education, Science and Technology, National Research Foundation of Korea : 2009, p 50-51.
    27. Meng, W., Zhang, D., Qi, L., and Liu, W., Two-level DEA approaches in research evaluation. Omega, 2008, Vol. 36, p 950-957.
    28. Park, S.J., Kim, K.H., and Jeong, S.K., The Study on the Analysis of Efficiency of Governmental R&D Programs Regarding to the S&T Outcomes. Journal of Korea Technology Innovation Society, 2010, Vol. 14, p 205-222.
    29. Park, S.M., Khoe, K.I., and Sul, W.S., A Study on Performance Evaluation of Government-Funded R&D Projects with Composite Scores : Focussing on 'Supporting Project on Application Technology Development. Korean Journal.
    30. Park, S.M., Analysis of Congruence Between DEA Efficiency Scores and Normalization Indices of R&D Projects, Korean Journal of Business Administration, 2011, Vol. 24, p 1999-2014.
    31. Park, S.M., Two-staged DEA/AR-I Performance Evaluation Model for R&D Projects Efficiency Correlation Analysis and Programs Positioning Investigation. Korean Journal of Business Administration, 2010, Vol. 23, p 3285.
    32. Rhim, H.S., Yoo, S.C., and Kim, Y.S., A DEA/AHP hybrid model for evaluation and selection of R&D projects. The korean Operations Research and Management Science Society, 1999, Vol. 24, p 1-12.
    33. Saaty, T.L., How to Make a Decision : The Analytic Hierarchy Process. European Journal of Operational Research, 1990, Vol. 48, p 9-26.
    34. Shang, J. and Sueyoshi, T., A Unified Framework for the Selection of a Flexible Manufacturing System. European Journal of Operational Research, 1995, Vol. 85, p 297-315.
    35. Sohn, S.Y., Yong, G.J., and Hong, K.H., Structural equation model for the evaluation of national funding on R&D project of SMEs in consideration with MBNQA criteria. Evaluation and Program Planning, 2007, Vol. 30, p 10-20.
    36. Wang, E.C. and Huang, W., Relative efficiency of R&D activities : A cross-country study accounting for environmental factors in the DEA approach. Research Policy, 2007, Vol. 36, p 260-273.
    37. Wang, Y.M., Liu, J., and Elhag, T.M.S., An integrated AHP-DEA methodology for bridge risk assessment. Computers and Industrial Engineering, 2009, Vol. 54, p 513-525.
    38. Yang, T. and Kuo, C., A hierarchical AHP/DEA methodology for the facilities layout design problem. European Journal of Operational Research, 2003, Vol. 147, p 128-136.
    39. Yang, W.M., A study on the selection methodology of R&D projects using DEA/AHP with ordinal factors. [Master’s thesis]. [Seoul, Korea] : Kyung Hee University, 2003.
    40. Yim, H., 2010 Technology Level Evaluation Report -95 Focued Science Technology-. 2011-031. Seoul, Korea : KISTEP, 2011.
    41. Yun, J.H., Kwon, O.J., Park, J.S., and Jeong, E.S., A Study on the Development and Adaption of Open Innovation Analysis Model. Journal of Korea Technology Innovation Society, 2010, Vol. 13, p 99-123.