Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.42 No.4 pp.8-15
DOI : https://doi.org/10.11627/jkise.2019.42.4.008

A Case Study on Qualitative Efficiency of National R&D Projects on Technical Performances : Focused on Livestock Quarantine

Kyung-Soo Kim*, Nam-Wook Cho**
*The Graduate School of Public Policy and Information Technology, Seoul National University of Science and Technology
**Department of Industrial and Information Systems Engineering, Seoul National University of Science and Technology
Corresponding Author : nwcho@seoultech.ac.kr
09/07/2019 07/11/2019 13/11/2019

Abstract


Korea’s R&D investment has significantly increased in recent years and the quantitative outputs such as number of papers and patents have also increased with the investment. However, the quality of R&D outputs has not been fully addressed. In particular, quality of technical performance, such as the quality of patents, has attracted little attention. In this paper, a Data Envelopment Analysis (DEA) method was used to construct models for efficiency analysis of R&D investment, focused on quality of technical performance. Indices were proposed to analyze the quantitative and qualitative efficiencies of R&D investment. In order to effectively analyze R&D efficiencies, the measurement units of the input and output variables were standardized. Based on cases of livestock quarantine R&D projects of Korea, the quantitative and qualitative efficiencies of national R&D projects were analyzed and factors that would influence R&D efficiencies were identified. This paper suggests that both quantitative and qualitative efficiencies should be considered when measuring R&D efficiency. Also, it is recommended to carefully consider the characteristics of R&D projects during project selection stage.



국가 R&D 기술적 성과의 질적 효율성 분석에 관한 사례 연구 : 가축방역 분야를 중심으로

김 경수*, 조 남욱**
*서울과학기술대학교 IT정책전문대학원
**서울과학기술대학교 글로벌융합산업공학과

초록


    Seoul National University of Science and Technology

    1. 서 론

    2017년 우리나라의 과학기술개발을 위한 투자액은 78 조 7,892억 원으로 전년 대비 13.5%(9조 3,837억 원) 증가 하여 세계 5위 수준이다[16]. 이중 국가연구개발사업 예 산은 2019년 20조 5,328억 원으로 전년 대비 8,647억 원 증가였으며, 이는 기초연구 확대, 혁신성장을 위한 전략 적 투자 집중, 주력산업 경쟁력 제고 및 중소기업 역량 강 화, 국민 삶의 질 향상을 위한 연구개발(Research and Development ; 이하 R&D) 투자 강화 등에 따른 결과라고 할 수 있다[7]. 또한, 정부는 국가 균형발전 및 국가혁신 체계 구축을 위해 2007년 산업교육진흥 및 산학협력촉진 에 관한 법률 제정하였으며, 산학협력 활성화 5개년 기본 계획 등의 정책 수립을 통해 국가 차원에서 공동연구 활 성화를 추진 중이다. 국가연구개발사업 예산의 증가함에 따라 공동연구 예산 또한 크게 증가하였다. 국가연구개발 사업 중 공동연구 집행액은 2015년 1조 2,906억 원에서 2017년 1조 7,203억 원으로 연평균 15.5%의 증가율로 3 년 간 4,297 억원 증가하였다[16]. 이처럼 정부의 R&D 투 자가 지속됨에 따라 과학기술정보통신부는 R&D 투자 효 율성 제고를 위해 매년 정부 연구개발 투자 방향 및 기 준 을 마련하고 있다. 이는 R&D 중점 투자분야를 도출하 고, 이에 따른 효율화 방안을 수립하는 등 R&D 예산 배 분 및 조정을 위한 지침으로 활용되고 있다.

    장기적으로 국가 경쟁력을 제고하기 위해서는 R&D 투 자의 양적인 확대뿐만 아니라 질적인 측면의 효율성 제고 도 중요하다[9]. 또한, 국가 예산의 효율적인 집행을 위 해서는 지속적으로 투입되고 있는 국가연구개발사업의 투자 효율성 분석이 필요하다[27]. 최근 지속적인 정부 의 R&D 투자에 따라 연구성과 또한 꾸준히 증가하고 있다. 정부 R&D의 기술적 성과에 해당하는 국내 등록 특허 성과의 경우, 2012년 11,115건에서 2016년 16,670 건으로 연평균 10.7%의 성장률로 양적 수준은 크게 증가 하였다[17]. 반면, 국내 등록 특허 성과의 질적 수준을 살 펴보면, 정부 R&D의 우수특허 비율은 11.7%(2012~2016 년)로 외국인 및 민간 R&D에 비해 여전히 낮은 수준이다 [17]. 이처럼 우리나라는 활발한 정부 R&D 투자와 함께 연구 성과의 양적 수준은 증가하고 있으나, 질적 수준은 양적 수준 대비 미흡한 것으로 파악되고 있다. 일반적으 로 R&D 투자 효율성을 제고하기 위해서는 정책에 따른 중복 투자를 줄이는 것[22]과 연구성과 관리가 중요하다.

    정부는 국가연구개발사업의 효율적인 성과 관리를 위 해 2006년 국가연구개발사업 등의 성과평가 및 성과관 리에 관한 법률 을 제정하여 운영 중인 것을 볼 때 예산 뿐만 아니라 연구성과가 얼마나 중요한 요소인지 알 수 있다. 과학기술정보통신부 산하기관인 한국과학기술기획 평가원에서는 2008년부터 국가연구개발사업 조사․분석 에서 입력 받은 성과 자료를 활용하여 범부처 차원의 종 합분석을 수행하고 있다[16]. 이는 국가연구개발사업 운 용에 관한 의사결정에 있어 투입되는 예산뿐만 아니라 산 출되는 성과의 중요성을 시사한다.

    본 연구에서는 연구성과 중 특허 성과 관점에서 효율 성 분석을 실시하고, 이에 따른 R&D 투자 효율성 제고 방안을 도출하고자 하였다. R&D 투자 효율성의 양적 측 면과 질적 측면을 비교하기 위해 양적 효율성과 질적효 율성을 구분하여 분석하였다. R&D 특성에 따른 효율성 을 분석함으로써 양적·질적 효율성 향상 방안을 모색하 고자 하였다.

    본 연구는 다음과 같이 구성되었다. 제 2장에서는 분 석을 위한 방법론과 선행연구 등 이론적 배경에 대해 살 펴보았다. 제 3장에서는 연구 모형, 분석 대상, 변수선정 에 대해 논의하였다. 제 4장에서는 국가연구개발사업 사 례를 토대로 특허 성과의 양적·질적효율성 분석 결과를 제시하였다. 마지막으로 제 5장에서는 연구의 결론 및 의의에 대해 논의하고, 연구의 한계점을 제시하였다.

    2. 이론적 배경

    2.1 DEA(Data Envelopment Analysis)

    DEA 모형은 선형계획법에 근거하여 다수의 투입변수 와 산출변수를 갖는 의사결정단위(Decision Making Unit; 이하 DMU)의 상대적 효율성을 평가하는 수학적 프로그 래밍으로 비모수적 효율성 측정 방법이다[28, 31].

    DEA 모형은 Charnes et al.[4]의 규모에 대한 수익불변 (Constants Returns to Scale; CRS)을 가정하는 CCR 모형과 Banker et al.[1]의 규모에 대한 수익변화(Variable Returns to Scale; VRS)을 가정하는 BCC 모형으로 구분할 수 있다. 어떠한 변수에 초점을 두는가에 따라 투입지향(inputoriented) 모형과 산출지향(output-oriented) 모형으로 구분 된다[28].

    선행연구[1, 2, 4]에서는 DMU가 충분한 자유도를 갖기 위한 투입 및 산출변수 수의 기준을 다음과 같이 제시하 고 있다. Banker et al.[1]은 DMU 수가 투입변수와 산출변 수 수의 합보다 3배 이상 커야 변별력이 있음을 검증하였 다. Boussofiane et al.[2]은 DMU 수가 투입변수와 산출변 수의 곱보다 2배 이상 커야 변별력이 있다고 주장하였다. Fitzsimmons and Fitzsimmons[6]은 DMU 수가 투입변수 와 산출변수의 합보다 2배 이상 커야 변별력이 있다고 주 장하였다. 투입변수와 산출변수의 수를 선정 시에 참고사 항으로 활용할 수 있다[9]. 효율성 분석을 위한 투입변수 및 산출변수 선정은 이론적으로 타당해야 하며, 변수 선 정에 대한 충분한 설명이 필요하다[10]. DEA 모형을 활 용하면 서로 다른 측정단위를 갖은 다양한 투입변수와 산 출변수를 결합하여 하나의 효율성 값으로 제시할 수 있 다. 즉, 효율성 도출에 요구되는 투입변수와 산출변수가 동일한 측정단위일 필요가 없으며, 서로 다른 투입변수와 산출변수를 동시에 고려하여 분석이 가능하다는 장점이 있다[12]. 일반적으로 DEA 모형을 활용한 효율성 분석 시 투입변수가 의사결정에 영향을 미치는 경우 투입 중심 모형을 선택하며, 반대로 산출변수가 영향을 더 미치는 경우 산출 중심 모형을 선택하는 경향이 있다[28].

    2.2 선행연구

    국가연구개발사업을 대상으로 하는 사례 연구는 R&D 성과 창출 요인 분석에 관한 연구와 R&D 투자 효율성 분석에 관한 연구가 대표적이다. R&D 성과 창출 요인 분석에 관한 선행연구[3, 5]를 살펴보면, R&D 성과를 종 속변수로 설정하고, 정부연구비, 민간투자비율, 참여기관 수, 주관기관 유형, 협력개발 여부 등을 독립변수로 설정 하여 회귀분석이 주로 활용되었다. 다양한 효율성 분석 방법 중 R&D 투자 효율성 분석을 위해서는 DEA 모형 이 주로 활용되었다. <Table 1>과 같이 DEA 모형이 활 용된 주요 선행연구를 살펴보면, 분석 방법으로는 순수 DEA, DEA/Malmquist Index, DEA/Window, DEA RAM (Range Adjusted Measure), DEA AR(Assurance Region) 모형 등이 활용되었다. 투입 및 산출변수는 주로 양적 지 표가 사용된 연구가 대부분을 차지한다. 질적 지표가 사 용된 선행연구[13, 14, 19]를 살펴보면, SCI논문 성과의 질 적 지표인 영향력 지수(Impact Factor; 이하 IF)를 사용한 연구가 대부분이며, 특허 성과의 질적 지표를 사용한 연 구는 아직까지 보고된 바 없다.

    3. 연구 방법

    3.1 연구 모형

    본 연구는 국가연구개발사업의 경우 연구성과 형태와 R&D 특성에 따라 효율성 제고 방안에는 차이가 있을 것 이라는 연구 질문에서 시작하였다. 본 연구에서는 연구성 과 중 특허 관점으로 R&D 투자 효율성을 도출하고 양적 측면과 질적 측면을 구분하여 효율성 제고 방안을 모색하 는 것을 목적으로 한다. R&D 효율성 선행연구에서 주로 활용된 DEA 모형을 활용하였으며, 국가연구개발사업의 연구성과의 중요성을 고려하여 산출 중심 BCC 모형을 활용하였다. 효율성의 집단 간 차이를 검정한 선행연구 [13, 14, 19, 26, 29, 32]를 살펴보면, 윌콕슨-만-위트니 검 정법(Wilcoxon-mann-whitney test)과 크러스컬-왈리스 검 정법(Kruskal-wallis test)을 주로 활용하였다. 따라서, 따라 서, 본 연구에서는 양적 효율성과 질적 효율성을 비교하 기 위해 윌콕슨-만-위트니 검정법을 활용하였으며, 연구 수행주체, R&D 단계, 기술수명주기, 공동연구 유무 등 R&D 특성에 따라 집단 간 효율성에 어떠한 차이가 있는 지 비교하기 위해 윌콕슨-만-위트니 검정법과 크러스컬- 왈리스 검정법을 활용하였다.

    3.2 분석 대상

    R&D 분야는 기술개발 과정 이외에도 연구성과의 특 성에 따라 논문은 게재, 특허는 출원 및 등록 등의 일련 의 과정이 수반된다. 따라서 R&D 데이터를 기반으로 한 효율성 분석 시 R&D 시차의 반영 여부가 중요하다[8]. 반면, 기술 분야, 연구수행주체, R&D 단계, 기술수명주 기 등 R&D 특성에 따라 시차가 달라질 수 있기 때문에 시차 적용에 어려움이 있다.

    본 연구에서는 국가과학기술지식정보서비스(National Science & Technology Information Service; 이하 NTIS)에 서 제공하는 과제 정보와 성과 정보를 통합하여 구축한 데이터를 활용하였다. NTIS 조사 데이터는 조사연도를 기 준으로 과제 정보와 성과 정보를 분리하여 집계하기 때문 에 조사연도의 집계된 성과는 같은 연도 과제로 발생한 성과가 아닐 수 있다. 즉 R&D 시차가 존재할 수 있다. 따 라서, 본 연구에서는 2007~2014년도 과제 정보와 2007~ 2016년도 성과 정보를 통합하였다. 과제 정보를 기준으로 해당 과제로부터 발생한 성과를 찾아 과제의 성과로 집계 함으로써 R&D 시차를 반영하였다. 예를 들어, 2014년에 수행한 과제의 성과가 2016년에 발생하였을 때, 해당 성과 를 2014년 수행 과제의 성과로 집계하였다. R&D 투자 효 율성 분석 시 분석 대상은 국가 단위(national level), 기관 단위(organization level), 사업 단위(program level), 과제 단위 (project level) 등으로 구분할 수 있다[12]. 본 연구는 농림 축산검역본부에서 1998년부터 시행하는 가축방역 R&D인 농림축산검역검사기술개발 사업을 대상으로 과제 단위의 효율성을 분석하고자 하였다. 동 사업은 국가 재난형 동물 질병 방역기술, 축산물 및 식물검역 기술개발로 관련 산업 을 보호하고, 인수공통전염병 및 축산물위생 향상 기술개 발을 통해 산업 발전 및 국민 보건 향상을 목적으로 하는 국가연구개발사업이다[25]. Table 2

    분석 대상사업은 2007년부터 2014년까지 8년 간 총 1,604 억 원의 예산이 투입되었다. 수행된 과제 수는 1,151개 과 제이며, 이 중 국내 특허 성과가 발생한 과제는 총 185개 과제이다. 국내 특허 성과 중 출원 특허와 비공개 특허는 질적 지표 값의 산출이 불가능하여 분석 대상과제에서 제 외하였다. 따라서 분석 대상과제는 국내 특허 성과 발생 과제 중 출원 특허와 비공개 특허가 발생한 과제를 제외한 96개 과제로 특정함으로써 DMU 간 동질성을 확보하였다.

    3.3 변수 선정

    R&D는 결과물에 대한 불확실성으로 객관적인 변수 선 정을 통한 효율성 분석에 대한 어려움이 있으나, 선행연 구에서는 R&D 투자요인과 연구성과의 관계에 대한 효율 성을 분석하였다[12]. <Table 3>과 같이 DEA를 활용한 R&D 효율성 분석 선행연구의 변수를 살펴보면, 투입변 수로는 연구비, 연구인력, 연구기간, 연구과제 수 등이 주 로 사용되었으며, 이외에도 과제 수, 인건비 비율 등이 사 용되었다. 산출변수는 논문 건수, 특허 건수를 중심으로 연구 목적 및 분석 방법에 따라 IF, 기술이전 건수, 기술 료, 사업화, 기술 확산, 기술 개선 등이 사용되었다.

    본 연구의 투입변수는 선행연구에서 주로 사용된 연 구비와 연구기간으로 선정하였으며, 산출변수는 양적 효 율성과 질적 효율성을 구분하여 도출할 수 있도록 선정 하였다. 양적 효율성 분석을 위한 산출변수는 특허 건수 를 선정하였으며, 질적 효율성 분석을 위한 산출변수로 는 특허의 SMART(System to Measure, Analyze and Rate patent Technology; 이하 SMART) 결과 값으로 선정하였 다. SMART는 특허청 산하기관 한국발명진흥회에서 운 영하는 특허분석평가시스템으로 특허명세서, 서지정보, 행정정보로부터 추출된 특허정보를 활용하여 권리성, 기 술성, 활용성을 객관적으로 평가하는 온라인 특허 등급 평가 시스템이다[30]. SMART 결과 값은 국가연구개발 사업 성과 분석 및 자체평가에서 특허의 질적 수준을 평 가하기 위한 단일 지표로는 활용되고 있으나, R&D 효율 성 분석을 위한 변수로는 활용된 바 없다. 따라서, 본 연 구에서는 효율성 분석의 질적 산출변수로서 SMART 결 과 값을 사용하였다. Table 4

    DEA 모형에 따른 효율성 분석은 각 변수가 동일한 측정 단위일 필요가 없다[32]. 다만, 변수 간 측정단위 차이 가 큰 경우 정확성이 떨어질 가능성이 있다[18]. 본 연구에서는 양적 효율성과 질적 효율성을 비교해야 하며, 특허 건수와 스마트 SMART 결과라는 변수의 특성 상 측정단위 차이 가 크기 때문에 효율성 건 비교 정확도를 높이기 위해 변 수 측정 단위를 표준화하는 전처리 과정을 거쳐 효율성 분석을 실시하였다. Table 5

    4. 분석 결과

    4.1 양적 효율성과 질적 효율성 비교

    산출 중심 BCC 모형에 의해 산출된 양적 효율성과 질적 효율성이 통계적으로 유의미한 차이가 있는지에 대해 분석하였다. 양적 효율성의 평균은 0.504, 질적 효 율성의 평균은 0.729으로 나타났으며, 윌콕슨-만-위트니 검정 결과, 통계적으로 유의미한 차이가 있는 것으로 분 석되었다. 전체 국가연구개발사업의 경우, 특허 성과의 질적 수준이 양적 수준 대비 미흡한 것으로 파악되고 있 으나, 동 사례의 경우 양적 수준보다 질적 수준이 더 높 은 것으로 파악되었다. 이는 분석 대상사업이 민간 주도 R&D가 아닌 정부 주도 R&D이며, 연구수행주체 또한 국공립연구소와 대학으로 한정된 것에 기인한 것으로 판단된다. Table 6

    4.2 R&D 특성별 효율성 비교 분석

    분석 대상사업의 양적 효율성과 질적 효율성이 연구 수행주체, R&D 단계, 기술수명주기, 공동연구 여부와 같 은 R&D 특성에 따라 어떠한 차이점이 있는가에 대해 분 석하였다. 연구수행주체의 경우, 국공립연구소가 대학에 비해 양적 효율성이 높은 것으로 나타났으며, 질적 효율 성은 대학이 국공립연구소(Research institute)에 비해 높 은 것으로 나타났다. 연구수행주체별 그룹 간 비교 결과 질적 효율성에서 통계적으로 유의미한 차이가 있는 것으 로 분석되었다. 국공립연구소의 양적 효율성이 높게 나 타난 것은 분석 대상사업의 특성에 기인한 것으로 판단 된다. 분석 대상사업은 정부 주도의 대표적인 가축방역 R&D로서 주된 수행주체가 국공립연구소이다. 대학의 질적 효율성이 높게 나타난 것은 국공립연구소에 비해 DMU 수가 현저하게 적은 것에 영향이 있는 것으로 판 단된다. Table 7

    R&D 단계의 경우, 양적 효율성은 응용연구, 개발연구, 기초연구 등의 순으로 높게 나타났다. 질적 효율성은 개 발연구가 가장 높게 나타났으며, 응용연구, 기초연구 순 으로 나타났다. R&D 단계별 그룹 간 비교 결과 양적 질 적 효율성 모두 통계적으로 유의미한 차이가 없는 것으 로 분석되었다. Table 8

    기술수명주기의 경우, 양적 효율성은 성장기, 성숙기, 도입기 순으로 높은 것으로 나타났다. 질적 효율성은 성 장기, 성숙기, 도입기 순으로 높게 나타났다. 기술수명주 기별 그룹 간 비교 결과 양적 효율성에서 통계적으로 유 의미한 차이가 있는 것으로 분석되었다.

    공동연구 여부의 경우, 양적 효율성은 공동연구(collaborative R&D)가 높은 것으로 나타났으며, 질적 효율성은 단 독연구(non-collaborative R&D)가 높은 것으로 나타났다. 공 동연구 여부에 따른 그룹 간 비교 결과 질적 효율성에서 통 계적으로 유의미한 차이가 있는 것으로 분석되었다. 단독 연구의 질적 효율성이 높게 나타났다는 것은 2개 이상의 연구수행주체가 협업을 통해 질적으로 우수한 성과를 산 출하는 것보다 단일 연구수행주체가 질적으로 우수한 성과 를 산출하는 것이 용이하다는 것을 의미한다. R&D 과제는 연구성과 목표가 있으며, 공동연구 과제의 경우, 주관기관 및 참여기관 등 연구수행주체마다 할당된 연구성과 목표 가 있다. 각 주체는 이를 달성하기 위해 서로 집중하고 있 기 때문에, 오히려 단독연구 과제에 비해 상대적으로 질적 으로 우수한 성과 산출이 어렵다는 것으로 해석할 수 있다. Table 9

    4.3 효율성과 공동연구 간 상관분석

    공동연구 여부에 따라 질적 효율성이 통계적으로 유 의미한 차이가 나타남에 따라, 공동연구 기관 수와 효율 성과의 관계를 살펴보기 위해 상관분석을 실시하였다. 양적 효율성과 공동연구 기관 수 간 상관계수는 0.060 으로 상관관계가 크지 않은 것으로 확인되었으며, 통계 적으로도 유의미한 차이가 없는 것으로 나타났다. 질적 효율성과 공동연구 기관 수 간 상관계수는 -0.255으로 음 의 상관관계가 있는 것으로 확인되었으며, 통계적으로 유의미한 차이가 있는 것으로 나타났다. 질적 효율성과 공동연구 기관 수 간 음의 상관관계를 보인 것은 R&D 과제의 연구수행주체가 적을수록 질적 효율성이 높게 나 타났다는 것을 의미한다. 이는 앞서 공동연구 여부에 따 른 효율성 간 차이 검정 결과, 단독연구의 질적 효율성이 높게 나타난 것을 지지해주는 결과라고 할 수 있다. Table 10

    5. 결 론

    본 연구에서는 국가연구개발사업의 기술적 성과인 특허 성과를 중심으로 효율성을 분석을 위해 산출 중심 BCC 모형을 활용하였다. 투입변수는 연구비, 연구기간을 사용 하고, 산출변수의 경우, 양적 효율성 분석은 특허 건수, 질적 효율성 분석은 특허의 SMART 결과 값을 구분하여 사용하였다.

    분석 결과, 기술적 성과의 양적 효율성과 질적 효율성 을 비교한 결과, 질적 효율성이 더 높은 것으로 확인되었 으며, 통계적으로 유의미한 차이가 있는 것으로 분석되 었다. R&D 특성에 따라 효율성을 비교한 결과, 양적 효 율성은 기술수명주기별로 통계적으로 유의미한 차이가 있는 것으로 분석되었으며, 질적 효율성은 연구수행주체, 공동연구 여부에 따라 통계적으로 유의미한 차이가 있는 것으로 분석되었다. R&D 단계별로는 양적 효율성과 질 적 효율성 모두 통계적으로 유의미한 차이가 없는 것으 로 분석되었다. 연구수행주체 중 대학의 질적 효율성이 높게 나타났으며, 공동연구 여부에서 단독연구의 질적 효율성이 높게 나타났다. 또한, 공동연구 기관 수와 효율 성 간 상관분석 결과, 음의 상관관계가 있는 것으로 나타 난 것은 의미 있는 결과라고 할 수 있다.

    분석대상 사업에 대한 결과를 토대로 R&D 투자 효율성 제고를 위한 방안을 정리하면 다음과 같다. 양적 효율성 을 제고하기 위해서는 성장기 과제에 대한 지원을 확대 하는 것이 필요할 것으로 보이며, 질적 효율성 제고를 위 해서는 연구수행주체가 대학인 과제를 확대하고, 공동연 구 과제보다는 단독연구 과제를 확대하는 것이 효과적일 것 으로 판단된다. 다만, 본 연구 결과는 정부 주도의 R&D 이며, 기술분야가 가축방역 분야로 한정된 사례에 대한 분석 결과로서 일반화하기 어렵다는 한계가 있다. 따라 서, 연구수행주체, 기술수명주기, 공동연구 여부 등 R&D 특성별로 효율성 제고 방안에 차이가 있을 수 있다는 관 점으로 추후 R&D 투자 효율성 제고를 위한 기초자료로 참고하는 것이 바람직할 것으로 판단된다.

    본 연구는 국가연구개발사업의 기술적 성과인 특허 성 과 관점에서 질적 효율성 분석을 위해 국가연구개발사업 성과 분석 및 자체 평가 등에 활용되는 특허의 질적 지표 인 SMART 결과 값을 사용했다는 것에 의의가 있다. 또 한, 공동연구 여부에 따라 효율성을 비교하였으며, 공동 연구 기관 수와 효율성 간 상관분석을 시도했다는 것에 의의가 있다. 다만, 다음과 같은 한계점을 갖는다. 특허 성과의 질적 효율성 분석을 위해 SMART 결과 값을 사용 하였으나, SMART 결과 값이 특허의 질적 수준을 대표한 다고 볼 수는 없다. 또한, 기존 DEA 효율성 선행연구에 비해 투입 및 산출변수가 적게 사용되었다. 따라서, 추후 연구에서는 특허 성과의 질적 수준을 대표하는 새로운 지 표 탐색이 필요할 것이며, 연구 목적에 따라 투입 및 산출 변수를 확대하는 것이 필요할 것으로 판단된다.

    본 연구에서는 R&D 특성에 따라 양적 효율성과 질적 효율성을 비교 분석하였으나, 추후 연구에서는 R&D 특 성뿐만 아니라 기술분야의 특성을 고려한다면, R&D 효 율성 제고를 위한 보다 의미 있는 결과가 도출될 수 있 을 것으로 판단된다. 또한, 공동연구 유무 및 기관 수에 따라 효율성 비교 및 상관관계를 살펴보았으나, 연구수 행주체를 산·학·연 등으로 구분하여 공동연구 유형별 효 율성 비교 분석을 진행한다면 새로운 결과가 도출될 수 있을 것이다.

    Acknowledgement

    This study was supported by the Research Program funded by the SeoulTech (Seoul National University of Science and Technology).

    Figure

    Table

    Studies on the DEA Efficiency Analysis

    Number of DMUs

    Reference of Variables

    Input and Output Variables for DEA

    Comparison of Efficiency Results

    Statistics of Efficiency Results : Organization Type

    Comparison of Efficiency Results : R&D Stage

    Comparison of Efficiency Results : Technological Life Cycle

    Comparison of Efficiency Results : R&D Collaborative Type

    Correlation Analysis between Efficiency and Number of R&D Collaborative Organization

    Reference

    1. Banker, R.D., Charnes, A., and Cooper, W.W., Estimating Most Productive Scale Size Using Data Envelopment Analysis, European Journal of Operational Research, 1984, Vol. 17, No. 1, pp. 35-44.
    2. Boussofiane, A., Dyson, R.G., and Thanassoulis, E., Applied Data Envelopment Analysis, European Journal of Operational Research, 1991, Vol. 52, No. 1, pp. 1-15.
    3. Chang, K.Y., R&D Investment and Project Performance : Research on Industrial R&D Programs of Government, Innovation Research, 2010, Vol. 18, No. 1, pp. 75-98.
    4. Charnes, A., Cooper, W.W., and Rhodes, E., Measuring Efficiency of Decision Making Units, European Journal of Operational Research, 1978, Vol. 1, No. 6, pp. 429-444.
    5. Choi, J.Y. and Kang, K.B., Factors that Influence the Technological Performance of National R&D Programs : in the Case of the Machinery and Chemical Technology R&D, Journal of Korea Technology Innovation Society, 2016, Vol. 19, No. 1, pp. 161-190.
    6. Fitzsimmons, J.A. and Fitzsimmons, M.J., Service Management for Competitive Advantage, McGrow-Hill, Inc., 1994.
    7. Han, Y.Y. and Kim, J,Y, Government Research and Development Budget Analysis in the FY 2019, KISTEP, 2019, p. 3.
    8. Hashimotoa, A. and Hanedab, S., Measuring the Change in R&D Efficiency of the Japanese Pharmaceutical Industry, Research Policy, 2008, Vol. 37, No. 10, pp. 1829-1836.
    9. Hwang, S.W., Ahn, D.H., Choi, S.H., Kwan, S.H., Chun, D.P., Kim, A.R., and Park, J.H., Efficiency of National R&D Investment, STEPI, 2009, 2009-24.
    10. Kim, H.K., Kang, W.J. and Bae, J.H., Comparing Efficiencies of R&D Projects Using DEA : Focused on Industrial Technology Program, Society of Korea Industrial and Systems Engineering, 2015, Vol. 38, No. 3, pp. 126-132
    11. Kim, H.K., Kang, W.J., Park, J.H., and Yeo, I.K., Comparing Efficiencies of R&D Projects Using DEA : Focused on Core Technology Development Project, Society of Korea Industrial and Systems Engineering, 2013, Vol. 36, No. 3, pp. 126-132.
    12. Kim, H.Y. and Chung, S.Y., An Efficiency Analysis of Industry-University-Public Research Institute Collaborative Research-Employing the Input-Output Itemization Model, Korea Academy Industrial Cooperation Society, 2017, Vol. 18, No. 12, pp. 473-484.
    13. Kim, K.S. and Cho, N.W., A Case Study on Qualitative Efficiency of National R&D Projects : Focused on Agricultural Research Area, Journal of the Korea Society of Digital Industry and Information Management, 2018, Vol. 14, No. 3, pp. 115-125.
    14. Kim, K.S. and Cho, N.W., Dynamic Analysis of National R&D Projects’ Qualitative Efficiency, Journal of the Korea Society of Digital Industry and Information Management, 2019, Vol. 15, No. 1, pp. 9-20.
    15. Kim, T.H., Kim, I.H., Ahn, S.B., and Lee, K.S., A Way to Enhance Efficiency of Nuclear Program in Korean R&D Program by Data Envelopment Analysis, Journal of Korea Technology Innovation Society, 2009, Vol. 12, No. 1, pp. 74-81.
    16. KISTEP, 2017 Survey of Research and Development in Korea, Ministry of Science and ICT, 2019, p. 4.
    17. KISTEP, The 2016 Performance analysis Report of National R&D Program in Korea, 2018, p. 36.
    18. Ko, K.K., Theory of Efficiency Analysis, Moonwoosa, 2017, pp. 11-32.
    19. Lee, C.H. and Cho, K.T., Efficiency Analysis and Strategic Portfolio Model of National Health Technology R&D Program Using DEA : Focused on Translational Research, Journal of the Korean Institute of Industrial Engineers, 2014, Vol. 40, No. 2, pp. 172-183.
    20. Lee, S.C. and Lee, D.H., Analysis of the Change in R&D Efficiency in a Government-Funded Research Institute in Korea : Cumulative DEA/Malmquist Analysis Approach, Journal of the Korean Operations Research and Management Science Society, 2016, Vol. 41, No. 1, pp. 99-111.
    21. Lee, S.H., Kim, T.S., and Lee, H.Y., Measuring the Dynamic Efficiency of Government Research Institutes in R&D and Commercialization by DEA Window Analysis, Korean Management Science Review, 2015, Vol. 32, No. 4, pp. 193-207.
    22. Lee, Y.K. and Lee, C.S., A Study on Establishment guide of Regional Information Fundamental Plan, Journal of the Korea Society of Digital Industry and Information Management, 2015, Vol. 1, No. 2, p. 100.
    23. Lim, Y.H. and Jeon, J.H., Analyzing the Performance of Defense R&D Projects based on DEA, Journal of the KIMST, 2019, Vol. 22, No. 1, pp. 106-123.
    24. Nam, I.S., Song, Y.Y., and Jeong, B.H., Analysis of Relative Efficiency of Government Funded Research Institutes Using DEA Model, Journal of Society of Korea Industrial and Systems Engineering, 2008, Vol. 31, No. 1, pp. 1-10.
    25. National Science and Technology Information Service, http://www.ntis.go.kr.
    26. Park, C.I. and Seo, H.J., The Efficiency and Productivity Change in the National R&D Projects of 6T Sectors, Journal of Industrial Economics and Business, 2018, Vol. 31, No. 1, pp. 293-325.
    27. Park, C.M. and Ku, B.C., An Analysis of Distributed Lag Effects of Expenditure by Type of R&D on Scientific Production : Focusing on the National Research Development Program, Journal of Korea Technology Innovation Society, 2016, Vol. 19, No. 4, pp. 687-710.
    28. Park, M.H., Efficiency and Productivity Analysis, Korean Academic Information, 2008, pp. 52-53.
    29. Park, S.J., Kim, K.H., and Jeong, S.K., The Study on the Analysis of Efficiency of Governmental R&D Programs Regarding to the S&T Outcomes, Journal of Korea Technology Innovation Society, 2011, Vol. 14, No. 2, pp. 205-222.
    30. SMART3, http://smart.kipa.org.
    31. Suk, K.Y., Selecting the Batters of National Baseball Squad using Data Envelopment Analysis, Journal of the Korea Academia-Industrial cooperation Society, 2014, Vol. 15, No. 1, pp. 165-172.
    32. Um, I.C., Baek, C.W., and Hong, S.H., The Efficiency Analysis of National R&D Programs for Drug Development Using Range Adjusted Measure, Journal of Korea Technology Innovation Society, 2016, Vol. 19, No. 4, pp. 711-735.