Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.44 No.3 pp.248-261
DOI : https://doi.org/10.11627/jkise.2021.44.3.248

Analyzing the Efficiency of National 6T R&D Projects by Two-stage Network DEA Approach

Hyundong Nam†

, Taewoo Nam†

Graduate School of Governance, Sungkyunkwan University, Republic of Korea

^†Corresponding Author : namtaewoo@skku.edu

Received 11/08/2021 Finally Revised 12/09/2021 Accepted 15/09/2021

Abstract

Scientific and technological performances (e.g., patents and publications) made through R&D play a pivotal role for national economic growth. National governments encourage academia-industry cooperation and thereby pursue continuous development of science technology and innovation. Increasing R&D-related investments and manpower are crucial for national industrial development, but evidence of poor performance in business performance, efficiency, and effectiveness has recently been found in Korea. This study evaluates performance efficiency of the 6T sector (Information Technology, Bio Technology, Nano Technology, Space Technology, Environment Technology, Culture Technology), which is considered a high-potential promising industry for the next generation growth and currently occupies two thirds of the national R&D projects. The study measures the relative efficiency of R&D in a comparative perspective by employing the Data Envelopment Analysis (DEA) method. The result reveals overall low efficiency in basic R&D (0.2112), applied R&D (0.2083), development R&D (0.2638), and others (0.0641), confirming that economic performance and efficiency were relatively poor compared to production efficiency. Efficient R&D needs policy makers to create strategies that can increase overall efficiency by improving productivity performance and quality while increasing economic performance.

Key Words : Two-stage network DEA model , National R&D , Technological efficiency , Economical efficiency , 6T

첨단산업기술(6T) 연구개발사업의 효율성 분석: 2단계 네트워크 DEA 접근의 적용

남 현동†, 남 태우†

성균관대학교 국정전문대학원

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

연구개발(R&D)의 성과(Performance)는 ‘정부가 설정한 목표를 정부 활동을 통하여 달성한 정도’로 정의되며[41], ‘연구 과정에서 창출되어 공개적으로 이용 가능하게 되는 모든 독창적이고 가치가 있는 지식’의 형태로 사회에 기여 한다[7]. ^『국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률_』1)은 연구성과를 ‘연구개발을 통하여 창출되는 특허, 논문 등 과학 기술적 성과와 그 밖에 유․무형의 경 제․사회․문화적 성과’로 규정한다. 지식생산기능은 지속 가능하고 장기적인 성장의 주요 동인이며, 특히 실증적 연 구에 대한 연구개발은 경제성장에 지대한 역할을 한다[39]. 국가연구개발은 산업발전에 중요한 요인으로써, 기술진보 를 위해 정부는 2000년 이후 지속적인 국가연구개발사업 투자와 인력을 확대하였으며 R&D 사업성과에 관한 관심과 더불어 효율적인 성장과 발전에 대한 논의도 지속하였다 [22]. 과학 기술은 사회․경제․문화 모든 영역에 걸쳐 영향 을 미치며 국가 경쟁력을 측정하는 중요한 지표이다. 우리 나라 정부는 국가 경쟁력 강화를 위해 연구개발 투자를 확대하고 산․학․연간 협력을 증대시키고 이를 통해 과학 기술의 지속적인 발전과 기술 혁신 추구를 위해 노력해오고 있다.

정부는 국가 차원의 연구개발 사업인 ^｢차세대 성장산 업 육성방안_｣을 발표하고 미래 유망산업으로 주목받는 6 개의 첨단산업 기술을 중점개발 사업으로 지정하고 육성 지원 계획을 추진하였다. 6T분야는 국가 과학 기술 기본 계획에 따라 정보통신(Information Technology: IT), 생명 공학(Bio Technology: BT), 나노(Nano Technology: NT), 환경공학(Environment Technology: ET), 우주항공(Space Technology: ST), 문화 콘텐츠(Culture Technology: CT)로 구분하였으며, 관련 분야 산업 성장성이 높고 시장규모 가 커짐에 따라 국가연구개발사업의 총 투자액이 67.9% 를 차지할 만큼 비중이 높다. 미래의 산업경제는 6T에 의해 촉진되며, 기술발전 과정을 통한 새로운 산업 패러 다임의 변화를 가져온다는 점에서 핵심산업의 변화에 효 율적으로 대응할 필요가 있다. 2017년 기준 국가연구개 발 투자비는 19조 39억 원이었고, 2018년에는 전년 대비 2.0% 증가한 약 19조 7,000억 원, 2019년 기준 정부의 국가연구개발 투자비는 20조 4,000억 원(전년 대비 3.7% 증가)으로 20조 원을 돌파하였다. 이에 정부의 국가연구 개발 투자 예산이 증가함에 따라 연구성과에 관한 관심 이 높아져 연구 기획, 관리, 평가 및 성과관리에 대한 전 략적인 접근과 지속적인 모니터링 등 체계적인 연구관리 가 필요하다[19].

R&D에 투입하는 자원이 부족한데도 많은 선진국들은 그 자원을 효율적으로 활용하고 미래기술에 관한 기술 혁신 역량을 지속적으로 높이는 방향으로 국가경쟁력을 강화하는데 주력하고 있다는 사실은 우리나라의 체계적 인 연구관리 필요성을 높이고 있다[10]. 그러나 국가 R&D 평가를 위해 이전 프레임워크와 평가 방법은 주로 단기 R&D 산출에 중점을 둔 반면, 중․장기적인 R&D 결과의 관리와 평가 측면은 제대로 고려되지 않았다. 연 구개발은 특성상 단기적인 연구성과 결과보다 장기적인 R&D 결과를 반영하고 효율적인 생산성과를 높이기 위 해 지속적인 관리 감독과 생산성을 높이는 환경이 뒷받 침되어야만 한다[29]. 연구개발 투자사업의 효율성을 제 고하고 자원의 낭비를 최소화하기 위해서는 국가연구개 발 예산의 체계적인 관리와 자원의 효율적인 배분을 유 도하여 투자 효율성을 높이는 것에 초점을 맞출 필요가 있다. 또한, 국가연구개발의 첨단산업기술인 6T분야의 연구개발단계의 정량적 측정을 통해 최적의 자원 분배와 비효율적인 개발단계와 분야를 관리․평가하여 성과 창 출의 선순환 체계를 마련하는 것이 요구된다.

연구개발의 관리․평가를 위해 효과적인 최적의 자원 분배와 연구성과를 측정하는데 있어서 상대적 비교가 가 능한 자료포락분석(Data Envelopment Analysis: DEA)이 활용되어 왔으며, 이 접근은 공공 R&D 정책분야에서 의 사결정이 가능한 관리자에게 효과적인 정보를 제공할 수 있다. Jiménez-Sáez et al.[24]은 효율성 분석을 통해서 정 책 입안자들의 성공적인 혁신 시스템을 구현하기 위해 효율적인 연구를 촉진할 수 있는 정도를 평가하는데 적 용하였다. 국가연구개발사업의 연구성과에 대한 체계적 이고 합리적인 평가를 위해 DEA 방법론을 활용한다면 성과관리를 추적 관찰하는 데 효과적이다[43]. 아울러 공 공부문의 효율성을 높이는 개선방안과 비효율성을 분석 하여 구조적 문제를 조정하는 데 유용하다.

연구개발의 효율적인 운영관리를 위해 국가연구개발 혹은 과학 기술정책에 관한 기존의 효율성 연구는 다양 한 분야에서 수행되었으며 영향요인, 운영관리, 성과적 기능에 대한 정책적 제언을 담아 왔다. 그럼에도 국가연 구개발의 기술수명 주기나 연구개발단계에서 생산성과 사업성과의 효율성 연구는 부족하다. 전체 연구개발투자 액의 상당 부분이 첨단산업 기술에 투자되고 있다는 점 에서 생산성과 경제성과를 평가하기 위해서는 관련 연구 를 검토할 필요는 있다. 효율성에 중점을 많은 선행연구 가 존재하지만, 계획했던 목표의 달성 정도와 투입수준 대비 실제 투입의 효율성을 전 범위에 걸친 성과로 평가 하는 것이 성과정보를 효과적으로 해석하는데 있어서 중 요하다[22]. 이러한 측면에서 중점개발하는 첨단기술사 업의 경제적 효과성을 평가하고 연구개발의 단계별 생산 관리의 효율성 향상을 위한 방안을 모색하는 것은 학술 적인 차원만이 아니라 정책적 차원에서도 큰 의의를 갖 는다.

본 연구는 기존의 국가 R&D 효율성 연구를 토대로 선행연구에서 사용된 측정 지표를 근거로 투입과 산출 변수 외에 사업성과 변수를 구성하였다. 국가연구개발 의 효율적인 운영성과를 생산효율성과 경제적 관점인 사업 효율성으로 조작화하여 연구모형을 설정하였다. 분석 방법은 자료포락분석 모형에서 2단계 네트워크 DEA 모델을 적용하여 각 단계의 중간 산출지표를 공유 하여 평가한 효율성 결과를 제시한다. 결과값은 생산 효율성과 사업 효율성을 구분하고 비효율적인 연구 분 야를 도출하여 연구개발 효율성을 위한 정책적 제언을 하고자 한다.

2. 이론적 배경

2.1 미래 유망기술산업 개념 및 현황

국가과학기술위원회는 국가연구개발사업의 분류기준에 따라 조사․분석․평가를 시행하여 연구개발에 대한 투자 방향 및 국가 과학 기술정책 수립 등에 필요한 기초자료를 통해서 OECD 기준에 따라 국가연구개발사업을 대상으로 실시하고 있다. 국가연구개발사업 조사 분류기준에 따르면 기술분류는 과학 기술표준분류, 미래 유망 신기술(6T), 국 가 기술 지도(NTRM)로 구분하고 있다. 특히, 기술분류 중 에서도 6T 산업은 전 세계 성장산업발달을 노동자원 자본 등 물질적 자원에서 과학 기술 및 지식정보 등 지식․정 보․서비스 등 비물질적 자원으로 변화하는 추세를 나타내 며, 첨단기술 산업에 집중하고 있다. 이는 국가 경쟁력을 제고하기 위해 미래 유망 신기술의 기술 역량을 강화하기 위한 다각적인 노력과 연구개발로 이루어지고 있다. 한편, 정부는 국가전략과학 기술방안을 전략적 우선순위 설정을 통해 6T 기반으로 미래 핵심기술을 추진하고 있다. 앞서, 우리나라는 2000년대 이후 과학기술기본계획에 의해 신기 술 중점개발 사업으로 지정하고 집중적으로 투자하여 미래 신산업 창출 기반을 모색하고 있다. 이와 관련하여 각 6T 분야 세부구성을 살펴보면 <Table 1>과 같다.

정보․전자 분야에 속하는 정보통신기술(Information Technology: IT)은 정보통신에 해당하는 기술 및 반도체 기술, 신체내장형, 바이오 컴퓨터 기술 등 정보 기술 위주의 융합기술을 의미한다. 차세대 정보통신 원천기술의 전략적 우위를 확보하기 위해 경쟁력 유지와 정보 기술의 자립을 위한 노력이 필요한 분야이다. 생명공학기술(Bio Technology: BT)은 현대사회의 급속도로 발전함과 동시에 삶의 질과 함께 다양한 생명 관련 문제를 해결하는데 중요한 분야이다. 생체유래물질 혹은 생물학적 시스템을 이용하여 필요한 물 질을 생산하거나 유용한 물질을 추출하는 기술로써 보건의 료 분야, 생명공학기술, 바이오소재, 생명정보학과 관련된 융합기술 및 농림․수산․해양 응용 분야가 생명공학기술 분야에 속한다. 기계․소재에 해당하는 나노기술(Nano Technology: NT) 분야는 IT, BT, ET 관련 신산업 등 거의 모든 산업 분야에 필요한 핵심요소이며, 기술적․산업적 파급효과가 큰 분야이다. 나노미터 크기의 물질을 기초로 유용한 소재, 부품, 시스템을 만드는 것으로 나노소자, 나노공정 기술, 나노바이오 등과 같은 나노를 활용한 기술 을 개발하기 위한 연구개발이 지속적으로 이루어지며 지식 집약형 유망산업으로 부상하고 있다. 환경에너지기술 (Environment Technology: ET)은 환경오염을 저감․예방․ 복원하기 위한 기술 이외에도 대체에너지와 관련된 바이 오․수소․원자력 기술 등 미래 에너지와 자원 확보․활용 과 관련된 기술 분야이다. 환경문제는 개별 국가의 문제가 아닌 인접 국가에 미치는 영향과 새로운 무역 규제 등을 고려할 때 환경문제를 해결하기 위한 지속적인 환경기반 에너지 연구개발이 필요하다. 기계․소재로 구분되는 우주 항공기술(Space Technology: ST)은 위성 및 항공과 관련된 설계 및 개발기술을 다루고 있으며, 발사 운용 및 관제 기술도 이에 해당한다. 우주항공기술이 국내 관련 기술 분야 수준을 높이는데 기여하는 반면 선진국의 핵심기술 진입장벽이 높 아 산업화와 관련된 기술 역량과 신기술 개발이 필요한 분야이다. 마지막으로 문화 콘텐츠(Culture Technology: CT) 기술의 경우 디지털 기술의 발전으로 콘텐츠 수요가 급증하 고 있어 디지털 편집과 아울러 데이터 가공․처리․유통․ 활용에 이르기까지 문화산업 육성 및 디지털콘텐츠 핵심기 술력을 확보하는 데 주력하고 있다. 또한, 문화원형 복원기 술, 문화재 관리 기술을 수반한 문화예술산업도 문화 콘텐츠 기술 분야에 해당한다.

현재 국가의 기술 역량은 국가 경쟁력을 나타내는 중요한 지표로써 6T 관련 분야의 신기술에 대한 투자는 꾸준히 확대되고 있다. 2019년 기준 IT(정보기술) 330,159억 원, BT(생명공학기술) 76,262억 원, NT(나노기술) 88,185억 원, ST(우주항공기술) 15,436억 원, ET(환경기술) 77,641억 원, CT(문화기술) 8,098억 원으로 2019년 총연구개발비인 890,471억 원의 약 67%에 해당하는 투자가 이루어지고 있다. 전체 국가연구개발에서 6T분야 연구개발이 차지하는 비율 이 높은 만큼 연구개발예산의 효율적인 생산과 경제적 성과 를 높이기 위한 조사·분석·평가 관리가 함께 요구된다.

2.2 국가연구개발 관련 효율성 연구

Ferretti et al.[14]은 국가연구개발에서 성과란 절대적 가치판단보다는 과학․사회계의 필요한 정보와 인식을 반영하는 상대적인 개념으로 주장한다. 또한, Brown and Svenson[4]은 ‘연구성과는 사회문화적 효과를 가져올 수 있고 경제적 성장을 창출된다’라고 정의하고 있다. 연구 개발 투자사업의 효율성을 높이기 위해서는 국가연구개 발예산의 체계적인 관리를 통해 효율적이지 못한 성과가 우려되거나 투자 대비 성과 측면에서 낮았던 부문은 철 저한 관리를 통해서 효율적인 배분을 유도하며 투자 효 율성을 높이는 데 초점을 맞추어 연구개발예산 낭비를 최소화해야 한다[22].

연구개발의 환경요인에 관한 연구에서는 Lee and Park[31]는 한국이 실시하고 있는 연구개발과 관련된 여러 평가시스템이 연구성과의 환경이나 특성을 충분히 고려하 지 않고 적합하지 않은 평가 결과를 적용함으로써 연구개발 정책 및 전략 방향을 왜곡할 수 있음을 강조하였다. 이를 연구개발 활동 측면에서 국가 차원의 효율성을 살펴본 결과 1984년부터 패널 자료를 확보하여 OECD 국가 중에 한국은 R&D 생산성 및 효율성 향상을 위한 연구개발 활동에 있어 서 투자 및 산출 증대의 관리 강화가 필요함을 지적하였다 [28]. 즉, 한국이 많은 연구개발비용을 지출하고 있으나 이 는 상대적으로 낮은 생산성을 보여주었으며 효율적인 연구 개발지원 정책 및 투자가 필요하다는 점을 의미한다[31].

연구개발에서 최적의 자원 배분과 환경요인 중요성과 더불어 생산의 비효율적인 문제도 존재한다. Lee et al.[32]은 한국의 R&D 연구의 문제점을 연구개발지출 대 비 산출인 생산물이 저조한 성과를 강조했다. 분석대상 36개국에의 평균 효율성 측정치보다 낮게 나타난 경우를 통해서 한국 연구개발 비효율성을 인식하였다. 효율적이 지 못한 부분이 기초연구 부문의 국제협력 분야에서 발 생함을 지적하였으며 국제연구개발 협력 및 개방적 혁신 을 구축하기 위한 정책목표설정 및 국제화를 위한 제도 적 장치가 필요하다고 언급하였다. 또한, 정부의 정책이 양적 성장에는 확실한 효과를 나타냈지만, 질적인 측면 에서의 효율성은 낮게 나타난 국제협력 분야를 위한 논 문의 품질과 결과를 높여야 하는 특성을 도출하였다.

사업 분야의 효율성 연구에서 Lee et al.[30]는 DEA와 비모수접근법을 통해서 정부 사업의 연구개발사업을 비 교하였으며 그 결과, 산학협력 및 국제교류 지원사업이 효율성이 높게 나왔으나 반면 기초과학 연구자 지원사업 은 효율성이 저조하게 나타났다. Lee et al.[33]은 연구개 발의 투자가 거시경제의 효과성을 분석하기 위해서 총요 소생산성에 대한 투자의 관계성을 확인하였다. 분석 결 과, 총요소생산성 증대에 45.3%를 기여하였으며 연구단 계에서는 기초와 응용연구가 효과성이 저조한 반면, 개 발 연구의 경우 40%의 수준을 나타내어 연구단계의 연 구개발 중요성을 확인하였다. 이외에 효율성에 직․간접 적인 영향을 주는 요인을 입증하는 연구도 존재한다. 국 가연구개발 투자 효율성을 방해하는 환경요인을 입증하 기 위해 Hwang et al.[22]는 DEA와 토빗 모델을 사용하 여 성숙기의 사업에서 경제적 효율성이 높게 나타났고 민간부문의 비중이 높을수록 개발 효율성이 높다는 결론 을 도출하였다. 이는 우리나라의 연구개발의 효율적인 운용 방향성이 투자의 관계성도 중요하다고 볼 수 있다. 다양한 측면에서 연구개발의 효율성을 측정하여 문제를 지적하였으며 이러한 평가는 연구개발의 경제적 성장도 매우 중요하다. 투자의 효율성이 생산에 영향을 미치는 연구를 통해서 효율성을 고려해야 하는 부분이다[40]. 또 한, 이러한 변화는 국가연구개발 운영 효율성 및 성과 개 선을 유도하여 궁극적으로 정부 연구개발예산 관리의 효 율성을 높이고자 한 조치로 볼 수 있다[26].

3. 연구 방법

3.1 2단계 네트워크 DEA 모형(Two-Stage Network DEA)

자료포락분석(Data Envelopment Analysis: DEA)은 생산 함수를 가정할 필요가 없으며 투입지표와 산출지표의 동시 적 고려가 가능한 이점이 있다. 1978년 Charnes, Cooper, Rodes에 의해 처음 제안된 DEA 측정 모델은 Farrell[13]의 상대적 효율성 개념에 기초했다. DEA를 통해 동일한 목표를 가지고 운용되는 조직의 상대적인 효율성을 여러 기준을 고려하여 체계적으로 평가하여 의사결정에 반영할 수 있는 선형계획(Liner Programming)모형이 개발되었다. 이는 생산 을 얻기 위해 수반되는 투입과 산출지표가 수치적으로 측정 이 가능하여 많은 분야에서 적용 가능하여 활용되었다[12].

DEA는 연구의 목적과 데이터의 성격에 따라 다양한 모 형으로 나뉘며, 이 중 다양한 내부구조의 형태를 분석하기 위해서 가장 기본적으로 사용되는 모형이 2단계 네트워크 모형이다[25]. 이 모형은 DEA의 투입(Input) 요소와 산출 (Output) 요소 사이에 중간 산출(Intermediate) 요소를 적용 하여 2단계 적용 구조를 가진다. 2단계 네트워크 효율성을 측정하기 위해 기존 선행연구에서는 Charnes et al.[6]의 CCR 또는 Banker et al.[1]의 BCC 모형과 같은 표준적인 DEA 모형을 적용하여 전체 효율성을 비롯하여 단계별 효 율성을 분석해야 하는 한계가 발생한다[44]. 이러한 문제는 2개의 개별 단계를 독립적인 DMU로 간주하여 효율성을 측정할 경우 중간 산출 요소가 투입과 산출 사이에서 발생 하는 상충현상이 나타날 수 있으며 서로 다른 효율성 값이 왜곡된 결과를 가져오는 문제가 있다[9]. 이를 해결하기 위 해 Kao and Hwang[25]은 전체 효율성이 두 단계의 효율성 의 곱으로 표현되어 중간요소에 부여되는 가중치를 각각의 투입과 산출에 동일하게 설정하여 기존의 2단계 효율성 측정 방법을 보완할 수 있다. 2단계 네트워크 DEA 모형의 구조는 <Figure 1>과 같다.

각각의 DMU j (j = 1, 2, …, n) 는 m개의 투입요소 x_ij (i = 1, 2, …, m) 가 1단계(sub-process1)에 투입되고 이 단계로부터 D개의 산출요소 z_dj (d = 1, 2, …, D) 가 산출 된다. 이 산출요소를 중간요소(Intermediate)로 적용한 후 2단계(sub-process2) 투입요소가 된다. 2단계로부터의 산 출요소는 y_rj (r = 1, 2, …, s) 로 나타낸다. 효율성 지표를 기반으로 투입지향 CCR 모형에 기반하며 DMU 계획모 형으로 표현하면 다음과 같다.

\begin{array}{l} max θ_{0} = \sum_{r = 1}^{s} u_{r} y_{r o} \\ s.t . \\ \sum_{r = 1}^{s} u_{r} y_{r j} - \sum_{i = 1}^{m} u_{i} x_{i j} - \sum_{k = 1}^{l} β_{k} b_{k j} \leq 0 \forall j \\ \sum_{i = 1}^{m} u_{i} x_{i 0} + \sum_{k = 1}^{l} β_{k} b_{k 0} = 1 \\ u_{r} \geq 0, r = 1, 2, \dots, s \\ u_{i} \geq 0, i = 1, 2, \dots, m \\ β_{k} \geq 0, k = 1, 2, \dots, l \end{array}

위 모형을 통해 각 DMU의 효율성을 평가할 경우 동 질의 투입으로 간주되어 판별력이 떨어진다. 따라서 두 단계의 효율성을 통해 전체 효율성을 도출하는 것이 합 리적이며, 시스템 내의 두 단계에서 효율성을 독립적으 로 평가할 경우 1단계 효율성 θ¹과 2단계 효율성 θ²는 아래의 모형을 통해 각각 계산할 수 있다.

\begin{array}{l} max θ_{0}^{1} = \sum_{h = 1}^{q} α_{h} α_{h o} \\ s.t . \\ \sum_{h = 1}^{q} α_{h} α_{h j} - \sum_{i = 1}^{m} u_{i} x_{i j} \leq 0 \forall j \\ \sum_{i = 1}^{m} u_{i} x_{i 0} = 1 \\ u_{r} \geq 0, i = 1, 2, \dots, m \\ α_{i} \geq 0, h = 1, 2, \dots, q \\ β_{k} \geq 0, k = 1, 2, \dots, l \end{array}

\begin{array}{l} max θ_{0}^{2} = \sum_{r = 1}^{s} u_{r} y_{r o} \\ s.t . \\ \sum_{r = 1}^{s} u_{h} y_{r j} - \sum_{h = 1}^{q} {\tilde{α}}_{h} α_{h j} - \sum_{k = 1}^{l} β_{k} b_{k j} \leq 0 \forall j \\ \sum_{h = 1}^{q} {\tilde{α}}_{h} α_{h o} + \sum_{k = 1}^{l} β_{k} b_{k o} = 1 \\ u_{r} \geq 0, r = 1, 2, \dots, s \\ α_{h} \geq 0, h = 1, 2, \dots, q \\ β_{k} \geq 0, k = 1, 2, \dots, l \end{array}

Liang et al.[34]은 Two-stage DEA 모형에서 전체 효율 성을 각각 θ¹, θ²로 정의하고 2단계 추가 투입 요소가 존 재하지 않는 상황에서 중간산출지표의 가중치가 동일함 을 가정하여 제안하였다. 본 연구에서는 가정을 완하시 키는 Two-stage DEA 모형을 기준으로 각 단계에서 중간 산출지표가 가중치를 공유하면서 각 단계를 평가할 수 있는 효율성을 도출하기 위한 모형으로 아래 선형계획법 과 같이 나타낸다.

\begin{array}{l} max θ_{0}^{2} = \sum_{r = 1}^{s} u_{r} y_{r o} \\ s.t . \\ \sum_{r = 1}^{s} u_{h} y_{r j} - \sum_{h = 1}^{q} {\tilde{α}}_{h} α_{h j} - \sum_{k = 1}^{l} β_{k} b_{k j} \leq 0 \forall j \\ \sum_{h = 1}^{q} {\tilde{α}}_{h} α_{h o} + \sum_{k = 1}^{l} β_{k} b_{k o} = 1 \\ \sum_{h = 1}^{q} {\tilde{α}}_{h} α_{h o} = θ_{o}^{1} \\ u_{r} \geq 0, r = 1, 2, \dots, s \\ α_{h} \geq 0, h = 1, 2, \dots, q \\ β_{k} \geq 0, k = 1, 2, \dots, l \end{array}

이러한 2단계 모형은 내부의 각 단계에서 발생할 수 있는 효율․비효율을 고려하지 않은 전체 효율성만 측정 하려는 단점을 보완하고 단계적 접근법에서 발생할 수 있는 표준 DEA 접근법이 가지는 문제를 해결하여 직접 적인 생산효율성과 경제적인 성과 효율성을 타당하게 측 정하는 데 효과적이다[23, 34, 35]. 본 연구에서는 위 모형 을 적용하여 중간요소에 부여되는 가중치를 투입과 산출 에 각각 동일하게 적용하여 전체 효율성(Overall efficiency, 기술 효율성(Technology effiency), 경제 효율성 (Economic efficiency)을 측정한다.

3.2 연구모형 및 변수의 조작적 정의

본 연구는 국가연구개발 미래 유망 신기술인 6T분야의 생산성과를 대상으로 연구단계별 상대적 효율성 분석을 수행하고 효율성 분석 결과를 바탕으로 비효율적인 원인 및 효율성 향상방안을 모색하고자 한다. 분석에 활용된 자료는 한국과학기술기획평가원(KISTEP)과 국가과학기 술지식정보서비스(National Science and Technology Information Service: NTIS)를 통해 미래 유망 신기술 6T분 야의 국가개발정보와 연구개발성과정보를 수집하였다. 변수의 조작적 정의는 <Table 3>과 같다.

효율성을 측정하기 위해서는 우선 효율성 분석 대상 인 의사결정단위(Decision Making Unit: DMU)를 결정해 야 하며, DEA에서는 DMU 간의 동질성을 전제로 한다. DMU 간의 동질성이란 유사한 기업․조직 활동, 유사한 종류 및 범위의 자원투입, 유사한 외부환경 요인 등을 확 보한 DMU 간에 서로 비교 가능해야 함을 의미한다[11]. 이에 본 연구의 분석대상의 선정기준은 동질성을 감안하 여 정부 예산으로 진행되는 국가연구개발을 기술분류 기 준으로 나타낸 6T분야의 연구개발비와 실적을 대상으로 구분하여 분석에 사용하였다. 또한, DEA 효율성 분석에 서는 연구목적에 따라 Cook and Zhu[8]는 DMU 수의 문 제가 될 수 있음을 지적하였다. 이러한 문제는 DMU 적 을 경우, 대부분의 DMU가 효율성 프런티어에 해당하여 잘못된 측정값을 형성할 수 있다. 이와 관련하여 표본 크 기가 작을수록 회귀계수와 모수 추정의 타당성과 신뢰성 에 영향을 미치기 때문에 DMU 표본의 적정수준을 확보 하기 위해서 투입과 산출변수의 수를 고려한 DMU를 결 정하는 접근법에 따른다.

게다가 DMU의 목표 달성에 중요한 요소로써 투입과 산출변수의 수는 DMU의 수와 동일한 결정 요인에 영향 을 미칠 수 있다. 이를 개선하기 위해 Banker et al.[2]은 DMU 단위가 투입과 산출변수의 합보다 3배 이상, FItzsimmons and Fitzsimmons[15]는 2배보다 커야 DMU 선정에 적합하여 효율성 측정이 가능함을 제시하였다[3, 17, 45]. 자료구성에 앞서 환경적 요소인 연구개발과정의 시차가 존재하는데 본 연구에서 자료를 수집하는 데 있 어서 연구개발과정의 시차가 발생하여 성과를 측정하는 데 어려움이 따른다. 본 연구에서는 이러한 연구개발 시 차를 추정하기 위해서 평균 연구개발 시차를 활용하였으 며, 통상 5년의 연구개발 시차를 추정하는 평균값으로 활용하였다[20, 36, 37]. 5년의 시차를 추정하는 평균값을 구성하기 위해 국가연구개발비는 2012~2014년 자료를 활용하였으며, 성과에 해당하는 논문, 국내 특허, 국외 특허, 기술료, 체결 수는 2017~2019년도의 평균 측정값 을 기준으로 적용하였다.

자료를 수집하는 과정에서 해당연도 사업의 투입 및 산출이 전혀 없는 사업을 제외하는 근거로는 효율성은 가중투입에 대한 가중산출의 비율인데 투입이 전혀 없는 경우 혹은 산출이 산정되지 않을 경우, 효율성의 개념이 성립하지 않는다는 점을 들 수 있다. 조사․분석 자료에 서 투입 및 산출이 전혀 없는 경우는 두 가지일 수 있다. 하나는 결측치인 경우이고, 다른 하나는 설정된 투입․ 산출 변수 외의 다른 형태의 투입과 산출이 이루어진 경 우이다. 이 경우 본 연구의 분석에 해당하지 않기에 제외 한다. 결측치에 해당하는 6T분야에서 문화 콘텐츠의 문 화유산 분야는 성과에 결측치가 연구단계별로 존재하여 결측치를 제외한 연구단계별 6T 세부분야 21개 사업을 DMU로 선정하였다. 선정된 21개의 연구사업은 DMU의 수와 투입․산출의 인과관계를 기존 선행연구의 근거를 바탕으로 타당성을 검증하였으며 효율성 분석을 진행하 는 데 문제가 없음을 확인하였다. 분석에 사용되는 투 입․산출 요소는 2단계 네트워크 분석에 필요한 중간 산 출 요소를 포함하여 <Figure 2>와 같다.

일반적으로 DMU의 성과와 관련된 변수들을 광범위 하게 분석에 포함하는 것이 주장되었으나[17], 투입과 산 출의 논리적 관계에 따라 설명될 수 있거나 혹은 외부적 인 영향요인으로 발생하는 변수를 모형에 포함할 경우 DEA 분석의 신뢰성이 떨어진다. 본 연구는 선행연구에 서 검토된 다양한 지표 중에 국가연구개발 분야에서 가 장 많이 활용되는 지표들을 선정하였으며, Freeman and Soete[16], Lee and Park[31] 연구자의 지표 선정 근거를 토대로 본 연구에서 투입은 연구개발비, 생산에 해당하 는 중간산출변수는 성과로 인정되는 SCI 논문 게재 수, 국내 특허등록 수, 국외 특허등록 수로 설정하였으며, 연 구 경제성과에 해당하는 산출에는 기술료 체결 수 및 사 업화 수를 변수로 사용하였다.

4. 연구 결과

4.1 투입산출 변수의 기술 통계량

본 연구의 모형에 대한 투입 및 산출변수들의 기초통계량 은 <Table 4>와 같이 나타났다. 각 투입․산출변수의 개수 는 연구단계별로 21개의 DMU 개수와 일치하게 나타났다. 전체 연구개발단계에서 투입변수에 해당하는 국가연구개 발 평균 투입금액이 가장 높은 단계는 개별연구(2169.6억 원)로 나타났으며, 가장 적은 연구개발비의 투입이 이루어 진 단계는 기타연구(605.1억 원)로 나타났다. 세부적으로 기초연구에서 가장 많은 연구개발 투입이 이루어진 분야는 BT(생명공학기술) 분야의 기초․기반 기술(Base technology: B․T)에서 5,709억 원, 응용연구에서는 BT(생명공학 기술) 분야의 보건의료 관련 응용(Health care related application: H․C)이 2,582억 원, 개발연구 분야는 ET(환경기술) 분야의 에너지(Energy: EN)가 7,530억 원, 마지막으로 기타 연구의 BT(생명공학기술) 분야에서 농업․해양․환경 관 련 응용(Agriculture/Marine/Environment: AG)연구에 2,379 억 원이 투입되었다. 연구개발로 발생한 중간산출물에 해당 하는 생산성과는 기초연구에서 SCI 논문 게재 수가 타 연구 단계와 비교해 월등히 높은 성과를 보였으며, 국내 특허등 록 수(324건)와 국외 특허등록 수(30건)는 개별연구에서 가 장 높게 나타났다.

구체적으로 단계별 연구 생산성과를 살펴보면 SCI 논문 게재 수(4,767건), 국내 특허등록 수(916건), 국외 특허등록 수(102건) 모두에서 BT(생명공학기술) 분야의 보건의료 관 련 응용이 기술적 성과가 가장 높은 것으로 나타났다. 응용 연구에서는 SCI 논문 게재 수(990건)와 국내 특허등록 수 (439건)가 기초연구와 동일하게 BT(생명공학기술) 분야의 보건의료 관련 응용 분야에서 높게 나타났으며, 국외 특허 등록 수는 IT(정보기술) 분야의 핵심부품에서 64건으로 응 용연구 부분에서 가장 많은 특허등록 수를 보였다. 연구개 발예산 투입이 가장 많이 이루어진 개발연구에서는 SCI 논문 게재 수(965건)와 국외 특허등록 수(163건)가 기존 연 구와 같은 BT(생명공학기술)분야의 보건의료 관련 응용으 로 확인된 반면, 국내 특허등록 수는 ET(환경기술) 분야의 에너지(Energy: EN)가 1,040건으로 가장 높게 나타났다. 마 지막으로 기타연구 분야에서 SCI 논문 게재 수는 BT(생명 공학기술) 분야의 보건의료 관련 응용 913건, 국내 특허등 록 수 및 국외 특허등록 수에서는 IT(정보기술) 분야의 기타 정보 기술이 각각 199건, 99건으로 기타연구에서 가장 높은 기술적 성과를 보였다.

다음으로는 사회 경제적 성과에 해당하는 사업성과를 살펴보면 기술료 체결 건에서는 개발연구에서 907건으 로 타 연구단계 사업성과보다 압도적인 차이를 보였으 며, 반면 가장 낮은 사업성과를 보인 연구단계는 기타연 구가 40건으로 나타났다. 생산성과를 거쳐 사업화가 발 생한 건수를 살펴보면 개발연구에서 202건이 이루어진 반면, 기타연구는 기초연구와 응용연구와의 근소한 차이 로 가장 낮은 사업화 수(40건)를 나타냈다. 아울러 전반 적으로 BT(생명공학기술), IT(정보기술), ET(환경기술) 분야에서 연구개발 사업이 집중되고 있음을 확인하였다. 각 분야의 연구는 투입에 해당하는 연구개발 성과를 비 교하여 자원의 배분과 효율적인 연구개발 단계를 확인하 고자 2단계 네트워크 효율성 분석을 진행하였다.

4.2 2단계 네트워크 효율성 분석 결과

국가과학기술지식정보서비스(NTIS)에 등록된 6T 세부 분야에 따라 연구개발비와 생산성과 및 경제성과자료를 사 용하여 분류하였다. 이에 따라 네트워크는 2단계가 분리된 관계를 연속형 구조의 형태인 Two-stage Network DEA 구 조로 변환하여 효율성 분석을 진행하였다. 1단계 투입 요소 에서는 6T분야의 국가연구개발비를 적용하였으며 산출 요 소에는 SCI 논문 게재 수, 국내 특허등록 수, 국외 특허등록 수를 활용하였다. 2단계 투입 요소에서는 1단계에서 산출변 수인 SCI 논문 게재 수, 국내 특허등록 수, 국외 특허등록 수를 2단계 산출변수에는 기술료 체결 수 및 사업화 수를 적용하여 효율성 분석을 진행하였다. 6T 세부연구의 전체 효율성(Overall efficiency), 생산 효율성(Production efficiency), 사업 효율성(Economic efficiency)을 측정한 결과는 <Table 5>와 같다.

연구개발단계에서 기초연구의 평균 전체 효율성은 0.2112, 응용연구 0.2083, 개발연구 0.2638로 근소한 차이 를 보였으며, 기타연구는 0.0641로 가장 낮은 평균값을 나타냈다. 세부적으로 살펴보면 기초분야에서는 전체 효 율성이 가장 높게 나타난 분야는 IT(정보기술)의 기타정 보 기술 분야(0,5449)이다. 생산 효율성 평균은 0.5092이 며, IT(정보기술) 분야의 차세대 네트워크 기반이 효율적 인 집단으로 나타났다. 경제성과 효율성에서는 평균값이 0.4498로 확인되었으며, IT(정보기술)의 기타정보 기술, BT(생명공학기술)의 농림․해양․환경 관련 응용, CT (문화 콘텐츠)의 생활문화에서 효율적인 집단으로 나타 났다. 기초연구 분야에서는 생산 효율성 평균이 0.5092 인데 반해 경제성과 효율성은 0.4498로 낮게 나타났으며 이는 직접적인 생산성과에 비해서 경제 성과적인 측면에 서 효과적으로 진행되지 못한 부분을 확인하였다.

응용연구 분야는 전체 효율성이 0.2083이며, 효율성 값이 가장 큰 분야는 CT(문화 콘텐츠)의 문화 콘텐츠 연 구가 0.7526으로 응용연구에서는 전체 효율성이 가장 높 았다. 다음으로 생산 효율성을 살펴보면 평균값이 0.5757 이며, IT(정보기술) 분야의 차세대 네트워크 기반연구가 효율적인 집단으로 나타났다. 사업 효율성에서는 평균이 0.3539이며, CT(문화 콘텐츠)의 생활문화연구가 효율적 인 집단으로 확인되었다. 응용연구는 생산 효율성과 비 교해서 사업 효율성이 다소 낮은 효율성 평균값을 보였 으며 세부적인 6T분야에서도 경제성과가 CT(문화 콘텐 츠) 분야에서만 효율적으로 나왔다는 점에서 기초연구의 생산 효율성 평균보다 높은 효율성을 보임에도 불구하고 사업 효율성 낮은 원인을 검토할 필요성이 있다.

개발연구에서는 전체 효율성이 0.2638로 타 연구단계 보다 높은 전체 효율성 평균값을 가진 것으로 확인되었 으며, BT(생명공학기술)의 농업․해양․환경 관련 응용 연구가 0.7327로 효율적인 집단에 가장 가까운 것으로 나타났다. 생산 효율성을 살펴보면 평균 효율성 값이 0.5564이며, NT(나노기술) 분야의 나노 소자 및 시스템 연구가 효율적인 연구로 확인되었다. 기초연구와 응용연 구, 기타연구를 비교하여 생산 효율성 최소값이 비교적 타 연구단계보다 높게 나타났다. 사업 효율성에서는 평 균이 0.4594이며, 효율적인 집단은 CT(문화 콘텐츠)의 생활문화가 효율적인 연구로 나타났으며, 그 외에 효율 적인 집단은 확인되지 않았다. 전반적인 전체 효율성 평 균이 타 연구단계보다는 다소 효율성 값이 높게 나와서 효과적인 운영관리 및 경제적 사업 효율성을 높이는 방 안이 모색되어야 한다.

마지막으로 기타연구는 전체 효율성이 0.0641로 타 연구 단계와 비교해 매우 낮은 효율성 평균값을 가지고 있는 반면, 전체 효율성 값이 NT(나노기술) 분야의 나노 바이오 보건연구가 0.9357로 타 연구단계를 포함하여 가장 높은 전체 효율성 값을 나타냈다. 이는 전반적으로 전체 효율성 이 0.0005~0.2638 범주의 값을 지닌 점을 고려했을 경우 큰 폭의 차이를 보이는 결과라고 볼 수 있다. 생산 효율성에 서는 평균이 0.2207로 연구단계 중에 가장 낮은 효율성 값을 가진 것으로 확인하였으나 반면, NT(나노기술)의 나노 소자 및 시스템, 나노 바이오 보건이 기타연구 DMU 집단 중에 효율적인 집단으로 측정되었다. 사업 효율성에서는 평균값 이 0.2889이며, 효율적인 경제성과집단에 도달한 분야를 살펴보면 ST(우주항공기술)의 기타연구 및 ET(환경기술) 의 청정생산연구로 확인되었다. 기타연구 분야는 기초, 응 용, 개발단계에 구분되지 않은 특정 연구 분야로서 전체 효율성, 생산 효율성, 사업 효율성에서 타 연구단계보다 비교적 낮은 효율성 평균값을 나타냈다.

5. 결 론

본 연구는 국가연구개발의 생산성과와 경제성과를 6T 연구 분야별로 상대적 효율성을 제시하여 비효율성 개선을 통해 효율성 향상방안을 마련하고자 하였다. 이를 위해, 2012~2014년도의 국가연구개발 예산을 투입받은 미래 유 망 신기술인 6T분야를 연구단계별로 분리하여 2단계 효율 성을 분석하기에 적합한 Two-stage Network DEA model을 적용하여 상대적 효율성 값을 제시하였다. 분석은 크게 전 체 효율성과 생산 효율성 및 사업 효율성을 도출하였으며 결과값은 효율성 개선방안을 위해 정책적 제언에 활용하였 다. DEA 분석을 위해 NTIS와 KISTEP을 통해 국가연구개 발비와 연구개발 성과 자료를 수집하였다. 분석에 앞서 투 입․산출에 각각 적용한 투입변수는 국가 연구개발비 중간 산출변수는 SCI 논문 수, 국내 특허등록 수, 국외 특허등록 수, 성과 산출변수는 기술료 체결 수, 사업화 수를 지표로 활용하였다. DMU는 2012~2014년도 국가연구개발비가 투 입된 6T 연구 분야 21개를 시차 평균 추정법을 고려하여 2017~2019년도 성과를 기준으로 생산 및 사업 효율성을 분석하였다.

그 결과를 요약하면 다음과 같다. 각 연구단계인 기초, 응용, 개발, 기타 분야는 전체적으로 생산 효율성이 사업 효율성보다 높은 효율성 값을 나타냈으며, 반면 기타연 구는 생산 효율성보다 사업 효율성이 높은 효율성 값을 확인하였다. 전체 효율성이 가장 높은 분야는 기타연구 분야에서 NT(나노기술)의 나노바이오 보건이 효율성이 높게 나타났다. 반면 가장 낮은 효율성 값을 지닌 분야는 ET(환경기술)의 해양환경연구가 부족한 것으로 확인되 었다. 결론적으로 모든 분야가 생산 효율성이 높게 나왔 으나 이를 활용한 사업성과는 부진한 것으로 나타났다. 국가 6T 사업의 연구개발이 생산 성과적인 측면이 두각 을 나타내는 반면, 경제성과가 효과적이지 못한 부분을 개선하기 위한 접근이 필요하다. 꾸준히 제기되는 연구 개발의 효율성 문제와 자원 낭비는 효과적인 경제성과에 도달하지 못하는 사업화 및 기술료 체결에 있어서 문제 의 원인을 파악하고 연구개발의 효과성을 높이는 관리 감독이 요구된다. 아울러 연구 투자로 창출된 기술성과 가 효율성이 높은 사업화로 이루어질 수 있는 연구 분야 를 응용하여 성과 시스템이 마련되어야 한다.

매년 국가연구개발비는 점진적으로 증가하고 있으며 과학 기술의 역량을 높이기 위한 다양한 연구가 진행되 고 있다. 그러나 경제적 성과의 부진과 투입 대비 산출의 효율적인 문제는 매번 개선되지 못하는 실정이다. 이에 본 연구는 효율적인 연구개발의 성과를 측정하고 비효율 적인 원인이 경제성과에서 오는 것을 밝혔다. 연구개발 의 비효율적인 원인이 기존 선행연구에서는 구분되지 않 은 투입 변인에 의해서 생산성과를 도출하는 한계점을 보였으나 생산성과와 경제성과로 구분하여 문제의 원인 을 파악하였다는 점에서 의미 있다. 경제성과의 비효율 적인 연구 분야와 전반적으로 과다 투입된 환경에서 경 제성과가 생산되고 있어 연구 분야를 비롯한 연구개발단 계에서 효율적 운용을 위한 적절한 자원 배분과 함께 사 업 효율성을 증가시키기 위한 관리와 환경이 뒷받침되어 야 할 것이다.

국가연구개발의 분야별 연구개발단계를 생산성과 경 제성과를 구분하여 효율성을 측정하여 구체적인 비효율 성의 원인을 제공하였음에도 불구하고 본 연구는 다음과 같은 한계점이 존재한다. 2012~2014년에 투입된 국가연 구개발비 및 2017~2019년 연구성과를 시차 평균 추정법 을 활용하여 정확한 측정값을 나타내지 못한 문제점이 발생되었으며, NTIS의 체계적인 관리시스템을 개선하여 사업연도와 해당 성과를 확인할 수 있는 정보서비스가 요구된다. 특정 연도의 연구개발예산과 연구성과를 대상 으로 분석하였기 때문에 효율성 결과에 무리가 있으며, 정보수집의 특성상 매년 연구지원 분야 및 분석대상 (DMU) 또한 달라지므로 효율성의 연도별 변화 추이 및 생산성 지수 변화를 보는 연구 역시 어려움이 있다. 따라 서 향후 객관적이고 포괄적인 범위의 국가연구개발 효율 성 연구를 수행하기 위해 지표 개발과 사후 추적이 가능 한 정보공개 시스템이 수반되어야 할 것으로 보인다.

Acknowledgment

This study was supported by Ministry of Education of Republic of Korea and National Research Foundation of Korea (BK21FOUR Toward Empathic Innovation: Through Platform Governance Education & Research Programs: #4199990114294).

Figure

<Figure 1>.

Two-stage Network System Model

<Figure 2>.

Two-stage R&D Performance Model

Table

<Table 1>.

National R&D expenditure and R&D performance status

<Table 2>.

Domestic and Oversea Research Cases of National R&D Efficiency

<Table 3>.

Operational Definition of Variables

<Table 4>.

Descriptive Statistics of input-output Variables by Research Stage

<Table 5>.

Two-stage Network Efficiency Analysis Result

Reference

Banker, R.D., Charnes, A., and Cooper, W.W., Some models for estimating technical and scale inefficiencies in data envelopment analysis, Management Science, 1984, Vol. 30, No. 9, pp. 1078-1092.
Banker, R.D., Cooper, W.W., Seiford, L.M., Thrall, R.M., and Zhu, J., Returns to scale in different DEA models, European Journal of Operational Research, 2004, Vol. 154, No. 2, pp. 345-362.
Boussofiane, A., Dyson, R.G., and Thanassoulis, E., Applied data envelopment analysis, European Journal of Operational Research, 1991, Vol. 52, No.1, pp. 1-15.
Brown, M.G., & Svenson, R.A., Measuring r&d productivity, Research-Technology Management, 1988, Vol. 31, No. 4, pp. 11-15.
Byun, S.K. and Han, J.H., Efficiency Estimations for the government driven R&D projects in IT industires, Hannam Journal of Law & Technology, 2009, Vol. 15, No. 2, pp. 179-206.
Charnes, A., Cooper, W.W., and Rhodes, E., Measuring the efficiency of decision making units, European Journal of Operational Research, 1978, Vol. 2, No. 6, pp. 429-444.
Cohen, W.M. and Levinthal, D.A., Innovation and learning: the two faces of R&D, The Economic Journal, 1989, Vol. 99, No. 397, pp. 569-596.
Cook, W.D. and Zhu, J., Data envelopment analysis: A handbook of modeling internal structure and network, Springer, 2014.
Cook, W.D., Zhu, J., Bi, G., and Yang, F., Network DEA: Additive efficiency decomposition, European Journal of Operational Research, 2010, Vol. 207, No. 2, pp. 1122-1129.
Cullmann, A., Schmidt-Ehmcke, J., and Zloczysti, P., R&D efficiency and barriers to entry: a two stage semi-parametric DEA approach, Oxford Economic Papers, 2012, Vol. 64, No. 1, 176-196.
Dyson, R.G., Allen, R., Camanho, A.S., Podinovski, V.V., Sarrico, C.S., and Shale, E.A., Pitfalls and protocols in DEA, European Journal of Operational Research, 2001, Vol. 132, No. 2, pp. 245-259.
Emrouznejad, A. and Yang, G.L., A survey and analysis of the first 40 years of scholarly literature in DEA: 1978– 2016, Socio-economic Planning Sciences, 2018, Vol. 61, pp. 4-8.
Farrell, M.J., The measurement of productive efficiency, Journal of the Royal Statistical Society: Series A (General), 1957, Vol. 120, No. 3, pp. 253-281.
Ferretti, F., Pereira, Â.G., Vértesy, D., and Hardeman, S., Research excellence indicators: time to reimagine the ‘making of’?, Science and Public Policy, 2018, Vol. 45, No. 5, pp.731-741.
FItzsimmons, J.A. and Fitzsimmons, M.J., Service management for competitive advantage, McGraw Hill, 1994.
Freeman, C. and Soete, L., Developing science, technology and innovation indicators: What we can learn from the past, Research Policy, 2009, Vol. 38, No. 4, pp. 583-589.
Golany, B., and Roll, Y., An application procedure for DEA, Omega, 1989, Vol. 17, No. 3, pp. 237-250.
Halaskova, M., Gavurova, B., and Kocisova, K., Research and development efficiency in public and private sectors: An empirical analysis of EU countries by using DEA methodology, Sustainability, 2020, Vol. 12, No. 17, pp. 7050.
Hong, H.D., Lee, K.H., Park, K.P., and Hwang, B.Y., The Impact of Organizational Competencies on the Performance of R&D Management Agencies in Korea, Korea Technology Innovation Society, 2018, Vol. 21, No. 2, pp. 788-817.
Hong, S.G., Hong, S.K., and Ahn, D.H., A Study on R&D investment flows between industrial sector and analysis of the effects on the increase of direct and indirect Productivity, Sejong: Science and Technology Policy Institute, 1991.
Hsu, F.M. and Hsueh, C.C., Measuring relative efficiency of government-sponsored R&D projects: A three-stage approach, Evaluation and Program Planning, 2009, Vol. 32, No. 2, pp. 178-186.
Hwang, S.W., Ahn, D.H., Choi, S.H., Kwon, S.H., Chun, D.P., Kim. A.R., and Park, J.H., Efficiency of national R&D investment, Sejong: Science and Technology Policy Institute, 2009.
Jiang, B., Chen, H., Li, J., and Lio, W., The uncertain two-stage network DEA models, Soft Computing, 2021, Vol. 25, No. 1, pp. 421-429.
Jiménez-Sáez, F., Zabala-Iturriagagoitia, J.M., Zofío, J.L., and Castro-Martínez, E, Evaluating research efficiency within National R&D Programmes, Research Policy, 2011, Vol. 40, No. 2, pp. 230-241.
Kao, C. and Hwang, S.N., Efficiency decomposition in two-stage data envelopment analysis: An application to non-life insurance companies in Taiwan, European Journal of Operational Research, 2008, Vol. 185, No. 1, pp. 418-429.
Kil, J.B., Jung, B.K., and Yeom, J.H., Government-funded Research Institutes, Agency Problem and Project Based System(PBS), Korean Review of Organizational Studies, 2009, Vol. 6, No. 2, pp. 179-202.
Kim, T.H., A Study on the Way to Enhance Research Performance out of the International Joint Projects under the Framework of National R&D Programs, Focusing Basic and Fundamental Technology, Journal of Korea Technology Innovation Society, 2012, Vol. 15, No. 2, pp. 400-420.
Kim, Y.H., and Kim, S.K., An Analysis on the R&D Productivity and Efficiency of Korea: Focused on Comparison with the OECD Countries, Journal of Technology Innovation, 2011, Vol. 19, No. 1, pp. 1-27.
Lee, H., Kim, M.S., Yee, S.R., and Choe, K., R&D performance monitoring, evaluation, and management system: A model and methods, International Journal of Innovation and Technology Management, 2011, Vol. 8, No. 2, pp. 295-313.
Lee, H., Park, Y., and Choi, H., Comparative evaluation of performance of national R&D programs with heterogeneous objectives: A DEA approach, European Journal of Operational Research, 2009, Vol. 196, No. 3, pp. 847-855.
Lee, H.Y., and Park, Y.T., An international comparison of R&D efficiency: DEA approach, Asian Journal of Technology Innovation, 2005, Vol. 13, No. 2, pp. 207-222.
Lee, K.J., Lee, J.J., Son, B.H., Hwang, B.Y., Kang, H.K., Ahn, B.M., Kim, J.Y., Han, S.Y., Chun, S.B., and Kwon, M.H., A Study on the Analysis of Major S&T Issues and Deduction of Policy Direction, Chungcheongbuk-do: Korea Institute of S&T Evaluation and Planning, 2009.
Lee, W.S., Lee, J.O., Hwang, S.W., Lee, J.D., Hwang, W.S., Yang, H.W., Hong, C.Y., Jung, S.M., Kim, B.H., and Yi, S.G., Development of Korean R&D-based Macroeconomic Model and CGE Model, Sejong: Science and Technology Policy Institute, 2012.
Liang, L., Cook, W.D., and Zhu, J., DEA models for twostage processes: Game approach and efficiency decomposition, Naval Research Logistics (NRL), 2008, Vol. 55, No. 7, pp. 643-653.
Liang, L., Yang, F., Cook, W.D., and Zhu, J., DEA models for supply chain efficiency evaluation, Annals of Operations Research, 2006, Vol. 145, No. 1, pp. 35-49.
Nam, H.D., Oh, M.J., and Nam, T.W., R&D efficiency of OECD member countries: Evaluation and Suggestions, The Korean Production and Operations Management Society, 2020, Vol. 31, No. 3, pp. 249-273.
Odagiri, H. and Murakami, N., Private and quasi-social rates of return on pharmaceutical R&D in Japan, Research Policy, 1992, Vol. 21, No. 4, pp. 335-345.
Park, C.I. and Seo, H.J., The Efficiency and Productivity Change in the National R&D Projects of 6T Sectors, Journal of Industrial Economics and Business, 2018, Vol. 31, No. 1, pp. 293-325.
Porter, M.E. and Stern, S., Measuring the “ideas” production function: Evidence from international patent output, NBER Working Paper, 2000, w7891.
Rhim, H.S., Yoo, S.C., and Kim, Y.S., DEA/AHP Hybrid Model for Evaluation & Selection of R & D Projects, Journal of The Korean Operations Research and Management Science Society, 1999, Vol. 24, No. 4, pp. 1-12.
Rogers, S., Performance management in local government, Longman, 1990.
Wang, E.C. and Huang, W., Relative efficiency of R&D activities: A cross-country study accounting for environmental factors in the DEA approach, Research Policy, 2007, Vol. 36, No. 2, pp. 260-273.
Wang, E.C., R&D efficiency and economic performance: A cross-country analysis using the stochastic frontier approach, Journal of Policy Modeling, 2007, Vol. 29, No. 2, pp. 345-360.
Yoo, S.C., Meng, J., and Lim, S.M., An analysis of the performance of global major airports using two-stage network DEA model, Journal of Korean Society for Quality Management, 2017, Vol. 45, No. 1, pp. 65-92.
Zhu, J., Quantitative models for performance evaluation and benchmarking: data envelopment analysis with spreadsheets, 3ed., Springer, 2014.