Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.37 No.3 pp.82-88
DOI : https://doi.org/10.11627/jkise.2014.37.3.82

Improvement Method for Efficiency Analysis in National R&D Programs

Ji-Hye Kang*, Dong-Hyun Baek**
*Graduate School of Management Consulting, Hanyang University
**Department of Business Administration, Hanyang University
Corresponding Author : estarbaek@hanyang.ac.kr
July 30, 2014 September 15, 2014

Abstract

The government expands its investment on R&D programs for economic growth, thus there is growing attention on the result of R&D Programs. This study proposes more improved measuring method for efficiency when the number of R&D programs is not enough to be for measuring efficiency analysis. It provides more various application method of factors on efficiency analysis. This study analyzes the influence of each input factor on efficiency by using partial efficiency concept. And it also determines input factors in similar influence throughout Spearman correlation coefficient. Finally, it suggests new method to improve discriminatory power of efficiency analysis by determining representative factors. Also, the proposed method can be practiced not only for national R&D programs, but also for other fields of research.


국가R&D사업 효율성 분석의 개선 방법

강 지혜*, 백 동현**
*한양대학교 일반대학원 경영컨설팅학과
**한양대학교 경상대학 경영학부

초록


    Hanyang University
    HY-2014-G

    1.서 론

    정부의 연구개발 투자규모가 지속적으로 증가함에 따 라 이를 효율적으로 활용하기 위한 성과관리 연구의 중 요성 역시 증대되고 있다. 그러나 연구개발 투자의 전략 적 배분과 특히 질적인 측면에서의 효율성 제고의 연구 가 미비한 실정이므로 이에 대한 연구가 필요하다.

    특히 기존의 국가 연구개발 사업 관련 연구에서 다양 한 사업 평가 항목을 활용하지 못하고 분석방법의 한계 에 따라 일부의 항목만을 사용하여 사업(혹은 과제)이나 국가 등의 효율성 평가에 그쳤기에 보다 다양한 평가요 소를 활용하고, 평가대상의 수가 제한적일 때에도 효율 성 분석을 할 수 있는 개선 방법을 제공하고자 한다.

    본 연구의 목적은 다음과 같다. 첫째, 국가 연구개발 사업의 효율성 분석을 위해 적절한 투입 요소와 산출 요 소를 선정하는 방법을 제시한다. 둘째, 효율성에 영향을 미치는 투입 요소의 순위를 파악함으로써 정부의 연구개 발 사업 지원할 때에 효율적인 의사결정 지원방향을 제 시한다.

    본 연구는 투입물 측면을 주제로 하여 부분 효율성 개 념을 이용하여 국가 연구개발 사업의 효율성 측정에서 투입 요소의 선정 방법을 제시하고, 이를 위하여 투입 요 소가 효율성 값에 미치는 영향력의 정도를 분석한다.

    이에 따른 연구의 방법으로 선행 연구를 기반으로 DEA 분석을 위한 투입 요소와 산출 요소를 선정하고, Tofallis [27]의 Profiling 방법을 이용하여 투입 요소의 부분 효율 성을 측정하여 투입 요소가 효율성에 미치는 영향력을 분석한다. 그리고 부분 효율성 값의 서열상관관계 분석 을 수행하여 효율성에 미치는 영향력이 유사한 투입 요 소들을 산출하고, 이 요소들 중에서 효율성 분석에 사용 할 최종 투입 요소를 선정하여 보다 적은 투입 요소들로 효율성을 측정하는 방법을 제시한다.

    이 방법은 각 국가 연구개발 사업들의 효율성 여부를 정확하게 판단하는 근거를 제시하는 방법으로 보여줌으 로 부분 효율성 개념을 증명하고 공공도서관 및 은행의 효율성 분석에서만 활용한 기존연구[20, 22]의 한계를 극 복하고 연구의 범위를 확장한다.

    본 연구의 구성은 다음과 같다.

    제 1장은 서론부분으로서 연구의 배경 및 필요성, 목 적 및 내용, 연구의 범위 및 연구방법을 내용으로 하고 있다.

    제 2장은 국가연구개발사업의 성과분석 정의 및 유형 에 관한 연구, 효율성 정의 및 측정방법에 관한 연구, DEA 분석 방법의 정의 및 유형에 관한 연구뿐만 아니라 국가연구개발사업의 효율성 분석에 관한 선행 연구를 고 찰하였다.

    제 3장은 이론적 배경을 바탕으로 국가연구개발 사업 중 국제공동기술개발 사업을 대상으로 효율성 분석을 위 한 방법과 투입 요소가 효율성에 미치는 영향력의 정도 를 분석하기 위한 방법을 설계하였다.

    제 4장은 제 3장에서 설계한 방법을 기반으로 분석대 상을 선정하여 각 사업의 부분 효율성을 측정하고 서열 상관관계 분석을 이용하여, 국가연구개발 사업 효율성 측정의 기존 방법 개선과 투입 요소의 영향력 크기를 분 석하는 과정 및 결과에 대해 정리하였다.

    제 5장은 결론부분으로 본 연구의 의의와 활용방안을 기 술하고, 연구의 한계점과 향후 연구 방향을 제시하였다.

    2.이론적 배경

    2.1.국가 연구개발 사업

    국가 연구개발 사업의 범위와 정의는 다양하지만 본 연구에서는 조현대 외[5]의 정부가 국가 차원에서 연구 개발이 요구되는 분야의 과학기술문제를 해결하기 위해 특정한 지향성과 목표를 설정하고, 연구개발 지원을 전 략적으로 집결하여 추진하는 사업의 정의를 따른다.

    국가 연구개발 효율성을 연구한 기존 문헌은 분석방 법 및 대상, 내용 측면에서 다양한 양상을 보여주고 있으 나, 크게 분석 대상이 국가인지 과제(혹은 사업)인지에 따라 구분된다[23]. 연구개발 투자 효율성 분석에서 국가 별 비교를 한 다수의 기존문헌에서는 한국의 효율성이 타 국가에 비해 낮게 나타났다. Wang[29]의 연구에서는 DEA와 토빗모형을 이용한 3단계 접근법을 시도하여 30 개국 이상의 연구개발 활동의 효율성을 분석하였다. 한 편, 사업 또는 과제 수준에서 연구개발 효율성을 분석한 문헌들도 다양하게 존재한다. Stepi[8]는 DEA와 토빗모 형을 이용한 3단계 접근법으로 사업 수준에서 다양한 측 면으로 효율성을 분석하였다.

    본 연구는 정부의 국제공동기술개발사업을 대상으로 하여 투입물 측면을 주제로 효율성을 분석하고, 효율성 에 영향을 미치는 요소(투입)의 영향력을 DEA 투입 요 소 측면에서 측정한다는 부분에서 기존 연구와 차이점이 있다. 대부분의 DEA를 활용한 연구개발 효율성 연구가 국가와 기업, 과제(사업)를 대상으로 하는 가운데 의사결 정단위의 효율성을 측정하여, 각 의사결정단위들의 상대 적인 비효율성을 측정하는데 그치고 있다. 또한 연구개 발 효율성 성과에 미치는 영향력을 측정하기 위해 구조 방정식 모형이나 회귀분석 모형을 활용하는 연구가 전체 연구 대비하여 보다 낮은 비율로 진행되고 있다. 본 연구 에서는 국가연구개발 사업 효율성의 값을 분석하여 결과 값을 비교하는 기존의 연구에서 벗어나 효율성 값을 효 과적으로 측정하는 방법을 설계하고자 한다. 또한, 그 방 법으로 구조방정식과 회귀분석을 활용한 기존의 연구의 한계를 벗어나 본 분석에서 사용하는 방법인 부분효율성 개념을 사용하고자 하는 부분에서 기존의 관련 연구 방 법을 개선하고자 한다.

    2.2.효율성 분석

    효율성(Efficiency)이란 투입 대비 산출의 크기를 말하 며, 최소한의 자원 투입만으로 주어진 목표달성을 추구 하는 것으로 일을 바르게 처리하는 것을 의미한다[14]. 즉, 효율성은 투입물과 산출물의 비율로 나타낼 수 있고 조직의 효율성의 경우, 투입과 산출이 모두 고려되어야 한다. 따라서 효율적이라는 것은 일정 양의 투입으로 얻 을 수 있는 산출을 최대한으로 얻거나, 일정한 산출을 얻기 위해 최소한으로의 투입이 이루어진 경우를 의미 한다.

    효율성 측정 방법은 모수적 접근법(Parametric approach) 과 비모수적 접근법(Non-parametric approach)으로 구분 할 수 있다. 모수적 접근법은 생산함수나 비용함수 등을 특정한 함수형태로 가정하고 모형을 설정해야 하며 계량 경제학 방법을 이용한다. 반면, 비모수적 접근법은 특정 한 함수형태를 가정하지 않는 방법으로 선형계획법(Linear programming)을 주로 이용한다[15].

    2.3.DEA(자료포락 분석)

    DEA는 1970년대 초 미국 교육부의 ‘Program Follow Through’라는 프로젝트의 결과를 평가하는데서 기원한 선 형계획법에 근거한 효율성 측정방법이다. 이 방법은 Charnes 등[3]이 Farrell의 효율성을 새로 해석하여 다수 투입물과 다수 산출물의 비율모형으로 연장하여 비선형계획 모형 으로 새롭게 나타내었다. 이들은 효율적 조직들이 경험 적으로 형성하고 있는 효율적 프런티어(Efficient frontier) 를 통해 각각의 상대적인 효율성을 측정할 수 있다고 보 고, Farrell의 효율성 측정 개념에 입각한 DEA 모형을 제 시하였다[15].

    DEA는 분석할 문제의 성격과 주어진 자료의 특성에 따라 여러 모형이 존재하나, 일반적으로 활용되고 있는 모형은 제한적이다. DEA 모형으로는 Charnes et al.[3]에 의해 처음 소개한 CCR 모형 이후, BCC 모형[2], 가산모형 [4], 슬랙기반측정모형[28] 등 다양한 모형이 있는데 처분성 (Disposability), 최대 및 최소화, 규모수익(Return to scale), 입출력 지향성(Orientation), 자료의 음양, 단위불변성(Unit invariance), 슬랙변수(Slack variable) 등의 사용요소에 따 라 구분되기도 한다[19].

    DEA 모형은 은행, 학교, 음식 체인점, 병원 등의 다양 한 서비스업에서만이 아니라 제조업, 공공기관의 효율성 측정에도 많이 적용ㆍ연구되어 왔다. 공공부문을 대상으로 DEA 모형을 이용한 효율성 측정 연구에 류영아[25]는 지방정부 복지 인프라의 효율성 평가를 위하여 투입요소 로 복지예산과 복지인력을 선정하고, 산출요소로는 복지 시설 수, 복지시설생활자의 수, 복지시설 면적을 선정하 였다. 분석모형은 DEA의 기본적인 모형과 초 효율성 분 석 모형으로 분류되는 DEA-AP 모형을 이용하였다. 효율 성분석 결과 행정계층(시, 군, 구)별 분석에서는 자치구 의 효율성이, 재정자립도별 분석에서는 재정자립도 20% 미만의 기초자치단체의 효율성이 가장 낮게 나타났다. 남인석 등[21]은 공공기술연구회, 기초기술연구회, 산업기 술연구회 소속 정부출연 연구기관을 대상으로 상대적 효 율성을 분석하였다. 투입요소로는 연구인력, 연구개발 예산을 선정하였고, 산출요소로는 SCI논문 건수, 특허 등 록 건수, 기술료 수입을 선정하였다. 분석은 AHP를 이용한 DEA-AR 기법을 사용하였고, 분석결과 한국과학기술(연), 한국전자통신(연), 한국화학(연)이 CCR모형과 BCC모형 에서 모두 효율적인 연구기관으로 분석되었다. 곽기호 등 [17]은 산업기술연구회 소속 정부출연연구기관의 R&D에 대한 효율성을 DEA-AR 모형으로 분석하였다. 투입요소 로는 연구 인력과 사업 계약고를 선정하였고, 산출요소 로는 해외 SCI 논문게재 수, 특허 등록 수, 기술료 징수 액을 선정하였다.

    3.연구방법 및 설계

    3.1.연구단계

    본 연구의 연구단계는 <Figure 1>과 같다. 단계별 연 구 방법은 효율성 분석 대상을 선정하고 후보요소 선정, 최종요소 확정, 효율성 분석 순으로 이루어진다.

    3.2.단계별 연구방법

    첫 단계는 효율성 분석 대상을 선정하는 단계로서 효 율성 분석을 시행할 사업을 선정하는 단계이다. 이 단계 에서는 연구 내용을 정의하고 분석대상 사업 선정 및 선 정된 사업의 수행 기관의 분석데이터를 수집하여 분석대 상 DB를 구축한다.

    두 번째 단계는 효율성 분석을 위한 후보요소를 선정하 는 단계로서 분석대상의 후보 투입요소와 산출요소를 선 정하고 효율성 측정 모형을 수립하는 단계이다. 민재형 외[20]은 DEA 모형이 투입물에 대한 산출물의 비용을 극 대화하는 측면에서 효율성을 평가하기 때문에 투입요소 와 산출요소는 인과관계를 갖고 있어야 한다고 하였다. Friedman 외[10]은 일반적 경험으로 요소들의 총 개수는 DMU 수의 1/3 미만이어야 하며 중복되는 변수를 찾아 낼 필요가 있다고 하였다.

    세 번째 단계는 최종 투입요소와 산출요소를 확정하 는 단계로서 요소별 효율성의 개념을 활용한 부분효율성 과 서열상관관계 분석을 이용하여 연관성이 높아 중복되 는 투입요소를 제거하여 최종 투입요소와 산출요소를 확 정한다. 이는 보다 적은 투입요소로 DMU들의 효율성을 측정할 수 있게 준비하는 단계이다. 먼저, 분석 대상 목 적에 맞는 분석 모형을 선택하여 총 효율성 분석을 시행 한다. 그리고 Profiling 방법을 이용하여 개별 투입요소 각각의 부분 효율성을 측정한다. 이 단계에서 중요한 것 은 Profiling 모형에 포함되는 투입 요소들은 서로 관련 성이 있는 요소들로 구성되어야 보다 의미 있는 효율성 정보를 제공할 수 있다는 것이다. 그리고 이 부분 효율성 값의 산술 평균값을 이용하여 투입 요소의 영향력을 분 석한다. 본 연구에서는 여기서 투입요소별 부분 효율성 값을 절대적인 영향요인으로 판단하기 보다는 효율성에 미치는 영향력 수준으로 분석하고자 하며, 이 결과 값을 영향요인을 산정하는 단계에서 비교하는 값으로 활용한 다. 그 다음으로 각 투입요소별 부분 효율성 값에 대한 순위를 자료로 하여 스피어만(Spearman)의 서열상관관계 분석을 실시하고 그 투입 요소를 통제한다. 양의 상관관 계가 존재하는 여러 소들을 하나 혹은 소수의 요소로 통 제할 수 있으며 몇 개의 요소로 축소할 것인가 하는 문 제는 DMU의 수와 경험적 판단에 의해 해결되어질 수 있으며 이러한 요소들 중에서 가장 높은 양의 상관관계 를 갖는 요소들로부터 순차적으로 통제하는 방법을 수행 할 수 있다.

    넷째, 분석대상의 효율성을 분석하는 단계로서 확정된 투입요소와 산출요소를 이용하여 분석 대상 목적에 맞는 DEA 모형을 이용하여 효율성을 분석한다. 이 단계에서 DMU별 효율성 값을 기반으로 효율성 점수의 순위와 효 율적인 DMU와 비효율적인 DMU를 파악할 수 있고, 각 요소가 해당 DMU 효율성에 미친 영향을 파악할 수 있 다. 뿐만 아니라 비효율적인 DMU의 비효율성 정도와 원인에 대해 추정할 수 있고 그 개선방안을 모색할 수 있다[20].

    4.실증 분석

    4.1.효율성 분석 목적 및 대상 선정

    본 연구에서는 한국산업기술진흥원에서 주관하는 산 업기술국제협력 사업 중 기반구축을 목적으로 하는 국제 기술협력기반구축 사업을 제외한 국제공동기술개발 사 업으로 한정한다. 선정 기준은 국제공동기술개발사업, 국 제교류 성과, 신규 사업으로서 총 3가지이며, 최종 선정 된 분석 대상 과제는 61개 사업이다. 본 연구에서는 본 연구에서 제시한 방법(DMU의 수가 요소들의 합의 세 배 보다 적을 경우 DEA 분석의 판별력이 떨어지기에 요소 들의 수를 줄이거나 DMU의 수를 확대하는 방법)의 타 당성을 검증하기 위해 연구의 DMU의 수를 의도적으로 한정한다.

    4.2.후보요소 선정 및 효율성 측정 모형 설계

    본 연구의 투입 요소는 DMU인 국제공동기술개발 사 업 고유의 특성을 반영하여 사업에 투입된 총 사업비, 정 부출연금, 추가로 투입된 연구개발비용 외에 국제공동기 술개발 사업 목적에 따라 특별히 추가되는 해외기관과 교류를 위한 소요금과 사업수행기관의 고유 연구개발인 력, 연구개발 해외교류 인력, 기타유형의 해외교류 인력 으로 한다.

    산출요소의 경우 기술적 성과와 파급 효과 측면에서 요소를 선정하였는데 경제적 성과의 경우 그 효과가 미 비하여 요소 선정에서 제외하였다. 선정된 산출요소는 기술적 성과 측면에서 특허출원 및 등록 건수, 논문 건 수, 기술수준개선과 파급효과 측면에서 고용 창출, 해외 기술 수요자 발굴, 신규 진출한 해외시장, 공동기술개발 효과이다.

    <Figure 2>는 선정된 DEA의 투입ㆍ산출요소와 동일 해당요소를 DEA 요소로 사용한 사례를 정리한 것이다.

    4.3.최종요소 확정

    후보 투입요소와 산출요소를 모두 이용하여 분석한 총 효율성의 값의 평균은 0.9653이다. 61개의 DMU 중에 서 50개(82%)의 DMU가 효율적으로 나타났는데 이는 요 소 수에 비해 DMU의 수가 상대적으로 적을 경우 효율 적인 단위로 평가되는 DMU의 수가 많아지기 때문이다. 따라서 평가대상 DMU의 수를 축소시켜 비효율적 단위 들을 판별하는 능력을 강화하고자 부분 효율성 분석을 시행하고, 여기서 산출 요소의 수를 적절한 것으로 가정 하고 투입 요소의 수를 축소하고자 한다. <Table 1>로부 터 투입요소 별 효율성에 미친 영향력의 크기가 추가 R&D 투자, 연구개발 해외교류 인력의 수, 과제 수행기 간, 기타유형의 해외교류 인력의 수, 정부지원규모, 총 사업비, 해외기관과 교류를 위한 소요금, 연구개발 인력 의 수의 순서대로 나타나 가장 높은 수준의 영향력을 가 지는 요인은 추가 R&D 투자이며, 가장 낮은 수준은 연 구개발 인력의 수임을 알 수 있다.

    한편, <Table 2>는 투입 요소의 연관성 분석을 위해 부분 효율성 값을 기반으로 스피어만(Spearman)의 서열 상관관계 분석을 시행한 것이며, 총 사업비와 정부지원 규모, 정부지원규모와 연구개발 인력의 수, 해외기관과 교류를 위한 소요금과 기타유형의 해외교류 인력의 수, 해외기관과 교류를 위한 소요금과 연구개발 인력의 수가 유의수준 0.01하에서 통계적으로 의미 있는 양의 서열상 관관계를 보인다. 이는 이 투입 요소들이 각 DMU의 효 율성 분석 값에 미치는 영향력이 유사하다고 볼 수 있으 며, 다시 말해 효율성의 판별력이 낮음을 알 수 있다. 또 한, 이 분석 결과를 기반으로 투입 요소를 줄일 때는 경 험적 판단이 작용하는 문제이나 최대한 최소화하여 투입 요소를 산정하고자 한다. 해외기관과 교류를 위한 소요 금, 기타유형의 해외교류 인력의 수, 연구개발 인력의 수 는 서로 높은 상관관계를 보이고 있는데 해외기관과 교 류를 위한 소요금이 다른 두 투입 요소에 비해 높은 서열 상관관계를 보이고 있으므로 대표 요소로 선정한다. 총 사업비와 정부지원규모는 기존 문헌의 연구결과를 반영 하여 정부보조금을 대표 요소로 선정한다. 이는 역시 서 열상관관계가 높은 연구개발 인력의 수를 투입요소로 함 께 반영하여 대표 투입 요소를 선정하고자 할 경우에 정 부지원규모가 다른 두 투입 요소에 비해 높은 서열상관 관계를 보이고 있으므로 정부지원규모가 대표 투입요소 로 선정하는 결과와 동일하여 대표 투입 요소 선정에 무 리가 없다고 할 수 있다. 따라서 최종 확정된 투입 요소 는 과제 수행기간, 정부지원규모, 추가 R&D 투자, 해외 기관과 교류를 위한 소요금, 연구개발 해외교류 인력의 수 등 5개의 요소이다.

    4.4.효율성 분석

    최종 투입 요소를 이용하여 효율성 분석을 한 결과는 <Table 3>, <Figure 3>과 같다. 기존의 분석 값과 비교해 보면 효율적으로 분석되었던 6개의 DMU가 새로운 분석에 서 비효율적인 값을 갖고, 비효율적으로 분석되었던 DMU 들도 그 값이 보다 낮게 분석되는 등 수정된 효율성 값 에서 총 61개의 DMU 중에서 단 45개(73%)의 DMU가 효율적으로 나타나 기존의 효율적인 값(51개, 82%)과 차 이를 보였다. 이 단위들은 8개의 투입 요소를 사용하였을 때 많은 요소의 수로 인하여 DMU의 지배관계가 부정확 하게 나타났지만 요소의 수를 적절하게 통제함으로써 비 효율성이 판명된 결과로 볼 수 있다. 또한, 민재형 외[20] 의 연구에서 요소의 수를 축소하더라도 효율성 우선순위 에는 영향을 미치지 않는다는 결과를 바탕으로 본 연구 의 방법이 기존의 경험적 방법으로 투입요소와 산출요소 를 산정했던 것보다 DMU들의 효율성에 대한 변별력을 높여 주는 타당한 방법으로 볼 수 있다.

    5.결 론

    본 연구는 정부의 국가연구개발 사업 지원전략 방안 을 마련하기 위하여 투입물 측면을 주제로 하여 사업의 효율성을 분석하고자 하였다. 이에 따라 DEA 분석에서 투입 요소를 선정하는 기술적 방법을 제시하였고, 또한 이 투입 요소가 사업의 효율성에 미치는 영향력을 파악 하여 효율적인 정부지원방안을 제시하고자 하였다. 그 결과 투입 요소 축소 후의 효율성 값의 변화는 비효율적 사업으로 판단되는 사업이 18%에서 27%로 늘어났다. 따 라서 본 연구에서 제시한 투입 요소 축소의 방법이 비효 율적인 사업의 판별력을 높게 하는 것으로 증명된다.

    그러나 효율성 값의 판별력은 효율성 대상의 수와 투 입ㆍ산출 요소의 수와 밀접한 관련이 있는데 본 연구에 서는 이 증명을 가정으로 하여 연구를 진행하였기 때문 에 효율성 대상 사업을 다소 적게 선정하였기에 실제 연 구개발 사업의 성과분석에서는 보다 많은 사업을 분석 대상으로 선정하여 효율성 분석이 이루어져야 할 것이 다. 또한, 본 연구에서는 대표 요소를 선정 할 때 소거의 방법으로 사용했으나 연관성이 높은 요소로 선정된 요소 들에 각각 가중치를 주어 하나의 요소로 선정하여 모든 요소의 특성을 고려하는 방법에 관하여 연구가 필요하 다. 마지막으로, 성과의 질적 측면에서 특허 성과는 특허 출원과 특허 등록 부분에서 차이가 있고, 논문 성과는 SCI 논문과 비SCI 논문에서 차이가 있으나 본 연구에서 는 이들 요소에 가중치를 산정하지 않아 성과 분석에 미 흡한 부분이 있었다. 따라서 각 사업의 목적을 반영하여 사업 수행기관에서 일정한 기준으로 가중치를 주어 효율 성을 산정해야 할 필요가 있다.

    Figure

    JKISE-37-82_F1.gif

    Research Model

    JKISE-37-82_F2.gif

    Efficiency Analysis

    JKISE-37-82_F3.gif

    Efficiency Consequence Comparison

    Table

    Partial Efficiency

    Correlation Coefficient

    Efficiency Consequence Comparison

    Reference

    1. Adler N , Friedman L , Sinuany-Stern Z (2002) Review of ranking methods in the data envelopment analysis context , European Journal of Operational Research, Vol.140; pp.249-265
    2. Banker R.D , Charnes A , Cooper W.W (1984) Some models for estimating technical and scale efficiencies in Data Envelopment Analysis , Management Science, Vol.30; pp.1078-1092
    3. Charnes A , Cooper W , Rhodes E (1978) Measuring Efficiency of Decision Making Units , European Journal of Operational Research, Vol.2 (6) ; pp.429-444
    4. Charnes A , Cooper W , Golany B , Seiford L.M , Stutz J (1985) Foundations of Data Envelopment Analysis for Pareto-Koopmans Efficient Empirical Production Functions , Journal of Econometrics, Vol.30; pp.91-107
    5. Cho H.D (2003) The Analysis of the System and Structure of the Korean Government R&D Programs and Policy Recommendations , Stepi,
    6. Choi H.H (2011) A Study on the Determinants of Firms Efficiency in Aid Programs , Hanyang University,
    7. Choi T.J (2007) A Strategic Design of the Government R&D Management System based on the Analysis of Relationship between R&D Program Types and their Outputs , Kunkook University,
    8. (2009) Efficiency of National R&D Investment , Stepi,
    9. Farrel M.J (1957) The Measurement of Productive Efficiency , Journal of the Royal Statistical Society. Series A(General), Vol.120 (3) ; pp.253-290Series A(General)
    10. Friedman L , Sinuany-Stern Z (1998) Combining ranking scales and selecting variables in the DEA context : The case of industrial branches , Computers Operations Research, Vol.25 (9) ; pp.781-298
    11. Golany B , Roll Y (1989) An application procedure for DEA , Omega, Vol.17 (3) ; pp.237-250
    12. Hsu F.M , Hsueh C.C (2009) Value efficiency analysis of academic research , European Journal of Operational Research, Vol.130; pp.121-132
    13. Jenkins L , Anderson M (2003) A multivariate statistical approach to reducing the number of variables in data envelopment analysis , European Journal of Operational Research, Vol.147; pp.51-61
    14. Kang B.S (2004) New management theory,
    15. Kim D.N (2013) Study on DEA Application for Efficiency Analysis of the Government-funded Research Institutes , Myungji University,
    16. Kim T.T (2012) A Study on the Way to Enhance Research Performance out of the International Joint Projects under the Framework of National R&D Programs , Focusing Basic and Fundamental Technology. Korea technology innovation society, pp.400-420
    17. Kwak K.H , Oh S.H , Kim J.Y (2010) A Proposal of Appraisal Measure and Analysis of Efficiency of R&D in Government-funded Research Center using DEA-AR, Vol.10; pp.262-278
    18. Lee H.Y , Park Y.T (2005) An International Comparison of R&D Efficiency DEA Approach , Asian Journal of Technology Innovations, Vol.13 (2) ; pp.207-222
    19. Lee J.H (2011) A Study on Efficiency of the Solar Salt Production in Shinangun Using Data Envelopment Analysis , Journal of Korean Island, Vol.23 (4) ; pp.85-100
    20. Min J.H , Kim J.H (1998) A Selection Process of Input and Output Factors Using Partial Efficiency in DEA , Korea operational research and management science society, pp.75-90
    21. Nam I.S , Song Y.Y , Jeong B.H (2008) Analysis of Relative Efficiency of Government Funded Research Institutes Using DEA Model , Journal of the Society of Korea Industrial and Systems Engineering, Vol.31 (1) ; pp.1-10
    22. Park N.K (2010) A Brief Study on the Selection of Inputs and Outputs Using Profiling, Super-efficiency, and Rank Order Correlation : Application to the Korean Banks , Korea industrial economic association, pp.13-38
    23. Park S.J , Kim K.H , Jung S.K (2011) The Study on the Analysis of Efficiency of Governmental R&D Programs Regarding to the S&T Outcomes , Korea Technology Innovation Society, pp.205-222
    24. (2009) R&D Efficiency Analysis and Plans for raising in National R&D Programs , Stepi,
    25. Ryoo Y.A (2006) A Study on the Efficiency Evaluation Classified by the Administration Level , Korean Journal of Policy Analysis and Evaluation, Vol.16 (2) ; pp.139-165
    26. Sun D.B (1998) Evaluation of managerial performance in large commercial banks by data envelopment analysis , Ph. D. Dissertation. The University of Texas at Austin,
    27. Tofallis C (1996) Improving Discernment in DEA Using Profiling , OMEGA International Journal of Management Science, Vol.24; pp.361-364
    28. Tone K (2001) A Slacks-Based Measure of Efficiency in Data Envelopment Analysis , European Journal of Operational Research, Vol.130 (3) ; pp.498-509
    29. Wang E.C , Huang W (2007) Relative efficiency of R&D activities : A cross-country study accounting for environmental factors in the DEA approach , Research Policy, Vol.36; pp.260-273