1.서 론

우리나라는 2000년대 이후 전체 고등교육기관의 취학 률이 50% 이상을 유지하면서 고등교육 발전 단계가 보 편화 단계로 진입함에 따라 현재 고등교육의 변화가 요 구되고 있는 시점이다. 저출산 및 고령화로 인한 학령인 구 감소라는 외재적 요인으로 입학 자원 규모가 급격히 감소하고 있는 추세이며, 뿐만 아니라 대학 교육의 질 저 하, 학생 미충원으로 인한 대학 경영 부실, 인력 수급 불 일치 등의 문제가 발생하고 있다. 따라서 대학은 교육과 전문 지식에 대하여 국제적인 수준의 경쟁력을 확보되어 야 하는 압박과 동시에 대학의 연구와 교육의 내실화를 위한 대학 구조조정이 불가피한 상황에 놓여있다.

현재 대학의 경쟁력을 갖추기 위한 대학 구조개혁 방 안은 대학의 서열화로 평가하는 것에 대하여 우려가 있 다. 교육의 질과 대학의 기능에 초점을 맞추는 것이 아닌 대학의 정원 감축과 재학생 충원율, 취업률과 같은 누적 적인 지표를 교육적 성과로 보는 것은 대학을 구성하는 여러 역할 및 특성들을 배제할 가능성이 있다. 그러므로 대학의 성과주의보다는 대학 내 자원들에 대한 비효율과 낭비의 요소를 관리하여 효율화 차원에서 경쟁력 제고를 위한 핵심 요소들을 도출하고 대학 성과 평가에 대한 개 선 전략이 필요하다.

본 연구는 비영리 조직인 대학을 대상으로 DEA와 AHP 모형을 이용하여 다수의 투입요소와 다수의 산출요 소를 양적 방법과 질적 방법으로 선정하는 것뿐만 아니 라 대학 성과의 효율성 개념으로 적용한 대학의 성과 평 가 방법을 제시한다. 또한 도출된 대학의 효율성 순위와 중앙일보 대학평가 순위를 비교하여 실질적인 대학의 성 과 평가에 의사결정 방향을 제시하고자 한다.

본 논문은 다음과 같이 구성된다. 제 2장은 대학의 특 징 및 대학 평가에 대한 선행연구 고찰을 설명하며, 제 3 장에서는 연구 설계 및 방법, 제 4장은 연구 분석 및 결 과, 마지막 제 5장은 결론으로 구성되어있다.

2.이론적 배경

2.1.대학 평가 및 선행연구

대학은 투입-전환-산출의 과정으로 설명되는 개방 체 제로서 투입된 학생 자원, 인적 자원, 물적 자원, 교육과 정 요소들과 투입된 자원들을 산출로 전환시키는 과정, 즉 교육 과정의 운영, 행․재정 지원 활동, 고등교육체제 의 풍토 조성 등을 통해 궁극적으로 고등교육 체제의 본 질적 기능을 수행하여 나타난 결과물로서 교육 산출, 연 구 산출, 사회봉사 산출을 가져오게 된다. 이러한 산출의 결과는 결국 고등교육 체제 밖의 다른 국가 및 사회 체 제로 연결되어 그들의 발전에 기여하게 된다[8].

대학의 질을 평가하기 위해 지표를 내세워 국내에서는 대학의 순위를 산정하고 있는데, 대표적으로 한국대학교육 협의회의 대학종합평가가 있다. 이는 4년제 대학을 대상 으로 대학 경영 및 재정, 발전전략 및 비전, 교육 및 사회봉 사, 연구 및 산학협동, 학생․교수․직원 현황, 교육여건 및 지원 체제 등 총 6개의 영역에 대하여 평가를 수행한다.

국내 언론 기관에서도 4년제 대학을 대상으로 평가를 실시하는데, 대표적으로 중앙일보 대학평가와 조선일보․ QS(Quacquarelli Symonds)의 대학평가가 있다. 중앙일보 대학평가는 전국 4년제 대학 120여 개를 대상으로 종합 평가를 매년 실시하며, 평가 지표는 교육여건, 국제화, 교수 여건, 평판도, 개선도 등으로 5개 영역과 52개의 세 부 평가항목으로 구성된다. 조선일보와 영국의 대학평가 기관인 QS는 아시아 지역의 대학을 대상으로 연구·교육· 졸업생․국제화 등 4개의 평가 영역을 평가한다. 화폐로 환산하기 어려운 산출요소를 지닌 학교나 공공 기관과 같은 서비스 조직의 경영 성과 측정을 위한 개념으로 효 율성이 적합한 것으로 평가되고 있다[16]. 따라서 효율성 측면에서 대학의 성과를 평가하기 위해 DEA를 적용한 국내․외 선행연구가 활발히 이루어지고 있다.

국외의 선행연구를 살펴보면, Ahn et al.[2]의 연구는 미국 161개 대학을 대상으로 대학 설립 형태, 의과대학 설치 유무를 통제 조건으로 대학의 효율성을 분석하였다. 투입요소는 교육경비, 시설비, 간접경비 등을, 산출요소 는 대학생 수, 대학원생 수, 연방정부 연구비 수주액 등 을 이용하여 사립대학보다 국립대학이, 의과대학이 없는 대학보다 의과대학이 있는 대학이 높은 효율성을 보이는 결과를 도출하였다.

Abbott and Doucouliagos[1]의 연구는 36개 호주 국립 대학을 대상으로 DEA 모형의 투입요소를 교육/비교육 직원 수, 인건비를 제외한 총 지출액, 비유동 자산의 가 치로, 산출요소는 전일제 학생 수, 학부생 및 대학원생의 학위 수여자수와 연구지원비, 외부 연구비, 연구 지출비 를 이용하였다.

국내의 대표적인 선행연구 중 안태식 외[3]의 연구는 국내 대학 77개를 대상으로 교육 중심 모형과 연구 중심 모형으로 이분화하여 평가하고 국공립과 사립대학의 효 율성을 비교하였다. 공대, 병원의 설치 여부에 따른 효율 성 차이를 분석하고 DEA의 효율성과 중앙일보 평가 순 위 간의 상관관계를 분석하여 상관성이 유의하지 않다는 결과를 도출하였다.

김성훈 외[10]의 연구는 투입요소와 산출요소의 변동 에 따른 9개 모형을 설정하여 분석한 61개 대학의 효율 성 순위와 대학종합평가 점수 간에 상관관계의 유의성을 분석하고 검증하였다.

이상의 선행연구를 살펴볼 때 다수의 투입요소와 산 출요소 선정이 각각 다르며, DEA만의 정량적인 방법으 로 대학의 효율성을 도출하고 있다.

2.2.DEA(Data Envelopment Analysis)

DEA(Data Envelopment Analysis)는 다수의 투입요소를 사용하여 다수의 산출물을 생산하는 일련의 의사결정단 위(Decision Making Unit : 이하 DMU)들의 상대적 효율 성을 측정하는 접근 방법이다. DEA는 CCR 모형과 BCC 모형으로 구분되며, 형태에 따라 비율모형, 승수모형, 쌍대 모형으로 구분한다. 또한 투입 최소화 혹은 산출 최대화에 따라 투입지향(Input-oriented)과 산출지향(Output-oriented)으 로 접근할 수 있다. 투입지향은 DMU의 산출물이 주어졌 을 때 현재의 산출 수준을 유지하면서 투입물의 사용량 을 얼마나 줄일 수 있는지를, 산출지향은 DMU에 의해 사용되는 투입물의 수준이 주어졌을 때 달성해야 하는 산출 수준을 파악한다.

CCR 모형은 Charnes et al.[5]에 의해 개발되어 다수 투 입물과 다수 산출물과의 비율 모형을 연장하여 비선형계 획법으로 표현한 모형이다. 이는 모든 투입요소를 비례적 으로 증가시킬 때 산출도 일정한 비율에 따라 증가하는 규모에 대한 수익 불변(Constant Returns to Scale, CRS)을 가정한다. 그 후 Banker et al.[4]는 규모에 대한 수익 불변 의 조건을 완화하여 투입요소의 증가에 따라 산출이 비례 적으로 체감 또는 체증하는 규모에 대한 수익가변(Variable Returns to Scale, VRS)을 가정하는 BCC 모형을 제 시하였다. CCR 모형은 기술효율성과 규모의 효율성을 모 두 측정하며, BCC모형은 순수 기술효율성만을 측정한다. 따라서 CCR 모형의 효율성 값을 BCC 모형의 효율성 값 으로 나누면 순수한 규모의 효율성을 산출할 수 있다[15].

투입지향 CCR 모형은 CCR 모형의 기본 형태로 각 DMU의 효율성은 ‘1’ 이하로 나타낸다. 각 투입요소와 산출요소의 가중치는 ‘0’보다 크다는 제약하에 각 DMU 의 효율성을 극대화시키는 변수별 가중치를 결정한다. 투입지향 CCR 쌍대모형은 식 (1)에서 식 (3)까지 전개된 수리모형의 형태로 나타낼 수 있다. θ는 DMUk의 효율 성, x는 투입요소, y는 산출요소, j, k는 DMU를 나타낸다.

산출지향 CCR 모형은 사용된 투입요소로 초과하지 않으면서 산출요소를 극대화하는 모형으로 산출물의 가 중합을 1로 고정한 후, 투입물의 가중합을 최소하는 분 수계획모형으로 표현된다. 다음 식은 산출지향 CCR 쌍 대모형은 식 (1)에서 식 (3)까지 전개된 수리 모형의 형 태로 나타낼 수 있다.

BCC 모형은 CCR 모형에서 볼록성 제약조건인 ∑ j = 1 n λ j 을 추가된 모형이다.

2.3.AHP(Analytic Hierarchy Process)

AHP(Analytic Hierarchy Process)는 1970년대 초반 Saaty [18]에 의하여 개발된 계층분석적 의사결정 방법으로 의 사결정의 계층구조를 구성하고 있는 요소 간의 쌍대비교 (Pairwise comparison)를 통해 평가자의 지식, 경험 및 직 관을 포착하고자 하는 의사결정 방법론이다.

AHP의 특징으로는 첫째, 복잡한 의사결정문제를 계층 적으로 표현함으로써 문제의 구조화 및 체계화를 시도한다. 둘째, 정량적인 요소뿐만 아니라 정성적인 요소까지 고 려하는 포괄적인 의사결정이 가능하다. 셋째, 응답자들의 판단에 대한 논리적 일관성을 검정하는 절차를 통해 의 사결정에 대한 신뢰성을 높인다. 넷째, 검정 기준의 가중 치를 변화시키면서 의사결정문제와 관련된 정보 및 상황 의 변화에 따른 민감도를 분석할 수 있게 해준다.

AHP 모형은 일반적으로 5단계의 절차를 따른다. 첫째, 의사결정문제의 의사결정 요소들 간의 관계를 분석하여 계층 구조를 형성한다. 둘째, 의사결정 요소들 간의 쌍대 비교로 판단 자료를 수집한다. 셋째, 고유값 방법을 사용 하여 의사결정 요소들의 상대적인 가중치를 추정한다. 넷 째, 고유값을 이용한 일관성 검정을 실시한다. 다섯째, 평 가 대상이 되는 여러 대안들에 대한 종합 순위를 얻기 위 하여 의사결정 요소들의 상대적인 가중치를 종합화한다.

2.4.DEA와 AHP의 통합 연구

AHP와 DEA는 다수의 대안들이 존재할 경우에 효과 적으로 최종적인 대안을 산출하기 위해 개발된 모형들이 다[7]. 국내․외 많은 연구자들은 각 모형의 단점을 보완 하기 위해 AHP와 DEA를 통합하여 활용하는 방법론을 제시하고 있다. DEA와 AHP 통합 연구들은 주로 4가지 의 방식으로 연구가 진행되어왔다.

첫째, AHP 분석을 통해 DEA의 투입요소와 산출요소 를 선정한다. 즉, DEA 모형의 투입․산출요소를 AHP 모형 으로 중요도를 분석하여 우선순위에 따라 최종으로 선정 한다. 이와 관련하여 적용한 연구로는 오동일[14], 서희창 외[20]가 있다.

둘째, DEA를 통해 비교 행렬(Comparison Matrix)을 도 출하고 이를 AHP에 적용하여 대안의 순위를 정한다. 이 는 Sinuany-Stern et al.[19]은 Pairwise Comparison DEA를 통해 얻어진 각각의 효율성 값들을 Cross-Efficiency Matrix로 만들어 낸 후, AHP를 통해 순위를 정하는 방법을 제안했다. 이와 관련된 모형을 이덕주 외[11]가 R&D 프 로젝트 선정 시스템 개발에 관련된 연구에 적용하였다.

셋째, AHP를 통해 산출된 가중치들을 가지고 DEA 선 형계획 모형의 가중치 범위를 제한할 수 있는 제약식을 추가한 DEA-AR(Data Envelopment Analysis-Assurance Region) 모형에 반영함으로써 효율성을 도출한다. 이 모형은 최고 효율성을 가지는 DMU의 개수를 유연하게 조절할 수 있는 장점이 있다. 이와 관련된 연구로는 임호순[17]의 연구개발사업의 평가 및 선정을 위한 연구에 적용하였으 며, 장현덕 외[7]의 연구는 임호순[17]와 다른 방식으로 세 밀하게 가중치의 제약 구간의 폭을 조정할 수 있는 DEAAR- G(Data Envelopment Analysis-Assurance Region-Global) 모형을 도입하여 효율적인 유망 기술을 선정하였다.

넷째, 사전적으로 AHP 모형에 의한 가중치를 활용하 여 투입․산출요소의 값을 변환하는 방법이다. Jyoti et al. [6]은 인도에 있는 공공 R&D 기관의 경영 성과를 평가하 면서 DEA를 구성하는 요소에 질적 중요도(Qualitative Importance) 를 반영하는 DEA-AHP 통합 모형을 제안하였다. 김기성 외[9]의 연구에서는 Jyoti et al.[6]이 제안한 DEAAHP 통합 모형을 병원 경영효율성 평가에 적용하였으 며, 민현구 외[13]의 연구에서도 DEA-AHP 통합 모형을 적용하여 R&D 조직 내 48개의 프로젝트(DMU)를 대상 으로 연구 경쟁력을 평가하였다.

대학을 평가하기 위한 DEA 모형을 이용한 선행연구에 서는 DEA와 AHP를 통합하여 연구가 미흡한 실정이다. 대학을 평가하는 선행연구는 주로 정량적인 DEA 모형 만을 사용하거나 적절한 투입 및 산출요소를 선정하기 위해 AHP 모형을 이용하였다. 본 연구는 Jyoti et al.[6] 의 DEA-AHP 통합 모형을 대학 성과 평가에 적용하였으 며, 뿐만 아니라 투입 및 산출요소의 적절한 선정을 위해 Profiling 방법 및 AHP 모형을 적용한 점은 기존 연구와 차별성이 있다는 것에 의의를 둔다.

3.연구설계 및 방법

3.1.연구모형

본 연구의 Framework는 <Figure 1>과 같다.

본 연구는 DEA와 AHP를 이용하여 정량적인 접근과 정성적인 접근을 통합하여 대학의 성과를 평가하고자 한다. 이를 수행하기 위해 먼저 평가 대상이 되는 대학을 선정 하고 효율성 분석을 위한 후보 투입․산출요소를 선정한다. 그 다음 최종 요소를 확정, DEA를 이용한 효율성 측정, AHP를 이용한 효율성 측정, DEA-AHP 통합 모형을 이 용한 효율성 측정, 각 모형 간의 효율성 값에 대한 순위 와 중앙일보 대학평가 순위와의 관계를 분석하는 순으로 이루어진다.

3.2.단계별 연구방법

3.2.1.분석 대상 및 후보 요소 선정

본 연구에서의 분석 대상인 DMU는 중앙일보에서 수행 하고 있는 대학 평가 대상의 대학 중 투입·산출요소의 데 이터 수집이 가능하고 결측치가 10%를 초과하지 않은 93 개의 대학을 최종 선정하였다. 대학의 성과 평가에 대한 효율성을 측정 시 필요한 투입요소와 산출요소를 선정하 기 위해 1차적으로 선행연구에서 사용된 공통적인 요소들 을 고려한 가운데, 현실적으로 데이터 수집이 가능한 요소 들을 선별하였다. 분석 대상 대학의 데이터는 한국대학교 육협의회에서 운영하고 있는 대학알리미 웹사이트(www. academyinfo.go.kr)를 통해서 각 대학별로 투입 및 산출요 소에 포함되어야 항목들을 수집하여 DB를 구축하였다.

3.2.2.최종 요소 확정

본 연구는 산출요소를 통제하기 위해 Tofallis[21]가 제 시한 프로파일링(Profiling)방법을 이용하여 각 산출요소 의 부분 효율성을 평가한 후, 스피어만(Spearman)의 서열 상관관계 분석을 실시하여 산출요소를 1차적으로 제거 한다. 정량적인 방법으로 선정된 2차 투입․산출요소를 정성적인 평가를 고려하기 위하여 AHP 모형으로 중요도 를 산출함으로써 최종 투입․산출요소를 확정한다.

3.2.3.DEA를 이용한 효율성 측정

최종 선정된 요소로 DEA를 분석하여 대학의 성과 평 가를 도출하기 위한 효율성을 측정하는 단계이다. 본 연 구는 DEA 모형 중 산출지향 CCR 모형과 산출지향 BCC 모형을 모두 사용하여 비교한다. 또한 대학의 기능에 따 라 교육과 연구 중심으로 분석모형을 구분하여 대학의 성 과를 다각적으로 분석하고자 한다. DEA 분석에는 DEAFrontier Software 2007을 사용하였다.

3.2.4.AHP를 이용한 효율성 측정

본 연구는 AHP를 이용하여 대학의 성과를 효율성 측면 으로 분석하기 위한 계층구조는 <Figure 2>와 같이 구성 한다.

투입에 대한 가중치와 산출에 대한 가중치를 각각 DMU 의 요소에 곱하여 효율성 개념에 적용한다. 즉, 각 대학 의 최종 효율성 값은(총괄산출 가중합/총괄투입 가중합) 으로 계산한다. 이 때 가장 큰 값을 가지는 DMU의 효율 성을 ‘1’로 기준으로 두고 나머지 DMU의 효율성을 정규 화하여, DEA를 이용한 효율성과 DEA-AHP 통합 모형을 이용한 효율성 측정값을 비교한다.

3.2.5.DEA-AHP 통합 모형을 이용한 효율성 측정

본 연구는 Jyoti et al.[6]이 제안한 DEA-AHP 통합 모 형을 적용한다. DEA-AHP 통합 모형의 분석 절차에 대 한 개략적인 설명은 다음과 같다. 첫째, AHP를 이용하여 투입․산출요소의 가중치를 산출한다. 둘째, 투입․산출 요소의 값을 상대적 값(Relative Score)으로 변환한다. 즉, 각 요소별로 가장 큰 값을 가지는 DMU의 데이터를 ‘100’ 으로 두고 다른 DMU의 데이터를 비율적으로 변환한다. 셋째, 투입요소와 산출요소의 상대적 값을 구한 후, AHP 모형에서 산출된 요소별 가중치를 곱하여 상대적 가중 값(Relative Weighted Score)을 구한다. 넷째, 상대적 가중 값을 DEA 모형에 적용하여 효율성을 측정한다.

3.2.6.각 모형의 효율성 순위와 중앙일보 대학평가 순위 비교

DEA로부터 도출된 대학의 효율성 순위와 효율성 개 념을 적용한 AHP 모형의 순위, DEA-AHP 통합 모형으 로부터 산출된 대학의 순위, 중앙일보 대학평가의 순위 를 스피어만(Spearman)의 서열상관관계 분석으로 각 모 형의 상관성을 파악한다.

4.연구분석 및 결과

4.1.분석 대상 및 후보 요소 선정

본 연구는 대학의 성과를 측정하기 위해서 2012년 중 앙일보 대학평가 대상에 포함된 대학 중 93개를 최종 선 정하였다. 표본으로 선정된 93개 대학의 기본 현황은 다 음 <Table 1>과 같다.

본 연구는 표본 대상인 대학을 설립유형인 국․공립 대와 사립대로, 대학의 소재지는 서울과 인천, 경기 지역 을 포함한 수도권과 비수도권으로 구분하였다. 대학 규 모는 학생 수를 기준으로 20,000명 이상을 대규모 대학, 10,000명에서 20,000명 미만을 중규모 대학, 10,000명 미 만을 소규모 대학으로 나누었다.

한편, 93개의 대학에 대한 투입․산출요소는 DEA를 이용한 대학 효율성에 관한 선행연구로부터 1차적으로 선 정하였다. 본 연구는 선행연구의 투입요소를 반영하여 조 직의 비용을 의미하는 인력과 예산과 관련된 전임교원 수 (단위 : 명), 학부와 대학원생을 합한 학생 수(단위 : 명), 교육비(단위 : 천원), 장학금(단위 : 천원), 교내․외 연구 비(단위 : 천원)로 총 5개의 투입요소를 선정하였다.

산출요소는 선행연구를 반영하여 국내․외의 학술지에 게재한 논문 수(단위 : 편)와 취업자 수(단위 : 명), 졸업 자 수(단위 : 명), 중도탈락 학생 수(역)1)(단위 : 명), 진학 자 수(단위 : 명), 국내․외 특허 출원 및 등록 수(단위 : 건), 기술이전 수입료(단위 : 천원), 저서․역서 수(단위 : 권)로 총 8개를 선정하였다.

4.2.최종 요소 확정

4.2.1.총 효율성 분석

1차 선정된 투입요소 5개와 산출요소 8개를 모두 이용 하여 각 대학의 효율성을 도출한다. 분석 모형은 산출지향 CCR 모형을 적용한 결과 93개의 대학(DMU) 중에서 66개 (71%)의 대학(DMU)이 효율적인 값인 ‘1’로 나타났다. 이 는 투입․산출요소 수에 비해 DMU의 수가 상대적으로 적을 경우 효율성 값이 1인 단위로 평가되는 DMU의 수가 많아지기 때문이다. 따라서 요소의 수를 축소시켜 비효율 적인 단위들을 판별하는 능력을 강화시킬 필요가 있다[12].

4.2.2.산출요소별 부분 효율성 분석

투입요소의 수는 적정한 것으로 가정하고 산출요소의 수를 축소하기 위해 Profiling 방법, 즉 산출요소에 각각 에 대하여 적용하여 각 DMU에 대한 부분 효율성을 측 정하였다. 8개의 산출요소별 부분 효율성을 측정한 결과 는 <Table 3>과 같다.

산출요소별 부분 효율성의 분석 결과는 다음과 같은 사실을 제공한다. 첫째, 산출요소별 부분 효율성의 산술 평균 값을 통해서 각 산출요소가 효율성에 미치는 영향 력의 크기를 알 수 있다. 산출요소별 효율성에 미친 영향 력 순위를 살펴보면 졸업자수, 국내․외 학술지 게재 논 문 수, 취업자 수, 진학자 수, 저․역서 수, 국․내외 특 허 출원․등록 수, 기술이전 수입료, 중도탈락 학생 수 (역) 순으로 나타났다. 둘째, 각 DMU의 산출요소별 부분 효율성의 평균이 0.3932로 가장 낮게 산출된 DMU72의 경우 CCR 모형의 총 효율성 값 역시 가장 낮게 산출되었 음을 알 수 있으며, 산출요소 중 기술이전 수입료의 효율 성이 가장 낮게 나타났다. 셋째, DMU1, DMU36, DMU85 의 경우 CCR 모형의 총 효율성은 ‘1’의 값으로 효율적 이나 산출요소별 효율성 값의 평균은 각각 0.4791, 0.4644, 0.4980으로 매우 낮게 산출되었다. DMU36의 경우는 취 업자 수와 중도탈락 학생 수(역)의 요소가, DMU85는 취 업자 수와 졸업자수 요소가 나머지 요소들의 비효율성을 상쇄시키는 것으로 나타났다.

4.2.3.산출요소별 부분 효율성 분석

산출요소를 축소하기 위해 <Table 2>의 각 산출요소 별 부분 효율성 수치를 근거로 각 산출요소별에 대한 순 위를 자료로 하여 스피어만(Spearman)의 서열상관관계 분 석을 실시하였다. 결과는 <Table 3>에 제시하였으며, 요 소들 중에서 가장 높은 양의 상관관계를 갖는 요소들부 터 순차적으로 통제하는 방법을 수행한다.

서열상관관계 분석을 실시한 결과, 유의수준 0.01에서 통계적으로 유의한 양의 서열상관관계를 보이고 있는 산 출요소들은 졸업자수와 취업자 수, 기술이전 수입료와 국내․외 특허 출원․등록 수로 나타났다. 그 중 통계적 으로 유의한 강한 양의 서열상관관계를 보인 졸업자수와 취업자 수 중에서 졸업자수를 제외하고 취업자 수를 대 표 산출요소로 선정하였다. 이는 선행연구의 고찰로 인 하여 취업자 수가 졸업자수 대비 대학의 산출물로 객관 적인 지표로 다수 사용되었기 때문이다.

또한 기술이전 수입료와 국내․외 특허 출원․등록수 는 통계적으로 유의한 약한 양의 상관관계를 보이는 것 으로 나타났다. 이는 기술이전 수입료가 국내․외 특허 출원․등록 수 대비 타 요소들 간의 유의한 서열상관관 계를 보이므로 특허 출원․등록수를 제외하고 기술이전 수입료를 2차 후보 산출요소로 선정한다. 한편, 기술이전 수입료는 취업자 수와 통계적으로 유의한 음의 상관관계 를 보이고 있으나, 서로 반대의 영향을 미치는 산출요소 들은 효율성에 서로 다른 영향을 미치므로 모형에 포함 시킨다.

따라서 2차 후보로 선정된 산출요소는 취업자 수, 국 내․외 학술지 게재 논문 수, 중도탈락 학생 수(역), 진학 자수, 기술이전 수입료, 저․역서수로 총 6개이다.

4.2.4.2차 후보 요소 선정

2차 선정된 투입요소는 전임교원 수(단위 : 명), 학부와 대학원생을 합한 학생 수(단위 : 명), 교육비(단위 : 천원), 장학금(단위 : 천원), 교내․외 연구비(단위 : 천원)로 총 5개의 요소와 산출요소는 국내․외의 학술지 게재논문 수(단위 : 편)와 취업자 수(단위 : 명), 중도탈락 학생 수 (역)(단위 : 명), 진학자 수(단위 : 명), 기술이전 수입료 (단위 : 천원), 저서․역서 수(단위 : 권)로 총 6개를 선정 하였다.

2차 선정된 투입․산출요소를 이용하여 각 대학의 효 율성을 산출한 결과, CCR 모형에서 효율적인 대학이 54 개(58.1%)로 나타나 기존 66개(71%)의 효율적인 대학의 수와 차이를 보였다. 이는 8개의 산출요소를 사용하였을 때 효율성의 차이를 보인 12개의 대학들은 많은 요소의 수로 인하여 DMU들의 지배관계가 부정확하게 나타났으 나 산출요소의 수를 적절하게 통제함으로써 비효율성이 판명된 결과로 볼 수 있다.

4.2.5.투입․산출요소의 중요도 분석

본 연구는 AHP를 적용한 정성적인 평가를 통해 각 요 소별 가중치를 도출하여 중요도가 높은 요소들을 최종 선 정하였다. AHP 계층구조는 <Figure 3>과 같이 투입 계층 과 산출 계층을 포괄한 효율성을 목표로 투입 계층의 평가 기준(Criteria)은 대학 구성원, 대학 운영비로 구성되며, 산출 계층의 평가 기준(Criteria)은 대학 교육과 학술 연구로 구 성한다. 투입과 산출의 하위 평가 기준(Sub Criteria)에서 대학 구성원은 전임교원, 학생으로, 대학 운영비는 교육비, 장학금, 연구비로 구성한다. 대학 교육은 산출물인 취업자, 중도탈락 학생(역), 진학자로, 학술연구는 국내․외 학술 지 게재 논문, 기술이전 수입료, 저서․역서로 구성한다. 투입과 산출 계층의 최 하단에는 93개 대학이 위치한다.

설계된 AHP 모형으로 각 요소의 가중치를 도출하기 위 해 대학교수(3명), 대학 시간강사(1명), 대학 교직원(9명) 등으로 구성된 전문가 총 13명에게 설문을 실시하였다. 설문 은 9점 척도로 구성된 쌍대비교를 통해서 대학의 성과 평 가지표인 투입․산출요소의 중요도를 평가하도록 하였다.

4.2.6.최종 요소 선정

산출된 가중치는 <Table 4>에 제시하였다. 가중치를 근 거로 중요도가 큰 요소는 최종 요인으로 선별하고 중요 도가 낮은 요소는 제거하고자 한다. 투입요소에서는 1순 위에서 3.5순위인 전임교원 수, 학생 수, 교육비, 연구비 를 최종 요소로 선정하였으며, 산출요소는 1순위에서 4순 위인 국내․외 학술지 게재 논문 수, 취업자 수, 진학자 수, 기술이전 수입료를 최종으로 선정하였다.

4.3.DEA를 이용한 효율성 측정

4.3.1대학의 성과 평가를 위한 효율성 측정

DEA를 분석한 결과 93개 대학의 상대적 효율성 분포 는 <Table 5>와 같이 나타났다. CCR 모형에서 효율적인 대학은 전체의 37.6%인 35개, BCC 모형에서는 전체의 60.2%인 56개로 나타났다.

CCR 모형과 BCC 모형의 비율을 통해 규모의 효율성 (SE)을 추정할 수 있다. 최적의 생산규모에 도달함을 의 미하는 규모의 효율성이 ‘1’의 값을 가진 대학은 35개 (37.6%)로 나타났다. 반면, 규모가 비효율의 원인이 되는 대학은 총 25개(28.9%), 기술적인 면에서 비효율이 원인 으로 보이는 대학은 33개(35.5%)로 나타났다. 이는 대학 의 효율성은 규모의 영향보다 기술적 요인에 따른 비효 율의 원인이 많은 것으로 보아 기술적으로 비효율성인 대학은 투입되는 자원의 양과 구성을 적절하게 조정해야 할 필요가 있다고 판단된다.

4.3.2.교육중심과 연구중심의 효율성 분석

본 연구는 선정된 투입․산출요소 중에서 대학의 교육 부문과 연구 부문을 강조한 모형으로 구분하여 대학 효율 성이 갖는 의미를 분석하였다. 교육중심의 효율성 측정을 위한 투입요소는 전임교원 수, 학생 수, 교육비로, 산출요 소는 취업자 수와 진학자수로 설정하였다. 더불어 대학 연구중심의 효율성 측정을 위한 투입요소는 전임교원 수, 학생 수, 교내․외 연구비로, 산출요소는 국내․외 학술 지 게재 논문 수, 기술이전 수입료로 설정하였다.

교육중심의 효율성 결과와 연구중심의 효율성 결과는 각각 <Table 6>과 <Table 7>에 제시하였다.

교육중심 효율성 값과 연구중심 효율성 값을 2차원 매트 릭스(Matrix)로 표현한 결과는 <Figure 4>에 제시하였다.

각 효율성의 평균값을 기준으로 4사분면으로 구분하 였으며, 산출지향적 BCC 모형을 이용한 개별 대학의 교 육중심 효율성 값과 연구중심 효율성 값을 표시한 것이다. 교육과 연구에서 효율적인 대학이 분포되어 있는 1사분 면은 29개(31.2%)의 대학이 위치하며, 이 중 연구중심 효 율성 값과 교육중심 효율성 값이 모두 ‘1’로 나타난 대학 은 총 6개로 나타났다. 교육은 비효율적이나 연구활동이 활발한 2사분면의 대학은 18개(19.4%)로 나타났으며, 연 구보다는 학생들을 교육하는 것에 초점을 맞춘 4사분면의 대학은 22개(23.7%)로 나타났다. 3사분면에 분포된 연구 와 교육 모두 비효율적인 대학은 24개(25.8%)로 나타났다.

4.4.AHP를 이용한 효율성 측정

AHP를 이용하여 대학의 성과를 효율성 개념으로 측 정하기 위해 최종 선정된 요소들을 대상으로 AHP 계층 구조를 재구성한다. 즉, 기존 계층 모형의 하위 평가 기 준에서 장학금과 중도탈락 학생 수(역), 저서․역서를 제 외한다. 최종 요소들로 구성된 AHP 모형을 통해 가중치 를 산출한 결과는 <Table 8>에 제시하였다.

AHP 모형을 이용한 대학의 효율성은 AHP로부터 산 출된 각 요소의 가중치를 이용하여 효율성 = 총괄산출 가중합(Output Score)/총괄투입 가중합(Input Score)으로 계산한다. 분석 결과는 상위 25%와 하위 25%를 제시하 였으며, <Table 9>와 같다.

4.5.DEA-AHP통합 모형을 이용한 효율성 측정

93개의 대상으로 DEA-AHP 통합 모형 분석을 실시한 결과 상대적 효율성 분포는 <Table 10>과 같다. DEAAHP 통합 모형의 효율성 결과는 기존 DEA 모형만을 이 용한 대학의 효율성 분포와 유사한 분포를 보이는 것으 로 나타났다. 사전적으로 AHP 모형에 의한 가중치 정보 를 활용하여 DEA 모형을 분석한 효율성 분포에 크게 영 향을 미치지 않은 것으로 나타났다.

그러나 질적 중요도로 인해 DEA만을 이용한 효율성 순 위와 DEA-AHP 통합 모형을 이용한 효율성 순위에서 차 이가 나는 것으로 나타났다. DMU1, DMU16, DMU24, DMU25, DMU30, DMU42, DMU59, DMU78, DMU90으 로 총 9개(9.7%)의 대학이 DEA와 DEA-AHP 통합 모형에 서 CCR, BCC 모형 모두 순위 변동이 나타났다. 변동이 나타난 DMU에 대한 결과는 <Table 11>에 제시하였다. 또 한 CCR 모형에서만 순위 변동이 발생한 대학은 총 14개 (15.1%)로 나타났으며, BCC 모형에서만 순위 변동이 발행 한 대학은 총 4개(4.3%)로 나타났다. 따라서 AHP 모형으로 산출된 투입 및 산출요소에 대한 질적 중요도를 반영함으 로써 효율성 순위 결과에 큰 변화를 가져온 것으로 판단된다.

4.6.효율성 순위와 중앙일보 대학평가 비교

중앙일보 대학평가 순위와 DEA, DEA-AHP 통합 모형, AHP를 이용한 효율성 순위 간의 효율성 순위를 비교한 결과는 <Table 12>와 같으며, 2012년 중앙일보 대학평가 순위를 기준으로 상위 25%, 하위 25%만을 제시하였다.

중앙일보 대학평가 순위에서 1위인 DMU81은 타 모형 에 대한 효율성 순위에서 모두 1순위로 나타났다. 2순위 인 DMU80은 AHP 효율성 순위를 제외한 DEA를 적용한 모형에서 효율적인 대학으로 나타났다. AHP 효율성 순위 는 상위 10위권 내에 있는 것으로 나타났다. 그러나 중앙 일보 대학평가 3순위인 DMU60은 DEA를 적용한 BCC모 형에서는 1순위로 나타났으나, CCR 모형에서는 50위대 후반의 순위로 나타났다. 또한 AHP를 이용한 효율성 순 위도 10위 내에 선정되지 않은 것으로 나타났다.

각 모형에 의한 효율성 순위에 대한 상관성을 확인하 기 위하여 스피어만(Spearman)의 서열상관관계 분석을 실 시한 결과는 <Table 13>과 같다. 분석 결과 중앙일보의 대학평가 순위와 AHP 모형을 이용한 효율성 순위의 상 관관계가 0.687로 유의수준 1%에서 통계적으로 유의한 상관관계가 있는 것으로 분석되었다. 그 외 DEA 모형과 DEA-AHP 통합 모형에서 나타난 순위와는 유의한 상관 관계를 보이지 않는 것으로 나타났다. 이는 중앙일보 대 학 평가는 대학이 갖추어야 할 활동을 누적적으로 측정하 는 반면, DEA 모형은 투입과 산출에 해당하는 지표들 간 의 상대적 비율이므로 상관관계가 없는 것으로 보인다. 그러나 AHP를 이용한 효율성은 투입물과 산출물의 가중 합산의 비율이며, 가장 큰 투입물과 산출을 지닌 DMU를 기준으로 정규화한 값이기 때문에 합산 방식인 중앙일보 대학평가와 유의한 상관관계를 지닌 것으로 판단된다.

5.결 론

본 연구는 비영리 조직인 대학을 대상으로 DEA와 AHP 를 활용하여 다수의 투입요소와 다수의 산출요소를 양적 방법과 질적 방법으로 선정하는 것뿐만 아니라 상대적 효율성을 도출함으로써 대학의 성과 평가 방법을 제시한 다. 또한 도출된 대학의 효율성 순위와 중앙일보 대학평가 순위를 비교함으로써 대학 평가에 대한 시사점을 제시하 였다.

본 연구의 결과에서는 다수의 투입요소와 산출요소를 정량적인 방법인 Profiling 분석과 서열상관관계 분석을 통해 1차 요소를 선정하였으며, 정성적인 방법인 AHP 모 형을 통해 1차 선정된 요소를 대상으로 질적 중요도를 반 영함으로써 최종 요소를 도출하였다. 기존 연구에서는 투 입요소와 산출요소를 변화시킴으로써 정량적인 DEA 효 율성 값을 비교, 분석하여 적절한 투입요소와 산출요소를 판단하거나 전문가의 의견을 반영한 정성적인 AHP 모형 만을 통해 적절한 투입요소와 산출요소를 선정하였다.

본 연구에서는 Profiling 기법인 정량적 평가와 AHP 모형으로 정성적 평가를 단계적으로 분석하여 투입․산 출요소 선정함에 있어 전문가의 의도를 반영하되 객관성 을 시도한 것으로 평가할 수 있다. 이는 대학 효율성 평 가를 위한 다양한 요소를 선정할 때 효율성 측정의 객관 성을 유지하면서 의사결정자의 평가에 대한 의지가 적절 히 반영되어야 하는 것이 현실적으로 적용할 수 있는 모 형 중에 하나라고 판단된다.

대학의 효율성을 각 모형에 따라 실시한 결과, DEA만 을 이용한 결과와 AHP를 이용하여 산출된 결과 그리고 DEA-AHP 통합 모형으로부터 산출된 결과를 비교하였다. DEA-AHP 통합 모형은 DEA만을 실시한 효율성 분포와 거의 유사한 형태를 보였으나 AHP의 상대적 가중치를 반 영함으로써 순위 변동에서는 영향을 주는 것으로 나타났다.

각 모형들로부터 도출된 대학의 효율성 순위를 중앙 일보 대학평가 순위를 비교한 결과, DEA-AHP 통합 모 형 순위와 DEA 모형은 중앙일보 대학평가 순위와 상관 관계가 유의하지 않음을 보였으나, 중앙일보 대학평가와 AHP 효율성 순위는 유의한 상관관계를 나타낸 결과를 도출하였다. 중앙일보 대학평가는 평가지표에 대해 가중 치를 적용하고 합산하는 방식으로 순위가 산출되기 때문 에 투입과 산출에 대한 생산적인 측면은 배제하고 대학 의 서열화를 측정한다. 대학의 성과를 높이기 위해서는 대학이 갖추고 있는 활동들을 누적으로 측정하고, 무조건 적인 대학의 인력 구조조정 및 예산에 치중할 것이 아니라 대학에서 주어진 조건에서 다수의 산출물을 제공하는 것 에 대한 효율성을 측정하는 것 또한 고려될 필요가 있다.

따라서 DEA 모형만이 아닌 전문가의 의견을 반영한 DEA-AHP 통합 모형은 대학 평가에 활용할 수 있는 방 법론으로 고려해볼 수 있다. 취업률, 충원율 등의 계량 적, 누적 수치로 대학의 서열화로 평가하는 것이 아닌 대 학의 기본 기능인 교육과 연구 환경 요소들을 고려하여 대학의 효율성을 극대화하는 방안을 모색해야 한다.

본 연구는 정성적인 평가 방법인 AHP 모형을 통합함 으로써 대학의 성과와 순위를 평가할 경우 정량적인 방 법뿐만 아니라 전문가의 의견이 반영되어 객관성 결여를 최소화할 수 있는 방침이 되므로 대학의 성과를 평가하 기 위한 효율성 측정에 현실적으로 도움이 될 만한 실무 적 가치를 제공한다는 점에 의의가 있다.