Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.42 No.4 pp.135-144
DOI : https://doi.org/10.11627/jkise.2019.42.4.135

Development of BSC Model of Center for Teaching and Learning

Yongjun Kim*, Soyun Kim**, Changhee Cho***
*Department of Industrial Management, Gyeong-gi College of Science and Technology
**Department of Early Childhood English Education & Child Care, Gyeong-gi College of Science and Technology
***Department of Precision Mechanical Engineering, Gyeong-gi College of Science and Technology
Corresponding Author : kyjlife1024@gtec.ac.kr
07/11/2019 25/12/2019 27/12/2019

Abstract


In this study, BSC model of center for teaching and learning was developed using balanced scorecard suitable for non-profit organization. Firstly, relevant literature surveys and evaluation indicators of various CTL and institution with similar characteristics were examined. Next, a draft BSC model was designed through interviews of specialists. Lastly, the BSC model was proposed by verifying the content validity of the evaluation model by conducting two Delphi surveys. The BSC model of CTL has 4 perspectives: resource, customer, internal process, learning and growth, 9 critical success factors: 2 factors in resource, customer and learning and growth perspectives, 3 factors in internal process perspective, and 23 key performance Indicators: 4 indicators in resource and learning and growth, 7 indicators in customer perspective, 8 indicators in internal process perspective. The implications of this study through the results were as follows: firstly, the proposed BSC model showed an evaluation model suitable for a non-profit organization. Second, the BSC model was linked to the organization’s mission and vision. Third, it could contribute to the long-term development of CTL. Lastly, if it could be applied to management, and evaluated, it is expected to play a role of providing basic data for the budget support and spread of the university.



교수학습지원센터의 BSC 모형 개발

김 용준*, 김 소윤**, 조 창희***
*경기과학기술대학교 산업경영과
**경기과학기술대학교 아동영어보육과
***경기과학기술대학교 정밀기계과

초록


    1. 서 론

    최근 대학의 역량 및 경쟁력은 국가의 경쟁력을 좌우 하는 핵심적인 요소로 자리하고 있으며 대학에서는 이를 확보하기 위한 투자나 노력이 지속적으로 이루어지고 있다. 현재는 대학 입학 인구의 지속적인 감소가 예측되는 바 각 대학들은 교수학습과 질 높은 교육에 많은 관심을 기울 이고 있다. 이를 해결하기 위한 방안 중 하나로 대학에서 는 교수학습지원센터(Center for Teaching and Learning, 이하 CTL)의 기능과 역할을 확대하여 교수와 학생에 대 한 다양한 지원 프로그램들을 개발하고 있다.

    교수학습지원센터는 대학교육의 수월성과 경쟁력 강 화를 위해 국내외 많은 대학에서 설립하여 운영하고 있 는 대표적인 교수와 학습 지원체제이다[10, 12]. 1997년 인천에 있는 인하대학교에 교수학습센터가 설립된 것을 시작으로 1999년 포항공대, 2001년 서울대, 성균관대, 숙 명여대, 연세대에 CTL이 설립되었고, 이후 전국적으로 많은 대학에서 CTL이 추가적으로 설립되었다.

    교수학습지원센터의 운영은 각 대학 구성원들의 센터 에 대한 인식정도, 조직문화, 인력 및 예산 등의 차이로 대학마다 다소 차별화된 양상을 나타내고 있다[7, 8]. 교 수학습지원센터가 일찍 설립된 대학의 경우 여러 가지 시행착오를 겪으면서 체계화된 프로그램을 안정적으로 운영하고 있으나, 후발 대학들의 경우 인식정도, 조직문 화, 인력 및 예산 등의 문제로 불안정하게 운영되고 있는 실정이다. 이와 같은 교수학습지원센터의 운영과제를 해 결하기 위해 중장기적인 목표와 연계된 평가체계를 구축 하여 보다 체계적으로 관리하는 것이 필요하다.

    대학 교수학습지원센터의 운영평가에 대한 문헌을 살 펴보면 Heo and Won[3]은 절차중심의 평가모형인 CIPP 모형을 이용하여 교수학습센터 사업성과평가모형을 개발 하였으며 Yoo et al.[17]은 CIPP 평가모형을 기본으로 하 여 우수 교수학습센터의 평가지표를 개발하였다. 최근에 Park[13]은 대학 교수학습지원센터의 교수역량 강화 프로 그램 성과평가 모형을 개발하였으며 Park[15]은 교수학습 지원센터의 사업성과를 객관적 성과와 주관적 성과로 나 누어 분석을 시도하였다. 기존 연구들을 살펴보면 상황 (Context), 투입(Input), 과정(Process), 산출(Product)의 4가 지 절차 중심의 교수학습지원센터 평가모형개발에 대한 시도가 있었다는 것을 알 수 있다. 그러나 결과에 초점을 맞춘 교수학습지원센터 성과평가에 대한 연구는 이루어 지지 않았다.

    따라서 본 연구에서는 Kaplan and Norton[5]이 주장한 비영리 조직에 적합한 균형성과표(Balanced Scorecard, 이 하 BSC)를 이용하여 대학 교수학습지원센터의 BSC 모 형을 개발하였다. 연구를 진행하기 위해 첫째, BSC 모형 을 근거로 관련 문헌조사와 비영리 조직의 성격을 지닌 기관들의 평가지표를 조사하였다. 둘째, 조사한 문헌과 관련 전문가 면접을 거쳐 모형의 초안을 설계하였으며 셋째, 델파이 기법(Delphi Technique)을 이용하여 모형의 내용타당도를 검증하여 BSC 모형을 결정하였다. 본 연 구의 결과로 개발된 BSC 모형은 대학 교수학습지원센터 의 경영 관리 및 개선과 연계된 시스템으로 활용할 수 있기에 높은 효용성을 가질 것으로 기대한다.

    본 연구의 나머지 부분은 다음과 같이 구성되어 있다. 제 2장은 이론적 배경으로 BSC 모형의 개요에 대해 설 명하였으며, 제 3장에서는 BSC 모형을 기초로 한 교수 학습지원센터의 4가지 관점, 핵심성과요인 및 핵심성과 지표 개발 절차에 대해 설명하였다. 제 4장에서는 BSC 모형 개발 절차에 따른 결과를 설명하였다. 마지막 제 5 장에서는 본 연구의 내용을 요약하고, 이에 대한 시사점 을 제시하였다.

    2. 이론적 배경

    2.1 BSC

    Kaplan and Norton[5]은 과거 매출이나 순이익 같은 재 무적 성과에만 치우쳤던 성과측정 시스템의 한계를 보완 하기 위해 재무적 관점 외 비재무적 관점인 고객, 내부 프 로세스, 학습 및 성장 관점을 추가하여 균형 있는 성과측 정을 통해 기업의 전략과 가치를 실현하기 위한 BSC라는 평가시스템을 제안하였다. BSC를 구성하는 체계는 조직 의 미션(Mission)과 비전(Vision), 4가지(재무, 고객, 내부 프로세스, 학습 및 성장) 균형적인 관점(Perspective) 그리고 각 관점에 적합한 핵심성과요인(Critical Success Factors, 이하 CSF) 및 핵심성과지표(Key Performance Indicators, 이하 KPI)가 도출되는 위계 구조로 <Figure 1>과 같다.

    미션은 조직이 추구하는 가치와 이상을 명시화하는 것이며 조직 내 의사결정에 대한 판단기준을 제공해준 다. 미션의 다음 단계인 비전은 미션을 위한 가치와 의미 를 포함하고 있는 장·단기적인 목표로 정의된다. 비전은 조직 구성원들에게 조직 미래에 대한 윤곽을 제시하며 주요 이해관계자들 사이의 관계를 설정하는 프레임워크 (Framework)도 제시한다. 비전의 다음 단계인 관점은 BSC 구성체계의 가장 중요한 부분으로 경영성과의 균형 있는 측정을 가능하게 한다[6]. 다음으로 핵심성과요인과 핵심성과지표는 현재 조직의 경영에 대한 재무성과뿐만 아니라 미래 가치를 증대시키기 위해 무엇을 관리해야 하는지 정확하게 알려주는 구체적인 산출물이라 할 수 있다[5]. 균형 있는 경영성과 측정을 가능하게 하는 BSC의 네 가지 관점에 대해 설명하면 다음과 같다.

    2.1.1 재무 관점

    재무 관점은 보통 영리 조직에서 기업의 수익과 성장 을 재무적인 지표를 통해 주주들에게 조직의 성과를 보여 주는 것을 말한다[16]. 민간 부문에서 재무성과 측정지표 들은 조직의 전략과 실행, 그리고 달성이 순이익 개선에 얼마나 기여했는지를 나타낸다[11]. 그러나 Cha and Kim [1]은 공공부문이나 비영리 조직에서 재무는 할당된 예산 한도 내에서 이루어지기 때문에 특정한 일을 할 수 있게 하거나 혹은 할 수 없게 만드는 요인이 될 수 있지만 수 익이나 성장이 근본적인 목표는 아니라고 하였다. 그러므 로 공공부문이나 비영리 조직에서 재무 관점은 수익이나 성장에 초점을 맞추기보다 예산 집행과 관련된 부분에 초 점을 맞추게 된다고 주장하였다.

    2.1.2 고객 관점

    고객 관점은 조직이 고객에게 우수한 서비스를 제공 하여 궁극적으로 고객의 주관적 만족감을 높여주었는지 를 확인하는 영역으로[14], 고객의 입장에서 가치창출과 차별화를 위한 조직의 전략을 수립하는 것으로 조직이 고객들에게 어떤 모습으로 보여져야 하는지와 연관된다. 고객 관점은 회사가 만족도, 충성도, 확보율, 유지율, 수 익성 등의 핵심적 고객 성과지표를 목표 고객 및 세분화 된 시장에 맞게 정렬할 수 있게 해주며, 목표 고객과 세 분화된 시장에 전달할 가치를 명확하게 파악하고 측정할 수 있도록 해준다[1].

    2.1.3 내부 프로세스 관점

    내부 프로세스 관점은 고객과 주주를 만족시키는 다 양한 내부 프로세스의 개발을 위한 전략적 우선순위를 결정하는 것으로 조직이 고객과 주주를 만족시키기 위해 어떤 내부 프로세스를 갖추어야 하는지와 연관된다. 또 한 프로세스 측면에서 경쟁사와 비교하여 무엇을 준비해 야 하며, 어떻게 효율적인 프로세스 과정을 만들어내야 하는지의 관점과도 부합한다. BSC를 적용한 성과평가에 서는 조직의 비전 달성을 위한 고객의 기대를 만족시키 려면 내부적으로 어떤 업무에 탁월해야 하는지를 파악하 는 영역이다[10].

    2.1.4 학습 및 성장 관점

    학습 및 성장 관점은 조직이 장기적인 성장과 개선을 이루어내기 위해 구축해야 하는 기반 구조로 재무, 고객, 내부 프로세스 관점의 각 목표들을 성취할 수 있는 하부 구조라 할 수 있다. 학습 및 성장 관점의 핵심성과지표로 는 종업원의 만족도, 이직율, 생산성 등이 있다. 공공부문 의 학습 및 성장 관점은 내부업무 효율화와 고객지향성을 위한 정보와 지식의 수집, 창출, 저장, 전달, 활용 등의 측 면에서 지식관리에 중점을 두고 있다[18]. 민간부문의 학 습 및 성장 관점은 기업 내 인적·물적 자원의 활용도를 극 대화하고자 하는 전사적 자원관리에 초점을 둔다[1].

    2.2 대학 내 기관의 성과평가 선행연구

    대학 내 기관의 성과평가 연구로 첫째, 교수학습지원 센터에 관한 연구로 Heo and Won[3]은 절차중심의 평가 모형인 CIPP 모형을 이용하여 교수학습센터 사업성과평 가모형을 개발하였으며 Yoo et al.[17]은 CIPP 평가모형 을 기본으로 하여 우수 교수학습센터의 평가지표를 개발 하였다. 둘째, 대학평생교육원에 관한 연구로 Hyun and Kwon[4]은 평생교육기관 종사자의 델파이 조사를 이용 하여 성과평가 항목들을 도출하였으며 Kim and Yun[6] 은 BSC 이론을 적용한 성과평가모형을 개발하였다.

    3. 연구 설계

    본 연구에서는 BSC 모형 구성체계에 있는 조직의 미 션 및 비전, BSC 4가지 관점(재무, 고객, 내부 프로세스, 학습 및 성장), 핵심성과요인 및 핵심성과지표를 개념화 하고 모형을 구현하기 위해 <Figure 2>의 일련의 절차에 따라 연구를 수행하였다.

    3.1 문헌조사

    교수학습지원센터의 BSC 모형 구성체계에 포함될 미 션, 비전, 4가지 관점, 핵심성과요인 및 지표의 체계화 및 구체화를 위해 관련 문헌조사를 수행하였다. 조사 내 용으로 교수학습지원센터의 특성 및 평가, 대학내 기관 의 BSC를 적용한 사례 등을 검토하였다.

    3.2 전문가 면접조사

    BSC 구성체계에 대한 세부적인 내용을 보완하기 위해 교수학습지원센터의 내부 전문가를 통한 면접조사를 시 행하였다. 전문가 면접조사 참여자로 교수학습지원센터 에서 활동중인 교수 3인, 실무자 2인을 선정하여 조직의 미션, 비전, BSC 4가지 관점, 핵심성과요인 및 지표에 대 한 다양한 의견을 구하였다. 전문가 면접조사에 사용된 질문은 ‘교수학습지원센터의 BSC 모형 관점이 어느 정 도 타당한지에 대해 의미를 검토하고, 추가해야 할 내용 이나 의견을 제시해 주세요.’ 등의 개방형 질문을 이용하 였다. 선행된 문헌조사와 전문가 면접조사를 통해 교수 학습지원센터 BSC 모형의 초안을 완성하였다.

    3.3 델파이 조사

    교수학습지원센터의 BSC 모형 초안의 내용타당도를 검토하고, 모형에 대한 의견을 수렴하기 위해 델파이 조사를 실시하였다. 델파이 패널로 참여한 인원은 대학 에서 교수학습지원 관련 경력을 가지고 있는 교수 및 실무자 등 11명이며 인구통계학적 특성은 <Table 1>과 같다.

    델파이 조사를 위한 질문지의 평정기준으로 Grant and Davis[2]가 제안한 미국교육연구학회의 교육 및 심리검 사 기준을 사용하였다. 이 기준은 대표성(Representation), 명확성(Clarity), 포괄성(Comprehen- siveness)을 제안하였 으며, ‘대표성’은 해당 문항을 포함하고 있는 측정영역을 얼마나 적절하게 반영하고 대표하는가?’를 나타내며, ‘명 확성’은 문항이 제시된 형태와 관련된 것으로 ‘문항이 얼마나 명확히 서술되어 있는가의 정도’를 의미한다. 마 지막 ‘포괄성’은 측정영역의 전체 문항들이 해당되는 측 정영역의 상위 위계를 모두 포괄하는가?’를 확인한다. 관 점에 관한 질문의 경우 대표성은 ‘각 관점은 교수학습지 원센터의 비전을 잘 대표하고 있는가?’, 명확성은 ‘각 관 점의 정의는 의미하는 내용이 명확한가’, 포괄성은 ‘전체 관점들은 교수학습지원센터 비전을 충분히 포괄하고 있 는가?’의 형태로 질문지가 제시되었다. 델파이 조사 질문 지의 평정척도는 5점 리커트 척도를 이용하였다. 델파이 질문지의 문항 구성은 다음 <Table 2>와 같다.

    3.4 델파이 조사 자료 분석

    델파이 조사 자료 분석을 위해 BSC 모형의 4가지 관 점, 핵심성과요인 및 지표의 각 항목별로 대표성, 명확 성, 포괄성 응답에 대한 평균과 표준편차를 산출하였으 며 내용타당도를 확인하기 위해 각 항목별 내용타당도 값 (Content Validity Ratio, 이하 CVR)을 산출하였다. CVR값 은 특정 문항에 대하여 ‘타당하다’고 응답한 패널의 비율 을 의미하는 것으로 값이 양수일 때는 응답한 패널의 절 반 이상이 5점 리커트 척도 기준에서 4점 이상의 평정을 하였다는 것을 의미한다. CVR값이 0일 경우에는 응답한 패널의 절반이 긍정적인 평정을 한 것이며, 음수일 때는 응답한 패널의 절반 이상이 3점 이하로 평정한 것으로 해 석할 수 있다.

    CVR값은 전체 델파이 패널의 수에 따라 최소값이 결정되는데 CVR값이 최소값 이상인 경우 유의수준 0.05 에서 내용타당도가 있다고 판단한다[9]. 본 연구에서는 델파이 패널의 수가 11명으로 Lawshe[9]가 제시한 전 문가 패널 11명 기준의 CVR값 0.59를 기준으로 설정 하였다.

    4. 연구 결과

    4.1 미션과 비전 설정

    교수학습지원센터의 미션과 비전의 설정은 문헌조사 와 내부 전문가 면접조사를 통해 도출하였다. 문헌조사 를 통해 교수학습지원센터의 정의와 기능, 역할 등에 대 해 조사하였으며 내부 전문가 면접조사를 통해 미션과 비전에 대한 검토과정을 진행하였다. 이 과정을 통해 ‘창 의적이고 혁신적인 교수학습시스템을 통한 융복합 인재 양성 지원’이라는 미션과 ‘배움의 가치를 실현하는 활력 있는 교수학습지원센터’라는 비전을 도출하였다.

    4.2 BSC 4가지 관점의 의미 설정

    교수학습지원센터의 BSC 4가지 관점을 설정하기 위 해 Kaplan and Norton[5]이 제시한 4가지 관점을 사용하 였다. 고객, 내부 프로세스, 학습 및 성장 관점은 그대로 유지하였고 의미에 대한 정의는 문헌조사 및 내부 전문 가 면접조사를 통해 변화를 주었다. 재무 관점은 내부 전 문가 면접조사를 통해 비영리기관에 적합한 용어인 자원 관점으로 수정을 실시하였다. 자원 관점은 ‘효과적이고 효율적인 조직 경영을 위해 재정 및 인적·물적 자원을 어떻게 확보하고, 배분하고 있는가?’, 고객 관점은 ‘조직 의 고객을 파악하고, 조직의 미션 및 비전을 실현하기 위 해 그들의 요구를 잘 충족시키고 있는가?’, 내부 프로세 스 관점은 ‘조직의 미션 및 비전 달성을 위해 어떤 업무 프로세스가 중요하며 어떻게 개선시켜 갈 것인가?’, 학습 및 성장 관점은 ‘조직과 그 조직원(경영자, 실무자 등)의 역량을 키우기 위한 활동은 무엇인가? 로 의미를 설정하 였다.

    4.3 핵심성과요인의 도출

    대학 내 기관의 성과평가 선행연구 내용을 참고하였 으며 선행연구에서 도출한 교수학습지원센터의 핵심성 과요인은 다음 <Table 3>과 같다.

    내부 전문가 면접 조사를 통해 선행연구 핵심성과요 인의 타당성을 검토하고 부적절하거나 누락된 내용에 대한 의견을 구하였다. 자원 관점의 경우 재정자원의 투명성 확보와 재정의 규모 및 안정성 항목은 ‘재정자 원 관리’ 항목으로 물적자원의 관리 및 확보는 ‘물적자 원 관리’ 항목으로 ‘인적자원의 관리 및 확보는 ‘인적 자원 관리’ 항목으로 3개 항목을 도출하였다. 고객 관 점의 경우 학습자 만족도를 ‘학습자 만족 제고’ 항목으 로 프로그램 관계자의 만족도를 ‘교수자 만족 제고’의 2개 항목으로 도출하였다. 이는 프로그램 관계자가 교 수자라는 내부 전문가 합의에 의해 결정하였다. 내부 프로세스 관점의 경우 비전 및 목표의 설립은 ‘미션 및 비전 관리’ 항목으로 프로그램 개발과 운영은 ‘시스 템 운영’ 항목으로 업무 표준화와 학습자의 지원은 ‘시 스템 관리’항목의 총 3개 항목을 도출하였다. 그러나 네트워킹 구축의 경우는 내부 전문가 합의에 의해 부 적합하다고 판단하여 제거하였다. 학습 및 성장 관점 의 경우 ‘조직원의 역량 강화’와 ‘조직문화 강화’의 2 개 항목은 그대로 참고하였다. 다만 인력의 확보는 내 부 전문가 합의에 의해 부적합하다고 판단하여 이를 제거하였다. 따라서 총 10개의 핵심성과요인을 도출하 였다.

    4.4 핵심성과지표의 도출

    대학 내 기관의 성과평가 선행연구 내용을 참고하였 으며 선행연구에서 도출한 교수학습지원센터의 핵심성 과지표는 다음 <Table 4>와 같다.

    내부 전문가 면접 조사를 통해 핵심성과지표의 타당 성을 검토하고 부적절하거나 누락된 내용에 대한 의견을 구하였다. 이 과정을 통해 자원 관점의 경우 전용시설의 규모, 강사의 풀 확보, 예산지원의 지속성 항목이 제거되 었으며 교육기자재 확보율의 경우 ‘교육기자재 관리 및 유지보수 유무’ 항목으로 수정되었다. 또한, ‘예산배분의 절차유무’, ‘예산 및 결산의 감사’, ‘서포터즈 활동건수’, ‘내부인적자원 활용건수’ 항목이 새로 추가되었다. 따라 서 ‘예산배분의 절차유무’, ‘예산 및 결산의 감사’, ‘교육 기자재 활용건수’, ‘교육기자재 관리 및 유지보수 유무’, ‘서포터즈 활동건수’, ‘내부인적자원 활용건수’, ‘학습동 아리 지원건수’의 7개 항목을 도출하였다. 고객 관점의 경우 학습자의 중도 탈락율과 자격증 취득률 항목은 제 거되었으며 수료생의 규모 항목은 ‘프로그램 이수율’로 수정되었다. 새롭게 추가된 개념은 프로그램의 효과성으 로 사전/사후의 비교를 통한 효과성 검증 항목이 추가되 었으며 교수자에 대한 핵심성과지표도 추가하였다. 따라 서, ‘학습자 만족도’, ‘학습자 프로그램 효과성’, ‘프로그 램 이수율’, ‘프로그램 참여건수’, ‘교수자 만족도’, ‘교수 자 프로그램 효과성’, ‘교육/연수 참여건수’의 7개 항목 을 도출하였다.

    내부 프로세스 관점의 경우 학습자 상담지원 시스템 활용도, 프로그램의 개발 수, 타 부서와의 연계 협력 항 목이 제거되었으며 운영위원회의 운영은 운영위원회 운 영횟수로 수정하였다. 또한, 연간 운영계획 수립 및 모니 터링 여부’, ‘분기별 성과평가 여부’, ‘운영지원 매뉴얼 개발 여부’, ‘교수학습 관련 게시물 등록 건수’, ‘프로그 램 운영결과보고서 건수’ 항목이 새로 추가되었다. 따라 서 ‘연간 운영계획 수립 및 모니터링 여부’, ‘분기별 성 과평가 여부’, 고객(교수자, 학습자) ‘행정지원 만족도’, ‘운영지원 매뉴얼 개발 여부’, ‘교수학습 관련 게시물 등 록 건수’, ‘홈페이지 조회 건수’, ‘운영위원회 운영횟수’, ‘추후 지속관리 서비스여부’, ‘프로그램 운영결과보고서 건수’의 9개 항목을 도출하였다. 학습 및 성장 관점의 경 우 관리자의 센터에 대한 이해와 교수학습 관련 자격증 수가 제거되었고, 강의 경력과 평가 항목은 강사의 역량 으로 관련성이 없다고 판단하여 제거되었으며 종사자의 직무연수 시간은 연간 역량개발 참여시간으로 수정되었 다. 또한, ‘연간 역량개발 지원비용’, ‘조직원의 의사소통 능력 측정’, ‘조직원의 미션, 비전 및 목표 공유 여부 항 목을 추가하였다. 따라서, ‘연간 역량개발 참여시간’, ‘연 간 역량개발 지원비용’, ‘조직원의 의사소통능력 측정’, ‘조직원의 미션, 비전 및 목표 공유 여부의 4개 항목이 도출되었으며 총 27개의 핵심성과지표를 도출하였다.

    4.5 1차 델파이 조사 분석 결과

    BSC 모형의 4가지 관점, 핵심성과요인 및 지표의 각 항목 별로 대표성, 명확성, 포괄성 응답에 대한 평균과 표준편차 를 산출하였으며 내용타당도를 확인하기 위해 각 항목별 CVR값을 산출하였다. 먼저 BSC 4가지 관점에 관한 평균, 표준편차 및 내용타당도를 검토한 결과는 <Table 5>와 같다.

    내용타당성 분석 결과 BSC 4가지 모든 관점에서 대표 성, 명확성 및 포괄성의 CVR값이 0.59 이상으로 도출되 어 관점에 관한 명칭과 의미의 타당성이 전문가 집단의 합의를 얻었다고 볼 수 있다. 다만, 자원 관점이 포함하 는 인적자원의 내용이 학습 및 성장 관점의 의미와 중복 이 있을 수 있다는 내용이 제기되어 자원 관점의 인적자 원에 대한 내용을 제거하였다. 다음으로 10개의 핵심성 과요인에 관한 평균, 표준편차 및 내용타당도를 검토한 결과는 <Table 6>~<Table 9>와 같다.

    자원 관점의 내용타당성 분석 결과 3가지 핵심성과요 인 모든 관점에서 대표성, 명확성 및 포괄성의 CVR값이 0.59 이상으로 도출되어 핵심성과요인에 관한 명칭과 의 미의 타당성이 전문가 집단의 합의를 얻었다고 볼 수 있 다. 다만 자원 관점의 인적자원 내용이 제거되어 핵심성 과요인 중 인적자원관리를 제거하였다.

    고객 관점의 내용타당성 분석 결과 2가지 핵심성과요인 모든 관점에서 대표성, 명확성 및 포괄성의 CVR값이 0.59 이상으로 도출되어 핵심성과요인에 관한 명칭과 의미의 타당성이 전문가 집단의 합의를 얻었다고 볼 수 있다.

    내부프로세스 관점의 내용타당성 분석 결과 3가지 핵 심성과요인 모든 관점에서 대표성, 명확성 및 포괄성의 CVR값이 0.59 이상으로 도출되어 핵심성과요인에 관한 명칭과 의미의 타당성이 전문가 집단의 합의를 얻었다고 볼 수 있다. 다만, 미션 및 비전관리는 1년 이상의 지속 성이 있다는 의견을 참고하여 미션 및 비전을 대체하여 하위요소인 ‘핵심프로세스의 관리’로 수정하였다.

    학습 및 성장 관점의 내용타당성 분석 결과 2가지 핵 심성과요인 모든 관점에서 대표성, 명확성 및 포괄성의 CVR값이 0.59 이상으로 도출되어 핵심성과요인에 관한 명칭과 의미의 타당성이 전문가 집단의 합의를 얻었다고 볼 수 있다.

    다음으로 27개의 핵심성과지표에 관한 평균, 표준편차 및 내용타당도를 검토한 결과 대부분 타당성이 확보되었 다. 개선된 내용으로 자원 관점의 핵심성과요인인 재정 자원관리 내의 ‘예산 및 결산의 감사’의 핵심성과지표는 유무라는 용어를 표시하였다. 또한 자원 관점의 핵심성 과요인인 인적자원관리가 제거되었으므로 관련된 핵심 성과지표를 모두 제거하였다. 내부프로세스 관점의 경우 핵심성과요인인 ‘시스템관리’에서 ‘추후 지속관리 서비 스여부는 내용타당도 값이 0.59보다 낮게 나타나 항목을 제거하였다. 마지막으로 학습 및 성장 관점의 핵심성과 요인인 ‘협력적 조직문화 강화’에서 ‘조직원의 미션, 비 전 및 목표 공유 여부’는 전문가 집단의 의견을 반영하 여 ‘조직원의 연간 운영계획 공유 여부’로 내용을 수정 하였다.

    4.6 2차 델파이 조사 분석 결과

    1차 델파이 조사 자료 분석을 통해 ‘자원’, ‘고객’, ‘내 부프로세스’, ‘학습 및 성장’의 4가지 관점과 자원 관점 2개, 고객 관점 2개, 내부 프로세스 관점 3개, 학습 및 성 장 관점 2개의 총 9개의 핵심성과요인, 그리고 자원 관 점 4개, 고객 관점 7개, 내부 프로세스 관점 8개, 학습 및 성장 관점 4개의 총 23개의 핵심성과지표로 이루어진 수 정된 BSC 모형이 완성되었다.

    2차 델파이 조사 분석 결과 수정된 내용에 관한 내용 타당도 점수가 향상되었다. 먼저 관점 측면에서 살펴보 면 자원 관점에서 대표성의 경우 CVR값이 기존 0.82에 서 1.0으로 향상되었다. 핵심성과요인의 경우 내부프로 세스 관점의 수정된 ‘핵심프로세스 관리’ 항목은 CVR값 이 0.82를 나타내었다. 핵심성과지표의 경우 ‘예산 및 결 산의 감사 유무’와 ‘조직원의 연간 운영계획 공유 여부’ 는 CVR값이 기존 0.64에서 0.82로 향상되었다. 따라서 수정된 항목의 CVR값이 모두 향상되었다.

    1, 2차 델파이 조사 분석 결과를 통해 최종 도출된 교 수학습지원센터의 BSC 모형은 <Table 10>과 같다.

    5. 결 론

    본 연구에서는 Kaplan and Norton[5]이 주장한 비영리 조직에 적합한 균형성과표를 이용하여 대학 교수학습지 원센터의 BSC 모형을 개발하였다. 연구를 진행하기 위 해 첫째, BSC 모형을 근거로 관련 문헌조사와 교수학습 지원센터의 특성 및 평가, 대학내 기관의 BSC를 적용한 사례 등을 검토하였다. 둘째, 조사한 문헌과 관련 전문가 면접을 거쳐 BSC 모형의 초안을 설계하였다. 셋째, 2회 의 델파이 조사를 시행하여 설계된 BSC 평가모형의 내 용타당도를 검증하여 최종 BSC 평가모형을 제안하였다.

    연구결과 교수학습지원센터의 BSC 모형은 ‘자원’, ‘고 객’, ‘내부프로세스’, ‘학습 및 성장’ 4가지 관점과 자원 관점 2개, 고객 관점 2개, 내부 프로세스 관점 3개, 학습 및 성장 관점 2개, 총 9개의 핵심성과요인, 그리고 자원 관점 4개, 고객 관점 7개, 내부 프로세스 관점 8개, 학습 및 성장 관점 4개, 총 23개의 핵심성과지표로 제시되었다.

    연구결과를 통해 확인한 본 연구의 시사점은 다음과 같다. 첫째, 제안한 BSC 모형은 비영리 조직에 적합한 평가모형으로 대학 내 기관에 적용할 수 있는 평가모형 을 제안하였다는 점이다. 둘째, 제안한 BSC 모형은 기관 의 미션 및 비전을 기반으로 관점을 수립하고 이에 따른 핵심성과요인과 핵심성과지표를 차례로 도출함으로써 산출된 결과를 환류하여 기관의 전략과 연결할 수 있다 는 장점이 있다. 셋째, 제안한 BSC 모형은 교수학습지원 센터가 경쟁력을 갖추기 위해 노력해야 할 관점 및 핵심 성과요인, 핵심성과지표를 보여줌으로써 기관의 중·장기 적 발전에 기여할 수 있다는 점이다. 넷째, 제안한 핵심 성과지표들은 정량적으로 측정이 가능하도록 선정하여 성과를 명확하게 파악할 수 있도록 하였다. 마지막으로 본 연구에 의해 개발된 BSC 모형을 경영 실무에 적용하 여 지속적으로 평가를 수행하여 데이터를 축적한다면 대 학의 예산 지원 및 확산을 위한 기초 자료를 제공하는 역할을 수행할 것이라 예상한다.

    본 연구의 한계로는 첫째, 제안한 BSC 모형은 특정 대학 교수학습지원센터의 성과평가모형으로 모든 대학 이 동일하게 적용하기에는 어려움이 있을 수 있다는 점 이며 둘째, 교수학습 관련 전문가의 의견을 통해 모형을 제시하였지만 이에 대한 실무적인 검증이 필요하다는 점 이다. 따라서 개발된 BSC 모형의 실제 적용을 통해 검증 을 수행할 예정이다.

    Figure

    JKISE-42-4-135_F1.gif

    The Composition System of BSC

    JKISE-42-4-135_F2.gif

    The Process of Analysis

    Table

    Sample Characteristics

    The Composition of Delphi Questionnaire

    CSF for CTL from Literature Research

    KPI for CTL from Literature Research

    The Result of the First Delphi Survey in 4 Perspectives

    The Result of the First Delphi Survey in Critical Success Factors(Resource)

    The Result of the First Delphi Survey in Critical Success Factors(Customer)

    The Result of the First Delphi survey in Critical Success Factors(Internal process)

    The Result of the First Delphi Survey in Critical Success Factors(Learning & Growth)

    The BSC Model for CTL

    Reference

    1. Cha, G.Y. and Kim, J.Y., A Case Study of Developing Management Performance Indices for Government funded Research Institute using BSC and AHP, Korean Journal of Business Administration, 2016, Vol. 29, No. 7, pp. 1083-1107.
    2. Grant, J.S. and Davis, L.L., Focus on quantitative methods : Selection and use of content experts for instrument development, Research in Nursing and Health, 1997, Vol. 20, pp. 269-274.
    3. Heo, G. and Won, H.H., A Study of Development for Performance Evaluation Model in the Center for Teaching and Learning, The Journal of Korean Association of Computer Education, 2008, Vol. 11, No. 6, pp. 77-84.
    4. Hyun, Y.S. and Kwon, D.B., Prediction of New Changes in the Accountabilities of Life-Long Educational Institutions for Learner, Society and Institutional Management by Analysis of Delphi Surveyed by the Workers of the Life-Long Educational Institutions, The Korean Society of Human Resource Development, 2007, Vol. 9, No. 1, pp. 1-26.
    5. Kaplan, R.S. and Norton, D.P., Translating strategy into action : The balanced scorecard, Boston, Harvard Business School Press, 1996.
    6. Kim, G.H. and Yun, M.H., Development of BSC Performance Evaluation Model for University Lifelong Education Centers, Journal of Lifelong Learning Society, 2014, Vol. 10, No. 2, pp. 155-180.
    7. Kim, H.B., An Effective Construction & Management of Instructional Service System, Korean Association for Educational Information and Media, 2004, Vol. 10, No. 4, pp. 195-226.
    8. Kim, K.C. and Kim, E.J., An analysis on the Current Condition and Content of the Early Childhood Education part in the City and Province Unit Teaching and Learning Service Center, The Korea Society for Children’s Media, 2005, Vol. 4, pp. 85-105.
    9. Lawshe, C.H., A quantitative approach to content validity, Personnel Psychology, 1975, Vol. 28, pp. 563-575.
    10. Lee, J.G., The teaching development approach strategy of unit university level, Higher Education, 2006, Vol.140, pp. 73-84.
    11. Lee, S.J. and Lee, S.B., Performance Measurement of the Public Sector from a BSC Perspective : The Case of PBLIS, Korea Institute for Local Administration, 2005, Vol. 19, No. 2, pp. 155-186.
    12. Noh, K.H., A Study on the Introduction and Operation of Center for Teaching and Learning, The Korean Yongjun Kim․Soyun 144 Kim․Changhee Cho Society for Information Management, 2007, Vol. 22, pp. 25-59.
    13. Park, E.S., A Study on Developing Outcome Evaluation Model for CTL Teaching Competency Enforcing Program in University, The Journal of Humanities and Social Science, 2019, Vol. 10, No. 2, pp. 647-658.
    14. Park, M.S., A Study on Application of BSC of the Non- Profit Organization, The Korean Regional Development Association, 2008, Vol. 8, No. 1, pp. 127-150.
    15. Park, S.H., A Study on the Integrated Performance Evaluation of the Programs Operated by the University’s Center for Teaching and Learning, The Korean Journal of Educational Methodology Studies, 2019, Vol. 1, No. 1, pp. 1-20.
    16. Song, H.D. and Shin, S.G., The Development of a Performance Evaluation System for Research Education Institute based on Balanced Scorecard, Soongsil University, Korea Lifelong Education and HRD Institute, 2010, Vol. 6, No. 2, pp. 1-20.
    17. Yoo, D.G., Chung, A.K., and Hong, Y.N., Development of Evaluation Indicators on CTLE(Center for Teaching and Learning of Excellence), Journal of College Education, 2014, Vol. 15, No. 3-4, pp. 173-185.
    18. Yun, S.O., Exploring the applicability of the BSC technique in the level of information, Korea Public Administration Journal, 2003, Vol. 12, No. 2, pp. 36-68.