Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.37 No.3 pp.122-128
DOI : https://doi.org/10.11627/jkise.2014.37.3.122

Evaluation of Program Effectiveness Using Panel Data : Focused on Fusion Technology Program

Heung-Kyu Kim*, Won-Jin Kang**, Jin-Hee Bae***
*School of Business Administration, Dankook University
**Management of Technology Division, TECHNOVALUE
***Industry and Technology Policy Center, Korea Institute for Advancement of Technology
Corresponding Author : heungkyu@dankook.ac.kr
August 29, 2014 September 6, 2014

Abstract

When evaluating effectiveness of a program, there is a tendency to simply compare the performances of the treated before and after the program or to compare the differences in the performances of the treated and the untreated before-after the program. However, these ways of evaluating effectiveness have problems because they can’t account for environmental changes affecting the treated and/or effects coming from the differences between the treated and the untreated. Therefore, in this paper, panel data analysis (fixed effects model) is suggested as a means to overcome these problems and is utilized to evaluate the effectiveness of fusion technology program conducted by Ministry of Trade, Industry and Energy, Korea. As a result, it turns out that the program has definitely positive impacts on the beneficiary in terms of sales, R&D expenditure, and employment.


패널자료를 이용한 사업의 효과성 분석 : 산업융합원천기술개발사업을 중심으로

김 흥규*, 강 원진**, 배 진희***
*단국대학교 경영학부
**기술과가치 MoT본부
***한국산업기술진흥원 산업기술정책센터

초록


    Ministry of Trade, Industry and Energy

    1.서 론

    어느 사업이 소기의 목적을 달성하였는지를 평가할 때 단지 수혜대상의 수혜 전․후의 성과를 단순 비교하거 나, 수혜집단과 비수혜집단의 수혜 전․후의 성과차이를 비교하는 경향이 있다[4, 5].

    그러나 이러한 사업의 평가방법은 수혜대상 주변의 환경변화로 인한 영향을 고려하지 못하거나, 수혜집단과 비수혜집단 간의 차이로 인한 영향을 통제하지 못하여 잘못된 결론에 도달하게 할 수 있다.

    다시 말해서 단지 수혜대상의 수혜 전․후의 성과를 단순 비교할 때에는 성과에 영향을 미치는 관측되지 않은 요인이 시간에 고정적인 경우에만 타당하다고 할 수 있 다. 또한 수혜집단과 비수혜집단의 수혜 전․후의 성과 차이를 비교할 때에는 수혜집단과 비수혜집단 사이에 사 업에 따른 효과를 제외하고 성과에 영향을 주는 다른 요 인에 차이가 없는 경우에만 타당하다고 할 수 있다[3, 4].

    한편, 성과에 영향을 미치는 관측되지 않은 요인이 시 간에 고정적이지 않으며, 수혜집단과 비수혜집단 사이에 사업에 따른 효과를 제외하고 성과에 영향을 주는 다른 요인에 차이가 있는 경우가 일반적이므로 위와 같은 사 업의 평가방법은 바람직하다고 할 수 없다.

    따라서 본 연구에서는 사업의 효과를 제대로 파악하기 위한 한 가지 방법으로 패널자료 분석(Panel Data Analysis) 을 제안한다.

    본 연구의 구성은 다음과 같다. 먼저 이론적 배경으로 패널자료 분석을 살펴본다. 다음으로 패널자료 분석을 적 용하여 산업통상자원부에서 시행하는 산업융합원천기술 개발사업(IT융합)의 효과를 도출한다. 마지막으로 지금까 지의 논의를 바탕으로 산업융합원천기술개발사업(IT융합) 의 개선방안을 살펴본다.

    2.이론적 배경

    사업의 효과를 제대로 파악하려면, 사업의 수혜를 받 은 개체의 성과(factual outcome)와 만일 그 개체가 수혜 를 받지 않았을 때의 성과(counter factual outcome)를 비 교해야 하나, 후자는 관측될 수 없기 때문에 이를 대리할 수 있는 뭔가를 찾아야 한다. 한편, 가상성과를 대리할 수 있는 비교근거는 자신에게서 혹은 타인에게서 찾을 수 있다.

    먼저 자신에게서 찾는 경우는 자신의 과거성과와 비 교하는 것인데 이는 성과에 영향을 미치는 관측되지 않 는 요인이 시간에 고정적인 경우에만 타당하다고 할 수 있다. 즉, 사업의 효과를 제대로 평가하기 위해서는 <Figure 1>에서 cb ¯ 를 측정하여야 하나 사업으로부터 수혜를 받은 개체의 참여시점의 전․후 성과를 단순 비교하면 ab ¯ 로 측정하는 오류가 발생한다[4].

    다음으로 타인에게서 찾는 경우는 자신과 동일한 특 성을 갖는, 그렇지만 수혜여부만이 차이가 나는 타인의 성과와 비교해야 할 것이다. 이를 위한 계량경제학적 방 법으로 DID(Difference in Differences)가 있다[4].

    DID는 사업이 시행됨으로써 향을 받은 집단(처리 집 단)과 그 영향을 받지 않은 집단(통제 집단)과의 차이를 통 하여 그 사업의 효과를 측정하는 방법이라고 할 수 있다[4].

    한편, DID를 적용하기에 앞서 필요한 가정이 있는데 이는 처리 집단과 통제 집단 간에 사업에 따른 효과를 제외하고 성과에 영향을 주는 다른 요인, 예를 들어 개체 가 기업인 경우 업종, 업력, 지역, 규모 등에 차이가 없다 는 것이다[4].

    만약 이러한 가정이 만족되지 않는 경우, 즉 사전에 성과에 영향을 주는 다른 요인을 알 수 없거나 이러한 요인에 관한 충분한 시계열자료를 얻을 수 없을 때 사용 할 수 있는 방법 중의 하나로 패널자료 분석을 고려할 수 있다.

    여기서 패널자료(panel data)란 횡단자료(cross sectional data)와 시계열자료(time series data)를 하나로 통합한 자 료라고 할 수 있다[1, 10].

    따라서 패널자료의 분석으로부터 개체 간의 차이는 물 론 시간경과에 따른 개체의 변화추이를 고려할 수 있다. 패널자료 분석의 가장 큰 장점은 무엇보다도 관측되지 않은 개체간의 이질성(unobserved heterogeneity)을 통계 적으로 제어할 수 있다는 것이다.

    <Figure 2>의 패널자료에서 종속변수 yi, t는 개체 it기에서의 성과를 나타내며, 독립변수 xi, t는 개체 it 기에서의 사업의 수혜여부를 나타내는 더미변수이다.

    한편, N 개의 개체를 T 기간 동안 관찰하여 얻은 <Figure 2>의 패널자료에서 개별 관측치 yi,t는 식 (1)과 같이 나 타낼 수 있다.

    y i , t = β 0 + β 1 x i , t + u i , t
    (1)

    식 (1)에서 개체간의 이질성이나 시간효과가 존재하는 경우, 즉 설명변수 xi,t와 교란항 ui,t사이에 상관관계가 있는 경우, 사업의 효과 β1을 추정하기 위하여 합동최소 자승법(Pooled Ordinary Least Square Method)을 이용하 게 되면 편의된(biased) 결과를 얻게 된다[5, 9].

    한편, 식 (1)의 교란항 ui,t는 식 (2)에 나타낸 바와 같 이 개체 만에 의한 영향 vi, 시간 만에 의한 영향 τt, 그 리고 오차항 i , t 로 구분할 수 있다. 식 (2)에서 개체 만에 의한 영향 vi는 개체 i의 고유한 특성(예 : 기업의 경우 CEO의 경영철학, 종업원의 열정 등)이 성과에 미치는 영향을 나타낸다. 그리고 식 (2)에서 시간 만에 의한 영 향 τt는 시간이 경과함에 따라 개체 모두에게 미치는 사 건(예 : 거시적인 경제충격, 제도의 변화 등)이 성과에 미 치는 영향을 나타낸다[1, 10].

    u i , t = v i + τ t + i , t
    (2)

    따라서 패널자료 분석에서는 개체 만에 의한 영향 vi 와 설명변수 xi,t 사이의 상관관계를 고려하는 것이 관건 이 된다.

    한편, 일반적인 패널자료에서는 개체의 수 N 이 관측 기간 T 보다 매우 크므로 시간 만에 의한 영향 τt 는 시간 을 나타내는 더미변수를 이용하여 쉽게 파악할 수 있다[6].

    패널자료 분석에서는 개체 만에 의한 영향 vi와 설명변 수 xi,t 사이에 상관관계가 존재하면 고정효과 모형(fixed effects model)을, 그렇지 않으면 확률효과 모형(random effects model)을 사용한다[1].

    본 연구의 분석대상인 산업융합원천기술개발사업(IT융 합)에 참여하는 기업은 그렇지 않은 기업에 비해 원래 진 취적이고 건강한 기업일 가능성이 크므로, 즉 개체 만에 의한 영향 vi와 설명변수 xi,t 사이에 상관관계가 존재하 리라 예상되므로 본 연구에서는 고정효과 모형을 고려한다.

    고정효과 모형의 경우 개체별로 각 변수의 편차를 계 산하여 얻은 식 (3)에 합동최소자승법을 이용하여 사업 의 효과 β1을 추정한다[1, 10].

    y i , t y ¯ i . = β 1 x i , t x ¯ i . + τ t τ ¯ + i , t ¯ i .
    (3)

    식 (3)으로부터 개체 만에 의한 영향 vi는 더 이상 사 업의 효과 β1의 추정량에 편의를 발생시키지 않음을 알 수 있다. 따라서 패널자료 분석의 고정효과 모형을 사용 함으로써 개체 간의 차이로 인하여 사업효과를 나타내는 추정량에 편의가 발생하는 현상을 방지할 수 있다.

    3.분석절차

    3.1.사업소개

    융합기술은 단일 기술의 한계를 극복하고, 새로운 제 품 및 서비스 시장의 블루오션 영역을 창조하는 기술로 인식되고 있으나, 우리나라의 경우 융합을 위한 기반 및 사업화 인프라가 부족한 상태라고 할 수 있다.

    이에 정부에서는 ‘국가융합기술 계획’(‘08. 11, 관계부 처 공동), ‘국가융합기술 기본계획’(‘09. 6, 관계부처 공동), ‘국가정보화 기본계획’(‘08. 12, 행안부) 등에 산업융합기 술개발 지원을 반영하였다.

    그러나 이러한 차세대 혹은 고부가가치 산업을 위한 ‘IT융합’은 연구개발의 위험부담이 매우 크며 고가의 연 구개발 장비가 요구되는 첨단인프라 및 기반투자형 분야 라고 할 수 있다.

    즉, 최근 선진국의 기술견제와 신흥 개도국의 시장잠 식 등에 의해 반도체․자동차․조선 등 주력 수출산업이 성장한계에 직면함에 따라 이종 기술과 IT의 융합화, 예 를 들어 이에 대한 돌파구 마련을 위한 방안이 되고 있다. 예들 들어 기존의 자동차에 IT․반도체․콘텐츠 등을 융 합하여 고품격 ‘스마트 카’로 차별화할 수 있다.

    또한 이종기술과 IT기술간 융합, 예를 들어 도심 친화 형 고안전 자율주행 자동차 기술, 선박 내․외부 고신뢰 통신기술 및 디지털 항해 기술, 기능성, 편리성을 극대화 한 인텔리전트 섬유 기술, 결빙, 안개 등 재해발생상황을 사전 인지 및 능동적으로 제거하는 건설 인프라 기반 기 술, 제조공정에 IT를 융합하여 공정상황을 모니터링 및 제어할 수 있는 지능형 제조 기술, 개인맞춤형 케어 시스 템 기술 등은 기존 산업을 재편하거나 전혀 새로운 산업 을 창출하리라 예상된다.

    한편, ‘IT융합’은 연구개발의 위험부담이 매우 크며 고 가의 연구개발 장비가 요구되는 첨단인프라 및 기반투자 형 연구분야이다.

    이에 정부에서는 국가주도의 안정적이고도 중장기적 인 계획 하에 ‘IT융합’ 연구수행이 필요하다고 판단, 산업 기술혁신촉진법 제11조(산업기술개발사업)에 근거하여 산 업통상자원부 주관으로 주력산업의 경쟁우위 확보, IT융 합기술경쟁력 확보, 산업화 조기 추진 등을 위하여 산업 원천기술개발사업(IT융합)을 실시해오고 있다.

    3.2.분석개요

    본 연구에서는 산업통상자원부에서 시행하는 산업융합 원천기술개발사업(IT융합)의 효과를 파악하기 위해 사업 수혜에 의한 기업 성과에의 영향의 정도를 추정하고자 한다.

    먼저 사업의 효과성 분석 대상은 수혜기업의 성과로 볼 수 있는 매출성장, R&D투자유인, 고용증가, 그리고 노 동생산성증가이다. 한편, 연구소․대학을 포함한 비영리 법인은 성격상 성과변수가 매출, 고용 등이 아니기 때문 에 영리기업만을 대상으로 한다.

    수혜기업의 분포는 <Table 1>에 나타낸 바와 같이 2007년 수혜기업 10개에서 2008년 수혜기업 14개로 다 소 증가하다 이후 2009년 수혜기업 7개로 줄어드는 추세 이다.

    먼저 ㈜기업데이터 DB에서 수혜기업 31개과 비수혜 기업 17,087개에 관한 자료를 수집한 다음 이로부터 수 혜기업과의 비교를 위한 비수혜기업을 선정한다.

    ㈜기업데이터 DB에서 비수혜기업에 관한 표본크기가 수혜기업에 관한 표본크기보다 매우 크므로 사업분야 (SIC소분류코드)를 기준으로 수혜기업과 동일하거나 가 장 근접한 5개의 비수혜기업을 비교대상으로 선정하여, 수혜집단과 비수혜집단이 전혀 다른, 즉 소위 사과와 오 렌지를 비교하는 오류를 범할 가능성을 배제한다[2, 8]. 이러한 비수혜집단의 선정을 위하여 통계S/W인 R 2.8.1, SPSS 18.0, 그리고 SPSS R plug-in을 사용한다[8].

    여기서, 1개의 수혜기업당 5개의 비수혜기업을 비교대 상으로 선정한 이유는 비수혜기업에 관한 표본크기가 수 혜기업에 관한 표본크기보다 매우 큰 경우 일반적으로 1 : N 매칭이 1 : 1 매칭보다 추정치의 정확도 측면에서 우 수하나, 이러한 장점은 1 : 5 매칭으로 충분하다고 알려 져 있기 때문이다[7].

    다음 패널자료 분석(고정효과 모형)을 위의 수혜집단 과 비수혜집단에 적용하여 사업의 수혜 후 경과기간별 사업의 효과를 추정한다. 패널자료 분석(고정효과 모형) 의 적용을 위하여 통계 S/W인 Stata 12.0을 사용한다[1].

    3.3.효과추정

    먼저 수혜집단과 비수혜집단이 포함된 패널자료에 패 널자료 분석(고정효과 모형)를 식 (4)에 적용하여 사업의 수혜여부에 따른 기업의 성과변화를 사업수혜연도별로 분석한다. 즉, 사업수혜연도별로 사업의 순효과를 파악하 기 위하여 수혜연도별로 수혜의 효과가 수혜시점 이후 연 평균 어느 정도의 크기로 나타나는지를 추정한다.

    y i , t = β 0 + j = 2001 2012 δ j . yr t , j + k = 2000 2011 γ k . by i , t , k + v i + i , t
    (4)

    식 (4)에서 yi,t는 기업 i가 해당년도 t에서 이룬 성과, 즉 매출, R&D 투자, 고용 혹은 노동생산성을 나타내는 종속변수이며, yrt,j는 해당연도 tj년도인지를 나타내 는 더미변수이며, 그리고 byi,t,k는 해당연도 t가 사업 참 여 후이고 수혜연도가 k년도인지를 나타내는 더미변수 이다. 한편, 기업 i가 비수혜기업인 경우 해당연도 t에 관계없이 byi,t,k의 값은 모두 0이 된다.

    따라서 식 (4)에서 모수 δj를 추정하여 시간 만에 의한 영향을 파악할 수 있고, 모수 γ k = y i , t by i , t , k 를 추정하여 사 업수혜연도별로 사업 참여로 인한 종속변수에의 영향, 즉 사업수혜연도별 사업의 순효과를 파악할 수 있다.

    한편, 본 연구의 목적은 사업효과를 파악하는 것이므 로 시간 만에 의한 영향에 관한 분석은 생략한다.

    다음 사업수혜연도에 관계없이 수혜집단 전체와 비수 혜집단이 포함된 패널자료에 패널자료 분석(고정효과 모 형)을 식 (5)에 적용하여 사업의 수혜여부에 따른 기업의 성과변화를 경과기간별로 분석한다. 즉, 경과기간별로 사 업의 순효과를 파악하기 위하여 경과기간별로 수혜의 효 과가 수혜시점 이후 연평균 어느 정도의 크기로 나타나 는지를 추정한다.

    y i , t = β 0 + j = 2001 2012 δ j . yr t , j + l = 2001 2012 γ l . dr i , t , l + v i + i , t
    (5)

    식 (5)에서 dri, t, l는 해당연도 t가 사업 참여 후 l년이 경과한 년도인지를 나타내는 더미변수이다. 한편, 기업 i 가 비수혜기업인 경우 해당연도 t에 관계없이 dri,t,l의 값은 모두 0이 된다.

    따라서 식 (5)에서 모수 γ l = y i , t dr i , t , l 를 추정하여 사업 참여로 인한 l년 후 종속변수에의 영향, 즉 경과기간별 사업의 효과를 파악할 수 있다.

    4.분석 결과

    4.1.수혜연도별 사업효과

    먼저 수혜기업의 매출 증대 효과를 살펴보면 <Table 2> 에 나타낸 바와 같이 수혜연도별로 차이는 있지만 수혜기 업이 비수혜기업에 비해 매출이 많게 나타나고, 이는 대부 분 통계적으로도 유의하다. 또한 수혜기업의 경우 시간이 경과함에 따라 매출 증대 효과가 증가하는 경향이 있다.

    다음 수혜기업의 R&D 지출 증대 효과를 살펴보면 <Table 3>에 나타낸 바와 같이 수혜연도별로 차이는 있지만 수혜기업이 비수혜기업에 비해 R&D 지출이 많게 나타 나고, 이는 상당부분 통계적으로도 유의하다. 한편, 2008 년, 그리고 2009년 수혜기업의 경우 R&D 지출 증대 효 과가 시간이 경과함에 따라 증가하는 경향이 있다.

    또한 수혜기업의 고용 증대 효과를 살펴보면 <Table 4> 에 나타낸 바와 같이 수혜연도별로 차이는 있지만 수혜기 업이 비수혜기업에 비해 고용이 많게 나타나고, 이 중 상 당부분은 통계적으로도 유의하다. 특히 2008년과 2009년 수혜기업의 경우 고용 증대 효과가 시간이 경과함에 따라 증가하는 경향이 있다.

    마지막으로 수혜기업의 노동생산성 증대 효과를 살펴 보면 <Table 5>에 나타낸 바와 같이 수혜연도별로 차이 는 있지만 대부분 수혜기업이 비수혜기업에 비해 노동생 산성이 많게 나타나나, 그 차이는 매우 미미하며 통계적 으로는 유의하지 않다.

    4.2.시간경과별 사업효과

    먼저 수혜기업의 매출 증대 효과를 살펴보면 <Table 6>에 나타낸 바와 같이 수혜 후 경과기간에 따라 다소 차이는 있지만 수혜기업이 비수혜기업에 비해 매출이 많 게 나타나며, 이는 통계적으로도 유의하다.

    다음 수혜기업의 R&D 지출 증대 효과를 살펴보면 <Table 7>에 나타낸 바와 같이 수혜 후 경과기간에 따라 차이는 있지만 수혜기업이 비수혜기업에 비해 R&D 지 출이 높게 나타나며, 이는 대부분 통계적으로도 유의하다. 또한 수혜 후 시간이 경과함에 따라 일정수준까지 R&D 지출이 더욱 증가하다가 이후 증가폭이 둔화하는 경향이 있다.

    또한 수혜기업의 고용 증대 효과를 살펴보면 <Table 8>에 나타낸 바와 같이 수혜 후 경과기간에 따라 차이는 있지만 수혜기업이 비수혜기업에 비해 고용이 많게 나타 나며, 이는 상당부분 통계적으로 유의하다. 또한 수혜 후 시간이 경과함에 따라 일정수준까지 고용이 더욱 증가하 다가 이후 증가폭이 둔화하는 경향이 있다.

    마지막으로 수혜기업의 노동생산성 증대 효과를 살펴 보면 <Table 9>에 나타낸 바와 같이 수혜 후 경과기간에 따라 차이는 있지만 수혜기업이 비수혜기업에 비해 노동 생산성이 많게 나타나나, 그 차이는 매우 미미하며 통계 적으로는 유의하지 않다.

    5.결 론

    본 연구에서는 성과에 영향을 미치는 관측되지 않은 요인이 시간에 고정적이지 않거나, 사업에 따른 효과를 제외하고 성과에 영향을 주는 다른 요인이 동일한 수혜 집단과 비수혜집단을 구할 수 없을 때 사업의 효과를 제 대로 파악하기 위한 한 가지 방법으로 패널자료 분석의 적용을 제안하고, 산업통상자원부에서 시행하는 산업융 합원천기술개발사업(IT융합)에 패널자료 분석(고정효과 모 형)을 적용하여 동 사업의 효과를 도출하였다.

    그 결과 전반적으로 수혜기업은 비수혜기업에 비해 매 출이 많고, 이는 대부분 통계적으로도 유의한 것으로 나 타났다. 또한 R&D 투자와 고용의 경우에도 매출의 경우 와 비슷한 경향을 보였다.

    한편, 매출은 수혜기업이 비수혜기업에 비해 시간이 경과함에 따라 더욱 증가하는 경향이 보였으나, R&D 투 자와 고용의 측면에서는 어느 시점까지 증가폭이 커지다 가 이후 증가폭이 둔화하는 경향을 보였다.

    이는 사업수혜의 효과는 매출측면에서는 상당기간 지 속되나, R&D 투자와 고용측면에서는 일정기간동안만 유 지되는 경향이 있는 것으로 해석될 수 있다.

    마지막으로 수혜기업이 비수혜기업에 비해 노동생산성 이 많다고 할 수 있는 통계적 근거를 발견할 수 없었다.

    이는 사업수혜의 효과로 노동생산성의 향상은 배제하 여야 한다는 것으로 해석될 수 있다.

    따라서 융합원천기술개발사업(IT융합)의 효과를 제고 하기 위해서는 수혜기업에서 R&D 투자와 고용의 증가 폭이 시간이 경과함에 따라 일정수준까지만 증가하다가 이후 둔화되는 원인을 규명하고, 이에 관한 적절한 대책 을 강구하여야 할 것이다.

    Figure

    JKISE-37-122_F1.gif

    Comparing Performances

    JKISE-37-122_F2.gif

    Panel Data

    Table

    Distribution of Beneficiaries

    Increases in Sales (Unit : Million Won)

    *The number in the parenthesis represents the number of beneficiaries.
    **Shaded cell denotes that corresponding p-value is less than .05.

    Increases in R&D Expenditure (Unit : Million Won)

    *The number in the parenthesis represents the number of beneficiaries.
    **Shaded cell denotes that corresponding p-value is less than .05.

    Increases in Employment (Unit : Person)

    *The number in the parenthesis represents the number of beneficiaries.
    **Shaded cell denotes that corresponding p-value is less than .05.

    Increases in Labor Productivity (Unit : Million Won)

    *The number in the parenthesis represents the number of beneficiaries.

    Increases in Sales (Unit : Million Won)

    *The number in the parenthesis represents the number of beneficiaries.

    Increases in R&D Expenditure (Unit : Million Won)

    *The number in the parenthesis represents the number of beneficiaries.

    Increases in Employment (Unit : Person)

    *The number in the parenthesis represents the number of beneficiaries.

    Increases in Labor Productivity (Unit : Million Won)

    Reference

    1. Bruderls J (2005) Panel Data Analysis, University of Mannheim,
    2. Caliendo M , Kopeinig S (2005) Some Practical Guidance for the Implementation of Propensity Score Matching , USA, Institute for the study of Labor,
    3. Frankfort-Nachmias C , Nachmias D (2008) Research Methods in the Social Sciences, Worth Publishers,
    4. Kim H (2013) Evaluating Effectiveness of a Government's Supporting Program through Sequential Applications of PSM and DID , Information Systems Review, Vol.15; pp.141-150
    5. Korea Employment Information Service (2010) A Study on Employment Effect Estimation Methodologies for Major Financial Programs , Korea, Ministry of Employment and Labor,
    6. Mendenhall W , Wackerly D.D , Scheaffer R.L (1995) Mathematical Statistics with Applications, Duxbury,
    7. Ming K , Rosenbaum P (2000) Substantial gains in bias reduction from matching with a variable number of controls , Biometrics, Vol.56; pp.118-124
    8. Thoemmes F (2012) Propensity score matching in SPSS, University of Tubingen,
    9. Thoemmes F , Kim E.S (2011) A Systematic Review of Propensity Score Methods in the Social Sciences , Multivariate Behavioral Research, Vol.46; pp.90-118
    10. Wooldridge J (2003) Introductary Econometrics : A Modern Approach, Thompson,