1. 서 론

교육, 연구, 행정 조직은 물론이고 영리를 목적으로 하는 기업 조직 등 대부분의 조직에서 그룹 과제를 공동으로 수행하는 경우가 많다. 이 경우 그룹이 수행한 과제의 성과에 대하여 그룹 구성원들이 각각 어느 정도 기여했는가를 평가하는 것은 그룹 구성원들의 성과 평가에 중요한 기준이 된다. 그룹에 의해 얻어진 성과를 측정하는 것도 중요하지만 개별 구성원의 기여 정도를 공정하게 평가하는 것 또한 매우 중요하다. 개별적인 기여 정도를 평가하여 각 구성원의 기여 정도에 따른 보상이 이루어지도록 함으로써 자신의 역할에 집중하고, 그룹의 목표 달성을 위해 적극적으로 참여할 동기부여가 이루어지기 때문이다. 결과적으로 이는 그룹의 생산성을 향상시키게 된다.

대부분의 경우 이 기여 정도를 객관적으로 평가할 수 있는 정량적 지표를 구하기는 어렵다. 따라서 그룹의 구성 원들이 공동으로 수행한 과제의 성과에 기여한 정도는 주관적으로 평가할 수밖에 없다. 그룹 구성원의 개별 기여도를 공정하게 평가하기 위한 방법으로 동료평가(peer assessment)를 들 수 있다[4, 6]. 그룹이 이룬 성과에 개별 구성원이 기여한 정도는 같은 그룹의 구성원들이 가장 정확하게 파악하고 있을 것이기 때문이다. 따라서 각 구성원이 그룹의 성과를 얻기 위해 투입한 각 구성원의 노력과 참여 정도를 그룹 내의 전체 구성원들에 대하여 평가함으로써 구성원의 기여 정도를 부여할 수 있다. 동료평가는 절대적 판단(absolute judgement)이나 비교판단(comparative judgement)을 통해 이루어진다[5]. 한 가지 개별 자극의 크기 또는 가치를 절대적으로 직접 판단하는 것보다 다른 자극과의 비교를 통해 상대적인 자극의 크기나 강도를 판단하는 것이 더 용이하며, 그 결과도 더 신뢰할 수 있는 것으로 알려져 있다. 비교판단에는 명시적이고 상세한 평가기준 이 없어도 된다는 장점이 있다. 비교판단의 대표적 방법인 쌍대비교(pair-wise comparison)법[7,9]은 전반적인 가치 또는 기여도 등에 대한 평가에서도 유용하게 사용될 수 있다. 정성적인 동료평가의 특성으로 인해 쌍대비교 방법이 가지고 있는 장점이 잘 작동할 수 있다. 그러나 평가의 방법에 무관하게 동료평가의 단점으로 생각할 수 있는 부분이 자신의 이익을 위해 의도적으로 왜곡시키거나 편파적으로 평가할 수 있다는 점이다. 따라서 본 연구에서는 쌍대비교 방법을 기본으로 동료평가에서 왜곡 또는 편파적인 평가를 방지하기 위한 방안을 모색한다. 특히 본 논문의 연구 결과는 교육 시스템내에서의 팀과제 수행 결과에 대한 팀 구성원의 기여도 평가에도 활용될 수 있을 것으로 기대된다.

2. 기존 연구

연구내용의 이해를 돕기 위하여 먼저 계층분석과정(Analytic Hierarchy Process)과 쌍대비교 행렬의 가중치에 대한 이론의 기초를 간단히 살펴보기로 한다.

2.1 계층분석과정(Analytic Hierarchy Process)

다요소의사결정(Multi-attribute decision making: MADM) 문제는 상충하는 복수의 요소들, 특히, 정성적요소(Qualititive attribute)와 정량적요소(Quantitive attribute)를 갖는 의사결정 문제에서 대안들 사이의 선호관계를 설정하기 위한 방법이다[7, 4]. 이러한 MADM 문제의 해결을 위한 다양한 의사결정 방법들이 발표되어 왔다. AHP 기법은 정성적 요소와 정량적 요소가 공존하는 다요소의사결정 문제의 해결에 폭넓게 이용되어 온 대표적인 방법이다[7, 9]. AHP 기법에서 상충하는 요소들 사이의 선호관계 또는 중요도를 나타내는 가중치(Weights)를 산출하는 과정과 대안들의 선호도를 구하는 과정은 기본적으로 쌍대비교행렬 (pair-wise comparison matrix)을 근간으로 이루어진다. 요소의 중요도를 나타내는 가중치와 대안들의 선호도는 각 의사결정자가 각 요소에 대해 중요하게 생각하는 정도와 대안에 대하여 선호하는 정도를 정량적으로 표현한 것이다. 이러한 가중치 혹은 선호도를 산출하는 대표적인 방법인 Eigen vector 방법은 Saaty[9]의 AHP 기법의 근간을 이룬다. Eigen vector 방법은 9점 의미등급(semantic scale)으 로 얻어진 쌍대비교행렬로부터 가중치 혹은 선호도를 산출한다.

2.2 쌍대비교 행렬과 가중치

위에서 n개의 요소에 대한 쌍대비교행렬을 보여주고 있다. 위 행렬에서 a_ij는 i번째 요소와 j번째 요소의 쌍대비교 결과이다. 즉, a_ij = w_i/w_j로부터 알 수 있듯이 a_ij는 요 소 i와 요소 j의 가중치의 상대적 비율로 이해할 수 있다. n개 요소의 중요도를 산출하기 위한 위 쌍대비교행렬로부터 요소의 중요도를 얻기 위해 최대고유치(principal eigen value : λ_max)에 대응하는 고유벡터(eigen vector)를 구한다. 이 고유벡터가 의사결정자의 상대적 선호 정보를 반영하는 가중치 벡터가 된다. 가중치를 구하는데 있어서 쌍대비교행렬을 구성하는 쌍대비교 과정에서의 응답자의 일관성 또한 중요하다. 요소의 수가 n 일 때, 쌍대비교행렬의 일관성 지수(consistency index) CI = (λ_max-n)/(n - 1)을 이용하여 쌍대비교 과정에서 응답자의 쌍대비교의 일관성을 측정한다[7, 9].

2.3 서열간의 상관관계 및 비모수 검정

본 논문에서는 얻어진 두 가지의 기여도 가중치 벡터에 어떠한 차이가 있는지 검증하기 위한 과정이 필요하다. 첫 째, 두 가지 기여도 벡터에서 가중치의 크기에 따른 서열화의 결과를 비교하기 위하여 스피어맨의 서열 상관 계수(Spearman’s rank corelation coefficient)로 알려져 있는 Spearman's ρ와 서열 상관관계를 측정하기 위한 비모수 측정 방법인 Kendall’s τ가 있다. 둘 째, 두 기여도 벡터의 차이가 있다고 볼 수 있는지를 검증하기 위하여 다변량 비모수검정 방법인 Friedman rank sum test와 Man-Whitney U test가 있다[1, 8].

Spearman’s ρ는 아래와 같이 정의된다.

여기서 d_i는 두 서열의 대응되는 구성원의 서열 차이를 나타내고 n은 관측의 수를 나타낸다. ρ= 1은 두 서열 집합의 대응하는 구성원의 순위가 완전한 양의 상관관계에 상관관계를 나타낸다. 즉, 모든 쌍에 대하여 한 쪽의 서열에서 구성원의 순위가 올라가면 해당 구성원의 대응하는 다른 서열에서의 순위도 똑같이 올라간다는 것을 나타낸다. ρ= -1은 완전한 음의 상관관계를 나타내고 모든 쌍에 대하여 두 서열 집합에서 특정 구성원의 순위가 반대 방향으로 움직인다는 것이다. ρ가 0에 가까워진다는 것은 상관관계가 없다는 것을 나타낸다.

서열 상관관계를 파악하기 위한 Kendall's τ 역시 두 개의 서열 집합의 상관관계를 나타내기 위한 비모수 측정치이다. 서열 집합의 구성들의 순위와 일치하는 구성원 쌍과 일치하지 않는 구성원 쌍에 기반한 두 서열 집합의 상관의 강도와 방향을 부과한다. Kendall's τ는 다음과 같이 정의 된다.

여기서 C 는 두 서열 집합의 순위가 일치하는 쌍(concordant pair)의 수이고 D는 두 서열 집합에서의 순위가 불일치하는 쌍(discordant pair)의 수이다. τ= +1은 두 서열의 완전한 양의 상관관계를 나타낸다. 즉, 모든 쌍에 대하여 두 서열의 순위가 일치한다는 것이다. τ = -1은 완전한 음의 상관관계를 나타내고 모든 쌍에 대하여 두 서열 집합의 순위가 불일치한다는 것으로 정반대의 순서가 된다는 것 이다. ρ와 마찬가지로 τ 가 0 에 가까워진다는 것은 상관 관계가 없다는 것을 나타낸다.

3. 쌍대비교에 의한 구성원의 기여도 부여

그룹 구성원들이 그룹 전체의 성과에 기여한 정도를 주관적으로 평가하는 주체는 그룹 구성원들의 그룹 과제 수행 과정을 전체적으로 파악하고 있는 사람이어야 한다. 구성원 개개인이 기여한 정도를 상대적으로 비교할 수 있어야하기 때문이다. 그룹 과제 수행 과정에서 구성원 개개인이 기여한 정도를 가장 정확하게 파악하고 있는 사람은 해당 그룹의 구성원들 자신이다. 따라서 그룹 구성원들의 기여도 평가는 기본적으로 그룹 내 동료에 의해서 이루어지는 것이 기여 정도를 정확히 평가하게 할 것이다.

3.1 동료평가와 쌍대비교

동료평가를 위한 쌍대비교는 의사결정 요소의 중요도 또는 대안의 선호도를 구하기 위하여 쌍대비교를 이용할 때와 같은 방법으로 이루어진다. 예를 들어서 A, B, C. D, E, 5인으로 이루어진 그룹의 동료 평가를 생각하자. 이 경우 ₅C₂ = 10 번의 쌍대비교를 함으로써 쌍대비교행렬이 구성된다. 쌍대비교를 위한 질문과 비교치를 부과하기 위한 9점 스케일은 아래 그림과 같다. 즉, A와 B 가 그룹 프로젝트 진행과정에서 그룹 성과에 기여한 정도를 비교하는 질문은 아래와 같다.

3.2 쌍대비교를 이용한 기여도 산출

쌍대비교 방법은 그룹 구성원의 그룹 성과에 대한 기여 정도를 산출하는데 이용될 수 있다. 구체적 평가 기준(Criteria) 없이 구성원을 쌍으로 비교하여 상대적인 기여 정도를 비교 판단하도록 함으로써 구성원의 기여 정도를 부여할 수 있다. 본 연구에서는 그룹 구성원의 기여도를 산출하기 위한 동료평가를 함에 있어 두 가지 접근 방식으로 쌍대비교를 하고 이 두 가지 접근 방식에 의한 기여도에 차이가 있는지를 분석해 보기로 한다.

3.2.1 자신을 포함한 쌍대비교

그룹이 5인으로 구성되어 있다 하자. 5인의 구성원으로는 ₅C₂ = 10 개의 서로 다른 쌍이 있다. 즉, 5인 그룹의 기여도를 구하기 위해 10 번의 쌍대비교를 통해 아래와 같은 하나의 쌍대비교행렬을 형성할 수 있으며 이 쌍대비교행렬의 λ_max에 대한 eigen vector를 구하여 5인의 구성원에 대한 기여도 가중치로 이용할 수 있다.

<Table 1>에서 구성원 A, B, C, D, E가 부여한 쌍대비교 행렬로부터 계산된 기여도 가중치가 각 행에 나타나 있다. 이렇게 구해진 5개의 기여도 가중치 벡터의 평균을 구함으로써 그룹 구성원들에 대한 최종적인 기여도 가중치 벡터를 구할 수 있다.

3.2.2 자신을 제외한 구성원의 쌍대비교

자신을 포함한 쌍대비교에서 구성원 각자가 쌍대비교 하면서 자신에게 유리하도록 왜곡시킬 가능성이 있다. 따라서 본 연구에서는 자신을 제외한 나머지 구성원들에 대한 쌍대비교를 하도록 하고, 이들을 종합해서 구성원의 기여도를 산출하는 방법을 제안하고 자신을 포함한 쌍대비교에 의해 얻어진 기여도 벡터와 차이가 있는지를 보고자 한다.

5인 그룹을 예로 들면, 구성원 중 A가 자신을 제외한 B, C, D, E 4명이 기여한 정도에 대한 ₄C₂ = 6 회의 쌍대비교를 통해 4×4 쌍대비교행렬을 구할 수 있다. 구성원 B 역시 자신을 제외한 A, C, D, E 4 명이 기여한 정도를 쌍대 비교를 통해 아래와 같은 4×4 쌍대비교 행렬이 구해질 수 있다. 이와 같이 5인의 구성원이 각자 자신을 제외한 4인의 구성원들을 대상으로 비교한 쌍대 비교 행렬을 구성하면 아래와 같은 형태의 4×4 쌍대비교 행렬 5개가 구해진다.

<Table 2>에서 5인 그룹의 각 구성원이 자신을 제외한 나머지 구성원에 대하여 <Figure 1>에 의한 쌍대비교를 함으로써 구성한 쌍대비교행렬과 이로부터 얻어진 기여도(eigen vector)를 보여주고 있다. 다만 구성원 A에 의한 평가 결과는 자신을 제외한 구성원 B, C, D, E 의 기여도가, 평가자 B에 의한 평가 결과는 자신을 제외한 구성원 A, C, D, E의 기여도가 구해진다. 따라서 5명의 구성원이 평가한 기여도 벡터 5개에는 각기 자신을 제외한 구성원 4인의 기여도가 존재한다. 이들을 평균하고 기여도의 합이 ‘1’이 되도록 정규화함으로써 5인의 그룹 구성원들에 대한 기여도 벡터를 얻을 수 있다.

3.3 데이터 수집

동료평가를 위한 두 방식의 쌍대비교 방식에 의해 얻어진 그룹 구성원의 기여도 벡터에 차이가 있는지를 검증하기 위해 현실을 기반으로 한 실험 데이터가 필요하다. 실험 대상 그룹은 실제 왜곡을 시키든 그렇지 않든 적어도 본인에게 유리한 방향으로 왜곡시킬만한 동기가 존재해야 한다. 이를 위해 저자가 강의하고 있는 대학 3, 4학년 전공과 목에서 학기말 과제로 부과한 그룹과제를 통해 데이터를 얻었다. 그룹 과제는 불가피한 경우를 제외하고는 5인 그룹으로 통일하였고, 그룹 과제 수행 결과에 대한 평가 결과를 구성원 각자의 기여도에 따라 반영한다는 점을 매 학기 초에 고지한 상태에서 <Figure 1>과 같은 설문에 의해 두 가지 방식으로 쌍대비교하도록 하였다. 매 학기 학기말 과제를 제출한 후 그룹별 면담을 통해 먼저 자신을 포함한 구성원의 기여도를 비교하기 위한 쌍대비교 결과를 수거한 후에, 자신을 제외한 나머지 구성원의 기여정도에 대한 쌍대 비교를 다시 실시하도록 함으로써 모든 그룹으로부터 대응되는 데이터를 얻었다. 일부 4인 그룹이나 비교 데이터가 누락된 경우를 제외하고 15개 5인 그룹에 대한 그룹 구성원들의 대응하는 두 가지 쌍대비교 행렬을 얻었다.

첫째 방식은 그룹의 구성원 모두가 자신을 포함한 그룹 구성원 5인으로 구성된 10쌍에 대한 쌍대비교로 행렬 A와 같은 5×5 쌍대비교행렬을 구성한다. 즉, 한 그룹의 구성원 5명이 각자 부여한 5개의 쌍대비교행렬이 얻어지고, 15개 그룹이므로 총 75개의 5×5 쌍대비교행렬이 얻어졌다. 두 번째 방식은 각 그룹 구성원 5인이 자신을 제외한 나머지 4인으로 구성되는 6쌍에 대하여 쌍대비교를 함으로써 행렬 B와 같은 4×4 쌍대비교행렬이 구성된다. 각 그룹의 구성원 5인이 부여한 5개의 4×4 쌍대비교행렬이 얻어짐으로써 15개의 그룹에 총 75개의 4×4 쌍대비교행렬이 얻어진 다. 그룹 과제에 기여한 정도를 쌍으로 비교할 때 자신을 포함하여 비교하는 경우 자신과 타인의 기여도 비교에서 자신에게 유리한 방향으로 왜곡시킬 가능성을 무시할 수 없을 것이다. 이러한 왜곡의 방지를 위해 자신을 제외한 나머지 4명의 기여 정도를 비교하는 쌍대비교를 하도록 하면 자신 외의 4명에 대한 기여 정도를 객관적으로 비교 평가할 수 있을 것으로 기대된다.

3.4 기여도 벡터에 대한 비교 분석

본 연구는 앞에서 언급한 대로 동료평가를 위한 쌍대비교에서 자신을 포함한 쌍대비교와 자신을 제외한 쌍대비교에 의해 산출된 기여도에 차이가 존재하는지를 알아보기 위한 것이다. 위에서 얻어진 15개 그룹의 두 방식에 의한 기여도에 대한 비교는 2단계로 이루어진다. 첫째, 먼저 두 방식의 쌍대비교 방식으로 얻어진 기여도 벡터에 따른 구성원 기여 정도의 서열에 어느 정도 순위상관관계가 있는지에 대한 분석이다. 구성원들의 쌍대비교를 통해 얻어진 기여도 벡터를 평균해서 전체 기여도를 구하기 전에, 자신을 포함한 경우와 제외한 경우 기여도를 직접 비교하기 위해 평가자 자신을 제외한 서열들 사이의 상관 분석을 해보기로 한다. 둘째. 두 방식의 기여도에 차이가 있는지에 대한 검정이다. 따라서 자신을 포함한 쌍대비교에 의해 얻어진 기여도 벡터(예시 <Table 1>)와 자신을 제외한 쌍대비교에 의해 얻어진 기여도 벡터(예시 <Table 2>)사이에 차이가 있는지를 비모 수검정 방법에 의해 검증하는 것이다.

첫째, 두 방식의 쌍대비교에 의한 기여도 벡터에서 기여도에 따른 순위를 구하고 두 방식의 서열 사이의 상관관계를 구해보고자 한다.

<Table 1>과 <Table 2>의 쌍대비교 결과에 의한 구성원 들의 기여도 순위를 <Table 3>에서 보여주고 있다. 동순위는 이들의 평균 순위로 표기하였다. <Table 3>의 1행과 6 행에서는 <Table 1>과 <Table 2>의 1행에 나타난 기여도에 의한 서열을 보여주고 있다. 즉, 구성원 A가 자신을 제외하고 구성원 B, C, D, E를 대상으로 쌍대비교한 결과 기여도의 순위는 B(4위), C(1,5), D(3), E(1.5)이며 이는 6행에 나타나 있다. <Table 1>의 1행의 기여도는 구성원 A가 자신을 포함한 쌍대비교로부터 얻어진 것으로, 이중 A를 제외한 나머지 구성원 B, C, D, E 중에서의 순위 B(1위) 이고 C, D, E가 동순위로 평균인 3위로 <Table 3>에 나타나 있다.

이렇게 75개의 서열 쌍이 얻어졌다. 75개의 서열 쌍에 대한 상관관계를 분석한 결과가 <Table 4>에 요약되어 있다.

상관계수가 1인 경우를 포함해서 비교적 강한 양의 상관관계라 볼 수 있는 경우가 Spearman’s ρ가 전체 75개 서열 쌍중 62개, Kendall’s τ가 33개로 나타났다. 음의 상관관계로 나타난 경우는 무시해도 좋을 정도로 보인다. 평가자 자신을 제외한 나머지 4인에 대한 75개의 서열 쌍 사이에 양의 상관관계가 존재하는 것으로 볼 수 있으며, 이는 두 방식의 쌍대비교 과정에서 일관성이 유지되고 있는 것으로 볼 수 있다.

3.5 기여도 차이에 대한 비모수 검정

다음은 두 방식의 쌍대비교를 통해 얻어진 기여도 벡터 사이에 차이가 있는지를 알아보기 위하여 비모수 검정을 실시하였다. 그룹 구성원들이 자신을 포함한 그룹 구성원 전체를 대상으로 쌍대비교(Group 1)하는 경우와 자신을 제외한 나머지 구성원을 대상으로 쌍대비교(Group 2)하는 경우 얻어지는 기여도 벡터에 차이가 있는지를 확인해보고자 한다. 즉, 자신을 포함하는 경우에는 자신에게 유리한 방향으로 왜곡된 비교를 할 수 있는 개연성이 존재하기 때문에 이를 검증하기 위해 비모수검정 방법을 이용해 가설 검정을 실시하였다. 가설은 다음과 같다.

이는 벡터의 차이에 대한 검정이므로 모집단의 분포에 대한 가정이 성립하지 않기 때문에 비모수검정을 방법인 Friedman rank sum test와 Mann-Whitney U test를 R 프로그램을 이용하여 실시하였다. <Figure 2>에서 두 비모수검정을 위한 R 코드를 보여주고 있다.

두 테스트의 p-value는 5.98e-09와 7.121e-05로 둘 다 고도로 유의한 것으로 나타났다. 즉, 두 테스트 모두 귀무가설 H0를 유의수준 99%로 기각할 수 있는 것으로 나타났다. 이는 벡터의 검정이기 때문에 방향성은 이야기 할 수 없으나 두 그룹의 쌍대비교 방식에 의해 얻어진 기여도 벡터에 차이가 없다고 할 수 없다는 것이다.

4. 결 론

본 논문은 그룹의 성과에 그룹의 구성원이 기여한 정도를 평가하는데 있어서 동료평가 수단으로써 쌍대비교방법의 사용에 관해 다루었다. 특히 쌍대비교를 이용한 동료평가 과정에서 그룹의 구성원 자신이 평가자이면서 동시에 피평 가자인 상황을 고려하면 자신에게 유리한 방향으로 왜곡될 가능성이 존재한다고 볼 수 있다. 따라서 본 논문은 쌍대비교 과정에서 본인을 포함한 경우와 본인을 제외한 경우 쌍대비교에 의한 기여도 가중치에 차이가 있는지를 알아보는 실험 결과와 이에 대한 분석 결과를 정리하고 있다.

5인 그룹으로 구성된 15개 그룹을 대상으로 자신을 포함한 쌍대비교와 자신을 제외한 쌍대비교를 통해 얻어진 두 개의 기여도 가중치 벡터 75쌍에 기여도 서열간의 상관 관계를 분석하고, 이들로 부터 구해지는 15개 그룹의 최종적인 기여도 가중치 벡터 사이에 차이가 있는지에 대한 비모수검정을 실시하였다. 이러한 분석을 통해 자신을 포함하는지의 여부에 따라 기여도 가중치에 차이가 없다는 귀무가설을 기각할 수 있다는 결과를 얻음으로써 자신을 포함하는 쌍대비교에서 의도적이든 비의도적이든 왜곡이 존재한다는 것을 확인할 수 있다. 즉, 그룹 구성원의 기여도 가중치를 구하기 위한 동료평가에서 자신을 제외한 나머지 구성원에 대한 쌍대비교를 하도록 함으로써 더 객관적인 기여도를 얻을 수 있을 것으로 보인다.