1. 서 론
기업은 시장에서의 생존을 위하여 고객의 만족도를 높 이기 위해 노력하고 있다. 이를 위해서는 고객이 느끼는 만족도에 영향을 미치는 주요 요소와 그 특성을 파악하는 일이 무엇보다도 중요하다[9]. 이 분야의 대표적인 연구 방법의 하나로 카노 품질모형을 들 수 있다. 카노모형에 서는 고객이 느끼는 만족의 정도가 품질 속성의 충족 정 도에 따라 항상 비례적으로 변화하는 것은 아니다. 이 모 형에서는 품질을 이원론적인 방법으로 해석하며, 품질속 성은 매력 품질, 일원적 품질, 당연 품질, 무관심 품질 및 역품질의 5개 카테고리 중의 하나로 분류된다[4].
카노모형 분석을 위해서는 품질속성 각각에 대한 고 객의 반응 및 만족 데이터가 필요하다. 이러한 데이터를 수집하기 위하여 전통적으로 설문조사가 이용되었다. 다 수의 사용자에게 개개의 품질 요소에 대한 긍정과 부정 의 질문을 던지고 그에 대한 답변을 수집한다. 그런데 설 문조사는 실시 환경 및 응답 태도에 따른 데이터의 정확 성과 더불어 이에 소요되는 비용과 시간의 비효율성이 문제가 될 수 있다. 또한 물리적, 문화적 환경의 제약으로 인해 설문을 위해 사용자에게 접근하는 일이 어려운 경 우도 존재한다. 이러한 배경에서 인터넷 상의 상품평, 각 종 의견 및 평가 등 고객의 반응을 수집한 텍스트 형태 의 데이터로부터 카노모형 분석에 필요한 데이터를 만들 어낼 필요성이 제기된다. 만일 이러한 방식으로 신뢰도 높은 데이터를 생성할 수 있다면 매우 저렴한 비용으로 우수한 품질요소 분석 결과를 얻을 수 있을 것이다.
본 연구에서는 카노모형 분석에서 주로 채택하는 설 문조사 방식의 데이터 수집의 어려움을 극복하기 위한 방안으로, 빅데이터 기반의 텍스트 감정분석(Text Sentiment Analysis)을 이용하여 데이터를 수집하고 이를 카노 모형 분석에 사용될 수 있는 질문-답변쌍의 데이터 형태 로 변환하는 방법을 제시한다. 이 데이터를 카노모형의 품질이원표 혹은 다른 분석 방법에 적용하여 품질요소의 속성을 분류하는데 사용할 수 있다. 제안된 방법에서는 우선, 의견 텍스트 분석을 통하여 분석의 대상이 되는 품 질요소를 도출한다. 각 요소에 해당하는 의견 텍스트에 포함된 감정의 극성을 이용하여 질문-답변쌍을 생성한 다. 이는 설문조사에서 얻는 데이터와 동일한 형태로서, 이를 카노모형 분석방법에 적용하여 품질요소를 5개 카 테고리의 하나로 분류한다. 마지막으로 제안된 연구모형 의 타당성을 검증하기 위하여 공공기관 IT 서비스 사업 제안서 평가에서 얻어진 평가의견 텍스트와 그에 결부된 만족도 점수를 이용하여 공공 IT 서비스 사업의 제안 품 질요소를 분류한다.
본 논문의 구성은 다음과 같다. 우선 제 1장에서는 연 구의 배경과 목적, 그리고 연구 방법론을 기술하고, 제 2장 에서는 본 연구의 이론적 배경인 카노모형과 텍스트 감정 분석의 개념, 관련 연구 현황 등에 대한 기존 연구를 분석 한다. 제 3장에서는 설문조사를 대체하는 텍스트 감정분석 방식의 데이터 분석 모형이 제시된다. 제 4장에서는 IT 서비스 사업 평가 데이터를 이용하여 품질 분석을 실시하 고 그 결과의 해석을 통하여 제안된 연구 방법론의 타당 성을 검토한다. 마지막 절에서는 분석 결과에 대한 논의 와 향후의 연구 방향이 기술된다.
2. 기존연구 분석
2.1 카노 품질모형
기존의 품질 분석 모형은 대체적으로 품질을 일차원 적 요인으로 간주한다. 즉, 품질이 충족되면 될수록 소비 자의 만족도 상승하고 그렇지 않으면 하락한다. 그러나 제품 및 서비스 품질을 다루는 연구분야에서 이러한 품 질 요인과 만족도 사이의 선형적 프레임에 대한 의문이 제기되었다[7, 11, 13]. 카노모형에서는 품질을 이원적으 로 해석한다. 예를 들면, 매력으로 분류되는 품질속성은 충족도가 높아질수록 만족도가 올라가지만, 충족되지 않 아도 고객의 만족에 대한 부정적인 효과는 거의 없다.
카노모형에서는 설문 데이터로부터 품질요소를 분류 하는 방법으로 평가이원표를 가장 많이 사용한다. 우선 분석 대상이 되는 품질요소를 선정한 후, 각 품질요소에 대하여 긍정과 부정의 2개 질문을 만들어 설문 조사를 실시한다. 질문에 대한 개별 응답을 평가이원표에 의거 하여 5개 카테고리로 분류한 후, 가장 빈도가 높은 카테 고리를 그 품질요소의 속성으로 선정한다.
평가이원표를 사용하여 품질 특성을 분류하는 방법에 대해서는 많은 비판이 제기되어 왔으며, 대안적 방법에 대해서 상당한 연구가 이루어졌다[6]. 예를 들어, 기존의 방법론에서는 각 카테고리의 빈도수가 비슷한 경우에도 최빈값을 골라 그 품질요소의 속성으로 정함으로 인하여 다수의 요인이 무관심 품질로 판정하는 경향이 나타난다 는 문제점이 있다. Walden은 품질 속성을 2개 그룹으로 나누고 해당 품질요소가 속하는 우위그룹을 선정한 다 음, 각각의 그룹 내에서 최빈값을 가진 속성을 선택하는 방법을 제안하였다[18]. 각 카테고리의 빈도수로 만족 계 수와 불만족계수를 계산한 후 Index Chart를 사용하여 품 질 속성을 결정하는 방법도 있다[15, 17]. 이밖에도 해석 적 분석모형, 퍼지 모형 등의 방법이 제안되었다[20].
2.2 텍스트 감정분석
감정분석(Sentiment Analysis)은 인공지능 기법을 사용 하여 텍스트 속에 담긴 감성, 정서 등을 식별하는 방법으 로, 사회적 관계망에 대한 사용이 증가하면서 활발하게 연구되기 시작했다[1]. 블로그, 트위터, 페이스북 등의 관 계망 매체에 올라오는 텍스트에 대한 감정분석은 온라인 구전으로 불리우는 인터넷 상의 텍스트를 마케팅 분야에 서 활용하는 방향으로 발전하였다[3, 12].
감정분석에 대한 접근 방법은 감정 어휘를 사용하는 사전기반 접근 방식과 기계학습 기반의 방법론으로 나눌 수 있다[10]. 사전기반 방식은 텍스트의 최소 단위인 형 태소의 극성을 감정사전으로 계산하여 해당 텍스트의 감 정을 평가하는 방식으로, 학습데이터가 불필요하다는 장 점이 있으나 감정사전 구축이 어렵고 상대적으로 정확도 가 떨어진다고 알려져 있다. 특히 어근에 접사가 붙어 의 미와 문법적 기능이 부여되는 교착어인 한국어에서는 보 편적으로 적용가능한 감정사전을 구축하기 매우 어렵다 [8]. KOSAC, Open Hangul 등의 실험적 수준의 감성 사 전이 발표되었으며 최근 보다 풍부한 감정 어휘를 포함 시킨 KNU 감성어 사전이 공개된 바 있다[5, 14].
기계학습 기반의 감정분석은 학습의 형태에 따라 지 도 학습과 비지도 학습으로 구분되며, 이 중 신경망과 같은 지도학습이 많이 사용된다[10]. 최근에는 신경망을 이용한 자연어 처리 분야에 딥러닝 기법이 적용되면서 감정분석의 정확도에서 매우 우수한 결과를 보여주고 있다[16]. 그러나 적용되는 영역에서 수집된 다량의 학 습데이터가 필요하다는 한계가 존재한다. 또한 정확도 가 학습 데이터의 특성에 큰 영향을 받으므로, 사용 범 위가 해당 영역에 한정되는 경우가 많다. 적은 양의 데 이터로 학습이 가능하고, 보다 넓은 영역에 적용되는 일반적인 감정분석 도구를 개발하기 위하여 최근 구글 에서 발표한 전이학습 기반의 자연어 처리 분석 모형 (BERT)을 감정분석에 활용하는 연구가 이루어지고 있 다[2]. 이를 한국어에 적용하는 방안에 대한 연구 결과 도 발표되었다[19].
2.3 기존 분석 방식의 한계
기존의 카노모형에서는 품질 분석이 품질요소의 선정, 품질요소별 설문 실시, 그리고 결과 분석 및 분류의 3단 계로 이루어진다. 우선, 하나의 품질요소에 대해 긍정적 질문과 부정적 질문을 작성하여 함께 질문한다. 예를 들 어 품질요소가 ‘자원’이라면 다음과 같은 질문쌍을 제시 한다.
응답자는 질문쌍에 대해 5단계(like, must-be, neutral, live-with, dislike)로 답변하게 되고, 답변 결과를 품질이 원표에 적용하여 해당 품질요소를 5가지 품질속성 중 하 나로 분류한다. 그러나 이와 같은 연구방식은 여러 문제 점을 지닌다. 우선, 설문 문항 수가 과도하게 많아지면 설문 참여자의 집중도가 떨어져 성실한 답변을 얻기 어 려운 경우가 생긴다. 또한 양 극단의 답변을 선택하기 꺼 리는 경향으로 인해 왜곡된 답변 분포로 이어질 수 있다. 설문의 정확도를 높이기 위해서는 많은 수의 조사가 필 요하지만 이에는 많은 시간과 비용이 소요된다. 또한 물 리적, 문화적 환경의 제약으로 인해 설문 대상자에 접근 하는 자체가 어려운 경우도 많다. 그러나 이러한 문제에 대한 관련 연구는 드물다. 5점 척도의 답변 체계와 일본 어 용어의 직역에 따른 의도 오해 문제 등의 문제점들이 주로 지적되었으며, 본 연구의 대상인 설문조사 방식의 방법적 한계 및 경제적 비효율성 등에 대한 문제제기는 많지 않다.
설문조사 방식의 한계로 지적되는 정확도, 소요 비용, 정보원에의 접근성 등의 문제를 극복하기 위해 상품평, 의견 등 빅데이터로 축적된 정보를 카노모형 분석에 이 용하려는 연구들이 최근에 발표되었다. 감정분석과 퍼지 카노모형을 결합한 Zhang 등의 연구에서는 이미 다른 연 구에 의해 감정이 분류된 텍스트 집합을 사용한 분석을 통하여 자신들이 제시한 분석 모형의 타당성을 보이려고 했다[20]. Zhou 등은 아마존 사이트에 있는 사용자평 데 이터를 사용하여 품질요소를 분석하고자 하였다. 다른 분석 영역의 데이터로 학습된 기존의 감정분석 시스템으 로 텍스트 극성을 도출한 후, 해석적 카노모형을 사용하 여 품질요소를 분류하였다[21]. 이들 연구는 분석 대상 영역에 맞는 감정분석 방법에 대한 고려보다는, 이미 극 성이 분류된 텍스트를 사용하여, 감정분석을 통하여 카 노 품질분석이 수행될 수 있다는 가능성을 입증하는데 주안점을 두고 있다.
3. 연구모형
본 연구는 설문조사의 대안으로서 빅데이터 기반의 텍 스트 감정분석을 이용하여 데이터를 수집하고, 이를 카노 모형 분석에 사용될 수 있는 데이터 형태로 변환하는 방 법을 제시한다. 2.3절에서 살펴본 Zhang et al.[20], Zhou et al.[21]의 연구와는 달리 분석 대상이 되는 영역의 실제 데이터를 기반으로 분야에 맞는 어휘사전을 직접 구축하 여 사전기반 감정분석을 수행한다. 카노모형의 품질요소 분류 방법으로는, 기존 연구와의 방법론적 비교가 가능하 도록 해석적 모형이나 퍼지모형이 아닌 전통적인 방식의 평가이원표를 사용한다. 즉, 본 연구는 감정분석의 적용 을 위한 품질요소 분류 방법을 강조한 기존의 연구와는 달리, 감정분석을 위한 감정사전을 구축하고 이를 사용하 여 품질요소 분류에 필요한 데이터인 질문-답변쌍을 생성 하는 방법론에 중점을 둔다.
3.1 감정분석 기반 데이터 생성 방법
본 연구의 방법론에서는, 기존 카노모형의 설문 방식 을 대체하기 위하여 텍스트 감정분석을 사용하여 의견 텍스트로부터 질문-답변쌍을 생성한다. 방법론의 전체적 인 모습은 <Figure 1>과 같다. 먼저 의견 텍스트 집합에 서 품질요소에 해당하는 형태소를 포함하는 의견을 찾는 다. 추출된 품질 의견을 긍정 혹은 부정 의견으로 분류하 고, 이로부터 무작위 추출 방식으로 긍정 및 부정 의견으 로 구성된 질문-답변쌍을 구성한다.
이를 단계 별로 자세히 살펴보면 다음과 같다. 우선 감 정 분석, 즉 긍정과 부정의 극성 판별은 사전기반 판별 방 법을 사용한다. 기계학습기반의 분석 방법이 정확도 면에 서 낫다고 알려져 있지만 본 연구에서는 학습용 데이터가 없는 관계로 사전기반 방식을 선택하였다. 극성 판별에는 분석 영역에 맞는 감정사전이 필요한데, 본 연구에서는 KNU 한국어 감정분석 사전의 기본 어휘에 분석 대상인 평가의견의 형태소 추출 및 빈도 분석의 결과로 선정된 극성 어휘를 추가하여 감정사전을 구축하였다[5].
다음 단계에서는 질문-답변쌍 생성을 위하여 텍스트 의 견을 감정에 따라 긍정, 부정 또는 중립 의견으로 분류한 다. 본 연구에서 채택한 감정분석 기법은 사전기반으로, 문장에 포함된 감정 어휘에 따라 점수를 부여하는 방식이 다. 예를 들면, 긍정을 나타내는 단어에는 1~2점의 극성점 수를, 부정 어휘에는 -1~-2점을 부여한다. 그러나 문맥에 대한 고려 없이 단순히 문장에 출연하는 단어의 극성만으 로 문장의 감정점수를 산출하는 방식은 한계가 있다. 이 문제를 다루는 접근법으로는 n-gram 접근법 등이 있는데, 본 연구에서는 <Table 1>과 같이 문장의 품사 구성 조합에 따라 극성 점수를 산출하는 방법을 개발하여 사용한다.
예를 들어, ‘투입자원은 우수하며, 품질요구사항 충족 도 적정해 보임’이라는 의견은 긍정적 명사형 단어인 ‘우수’, ‘충족’, ‘적정’이 함께 출연한 경우로서, <Table 1>의 (1) 에 해당한다. 감정사전에서 각 어휘의 극성점수를 조회하면 2점, 1점, 및 1점이다. 위의 표에 의하면 Positive로 판정하 므로 극성점수의 산술 평균을 구하면 감정점수는 1.33이 된다. ‘투입 자원이 부족하다고 판단됨’의 경우는 ‘부족’ 이라는 부정적 극성 단어가 1개만 포함된다. 따라서 감정 사전에 정의된 해당 어휘의 극성점수인 -1.0점이 그대로 문장의 감정점수가 된다. 이 점수의 부호에 따라 해당 의 견을 긍정 및 부정으로 분류한다.
이렇게 극성이 판별된 의견 텍스트는 긍정의견 집합과 부정의견 집합을 생성한다. 각 의견 집합에서 긍정과 부 정 의견을 각각 하나씩 무작위로 추출하여 의견쌍을 구성 한다(<Table 2> 참조). 이 표에서 전체점수(Total Score)는 해당 의견이 제시된 프로젝트가 실제 평가에서 종합적으 로 받은 점수로서 제품의 만족도에 해당하며, 이 점수로 부터 해당 질문쌍에 대한 답변이 생성된다. 만약 의견을 작성한 응답자가 품질요소인 자원에 대해 부정적인 의견 을 보이면서도 전체점수는 높게 부여했다고 가정하자. 이 는 응답자가 자원이라는 품질요소를 크게 중요하게 생각 하고 있지 않을 가능성이 높다고 해석할 수 있다. 즉, 이 응답자는 ‘자원이 부족하면 어떠합니까?’ 라는 질문에 비 교적 긍정적으로 대답할 가능성이 높다. 전체점수의 크기 에 따른 긍정 및 부정 질문에 대한 답변을 결정하는 방식 은 <Table 6>과 같이 전체점수를 5개의 구간으로 설정하 여 답변을 생성하는 방식을 이용하였다. 이 표의 방식에 따라 <Table 2>의 의견쌍에 대한 답변은 각각 like와 neutral이 되므로, <Table 3>과 같은 질문-답변쌍이 생성된다.
이와 같이 생성된 질문-답변쌍은 설문조사의 답변과 형태적으로 동일하다. 따라서 곧바로 품질이원표와 같은 카노모형의 분류체계의 입력 값으로 사용될 수 있다.
3.2 품질요소 분석 절차
앞 절에서 설명한 감정분석 기반 데이터 생성 방법을 사용한 전체적인 품질요소 분석 절차는, 설문문항 작성 및 조사를 텍스트 감정분석을 이용한 질문-답변쌍 생성 으로 대체하는 점을 제외하고는 기본적으로 기존의 카노 모형 수행 절차와 동일하다.
우선 분석의 대상이 되는 품질요소를 정한다. 전문가 의 선별에 의한 방식으로 수행될 수도 있고, 형태소 추출 기반의 텍스트 분석이나 토픽 모델링과 같은 기법을 기 반으로 품질요소를 도출할 수도 있다. 후자의 방법은 보 다 소비자의 관심을 보다 심층적이고 광범위하게 반영할 수 있다는 장점이 있다.
형태소 추출 기반의 텍스트 분석은 <Figure 2>와 같이 수행된다. 우선 수집된 의견 텍스트를 정제 기법을 이용하 여 감정분석에 맞게 전처리한다. 이로부터 의견 데이터셋 을 구성하고 형태소를 추출한다. 각 형태소가 데이터셋에 서 나타난 빈도를 분석한 결과 출현 빈도수가 높은 명사 형태소들이 품질요소의 후보가 된다. 관련 분야의 전문가 들이 검토를 거쳐 이들 후보군 중 품질요소를 선별한다. 이와 같이 제품과 서비스에 대한 사람들의 실제 생각을 나타내는 의견 텍스트를 기반으로 품질요소를 추출함으로 써 유의미한 품질요소들을 비교적 쉽게 추출할 수 있다.
다음은 의견 텍스트에서 감정분석을 이용하여 카노모 형 분석에 필요한 데이터인 질문-답변쌍을 생성하는 단 계이다. 이는 3.1절에서 설명한 바와 같다.
마지막 분석 단계는 기존의 카노모형과 동일한 방법으 로 수행된다. 이 단계에서는 앞에서 생성된 질문-답변쌍을 품질이원표에 적용하여 각 품질요소의 속성을 매력, 일원 적, 당연, 무관심 및 역품질의 품질 속성 중의 하나로 분류 한다. <Table 3>의 데이터를 품질이원표에 적용하면, 긍정 및 부정질문에 대한 답변이 각각 like와 neutral이므로 해 당 품질속성은 매력으로 판정된다. 예를 들어, 품질요소 ‘자원(resource)’의 분류 결과에 대한 빈도표를 작성하면 <Table 4>와 같다. 카노모형에서는 빈도가 가장 높은 품질 속성을 해당 품질요소의 속성으로 정의하므로 자원은 매 력 품질로 최종 분류된다.
4. IT 서비스 데이터 분석
본 연구에서는 제안된 모형의 검증을 위하여 약 39,000 여 건의 평가의견 텍스트를 사용하였다. 이들 텍스트는 1,200여 개의 공공 IT 서비스 시스템 구축사업의 제안 평가에서 한글로 작성된 평가의견과 평가결과 점수를 수 집한 후, 정제, 어간 추출, 불용어 제거 등의 텍스트 처리 기법을 이용하여 전처리하여 생성하였다. 평가의견 데이 터는 평가 시행과 관계된 기관에서 연구용으로 입수하였 다. 보통 한 평가위원이 하나의 제안에 대하여 3~8개의 평가의견 텍스트를 작성하며 전체점수는 제안 당 하나만 부여한다. 텍스트 전처리를 위한 nltk, 한글 텍스트 분석 을 위한 Konlp, 데이터 분석 라이브러리인 Pandas, 엑셀 자료처리를 위한 openpyxl 등의 다양한 라이브러리를 함 께 사용하였다.
4.1 형태소 분석을 통한 품질요소 선정
우선 분석의 대상이 되는 품질요소를 선정하였다. 의 견 텍스트에서 어떤 어휘의 출현 빈도가 높다는 것은 해 당 어휘가 나타내는 주제에 대한 관심이 높음을 의미한 다. 본 연구에서는 서울대학교에서 자연어 처리를 위해 개발․배포한 꼬꼬마 형태소 분석기를 이용하여 형태소 분석을 실시하였다. 명사형 형태소 277,194개와 동사-형 용사형 형태소 26,428개를 추출한 후, 중복을 제거하고 빈도수를 고려하여 상위 200개를 선정한 후, 전문가의 검토를 거쳐 최종적으로 28개의 품질요소를 선정하였다 (<Table 5> 참조1)).
4.2 감정분석을 이용한 질문-답변쌍 생성
3.1절에서 설명한 감정분석 기법으로 평가 텍스트를 품 질요소 별, 극성 별로 분류한 결과 각 품질요소 별로 긍정 과 부정의 의견 데이터셋이 생성되었다. 여기서 긍정의견 과 부정의견을 각각 무작위로 추출하여 각각 긍정 및 부 정질문으로 질문쌍을 구성한 결과, 품질요소 별로 각각 2~518개의 질문쌍이 생성되었다(<Table 5> 참조). 생성된 질문쌍이 20개 미만인 3개의 요소는 이후의 분석에서 제 외하였다.
이제 확정된 질문쌍에 대해 5단계의 답변을 생성한다. 본 연구에서는 만족도에 해당하는 전체점수를 <Table 6> 의 구간에 따라 분류하여 답변으로 바꾼다. 공공 IT 서비스 영역에서 전체점수가 지니는 의미와 실제 설문에서의 답 변 행태를 고려하여, 긍정질문은 like의 빈도수가 상대적으 로 많고 dislike 빈도수는 적은 비율이 되도록, 그리고 부정 질문은 반대 방향으로 설정하였다. 그 결과 앞서 생성된 질문쌍에 응답 결과가 더해진 질문-답변쌍이 생성되었다.
4.3 분석 및 품질요소 분류
생성된 질문-답변쌍을 카노모형의 품질이원표에 적용 하여 응답 카테고리 별 빈도를 정리한 결과는 <Table 7>과 같다. 25개의 품질요소 중 4개가 당연 품질로, 6개가 매력 품질로, 그리고 나머지는 무관심 품질로 분류되었다.
품질이원표에 의해 응답 카테고리 별 최빈값을 해당 품 질요소의 속성으로 분류하는 기존 방법은 2절에서 살펴본 바와 같이 여러 한계점을 지닌다. 이를 해결하기 위해 제 안된 고객만족계수 방법은 만족도를 정량적인 값으로 표 현한다[17]. 고객만족계수는 아래의 식으로 계산된다. 만 족계수의 범위는 0부터 1까지의 수치값이고 불만족계수는 -1~0까지이다. <Table 7>의 응답 데이터로 고객만족계수를 산출하여 그래프 상에 표현한 결과는 <Figure 3>과 같다.
4.4 분석결과 논의
<Table 7>의 품질요소 속성 분류 결과를 살펴보면 기 획, 전략, 위험(대응), 방법론이 당연 품질로 분류되었다. 이로부터 평가위원들이 IT 서비스 사업의 수행 방향을 제안하는데 있어서 기획과 전략, 그리고 시스템 구축을 위한 방법을 제시하는 방법론을 사업을 수행하는 업체가 응당 갖추어야 할 요소라고 생각한다는 것을 알 수 있다. 역량, 테스트, 운영, 분석, 보증, 요구사항, 사업경험 등의 품질요인은 매력 품질로 분류되었다. 이들은 사업수행 이력 및 경험과 관련된 요소들이다. 또한 사후 보증과 관 련된 품질요소들을 매우 중요시함을 의미한다. <Figure 4>의 만족-불만족계수 그래프에서 알 수 있듯이 시험과 보증의 두 요소가 아주 뚜렷하게 매력품질로 평가되고 있는 것도 중요한 특징이다.
이러한 결과는 공공기관이 발주하는 IT 서비스 시스템 의 특성을 잘 반영한다. 상당 기간 동안 공공기관의 IT 서비스 구축사업에 대형 IT업체가 정책적으로 배제된 결 과, 테스트, 보증과 같은 품질과 사후품질에 대한 지원이 미흡했다고 지적되고 있다. 본 연구의 분석 결과는 이들 을 매력 품질로 분류한다. 이는 제시된 연구모형이 현실 을 잘 반영한다는 점을 보여준다. 즉, 설문조사를 대체하 여 텍스트 감정분석에 의해 질문-답변쌍을 생성하는 모 형이 의미가 있음을 뜻한다.
무관심 품질로 분류된 훈련, 산출물, 교육 등의 품질요 소들은 공공 IT 서비스 사업에 있어서의 관리 측면의 품 질요소이다. 평가위원은 이들 품질요소에 대해 큰 차별 성을 두고 있지 않다. 이는 만족도에 영향을 미치지 못한 다는 의미가 아니라, 대부분의 업체가 비슷한 수준의 서 비스 제공을 제시하는 현실에서 평가자가 굳이 평가의견 으로 긍정 혹은 부정적 의견을 피력할 필요성을 크게 느 끼지 못한 것으로 추정된다.
분석의 대상이 되는 25개의 품질요소 중 일원적 품질 로 분류된 요소가 하나도 없다는 점은 연구가 더 필요한 부분이라고 생각된다. 이는 관심이 없거나 당연하다고 생각되는 점은 굳이 평가의견으로 기술하지 않는 평가과 정의 일반적인 특성과, 당연하다고 할지라도 질문으로 제시된 항목에 대해서는 답변을 해야 하는 설문방식의 차이가 나타나는 부분이라고 사료된다.
5. 결론 및 향후 연구방안
고객의 만족도를 향상시키기 위한 품질 분석 기법 중 품질을 이원적으로 해석하는 카노모형이 널리 사용된다. 본 연구에서는 설문조사 방식의 데이터 수집의 어려움을 극복하기 위하여 텍스트 감정분석을 이용하여 데이터를 수집하고 카노모형 분석에 사용될 수 있도록 질문-답변 쌍의 형태로 변환하는 방법을 제시하였다. 제안된 모형 의 검증을 위하여 공공 IT 서비스 시스템 구축사업 제안 평가에서 작성된 39,000여 건의 평가의견 텍스트로부터 질문-답변쌍을 생성한 후, 이를 카노모형의 품질이원표 에 적용하여 25개의 품질요소를 속성 별로 분류하였다. 그 결과 설문조사를 대체한 텍스트 감정분석에 의한 질 문-답변쌍 생성 모형이 현실을 잘 반영한 결과를 보여주 는 것을 알 수 있었다.
추후 연구모형을 확장하는 경우에는 우선 빅데이터 분 석의 다양한 분류기법을 이용하여 전문가의 개입 없이 자 동으로 품질요소를 추출하는 방법을 적용할 필요가 있다. 또한, 본 연구에서는 사전기반의 감정분석 기법을 사용하 였는데, BERT와 같이 자연어 처리를 위한 전이학습 기반 의 기계학습 프레임이 등장한 이후 한국어 감정 분석에 이를 적용하고자 하는 시도가 나타나고 있다. 향후 본 연 구도 한국어 BERT를 이용하여 감정분석의 정확도를 향 상시키는 방향으로 개선할 수 있으리라 생각한다.
