1.서 론

현대 무기체계는 점점 복잡화, 첨단화, 정밀화 되어가 고 있으며, 이는 여러 가지 시스템이 복합적으로 작용하 여 하나의 시스템으로서 역할을 수행하는 복합시스템 (SoS : System of System)으로 표현할 수 있다[14].

이처럼 무기체계가 발전함에 따라 사용자 편의성에 대한 중요성도 동시에 강조되고 있다. 사용자 편의성이 란 사용자가 오류 없이 특정조건의 실제 작전 운용 환경 하에서 시스템을 쉽게 작동시킬 수 있는 특성이다. 사용 자 편의성의 영향도가 높으면 사용자가 훈련 받은 후에 오류 없이 특정 조건의 실제 작전 운용환경 하에서 시스 템을 쉽게 작동 시키며 조작할 수 있게 되어, 기술적 복 잡도와 난이도가 높은 무기 체계 소프트웨어를 보다 잘 다룰 수 있다고 판단할 수 있다. 따라서 인터페이스나 입 력, 출력, 메뉴 등을 쉽게 사용할 수 있도록 구성함으로 써 사용자 편의성을 높여야 한다[10]. 이와 관련하여 Kim [8]은 전시화면의 구성, 배치, 및 요소의 표준화가 무기 체계 상호 운용성을 향상시키는데 필수적인 역할을 한다 고 주장하며, 전시화면 특성(2D, 2.5D, 3D)에 따른 특징 과 전시화면 구성, 배치 및 구성요소의 주요 사례를 연구 하였다.

또한 무기체계 운용을 위한 의사결정은 전적으로 사 용자에게 달려있기 때문에 사용자가 신속하고 정확한 의 사결정을 할 수 있도록 최적의 운용화면을 구성하는 것 이 중요하다. 이와 관련하여 Smith[17]는 National Missile Defense(NMD)에서 GUI 요소 중 전시화면 강조(Display Highlighting)와 정보 제공이 사용자의 의사결정에 미치 는 영향에 대해 연구하였다.

하지만 국내 무기체계 개발에 있어서 전시화면의 최 적화를 위한 연구는 아직 미비한 실정이다. 이는 군 무기 체계가 가지는 보안성, 한정된 사용자(소요군)라는 특수 한 성격, 군 무기체계 사용성 평가 기준 및 체계의 표준 화가 갖추어지지 않는 등 구조적인 문제의 영향 때문이 라고 할 수 있다. 그럼에도 불구하고, 군 무기체계 운용 화면의 사용성은 무기체계 발전에 따른 사용자가 다루어 야 할 정보량 증가와도 관련이 있으므로 사용성을 고려 한 운용화면 최적화 연구는 반드시 필요하다.

특히 GUI 사용성(Usability) 평가에서 일반적으로 사용 되는 평균 점수에 의거한 개선점 산출하는 방법은 쉽게 결과를 도출할 수 있다는 장점이 있지만 실제 사용자가 생각하는 화면 구성 요소의 중요성, 즉 사용자의 니즈 만 족의 달성 수준을 평가 할 수 없다는 단점이 있다.

본 연구에서는 위와 같은 이유 때문에 일반적으로 군 무기체계 운용화면 사용성 평가 지표의 기준이 되는 사용 성 평가 점수만으로 결과를 판단하지 않고, 서비스 품질 평가에 사용되는 ‘고객의 기대치’ 개념을 적용하여 사용자 가 생각하는 중요성(Importance) 대비 실제 평가 점수를 분석함으로써 사용성을 평가하였다. 그리고 Performance Model을 이용해 다양한 사용성 평가 요소 중에 개선점 및 개선의 우선순위를 도출하여 제시하고자 한다.

2.이론적 배경 및 선행 연구

2.1.GUI 사용성(Usability) 평가 및 개선 방법

Nielsen[15]은 사용성(Usability)에 대해 “사용자가 시스 템의 기능을 얼마나 잘 사용할 수 있는가에 대한 문제” 로 정의하고, “Easy to Learn, Efficient to use, Easy to remember, Few errors, Subjectively pleasing”의 5가지 구성 요소로 이루어진다고 하였다. ISO 9241-11에서는 “특정 사용 환경에서 지정된 사용자가 지정된 목표를 달성할 때 의 효과성, 효율성, 만족도”에 대한 것으로 정의하였다.

이처럼 사용성에 대한 정의는 연구자나 주제에 따라 다소 차이가 있을 수 있지만, 공통점을 정리하면 시스템의 목적달성을 위해 설계단계부터 고려해야 할 다양한 요소 중 사용자와 연관된 요소들의 집합이라고 할 수 있다.

사용성은 UI(User Interface)를 판단하는 특성으로 많 이 활용되고 있는데, Park[16]은 구성요소별 사용성을 전 문가집단의 휴리스틱 평가방법과 사용자집단의 대표작 업 평가로 비교 분석하여 모바일 어플리케이션 사용성의 문제점을 도출하는 방법을 연구하였다. 또 서로 다른 세 종류의 스마트 패드의 사용성을 정해진 평가 기준에 의 해 비교 분석하고, 임무수행 시간, 평균 클릭 수와 같은 정량적 결과 값으로 사용성을 평가 한 연구도 있다[12].

이와 같이 GUI 사용성 평가와 개선에 대한 연구가 다 양한 방법으로 진행되어 왔으나 대부분 웹, 모바일, E-Learning 등을 대상으로 하는 경우가 주를 이루었고, 무기체 계 운용화면에 대한 연구는 많지 않다. 이는 군 무기체계 가 가지는 보안성, 접근제한성 등의 특성에 기인하는 것 으로 보인다.

무기체계 운용화면에 대한 사용성 평가와 관련하여 Kim [9]은 기존 문헌을 정리하여 무기체계 소프트웨어 GUI (Graphic User Interface) 평가에 적합한 효율성, 효과성, 만족성, 기억성, 학습성의 다섯 가지의 사용성 기준 요소 를 선정하고, AHP(Analytic Hierachy Process)를 이용하 여 상대적 중요도를 산정하였다. 그리고 소요군의 요구 사항 152건을 반영하여 11개의 설계요소를 도출하였다. 마지막으로 <Table 1>과 같이 11가지 설계요소와 5가지 사용성 평가 기준요소의 연관성을 Matrix 분석을 통해 분 석하여, 무기체계 운용화면 설계요소에 대한 사용성 평 가 연관성 지수인 중요도( I_i)를 산출하였다.

본 논문에서는 무기체계 운용화면 GUI 개선점을 도출 하는 과정에서 Kim[9]의 설계요소 지표 및 사용성 평가 점수 도출방법을 이용하였다.

2.2.Performance Model

Hung[7]은 ‘고객이 사전에 기대하는 서비스의 수준과 지각된 서비스의 차이’를 서비스 품질로 정의하고, 서비 스 요소에 대한 중요도(Importance)와 만족도(Satisfaction) 의 두 가지 지표를 이용해 서비스 품질 개선 도구인 ‘Service Quality Performance Matrix’를 제시하였다. 이러한 중요도-만족도(I-S) 성과평가 모델은 동물병원을 사례로 품질속성의 개선의 우선순위를 분석한 Song[18]의 연구 처럼 다양한 분야에 적용되었다.

한편, Chen[4]은 기존의 서비스 품질 평가 및 개선에 대 한 연구와 Hung[7]의 연구를 정리하고, <Figure 1>과 같이 Taguchi(1988)의 품질 손실함수(Quality Loss Function)를 적용하여 Performance Model을 정의 하였다. 본래 품질 손 실함수에서는 100만 개 중에 3.4개 이하의 불량률을 추구 한다는 의미로 ±3 시그마(σ)를 성과 관리의 기준으로 정 하였다. 하지만 이는 서비스 품질 평가에서 개선대상을 산 출하기에는 적절하지 않으므로, Chen[4]은 중앙의 성과관 리선(PCL, Performance Control Limit)을 중심으로 ±시그마 (σ)를 적용하여 관리상한선(PUCL, Performance Upper Control Limit)과 관리하한선(PLCL, Performance Lower Control Limit)을 설정하였다. 이를 바탕으로 Hong[5], Kim[11] 등도 그들의 연구에서 ±시그마(σ)를 적용하여 개선 대상 을 도출하였다.

각 데이터와 성과관리선과의 거리는 식 (1)에서와 같 이 삼각형( A_i )의 면적으로 계산을 하는데, 여기서 A_i1)는 서비스요소에 대해 고객이 인식하는 중요한 정도인 ‘중 요성( P_i, Performance Importance)’에 대비하여 실제 고객 이 만족한 정도인 ‘만족도(P_s , Performance Satisfaction)’ 에 의해 결정된다.

이 때, 서비스에 대한 중요성 P_i 와 만족도 P_s는 식 (2) 를 이용하여 구할 수 있다. μ_i , μ_s는 각각 중요성과 만족 도의 평균값을 의미하며, K를 연구에 사용하는 척도로 가정할 때, min은 연구에 사용되는 척도의 최소값, R 은 K - 1로 정의하였다.

Chen[4]의 Performance Model은 다양한 방법으로 응용 되고 있는데, 교육 서비스 품질 향상 및 교수환경 개선방 안을 도출하는 연구, 스키리조트의 서비스 품질 개선과 우선순위를 도출하는 연구 등 서비스 분야를 포함하여 IT 분야나 반도체, LCD와 같은 제조 산업에서도 시스템, 또 는 제품 품질 개선에 적용한 연구도 있다. 이러한 연구에서 는 QFD(Quality Function Deployment), AHP-QFD(Analytic Hierarchy Process, Quality Function Deployment), Fuzzy, Factor Analysis와 같은 다양한 방법으로 개선 요소에 가 중치를 적용하거나, 검증하는 시도를 하였다[2, 3, 5, 6, 11, 19].

3.연구 방법

본 연구에서는 Performance Model을 활용하여 사용자 가 생각하는 중요성(Importance) 대비 무기체계 운용화면 요소의 사용성을 분석하여 개선항목을 도출하였다. 서비 스 관점에서의 만족도 지표인 P_s(Performance Satisfaction) 대신에 사용성 지표 P_u (Performance Usability)를 사용하였 으며, 연구 절차는 <Figure 2>와 같다.

Performance Model에서는 식 (2)에서와 같이 P_i와 P_S 가 0에서 1사이의 값으로 변환되도록 정규화과정을 거친 다. 하지만 본 논문에서는 P_i 와 P_u를 도출하는 과정에서 <Table 1>에서 중요도( I_i)를 적용하므로 식 (3)과 같이 수 정하였다. Checklist의 각 항목별 평가결과의 평균값 μ에 무기체계 운용화면 평가 요소의 중요도(I_i)를 곱함으로써 P_i 와 P_u를 구할 수 있는데, 이 때 중요도(I_i)는 Checklist 에 대한 가중치의 역할을 하며, P_i 와 P_u는 중요도(I_i)에 의해 항상 0부터 0.635사이의 값을 가지게 된다. 때문에 척도 K와 중요도(I_i)의 중 가장 큰 값 MaxI을 곱한 값으 로 나누면, 최종적으로 0에서 1사이의 값을 가지는 P_i 와 P_u를 구할 수 있다. 본 논문에서는 5점 척도이므로 K는 5, Max I 는 0.127이다. A_i는 식 (4)와 같이 구할 수 있다. A_i 는 항상 음수가 아닌 값을 가지게 되며, A_i 값이 클수 록 사용자가 인식하는 중요성(P_i)과 사용성(P_u) 사이에 차이가 크기 때문에 발생하여 개선이 필요한 요소라고 할 수 있다.

4.연구 결과

화면 사용성 평가와 관련하여 Laurie[13]는 기존 Checklist 관련 문헌을 13개 카테고리, 161개 항목으로 분류 및 정리하였다. Asil[1]도 Error Prevention, Visibility 등 12개 Dimension의 36개 항목으로 Checklist를 산출하여 E-Learning 시스템 사용성 평가에 적용하였다. 본 연구에서는 Laurie [13], Asil[1]의 연구를 포함하여 사용성 Checklist와 관련 된 기존 문헌 10여 건을 참고로 무기체계 운용화면 사용 성 평가를 위한 Checklist 34개를 최종적으로 선정하였다. 이 과정에서는 전문가 집단의 휴리스틱 평가방법을 이용 하였으며, 기존 문헌 및 연구 자료에서 반복 및 중복되어 나타나는 항목과 무기체계 운용화면 평가에 적절하다고 판단되는 요소를 추가하여 구성하였다. 그리고 선정된 Checklist를 <Figure 3>과 같이 무기체계 운용 화면 11개 설계요소와 매칭 하였다. 이는 소요군의 요구사항과 전 문가집단의 판단으로 산출된 중요도(I_i)를 각각 연관되는 Checklist 항목에 가중치로 부여하기 위한 과정이다.

본 연구에서는 A_i가 ± σ인 0.02778 이상의 값을 가지 는 4개의 개선점을 도출 하였다.

Checklist 24번인 ‘원하는 정보에 즉시 접근 가능한 단 축키 기능’ 항목의 경우, 전체 항목 중 A_i 값이 0.11581로 가장 크게 나타나, 사용자의 기대수준에 비해 사용성 평 가 결과가 가장 낮게 나타난 것을 알 수 있다. 또 5번 ‘약 어 설명 기능’ 항목의 경우에도 A_i 값이 매우 크게 나타났다. 이 항목의 경우, 사용성 평가 점수(P_u )는 0.630으로 비교 적 높으나, 사용자가 인식하는 중요성( P_i) 0.945에 비해서 는 크게 떨어지는 것을 알 수 있다. 이는 방위산업 및 무 기체계의 특성상 많은 약어가 사용되기 때문인 것으로 판 단되며, 무기체계 사용자가 약어를 빠르게 파악하고 의사 결정을 내릴 수 있도록 기능보완이 필요한 항목이라고 할 수 있다. 또 Checklist 11번 ‘선택항목 추가 정보 제공’ 기 능과 21번 ‘화면상에 배치된 버튼, 메뉴위치의 적절성’ 역 시 A_i 값이 성과관리선을 벗어나므로 개선의 대상으로 판 단할 수 있다.<Figure 4><Table 2>

도출된 네 개의 개선점은 성과관리선에서 벗어나는 정도, 즉 A_i 의 크기가 클수록 개선의 우선순위가 높은 것으로 판단할 수 있는데, 이러한 결과는 사용성 평가 항 목에 대해 사용성 평가(P_u ) 점수만으로 개선항목을 선정 한 것과 분명한 차이를 보인다. 예를 들어 19번 ‘진행 중 메모, 팝업 기능’은 평가 점수가가 가장 낮으므로, 사용 성(P_u )만 고려하였을 때는 가장 우선적으로 개선해야 할 대상이 된다. 하지만 사용자가 인식하는 중요성( P_i )을 고 려할 경우에는 개선 대상에 포함되지 않을 뿐만 아니라, 우선순위 또한 낮아진다. 28번 ‘아이콘 형상의 만족도’ 항목 역시 이와 같다.

5.결 론

본 논문에서는 무기체계의 운용 화면 GUI에서 개선점 을 도출하기 위해 서비스 품질 평가 방법인 ‘사용자의 기대 수준(중요성)’의 개념을 적용한 Performance Model 을 응용하여 중요성( P_i)과 사용성(P_u ) 지표를 분석 하였 다. 그 과정에서 사용자 요구사항이 반영된 평가 설계요 소별 중요도(I_i)를 고려하여 사용성 평가 요소에 가중치 를 적용하였다. 이는 일반적인 사용성 평가 결과만으로 개선점을 찾아내는 방법에 비해 사용자 니즈를 반영하여 평가 할 수 있다는 것, 그리고 명확한 개선대상 선정의 기준을 제시할 수 있다는 장점이 있다. 분석 결과 사용성 (P_u ) 평가 결과만을 고려하였을 때는 메모 및 팝업 기능 과 아이콘 형상에 대한 만족도가 낮게 나타나서 개선의 우선순위로 평가 되었으나, Performance Model을 이용하 였을 때는 단축키 기능과 약어설명 기능 등이 개선의 우 선순위로 도출되었다.

한편, 본 논문에서는 Checklist 선정 과정에서 휴리스 틱 방법을 사용하였는데 이는 무기체계의 보안성, 그리 고 분석 대상 무기체계가 소수의 사용자 그룹에 의해 사 용성이 결정될 수 있다는 점 때문에 통계분석을 위한 충 분한 데이터 수집이 어렵다는데 그 이유가 있다. 무기체 계 운용화면 GUI 사용성 평가를 위한 Checklist 선정과 검증에 대한 문제는 다양한 방법으로 보완을 검토 할 필 요성이 있으며, 장시간 무기체계를 운용하는 사용자가 신속하고 정확한 판단을 할 수 있도록 GUI 사용성 향상 을 위한 지속적인 노력이 필요할 것이다.