Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.46 No.4 pp.209-217
DOI : https://doi.org/10.11627/jksie.2023.46.4.209

Evaluation of the Effectiveness of the Air Force LVC Training System Using AHP

Jaehong Lee^*

, Byungho Jung^**

, Namkyu Lim^**†

^*Korea Institute of Science and Technology
^**Republic of Korea Air Force Academy

^†Corresponding Author : nklim71@naver.com

Received 07/11/2023 Finally Revised 09/11/2023 Accepted 28/11/2023

Abstract

In this study, the evaluation items related to the effectiveness evaluation of the LVC (Live, Virtual, Constructive) training system of the Air Force were derived and the weights of each item were analyzed. The LVC training system evaluation items for AHP (Analytic Hierarchy Process) analysis were divided into three layers, and according to the level, 3 items were derived at level 1, 11 items at level 2, and 33 items at level 3. For weight analysis of evaluation items, an AHP-based pairwise comparison questionnaire was conducted for Air Force experts related to the LVC training system. As a result of the survey, related items such as (1) Achievement of education and training goals (53.8%), (1.2) Large-scale mission and operational performance (25.5%), and (1.2.1) Teamwork among training participants (19.4%) was highly rated. Also, it was confirmed that the weights of evaluation items were not different for each expert group, that is, the priority for importance was evaluated in the same order between the policy department and the working department. Through these analysis results, it will be possible to use them as evaluation criteria for new LVC-related projects of the Air Force and selection of introduction systems.

Key Words : LVC(Live, Virtual, Constructive) , Effectiveness Evaluation Indicator , AHP Analysis

AHP를 활용한 공군 LVC 합성전장훈련체계 효용성 평가

이재홍^*, 정병호^**, 임남규^**†

^*한국과학기술연구원
^**공군사관학교

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

LVC 합성전장훈련체계 (이하 “LVC 훈련체계”)는 합성 전장(Synthetic Enviroment)을 중심으로 공간적으로 분산 되어 있는 실제(Live), 가상모의(Virtual), 구성모의(Constructive) 각각의 훈련 체계들을 가상의 공통된 훈련환경 속에서 자기의 임무를 수행하도록 함으로써, 실제 전장에 서 팀을 이루며 싸우는 것과 같은 몰입된 훈련환경을 제공 할 수 있다. 공군의 경우 LVC 훈련체계는 전투기, 방공장 비 등이 실제 기동 훈련할 때 소요되는 비용, 훈련 규모에 서의 제약, 비행안전이나 실무장 발사시 안전문제, 소음, 환경 오염 등의 문제점을 해소할 수 있는 효과적인 훈련체 계이다. 또한, 평시 훈련에서 경험하기 어려운 전시 작전 수행 환경 및 결정적 시점에 대한 집중적이고 반복적인 훈련기회를 제공한다.

최근 공군 LVC 훈련체계의 필요성과 이를 가시화하기 위한 연구가 진행되고 있지만, Virtual -Virtual 연동, Virtual- Constructive 연동 등 부분적인 연동에 대한 연구가 주로 이루어졌다[9,11]. 현재까지 공군 LVC 훈련체계의 효용 성을 분석한 사례는 국내에서는 없으며, LVC 훈련체계를 적용하면 실제로 어떤 효과가 있을지에 대한 연구는 개념 적인 수준에 있다[2,8,10,17]. Kwon et al.[10] 연구에서 LVC 훈련체계의 필요성 대비 투자 효과 관점에서 분석 프레임워크를 제시한 바 있지만, 훈련체계의 효용성을 평 가하기 위한 세부지표나 평가 우선순위에 대해서는 제시 하고 있지 않다. 공군에서 LVC 훈련체계를 도입하면 다양 한 효과가 있을 것으로 예상하지만, 어떤 측면에서 그 중 요도가 얼마나 있을 것인지는 아직 미지수이다. 이에 따라 본 연구에서는 공군 LVC 훈련체계의 효용성에 대한 평가 항목을 정량화하여 AHP(Analytic Hierarchy Process) 기법 을 통해 가중치를 도출함으로써 공군 LVC 훈련체계의 효 용성에 대한 가이드라인을 제공하고자 한다. 이러한 AHP 분석결과를 통해 공군 LVC 훈련체계 관련 도입 사업, 신 규 기종 선정 등에 평가기준으로 활용할 수 있을 것으로 기대한다.

2. LVC 훈련체계 개념 및 개발동향

2.1 공군의 LVC 훈련체계 개념

LVC 훈련체계는 합성전장환경을 중심으로 Live, Virtual, Constructive 체계 중 2개 이상의 서로 다른 체계들을 연동 하여 훈련하는 체계이다[15]. 이 체계는 분산된 Live, Virtual, Constructive 각각의 자산(실제 또는 모의 병력/장비)들을 서로 연결하고, 단일 시나리오로 제공되는 공통의 합성전 장환경에서 구성원들이 자신의 고유 임무를 수행하도록 지원한다. 또한, 실제 작전환경과 유사한 가상의 훈련환경을 제공하기 위해 다양한 Live, Virtual, Constructive 체계가 훈련에 참여하여 개인 훈련, 팀 훈련, 대규모 합동전력이 참여하는 작전훈련을 가능하게 함으로써 실제 전장에서 싸우는 것과 유사한 환경을 제공한다. 궁극적으로 LVC 훈 련체계의 목표는 실제 작전환경과 최대한 유사한 가상의 훈련환경에서 “Train as we Fight!”를 실현하는 것이다. <Figure 1>은 공군 LVC 훈련체계 개념을 도식화한 것이다.

2.2 주요 선진국 공군의 LVC 개발 동향

Live, Virtual, Constructive 각각의 체계들과 지휘통제 체계를 연동하려면 관련 기술의 표준화와 발전이 반드시 선행되어야 하며, 이러한 것들을 뒷받침하기 위해 막대한 개발비용이 소요된다. 그래서 미국, 영국, NATO 등에서 일부 특정 훈련에서만 LVC 훈련체계가 활용되고 있다[1,4]. 미국의 경우 합참 차원에서 Joint LVC Federation Integration Guide를 통해 각 군의 LVC 체계가 어떻게 연 합하여 훈련에 참여할지에 대한 상위개념의 통합지침서를 발간하여 LVC 로드맵을 수립하였으며, 다중 도메인 (Multi-Domain) 무기체계들을 서로 동기화하는 훈련장비를 개발하고 있다[5,15]. 미 공군은 Kirtland Air Base에 위치한 분산임무작전센터 (DMOC : Distributed Mission Operations Center)를 중심으로 연 4회 Virtual Flag 훈련을 통해 지리 적으로 분산된 L, V, C 자산들을 하나의 합성전장공간에 연결하여 훈련하고 있다[15]. 영국은 무기체계 M&S (Modeling & Simulation) 기술과 LVC 모의분석 및 지원기 술을 개발하고 있으며, 시뮬레이터 및 가상전력이 참여한 연합전력과 공중전투 임무수행을 통해 MTDS(Mission Training through Distributed Simulation) 능력에 대한 요구 사항을 도출하였다. 독일도 LVC 개념에서 기술 수준, 예 산 등을 고려한 비용 대 효과를 검토하여 전술교전 시뮬레 이터를 활용하여 실사격과 기동훈련을 실시하며, 첨단 분 산 시뮬레이션을 통해 실기동 훈련을 보완하여 NATO의 합동공중작전 수행 능력을 향상시킬 수 있는지 연구했다 [16]. 프랑스는 합성전장환경을 지원하기 위해 다른 국가 와 기술교류를 추진하고, VBS3(Virtual Battle Space 3)와 같은 시뮬레이션을 교육훈련에 사용하고 있다[13]. 한국의 경우 LVC 훈련체계의 필요성을 인식하고 훈련환경의 제 한점을 극복하기 위해 노력중이며, LVC 훈련체계의 부분 적인 활용이 이루어지고 있다[2,6,11].

공군 LVC 훈련체계는 <Figure 2>처럼 훈련 공역이나 예산, 안전, 환경/기상 등 제한사항을 극복할 수 있고, 다양한 분야에 응용이 가능하다는 점에서 필요성이 인정된다. 특히, LVC 훈련체계가 훈련뿐 아니라 획득, 분석, 전투실험 등의 영역에서 유용하게 활용될 수 있고, 다른 전장영역과 연계한 훈련이 가능하다는 점에서 시사하는 바가 크다. 하지만, LVC 체계를 훈련에 활용하거나 실전에 투입하기 위해 요구 되는 기술 수준, 기반체계 구축에 대한 막대한 비용을 고려할 때, 훈련체계에 대한 효용성 평가는 객관적 근거가 필요하지 만, 기존 연구들은 이에 대해 정성적 공감대 형성에 호소해 왔다고 볼 수 있다. 현재까지 공군 LVC 훈련체계 개발/도입 에 대한 효용성 측정 연구는 아직 미미하며 LVC 훈련체계의 필요성을 주장하는 것에 비해 객관적이고 효율적인 평가는 거의 없는 실정이다[3,11].

3. LVC 훈련체계 효용성 평가를 위한 분석방법

3.1 AHP(Analytic Hierarchy Process) 기법

AHP는 1970년대 미 국무부 무기통제군비축소국에서 개발되어 평가요소 사이의 상대적 중요도와 대안의 선호 도를 측정하여 정량적인 형태로 제시하는 기법이며, 의사 결정문제가 다수의 평가기준으로 이루어져 있을 때 평가 기준을 계층화하고 세부 요인별 상대적 중요도를 비교하 여 평가항목별 가중치를 측정하는 의사결정기법이다[14]. AHP 기법은 의사결정 프로세스를 체계적으로 분해하고 쌍대비교에 의하여 평가항목의 가중치를 단계적으로 도출 함으로써 객관적 평가 요인와 함께 주관적인 평가도 할 수 있어 사업 타당성 분석 등에 많이 활용되고 있다. 적용 방법이 간결하고 서로 상충할 수 있는 평가항목들에 대한 중요도를 결정하기 위해 관련 전문가들의 지식을 이용하 여 요소간 중요도를 구하는데 응용될 수도 있다[12].

AHP 분석 절차는 의사결정 문제 이해, AHP 계층구조 설정, 계층별 요소의 가중치 측정, 일관성 검증, 종합점수 산정 등의 단계로 수행할 수 있다. 먼저, 의사결정 문제를 파악하여 도달하고자 하는 의사결정의 목표를 명확히 설 정한다. 둘째, 의사결정 목표를 두고 목표달성에 영향을 주는 항목을 도출하고 각 항목을 평가요소별로 계층화하 여 구성한다. 셋째, 하나의 계층을 구성하는 평가항목들을 두 개씩 서로 비교하는 질문을 반복하여 상대적인 가중치 를 측정한다. 넷째, 쌍대비교 항목 간의 기수적 일관성을 검증하여 논리 일관성을 유지한다. 마지막으로 각 평가항 목의 가중치를 종합하여 최종적으로 각 요소의 우선순위 를 산정한다.

3.2 공군 LVC 훈련체계 평가를 위한 분석모형

공군 LVC 훈련체계의 효용성을 평가하는데 있어 상대 적으로 중요한 요인이 무엇인지 분석하기 위해 Jung et al.[7]의 연구결과로 제시된 LVC 훈련체계 효용성 평가지 표를 적용하여 <Figure 3>과 같은 AHP 분석모형을 수립 하였는데, 총 3개의 계층으로 나누어 대분류인 Level Ⅰ에 서 (1)교육훈련 목표 달성, (2)교육훈련체계 특성, (3)기술/ 비용 요소의 3가지 영역과 각 영역에서 세부적으로 중분 류인 Level Ⅱ에 11개 항목, 소분류인 Level Ⅲ에 33개의 항목으로 구성하였다. Jung et al.[7]은 전문가 자문과 문헌 연구를 통해 공군 LVC 훈련체계 평가지표를 선정하고 항 목간 유사성과 관련성을 기반으로 3단계 계층구조로 분류 하였다. 3차에 걸친 델파이 조사를 실시하여 평가항목 선 정, 분류에 대한 타당성을 확보하였기 때문에, 해당 평가 지표를 기준으로 본 연구에 적용할 수 있다고 판단하였다.

공군 LVC 훈련체계 평가를 위한 전문가는 공군본부, 전투사령부의 전투실험/작전훈련 담당자, 29전술개발전 대의 교관급 조종사, 1/11/20 전투비행단의 T-50, F-15K, KF-16 기종별 4기 리더 이상 조종사와 비행교수 등을 대 상으로 선정하였다. 이렇게 설문대상을 선정한 이유는 LVC 훈련체계는 아직 한국 공군이 운용하는 체계가 아 니지만, F-15K, KF-16 등 비행경력이 10년 이상 되거나 시뮬레이터, 관련 장비를 운용하여 과학화 훈련체계를 충분히 경험한 사람이 LVC 훈련체계에 대한 이해도가 높다고 판단했기 때문이다. 또한, 정책부서(본부, 사령부) 담당자와 실무부서(일선비행단) 조종사로 집단을 구분함 으로써 전체적으로 종합된 효용성 측정 결과의 항목별 우선순위뿐 아니라, 정책부서와 실무부서의 인식의 차이 가 있는지를 분석하기 위하여 각각 선정하였다.

3.3 LVC 훈련체계 평가를 위한 AHP 연구설계

공군 LVC 훈련체계 효용성 평가를 위한 척도는 Saaty [14]가 제안한 17점 척도(중앙값 기준으로 좌우 9점 척도) 를 사용하였다. 공군 LVC 훈련체계 효용성 평가를 위한 상대비교표 설문 양식은 LevelⅠ,Ⅱ,Ⅲ의 위계가 서로 같 은 평가항목 간의 쌍대비교로 구성하여 항목 간에 우선순 위를 평가하였다. 설문지는 <Figure 4> 예시처럼 문항을 각각 구성하였으며, 설문 전에 각 변수 및 평가항목에 대 한 설명자료를 배포하고 각 전문가와 일대일로 직접 대면 하여 응답자들이 AHP 분석기법의 평가항목을 충분히 인 지하고 답변할 수 있도록 하였다.

3.4 AHP 설문자료 수집

2022년 9월 7일부터 2주간 공군본부/전투사령부 전투실 험/작전훈련 담당자, 1/11/20 전투비행단, 29전대의 교관급 조종사, 비행교수와 인터뷰를 통해 총 41부의 설문자료를 수집하였으며, 이 중에서 35부의 유효한 자료를 최종 분석 에 활용하였다. 설문 인원의 인구통계학적 특성은 <Table 1>과 같다.

먼저 소속별로 본부/사령부가 12명(34.3%), 비행단/전대가 19명(54.3%)이었다. 직책별로는 처장/과장이 6명(17.1%), 교관/교수가 15명(42.9%), 일선조종사가 14명(40%)이었다. 계급별로는 중/대령이 7명(20%), 소령/대위가 17명(48.6%), 군무원이 11명(31.4%)이었다. 병과별로는 조종이 27명 (77.1%), 군수/정보통신이 각 4명(11.4%)이었다.

4. AHP 모형 분석결과

4.1 분석 모형의 일관성, 신뢰성 평가

AHP 분석은 R프로그램과 ahp 패키지를 이용하였고, 신 뢰도 분석을 위한 평가자별 일관성 지수와 평가자별 응답값 을 평균하여 평가항목별 중요도를 산출하였다. AHP는 응답 자가 논리적 일관성을 가지고 답변하였는지를 확인하기 위 해 일관성 비율(CR; Consistency Ratio)을 통해 신뢰성을 검증한다. 일관성 비율은 일관성 지수(CI; Consistency Index)를 임의 지수(RI; Random Index)로 나눈 값이며, CR 값이 0.1 미만이면 설문 답변이 일관성이 있는 것으로 판단 한다[18]. 따라서, 본 연구에서는 CR값 0.1 미만을 기준으로 설문의 신뢰도를 검증하였는데, 설문인원 41명 중 35명이 일관성 비율이 0.1 미만을 기록하여 설문의 신뢰도가 있다 고 판단하였다. 유효 응답자 35명에 대한 가중치는 기하평 균으로 산출하여 전체 가중치를 계산하였다. 각 항목별 신 뢰도, 일관성 분석결과는 <Table 2>와 같다.

4.2 항목별 중요도 및 항목 내 순위

공군 LVC 훈련체계 효용성 평가를 위한 항목간 상대적 중요도는 전체 합을 1로 하여 평균치를 계산하면 각 항목 이 차지하는 선호도 또는 가중치가 된다. 즉, Level Ⅰ 3개 평가항목의 가중치 합, Level Ⅱ 11개 항목의 가중치 합, Level Ⅲ 33개 항목의 가중치 합은 각각 1이며, 하위 평가 항목은 상위 평가항목 가중치의 영향을 받는다. AHP 평가 항목 계층을 구분하여 Level Ⅰ은 Level Ⅰ끼리, Level Ⅱ 는 Level Ⅱ끼리 LVC 훈련체계 효용성의 전체 우선순위를 나열하고, 쌍대비교를 수행한 항목 간의 상대적 중요도와 정책/실무부서 집단 간 평가에 대한 분석에 중점을 두고 진행하였다.

본 연구에서는 상위 level 속성에 따른 하위 level 속성 들의 상대적 중요도에 대한 설문자별 답변을 기하평균 방식으로 산출하였으며, 하위 Level 상대적 중요도 비율 의 평균을 통합하여 산출하였다. LVC 훈련체계 효용성 평가를 위한 Level Ⅰ 항목간 상대적 중요도는 <Figure 5>와 같다. Level Ⅰ 항목의 우선순위는 (1) 교육훈련 목 표 달성(53.8%), (2) 교육훈련 체계 특성(26.6%), (3) 기술 및 비용 요소(19.6%) 순으로 나타났다. 공군 LVC 훈련 체계의 효용성에 있어서 ‘(1) 교육훈련 목표 달성’이 중 요하다고 인식하는 것을 알 수 있으며, 본부/사령부 등 참모부서와 일선비행단 간 평가 우선순위는 통계적으로 유의한 차이가 없었다. 즉, 모든 항목에서 정책부서와 실 무부서 간에 동일한 순서로 우선순위가 평가되었다. 이 것은 장교의 인사관리 특성상 비행단에 근무하다가 사령 부로 보직 이동하거나, 공군본부에 1-2년간 근무하다가 다시 비행단으로 가는 순환보직이 이루어지기 때문으로 판단된다.

Level Ⅱ 항목간 상대적 중요도를 분석한 결과는 <Figure 6>부터 <Figure 8>과 같다. Level Ⅱ 항목 중 ‘(1) 교육훈련 목표 달성’ 우선순위는 (1.2) 대규모 임무 및 작전수행능력 향상(47.5%), (1.1) 개인전술 및 절차 숙달 (27.2%), (1.3) 지휘통제 및 의사결정 능력 향상(25.3%) 순으로 평가되었다. 이러한 결과가 나온 배경에는 LVC 훈련체계의 개념 자체가 지리적으로 분산된 L, V, C 각 각의 훈련 요소들이 가상의 공통된 환경 속에서 자신의 임무를 수행하도록 함으로써, 실제 전장에서 팀을 이루 며 싸우는 것과 같은 몰입된 훈련환경을 제공하며, 평시 훈련에서 경험하기 어려운 전시 작전 환경, 결정적 시점 에 대한 집중적/반복적 훈련기회를 제공하는 것이라는 것을 이해해야 한다. 즉, ‘(1) 교육훈련 목표 달성’에 있 어 전술 및 절차를 숙달하는 것과 지휘통제/의사결정 능 력 향상은 유사한 수준에서 중요하며, 대규모 임무 및 작 전수행능력을 향상하는 것이 더 중요하다고 인식하고 있 음을 알 수 있다.

Level Ⅱ 항목 중 ‘(2) 교육훈련체계 특성’의 우선순위 는 (2.1)훈련과정의 모사 수준(28.3%), (2.2) 무기체계 성 능 및 전장환경 모사 수준(24.8%), (2.3) 다양한 시나리오 및 무기체계 적응(21.5%), (2.5) 분산 및 통합훈련환경 조 성(14.1%), (2.4) 훈련체계 활용도 제고 및 훈련준비시간 단축(11.3%) 순으로 나타났다. (2.1) 훈련과정의 모사 수 준의 상대적 중요도가 가장 높다는 것은 LVC 훈련체계 의 효용성은 실제 작전수행 과정 및 규모와 훈련체계 구 현 상황과의 유사성이 높아야 의미있다는 것으로 인식하 고 있다는 뜻이다. (2.2) 무기체계 성능 및 전장환경 모사 수준은 훈련체계를 이용하는 참가자가 훈련을 실제처럼 느끼는 정도가 중요하다는 것을 말한다. 또한 (2.3) 다양 한 시나리오 및 무기체계 적응은 훈련 참여자의 다양한 상황 경험과 여러 작전계획을 검증해 볼 수 있는 정도가 우수해야 LVC 훈련체계가 유용하다고 볼 수 있다. (2.4) 훈련체계 활용도 제고 및 훈련준비시간 단축의 중요도가 낮게 나타났는데, 훈련체계의 활용 제약이 훈련 준비 등 의 노력에 미치는 영향 정도가 상대적으로 그 중요도가 낮은 것으로 인식함을 알 수 있다.

Level Ⅱ 항목 중 ‘(3) 기술 및 비용요소’에서 우선순위 는 (3.1) 기술 수준(47.4%), (3.3) 비용절감 및 외부효과 (29.8%), (3.2)LVC 체계 비용(22.8%) 순으로 나타났다. (3.1) 기술 수준의 중요도가 가장 높은데, LVC 훈련체계 의 모델링, 시뮬레이션 기반 기술의 수준이 충분히 뒷받 침되어야 해당 체계의 효용성이 높다고 인식하는 것으로 평가하였다. (3.3) 비용절감 및 외부효과는 LVC 훈련체 계 도입운영에 따른 교육훈련 비용 절감, 안전 향상 효과 및 가상체계 운영에 따른 위험부담 수준도 일정 수준에 서 보장되어야 한다고 인식함을 알 수 있다. (3.2) LVC 체계 비용의 중요도가 상대적으로 낮은 것을 나타났는 데, LVC 훈련체계 획득 비용 또는 운영유지를 위해 소 요되는 비용 수준이 실제 LVC 훈련체계를 운용함으로써 얻는 효과, 즉 효용성 측면에서는 그 중요성이 상대적으 로 낮다는 점을 알 수 있다.

Level Ⅲ 항목 중 (1.1) 개인전술 및 절차숙달, (1.2) 대규 모 임무 및 작전 수행능력 향상, (1.3) 지휘통제 및 의사결 정 능력 향상, (2.1) 훈련과정의 모사 수준, (2.2)무기체계 성능 및 전장환경 모사 수준, (2.3) 다양한 시나리오 및 무 기체계 적응, (2.4) 훈련체계 활용도 제고 및 훈련준비시간 단축, (2.5) 분산 및 통합훈련환경 조성, (3.1) 기술 수준, (3.2) LVC 체계 비용, (3.3) 비용절감 및 외부효과 등의 하 위항목별 우선순위는 <Table 3>에서 확인할 수 있다.

5. 연구결과 및 시사점

4차 산업혁명, 인공지능 기술, 빅데이터 활용 등의 비 약적 발전으로 미래 사회는 그동안 우리 군이 경험하지 못한 과학기술과 전투환경을 제공하고 있다. 특히, Full-scale 시뮬레이터, VR/AR 기술, UAV/UAM, 센서/네 트워크 기술 등을 활용한 과학화 훈련체계의 중요성은 더 욱 높아지고 있으며, 이렇게 개발된 체계를 하나로 통합 하여 훈련하고자 하는 노력은 점점 증대될 것이다. 이에 본 연구에서는 공군 LVC 훈련체계의 효용성을 평가하고 자 AHP 기법을 활용한 분석을 수행하였다. Jung et al.[7] 의 연구에서 델파이 조사를 통해 도출된 LVC 훈련체계 의 효용성 평가 지표를 활용하여 (1) 교육훈련 목표 달성, (2) 교육훈련 체계 특성, (3) 기술 및 비용 요소의 3가지 영역의 Level Ⅰ과 각 영역에서 세부적으로 Level Ⅱ에 11 개 항목, Level Ⅲ에 33개의 항목으로 구성된 AHP 분석모 형을 설계하였다. LVC 효용성 평가를 위한 전문가 집단 은 공군본부/사령부의 전투실험/모의분석 담당자, 전투비 행단/29전대의 교관급 조종사 등을 대상으로 하였다. 인 터뷰식 설문조사를 통해서 총 41부의 자료가 수집되었고, 이중 일관성 기준을 충족한 35개의 자료를 가지고 각 계 층별 평가항목의 상대적인 가중치를 분석하였다. 분석결 과 공군 LVC 효용성 평가 구성에 있어서 Level Ⅰ 항목 의 우선순위는 (1) 교육훈련 목표 달성(53.8%), (2) 교육 훈련 체계 특성(26.6%), (3) 기술 및 비용 요소(19.6%) 순 으로 중요한 것으로 인식하는 것으로 나타났다. Level Ⅱ 항목 중 ‘(1) 교육훈련 목표 달성’에서의 우선순위는 (1.2) 대규모 임무 및 작전수행능력 향상(47.5%), (1.1) 개인전 술 및 절차 숙달(27.2%), (1.3) 지휘통제 및 의사결정 능력 향상(25.3%) 순으로 평가되었다. ‘(2) 교육훈련 체계 특 성’에서의 상대적 중요도는 (2.1) 훈련과정의 모사 수준 (28.3%), (2.2) 무기체계 성능 및 전장환경 모사 수준 (24.8%), (2.3) 다양한 시나리오 및 무기체계 적응(21.5%), (2.5) 분산 및 통합훈련환경 조성(14.1%), (2.4) 훈련체계 활용도 제고 및 훈련준비시간 단축(11.3%) 순으로 나타났 다. ‘(3) 기술 및 비용요소’에서의 우선순위는 (3.1) 기술 수준(47.4%), (3.3) 비용절감 및 외부효과(29.8%), (3.2) LVC 체계 비용(22.8%) 순으로 나타났다.

본 연구의 시사점은 다음과 같이 정리할 수 있다. 첫째, 전문가들을 대상으로 한 AHP 분석을 통해 공군 LVC 훈 련체계의 효용성 평가지표에 대한 상대적인 우선순위를 도출하였다는 점이다. 델파이를 통해 도출된 공군 LVC 훈 련체계의 효용성 평가지표를 AHP 기법으로 분석하고 항 목별 중요도를 파악하여 연구의 객관성과 타당성을 확보 하였다. 둘째, 3단계 계층구조를 가진 공군 LVC 훈련체계 효용성 평가지표의 우선순위를 이해함으로써 이러한 평가 지표를 향후 LVC 훈련체계의 개발 방향을 설정하는데 활 용하거나, LVC 훈련체계에 적합한 실전적 교육훈련 시나 리오를 작성하는데 접목할 수 있을 것이다. 또한 LVC 훈 련체계를 개발하거나 관련 사업의 평가시 여러 업체별 대 안 간 효용성 판단 등에 활용이 가능할 것이다. 작전환경 에 따라 훈련개념을 발전시키고, 실전적 훈련개념에 입각 한 훈련환경을 제공하기 위해, 미래 기술발전 추세를 고려 하되 LVC 훈련체계의 효용성에 기초하여 실전적 교육훈 련체계로 발전시켜야 한다.

본 연구의 한계점은 LVC 훈련체계의 효용성 평가를 공 군에 국한하여 분석하였다는 것이다. 육군, 해군의 LVC 훈련체계에 대해서도 추가적인 연구가 필요하며, 각 군에 서는 과학화훈련체계를 통합하려는 노력을 경주하고 있으 므로 합동작전 측면에서 사용자 만족도에 기준하여 평가 해야 할 것이다. 또한, 실무적 차원의 분석이기 때문에 정 보수집, 설문자료 등을 확대하여 연구결과를 이론적으로, 학문적으로 보완한다면 국방 분야뿐 아니라 민간 교육훈 련 분야에서도 활용이 가능할 것이다.

Acknowledgement

This study has been supported by a Research Fund of Korea Aerospace Industries, LTD(CT23100070).

Figure

<Figure 1>.

Concept of the Air Force LVC Training System

<Figure 2>.

Necessity of LVC Training System

<Figure 3>.

AHP Modeling for Evaluation of the Effectiveness of the Air Force LVC Training System

<Figure 4>.

Example of Pairwise Comparison of LVC Training System

<Figure 5>.

Priority of Level 1 Category

<Figure 6>.

Priority of Achieving Education & Training Goals

<Figure 7>.

Priority of Characteristics of Education & Training System

<Figure 8>.

Priority of Technology & Cost ELEMENTS

Table

<Table 1>.

Distribution of Survey Respondents

Classification	No.	Ratio (%)
Work place	HQs./Command	12	34.3
Wings	19	54.3
ETC.	4	11.4
Position	Staff director	6	17.1
Instructor	15	42.9
Line Pilot	14	40.0
Rank	Lt.Col./Col.	7	20.0
Capt./Major	17	48.6
Civilian	11	31.4
Specialty	Pilot	27	77.1
Logistics	4	11.4
Communication	4	11.4
	Total	35	100

<Table 2>.

Results of Reliability and Consistency

Evaluation Indicators of the LVC Training System	RI	CI	CR
Effectiveness of the LVC Training System	3.00239	0.0012	0.0021
1. Achieving education and training goals	3.00042	0.0002	0.0004
2. Characteristics of education and training system	5.03905	0.0098	0.0087
3. Technology/Cost elements	3.00005	0.0000	0.0000
1.1.Mastering personal tactics and procedures	3.01674	0.0084	0.0144
1.2. Improvement of large-scale mission and operational capabilities	3.00506	0.0025	0.0044
1.3. Improve command and control and decision-making capabilities	2.00000	0.0000	0.0000
2.1. Level of imitation of training course	3.00038	0.0002	0.0003
2.2. Performance of weapon system and simulation level of battlefield environment	3.00172	0.0009	0.0015
2.3. Adaptation of various scenarios and weapon systems	3.00000	0.0000	0.0000
2.4. Improve utilization of training system and reduce training preparation time	3.00982	0.0049	0.0085
2.5. Creating a Distributed and Integrated Training Environment	4.02075	0.0069	0.0077
3.1. Technical level	2.00000	0.0000	0.0000
3.2. LVC system cost	3.00004	0.0000	0.0000
3.3. Cost savings and external effects	4.01010	0.0034	0.0037

<Table 3>.

Results of AHP Analysis of Effectiveness of the LVC Training System

Level1	Weight	Level 2	Weight	Level 3	Weight
1. Achieving education and training goals	0.538	1.1. Mastering personal tactics and procedures	0.146	1.1.1. Acquiring & mastering weapons system control procedures	0.069
				1.1.2. Personal tactical training and mastery of mission procedures	0.064
				1.1.3. Improvement of adaptability for determining battlefield conditions	0.139
		1.2. Improvement of large-scale mission and operational capabilities	0.255	1.2.1. Improve group tactics, threat response & communication	0.194
				1.2.2. Increase the ability to carry out large-scale operations	0.183
				1.2.3. Enhancement of joint operations capabilities	0.097
		1.3. Improve command & controland decision-making capabilities	0.136	1.3.1. Improving the commander's ability to judge and make decisions	0.193
			0.136	1.3.2. Improve command and control capabilities of commanders	0.060
2. Characteristics of education and training system	0.266	2.1. Level of imitation of training course	0.075	2.1.1. The extent to which combat training is possible	0.084
				2.1.2. Provide training in conjunction with various operation	0.102
				2.1.3. Provide repeated training opportunities for key phases	0.097
		2.2. Performance of weapon system and simulation level of battlefield environment	0.066	2.2.1. Degree of practicality provided by the training system	0.077
				2.2.2. Imitating of weapon system performance, behavior pattern, etc	0.072
				2.2.3. Level of simulation of active change in operations/maneuver	0.099
		2.3. Adaptation of various scenarios and weapon systems	0.057	2.3.1. Scenario diversity levels provided by the training system	0.078
				2.3.2. Level of response to major changes in the situation	0.074
				2.3.3. Mastering existing or new weapon system operation procedures	0.063
		2.4. Improve utilization of training system and reduce training preparation time	0.030	2.4.1. Time and effort prepared for the same training	0.031
				2.4.2. Possible change in battlefield environment and scenario	0.033
				2.4.3. Ease of accumulating and utilizing training data	0.049
		2.5. Creating a Distributed and Integrated Training Environment	0.038	2.5.1. Level of units/systems that can participate in a single exercise	0.039
				2.5.2. Level of data interworking between units/systems participating	0.045
				2.5.3. Real-time training effectiveness analysis function	0.029
				2.5.4. Creating an integrated training environment with other systems	0.028
3. Technology / Cost elements	0.196	3.1. Technical level	0.093	3.1.1. Modeling technology	0.241
		3.1. Technical level	0.093	3.1.2. Simulation technology	0.233
		3.2. LVC system cost	0.045	3.2.1. Cost of obtaining LVC system	0.064
				3.2.2. Operating/Maintenance Costs for LVC Systems	0.073
				3.2.3. Interworking with other systems and cost of improvement	0.092
		3.3. Cost savings and external effects	0.058	3.3.1. Reduce the cost of operating weapons systems and equipment	0.125
				3.3.2. Reduce external costs such as noise and complaints	0.036
				3.3.3. Improving the safety of training participants	0.088
				3.3.4. Level of risk due to virtual system operation	0.049

Reference

Bezdek, W.J., Maleport, J., and Olshan, R.Z., Live, Virtual & Constructive Simulation for Real Time Rapid Prototyping, Experimentation and Testing using Network Centric Operations, AIAA Modeling and Simulation Technologies Conference and Exhibit, Honolulu, Hawaii, 2009, pp.1-21.
Choi, S.Y., Study on the Architecture of Combat Training Center LVC-System, Journal of the Korea Institute of Military Science and Technology, 2008, Vol.11, No.2, pp.80-87.
Funaro, G.V., Measures of Effectiveness for Live, Virtual, Constructive Integrated Architectures, Proceedings in the Huntsville Simulation Conference, HSC, 2009, pp. 70-77.
Gehr, S.E., Schurig, M., Jacobs, L., Van der Pal, J.W., Bennett, Jr., and Schreiber, B., Assessing the Training Potential of MTDS in Exercise First Wave, Neuillysur- Seine, NATO RTO, 2008, pp. 1-11.
Henninger, A.E., Cutts, D., Loper, M., Lutz, R., Richbourg, R., Saunders, R., and Swenson, S., Live Virtual Constructive Architecture Roadmap (LVCAR) final report, Institute for Defense Analysis, 2008.
Jang, Y.C., Oh, J.H.,, Myung, H.S., Kim, C.Y., and Hong, Y.S., Development of an ACMI Simulator Based on LVC Integrating Architecture, Journal of The Korean Society for Aeronautical and Space, 2015, Vol.43, No.6, pp. 540-547.
Jung, B.H., Lim, N.K., and Lee, J.H., Derivation of the Effectiveness Evaluation Indicators of the Air Force LVC Synthetic Battlefield Training System, Journal of the Korean Society of Supply Chain Management, 2022, Vol.22, No.2, pp. 27-39.
Kim G.S., Technology Trend and Development Direction for Integrated LVC Training System, The Journal of The Korean Institute of Communication Sciences, 2017, Vol.34, No.11, pp. 27-35.
Kim, Y.H., Song, Y.S., and Kim, C.O., A Study on the Interoperability of ROK Air Force Virtual and Constructive Simulation, The Korea Society For Simulation, 2019, Vol.28, No.2, pp. 169-177.
Kwon, K.B., Min, S.G., Yee, K.J., Seol, H.J., Oh, J.H., and Sim, I.B., Development of Framework for Effectiveness Measurement of LVC Synthetic Battlefield Training System, Journal of the Korea Institute of Military Science and Technology, 2018, Vol.21, No.5, pp. 704-713.
Oh, J.H., Jang, Y.C., Kim, C.Y., Jee, C.K., and Hong, Y.S., V&V of Integrated Interoperability System for LVC Simulation on Aircraft Weapon System, Journal of the KIMST, 2015, Vol.18, No.3, pp. 326-334.
Richards J. Heuer Jr., Structured Analytic Techniques for Intelligence Analysis, trans. Kim, Y.E., Seoul: Pakyoungsa, 2016, pp. 10-13.
Roberts, A.J., A Systems Engineering Approach to Measuring Live, Virtual, Constructive Training Effectiveness and Performance, Air Force Institute of Technology Wright-Patterson AFB OH., United States, 2017.
Saaty, T.L., The Analytic Hierarchy Process, European Journal of Operational Research, Vol.48, 1990, pp. 9-26.
United States Air Force, Air Force Future Operating Concept: A View of The Air Force in 2035, Washington, DC: Government Printing Office, 2015, pp. 7-38.
Won, K.C., Kim, Y.P., Kim, M.S., Ha, T.G., Lee, Y.G., and Lee, H.J., Future and development direction of M&S for building up to the hyper-army in Republic of Korea Army: Focusing on fostering high-tech armed forces, Journal of Advances in Military Studies, 2021, Vol.4, No.2, pp. 37-58.
Yoo, Y.K., A Study on the Analyzing Priority of Limiting Factors in Live, Virtual, and Constructive (LVC) Simulation Interoperability Using AHP Method, Electronic, Theses and Dissertations, 1262, 2015, pp. 40-55.
Yoon, C.H. and Choi, K.D., A Study on the Analytic Hierarchy Process of Group Decision Making Using R, The Journal of Information Technology and Architecture, 2019, Vol.16, No.4, pp. 405-418.