Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.49 No.1 pp.21-30
DOI : https://doi.org/10.11627/jksie.2026.49.1.021

Identification of Evaluation Measures for Mission Effectiveness Analysis of Manned Unmanned Teaming (MUM-T): Focusing on Air Force Air Operations

Sungho Kim^*

, Inseob Hong^**

, Jungyu Park^***

, Geunhyung Do^****

, Seunghoon Yoo^*****

, Kyujin Moon^******

, Seongyeop Ryu^******

, Younggun Lee^***†

^*Department of Systems Engineering, Korea Air Force Academy
^**Graduate School of Defense Management, Korea National Defense University
^***Department of Electronics and Communication Engineering, Korea Air Force Academy
^****Department of Military Strategy, Korea Air Force Academy
^*****Department of Computer Science, Korea Air Force Academy
^******Next-generation Aerial Combat System Technology Design Team, Korea Aerospace Industries Co., Ltd.

^†Corresponding Author : yglee@afa.ac.kr

Received 09/12/2025 Finally Revised 11/01/2026 Accepted 15/01/2026

Abstract

With the evolving nature of modern warfare and the rapid advancement of technology, Manned-Unmanned Teaming (MUM-T) has emerged as a core element of future air power. This study systematically identifies evaluation measures for assessing the mission effectiveness of MUM-T in the context of Air Force operations. To this end, a survey of experienced fighter pilots was conducted to derive mission scenarios suitable for MUM-T, and statistical analysis led to the selection of five scenarios. Subsequently, comprehensive evaluation measures for each selected scenario were derived through literature review and expert interviews, and their validity and expert consensus were verified using the Delphi method. Finally, the Analytic Hierarchy Process (AHP) was employed to calculate the relative importance of the evaluation measures (secondary measures only) for each scenario, and a formula-based model was proposed. The findings of this study provide a quantitative evaluation framework for verifying MUM-T mission effectiveness using Modeling and Simulation (M&S) tools, and are expected to serve as a foundational basis for weapon system acquisition and the development of operational concepts.

Key Words : Manned Unmanned Teaming , Mission Effectiveness , Evaluation Measures , Delphi Survey , Analytic Hierarchy Process

유무인복합체계 임무 효과도 분석을 위한 평가지표 식별: 공군 항공작전을 중심으로

김성호^*, 홍인섭^**, 박준규^***, 도근형^****, 유승훈^*****, 문규진^******, 류성엽^******, 이영건^***†

^*공군사관학교 시스템공학과
^**국방대학교 국방관리대학원
^***공군사관학교 전자통신공학과
^****공군사관학교 군사전략학과
^*****공군사관학교 컴퓨터과학과
^******한국항공우주산업(주) 유무인복합기술실증팀

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

지속적인 기술 발전과 함께 현대 전쟁에서는 첨단 기술을 활용한 정밀하고 효율적인 작전 수행이 승패를 가르는 필수 요소로 부상하고 있다[11]. 이에 따라, 전쟁 수행의 패러다임 역시 센서-투-슈터(Sensor-to-Shooter) 플랫폼 기반의 네트워크 중심전(Network-Centric Warfare, NCW)에서 인공지능 기반의 결심중심전(Decision-Centric Warfare, DCW)으로 전환되고 있다. 결심중심전은 적보다 신속하고 정확한 결심 및 실행으로 적에게 작전적 딜레마를 유도하고 적의 의사결정 체계를 무력화시키는 전쟁 수행 개념이다[2]. 이에 더하여, 인공지능, 자율·무인, 센서 융합, 초연결 네트워크 및 지능형 지휘통제체계 기술의 발전으로 인해 전쟁은 단순히 물리적 충돌의 양상이 아닌, 지상·해상·공중 영역 외에도 우주·전자기·사이버 영역을 포괄하는 전영역(All-Domain) 통합작전 양상으로 진화하고 있다[18]. 예를 들어, 미·중 전략경쟁, 러시아-우크라이나 전쟁, 이스라엘-팔레스타인 분쟁과 같은 현 시대의 사례는 전영역 전장 환경에서 속도, 정밀성, 분산성이 전투력 발휘의 핵심 요소임을 증명하였다.

공군 항공작전의 관점에서, 기존의 유인기 중심의 항공전력만으로는 위와 같은 현대 전쟁 양상과 전쟁 수행 패러다임 변화에 신속히 대응하는 데 한계가 존재한다. 이를 극복하고 전쟁 우위를 달성하기 위해, 유인 플랫폼과 무인 플랫폼 간의 효과적인 협업이 미래 항공작전의 핵심 요소로 대두되고 있다. 다시 말해, 미래 전장 환경의 변화는 기존 '유인기 중심의 항공작전'에서 '유인기와 무인기가 상호보완적으로 협력하는 유무인복합체계(Manned Unmanned Teaming, MUM-T)'로의 발전을 필연적으로 요구하고 있다.

MUM-T는 유인기와 무인기 또는 무인기와 무인기가 협업하여 하나의 통합된 전투체계로 작전 효과를 극대화하는 개념으로[12], 무인기가 단순히 임무 수행을 보조하는 수준을 넘어, 전장 상황에 따라 유인기와 무인기가 상호 보완적 역할을 수행하는 전투개념으로 발전하고 있다. 예를 들어, 무인기는 위험지역 침투, 정찰·감시, 전자전, 기만 등의 역할을 담당하고, 유인기는 이를 지휘·통제하면서 주요 전투 임무를 수행할 수 있다. 이러한 협업은 전투조종사의 업무부하 경감 및 생존성을 향상시키고, 상황인식 능력 극대화 및 전투 효율성을 제고하며, 다양한 임무를 동시 수행하면서 전투기의 운용범위를 확장할 수 있다는 점에서 매우 큰 잠재적 가치를 가진다. 그러나, MUM-T는 아직 완전히 구현되지 않은 미래 첨단 무기체계 개념이기 때문에, 사전에 모델링 및 시뮬레이션(Modeling and Simulation, M&S) 도구 등을 활용하여 그 효과도를 검증하고 최적화된 운용 방안을 도출할 필요가 있다.

MUM-T의 임무 효과도를 과학적으로 입증하기 위해서는 우선 기존 유인기만을 단독으로 운용하는 체계와의 임무 효과도를 체계적이고 객관적으로 비교 분석할 수 있는 평가지표(Measures of Effectiveness, MOE)를 식별하는 것이 중요하다. 평가지표는 단순히 임무 성공 여부만을 측정하는 것이 아니라, 개별 임무의 목표와 수행과정, 전장 환경의 특성, 그리고 각 체계의 고유 능력 등을 종합적으로 반영할 수 있어야 한다. 그러나, 기존 연구들은 주로 개별 임무 성공 여부 측정에만 국한되거나 특정 기술적 가능성에 치중한 경향이 있었고, MUM-T의 임무 효과도 분석에 초점을 맞춘 평가지표 도출 연구 사례는 매우 부족한 실정이다. 따라서, MUM-T 활용으로 기대되는 임무 효과도를 체계적으로 평가하기 위해서는 임무 시나리오별로 타당성과 신뢰성을 갖춘 평가지표를 개발하는 것이 필수적이다.

본 연구의 목적은 MUM-T 임무 효과도 분석을 위한 평가지표를 식별하고, 이를 기반으로 임무 효과도를 정량적으로 산출할 수 있는 체계를 마련하는 것이다. 이를 위해 본 연구는 <Figure 1>과 같이 크게 세 단계 연구절차로 수행되었다. 첫째, 한국 공군의 기존 항공작전 가운데 MUM-T 운용에 적합한 임무 시나리오를 선정하였다. 둘째, 선정된 임무 시나리오를 바탕으로 임무 특성과 무인기 성능 가정사항을 고려하여 평가지표를 식별하고, 델파이(Delphi) 방법을 통해 지표의 타당성을 확인하였다. 셋째, 최종적으로 확정된 평가지표들을 구조화하여 계층적 분석과정(Analytic Hierarchy Process, AHP) 기법을 활용함으로써 임무별 평가지표의 상대적 중요도를 산출하고 수식화 모델을 제안하였다. 이러한 연구 결과는 MUM-T의 임무 효과도를 체계적으로 평가할 수 있는 기준을 제공하고, 최적 운용 방안 도출을 위한 분석적 기반을 마련할 것으로 기대된다.

2. 본 론

2.1 MUM-T 운용 적합 임무 시나리오 선정

MUM-T 운용 적합 임무 시나리오를 선정하기 위해 [10]의 연구를 참고하여 공군교범 검토를 수행하였다. 검토 결과, 항공작전은 총 23종의 유형으로 구분할 수 있었으며, 이 중 MUM-T 운용 가능성 및 운용 가치가 높아 보이는 항공작전을 중심으로 총 7종의 임무를 후보군으로 선정하였다. 7종의 임무는 적 방공제압(Suppression of Enemy Air Defenses, SEAD), 전투기 엄호(Fighter Escort, ESCORT), 방어제공(Defensive Counter Air, DCA), 기계획 항공차단(Air Interdiction, AI), 긴급 항공차단(Air Alert Interdiction, XINT), 대화력전(Airborne Alert Attack, XATK), 그리고 근접항공지원작전(Close Air Support, CAS)이며, 각 임무의 목표는 <Table 1>과 같다.

한편, 본 연구는 임무 시나리오 적합성에 영향을 미칠 수 있는 MUM-T 임무의 가정사항을 다음과 같이 사전 설정하였다. (1) MUM-T의 기대 운용 시점은 2035년 이후로, 유인기-무인기 간 차세대 데이터링크를 기반으로 실시간 영상 데이터 송수신이 원활하며 편대 임무가 가능하다. (2) 유인기는 공대공 및 공대지 무장능력을 갖추었고, 능동주사배열(Active Electronically Scanned Array, AESA) 레이더와 전자광학(Electro-Optics, EO) 기반 타켓팅 시스템 등의 센서능력을 보유한다. (3) 무인기는 유인기와 동급의 센서능력을 갖추었으나 무장능력에 있어서는 다양성 및 중량의 제한이 다소 존재하며, 유인기에게 지속적으로 표적 및 무장, 기동, 위협정보를 전달한다. (4) 무인기는 센서운용, 정보획득 및 공유에 대해서는 높은 수준의 자율성을 가지고 임무를 수행하되, 교전과 같은 중요 의사결정이 필요한 전술에 대해서는 유인기의 통제 하에 수행한다.

본 연구는 선정된 7종의 임무 시나리오 후보군에 대해 MUM-T 운용 적합성을 평가하기 위해 숙련급 공군 전투기 조종사 20명(남 20, 평균 비행시간 1,300시간)을 대상으로 설문조사를 실시하였다. 설문지는 7종 임무 시나리오의 임무 난이도(Difficulty)와 임무 위험도(Lethality)에 대하여 5점 척도(1점: 매우 낮음, 5점: 매우 높음)를 기반으로 유인기 단독 체계와 MUM-T 체계를 비교 평가하도록 구성하였으며[1, 9], 평가 점수에 대한 의견도 기술하도록 하였다. 설문 참여자들에게는 설문조사 실시 전 설문 목적, MUM-T 운용 개념, 가정사항 등에 대한 설명이 제공되었다. 임무 시나리오별 유인기 단독 체계와 MUM-T 체계 간 임무 난이도(MUM-T 체계의 경우 예상 임무 난이도)와 임무 위험도(MUM-T 체계의 경우 예상 임무 위험도) 점수 차이 검정에는 유의수준 0.01에서 paired t-test가 적용되었다. 통계 분석에는 R (ver. 4.1.3) 도구가 사용되었다.

설문 결과, MUM-T 체계는 유인기 단독 체계보다 5종(SEAD, ESCORT, DCA, AI, XINT)의 임무 시나리오에서 임무 난이도가, 6종(SEAD, ESCORT, DCA, AI, XINT, XATK)의 임무 시나리오에서 임무 위험도가 통계적으로 유의하게 낮은 것으로 나타났다(<Figure 2> 참조). 별도 기술한 의견에 따르면, MUM-T 체계에서는 무인기의 감시 및 정찰, 기만, 통신 중계, 표적 공격 등의 임무 수행 능력을 바탕으로 조종사 생존성 보장, 실시간 상황인식 향상 및 탑재무장 증대 효과를 창출할 것이라 기대되었다. 반면, CAS는 조종사와 합동최종공격통제관(Joint Terminal Attack Controller, JTAC)과의 실시간 통신을 통한 전장상황 지속 최신화 필요성 및 적군 근접 상황에 따른 무인기 무장 투하의 위험성, XATK는 대화력전 임무의 표적 특성상 무인기가 장착 가능한 무장 활용의 비효율성에 따라 통계적인 차이가 적게 나타났다.

한편, 유인기 단독 체계에서 임무 난이도와 임무 위험도가 모두 높은 임무 시나리오는 주로 전방전투지경선(Forward Boundary, FB) 북쪽의 임무들로, 이는 공군 임무 수행 지역 내 적 위협 형태가 다양하고 위협 발생 가능성이 높으며, 실시간 전장상황 판단과 표적 탐지 및 식별 소요 빈도가 높기 때문인 것으로 분석되었다. 최종적으로, 유인기 단독 체계와 MUM-T 체계 간 임무 난이도와 임무 위험도 점수 차이가 모두 통계적으로 유의하게 나타났던 5종(SEAD, ESCORT, DCA, AI, XINT)이 MUM-T 운용 적합 임무 시나리오로 선정하였다.

2.2 MUM-T 임무 효과도 평가지표 도출

임무 효과도 평가지표 항목 초안을 도출하기 위해 학술논문, 공군교범 등을 포함한 문헌 조사 및 조종사 인터뷰를 수행하였으며, 선정된 5종의 임무 시나리오의 특성(최종 목표, 요망 효과, 작전 환경, 수행 절차 등)을 체계적으로 분석하였다. 이후 평가지표와 각 임무 시나리오의 관련성, 평가지표 간 유사성 및 중복성, 그리고 평가지표의 임무 효과도 비교(유인기 단독 체계 대 MUM-T 체계) 분석 용이성 등을 종합적으로 판단하여 평가지표 후보군을 도출하였다. 도출된 평가지표들은 임무 효과도를 전투효과와 비용 측면에서 정량적으로 평가할 수 있는 항목들로 구성되었으며, 평가지표와 임무 시나리오의 최종 목표 관련성을 고려하여 임무 시나리오별로 핵심지표(Primary measures)와 보조지표(Secondary measures)로 세부 구분되었다. 임무 시나리오별 도출된 임무 효과도 평가지표는 <Table 2>와 같다.

도출된 임무 효과도 평가지표의 타당성을 확인하기 위해 델파이 조사를 수행하였다. 델파이 방법은 의견 수집, 중재, 그리고 타협하는 방식으로 전문가들의 합의된 의견을 체계적으로 도출하기 위해 고안된 방법으로, 다수의 전문가 의견을 익명으로 수집하여 편향 없이 자유로운 의견 개진을 유도하며 반복적인 피드백 과정으로 집단적 합의를 형성 할 수 있다는 특징을 가지고 있다[4, 5]. 본 연구에서는 설문 조사에 투입되는 시간과 비용을 고려하여 전통적인 3-라운드(Round) 또는 4-라운드 델파이 설문이 아닌, 2-라운드 설문을 수행하는 미니 델파이(Mini-Delphi) 방법을 적용하였다. 기존 미니델파이 관련 연구들은 미니 델파이 방식이 전통적인 델파이 방식보다 실용적이고 복잡하지 않으면서[17], 2-라운드 설문만으로도 충분히 합의된 의견을 도출할 수 있음을 보여주었다[3].

미니델파이 설문 조사를 수행하기 위하여 항공작전 임무 특성에 대한 이해도가 높고 체계 개발 경험과 지식을 갖춘 인원들을 전문가 패널로 선정하였다. 이러한 전문가 패널은 공군에서 전술개발 업무를 담당하는 전투기 조종사 및 산업체, 연구소, 공군에서 MUM-T 체계 개발 업무를 수행하는 실무자로 구성되었다. 전문가 패널의 수는 조사 결과의 표본오차를 최소화하고 각 라운드 진행에 따른 전문가 이탈율 또는 미응답율 발생 위험을 고려하여 총 33명으로 선정하였다. 라운드별 델파이 설문 조사에 응답한 전문가는 1-라운드에서 33명(회수율: 100%), 2-라운드에서 18명(회수율: 54.5%)으로 나타났다.

미니델파이 설문 조사를 위한 설문지는 각 라운드 수행 목적에 맞게 구성되었다. 구체적으로, 1-라운드 델파이 설문지는 연구자들이 도출한 임무 효과도 평가지표의 적절성 판단을 위해 5점 척도로 측정되는 폐쇄형 설문 항목과 수정보완 소요 판단을 위해 개방형 설문 항목으로 병행 구성되었다. 1-라운드 델파이 설문 시 전문가들은 평가지표의 적절성을 판단하여 폐쇄형 설문에 응답하고, 부적절하다고 판단한 설문 항목은 개방형 설문을 통해 의견을 제시하였다. 반면, 2-라운드 델파이 설문지는 1-라운드 델파이 설문 결과를 반영하여 설문 항목이 재작성되었고, 수정 보완된 임무 효과도 평가지표의 최종 적절성 판단을 위해 5점 척도로 측정되는 폐쇄형 설문 항목만으로 구성되었다. 특히, 2-라운드 델파이 설문 시에는 전문가들에게 1-라운드 델파이 설문에서의 설문 항목별 점수 평균 및 표준편차, 전문가 종합 의견 등을 공유하여 본인의 의견과 비교하여 평가지표의 적절성을 재판단할 수 있도록 하였다.

한편, 본 연구에서 수행된 델파이 설문 결과의 타당성은 [6]과 [7]의 연구를 참고하여 내용타당도(Content validity), 수렴도(Convergence), 합의도(Consensus), 그리고 안정도(Stability) 측면에서 검증하였다. 내용타당도는 [13]이 제안한 내용타당도 비율(Content Validity Ratio, CVR)을 활용하여 분석되었다. CVR 값은 평가지표의 적절성을 5점 척도(1점: 매우 부적절, 5점: 매우 적절) 기준으로 평가하였을 때 긍정(4점 이상)으로 응답한 전문가들의 의견 비율로 산출되었으며, 설문 참여자 수에 따라 설정된 CVR 최솟값 이상이 되었을 때 문항에 대한 내용타당도가 있는 것으로 판단하였다. 수렴도는 전문가들의 의견 일치가 어느 수준으로 나타났는지를 보여주며, 0.5보다 작을수록 문항에 대한 전문가들의 의견 수렴이 잘 이루어졌다고 판단하였다. 합의도는 전문가의 50%가 어느 구간에서 일정한 응답을 하였는지를 보여주며, 0.75보다 클수록 문항에 대한 전문가들의 의견 합의가 잘 이루어졌다고 판단하였다. 안정도는 변이계수(Coefficient Variation, CV)을 활용하여 분석되었다. CV 값은 산술평균을 표준편차로 나누어 산출되었으며, 그 값이 0.5 이하인 경우 안정, 0.5-0.8인 경우 비교적 안정, 그리고 0.8 이상인 경우 재설문 필요로 판단하였다. 타당성 검증을 위한 각 척도들의 세부 산출 공식은 [6]과 [7]에서 확인할 수 있다.

1-라운드 델파이 설문 결과, 임무 시나리오별 평가지표 중 핵심지표는 전문가들이 대체로 적절성이 높다고 응답하였으며, 일부 표현 수정 외 기타 의견이 없었다. 그러나, 임무 시나리오별 평가지표 중 일부 보조지표에 대해서는 전문가들 간 점수가 다소 상이한 부분이 존재하였으며, 다양한 의견이 제시되었다. 예를 들어, 임무 수행시간 준수율(Compliance rate of mission time)과 같은 다른 보조지표의 추가 필요, 조종사 손실률(Pilot loss rate)과 같은 보조지표의 부정적인 표현이나 정량적인 측정을 어렵게 만드는 모호한 표현 수정, 그리고 임무 수행 비용(Mission execution cost)과 같은 비용과 관련된 보조지표 삭제 등의 의견이 있었다. 이러한 1-라운드 델파이 설문 결과를 반영하여 설문 항목을 수정 보완하였으며, 그 결과는 <Table 3>과 같다.

2-라운드에서는 각 평가지표의 적절성 점수 평균 및 표준편차, 내용타당도, 수렴도, 합의도, 그리고 안정도 값을 산출하여 설문 결과의 타당성과 전문가 패널의 의견 합의 여부를 평가하였다. 2-라운드 델파이 설문 결과, 전문가들은 수정 보완된 모든 임무 효과도 평가지표들의 적절성이 높다(평균 4점 이상)고 응답하였고 표준편차는 대체로 낮아 점수 분포가 평균에 가깝게 모여 있음을 확인하였다. 또한, 평가지표 값은 척도별 기준값(CVR: 18명 기준 0.444 이상, 수렴도: 0.5 이하, 합의도: 0.75 이상, CV: 0.5 이하)을 모두 충족하는 것으로 나타나 타당성이 검증되어 의견 합의가 이루어졌음을 확인하였다. <Table 4>는 2-라운드 델파이 설문의 타당성 검증 결과를 보여준다.

2.3 임무 효과도 평가지표 상대적 중요도 산출 및 수식화 모델 제안

최종적으로 선정된 임무 효과도 평가지표들 간의 상대적 중요도를 확인하기 위해 AHP 기법을 활용하였다. AHP는 의사결정구조를 계층화하고, 각 요소 간의 쌍대 비교(Pairwise comparison)를 통해 가중치를 산출하는 대표적인 다기준 의사결정 기법이다[15]. 이 방법은 복잡한 의사결정 상황을 체계적으로 단순화할 수 있으며, 특히 여러 대안 간의 상대적 중요도를 명확하고 직관적으로 도출할 수 있다는 장점을 지닌다[8, 14]. 일반적으로 AHP 절차는 (1) 계층 구조 설정, (2) 쌍대 비교 수행, (3) 가중치 산출 및 일관성 검토, (4) 우선순위 결정의 네 단계로 구성된다.

우선, 본 연구에서는 델파이 조사를 통해 도출된 임무 시나리오별 평가지표 중 보조지표만을 대상으로 단일 계층 구조를 설정하였다. AHP 수행을 위한 계층 구조를 보조지표만 활용하여 구성한 것은 각 임무 시나리오에서 중요도가 명확한 핵심지표와는 달리, 보조지표들은 각 임무 시나리오의 특성에 따라 동일한 지표라도 중요도가 달라질 수 있다는 조종사들의 의견을 반영한 것이다. 임무 시나리오별 평가지표 간 쌍대 비교 설문은 전투조종사 18명(남 18, 평균 비행시간 1323시간)을 대상으로 9점 척도 기반으로 실시하였다. 일관성 비율(Consistency Ratio, CR)이 0.2를 초과하는 응답을 제외하고, 나머지 데이터를 기반으로 가중치를 도출하여 최종 우선순위를 결정하였다. 일관성 비율 기준은 원칙적으로 0.1이지만 연구가 초기 단계로서 탐색적인 성격을 띠거나 실무 현장 지식을 폭넓게 수용할 필요가 있는 경우 0.2를 허용 가능한 수준으로 적용하는 선행 연구 사례를 참고하여 결정하였다[16].

임무 시나리오별 보조지표들에 대한 가중치 산출 결과, SEAD 임무 시나리오는 아군전력 보존율(0.404), 조종사 생존율(0.367), 그리고 임무 수행시간 준수율(0.229) 순으로 나타났다. ESCORT 임무 시나리오는 아군전력 보존율(0.404), 조종사 생존율(0.308), 임무 수행시간 준수율(0.145), 그리고 적기 격추율(0.142) 순으로 나타났다. DCA 임무 시나리오는 아군전력 보존율(0.390), 조종사 생존율(0.245), 임무 수행시간 준수율(0.213), 그리고 적기 격추율(0.152) 순으로 나타났다. AI 임무 시나리오는 조종사 생존율(0.549), 아군전력 보존율(0.269), 그리고 임무 수행시간 준수율(0.183) 순으로 나타났다. XINT 임무 시나리오는 표적획득 소요시간(0.512), 조종사 생존율(0.351), 그리고 임무 수행시간 준수율(0.137) 순으로 나타났다. <Table 5>는 임무 시나리오별 평가지표 중 보조지표의 가중치 및 최종 우선순위를 보여준다.

한편, 본 연구는 임무 시나리오별 효과도 평가지표를 정량적으로 산출하기 위한 수식화 모델을 제안한다. 이러한 수식화 모델 구축의 목적은 향후 M&S 도구 등을 활용하여 유인기 단독 체계와 MUM-T 체계 간 임무 효과도의 크기 비교를 용이하게 하기 위함이다. 또한, M&S 분야에서는 일반적으로 평가지표 산출 수식이 분석 대상, 분석 목적 등에 따라 다양하게 정의되어 활용될 수 있다. 수식화 모델은 (1) 각 임무 시나리오에 상응하는 평가지표들을 정량적으로 산출할 수 있는 수식을 도출하고, (2) 평가지표들의 상대적 중요도 값을 가중치로 활용하며, (3) 최종적으로 각 임무 시나리오에서의 평가지표 산출값을 종합하여 임무 효과도를 지수화하는 방식으로 구축되었다. 여기에서는 지면 관계상 임무 시나리오 중 AI 임무 시나리오에 대해서만 수식화 모델 도출 과정을 소개하고자 한다.

AI 임무 시나리오에서의 평가지표는 핵심지표인 표적파괴율(Target destruction rate)과 보조지표인 조종사 생존율(Pilot survival rate), 임무 수행시간 준수율(Compliance rate of mission time), 그리고 아군전력 보존율(Preservation rate of friendly forces)로 구성된다. 표적파괴율( $R_{D}$ )은 총 표적 수 대비 파괴된 표적 수의 비율값으로 식 (1)과 같이 산출될 수 있다.

R_{D} = \frac{\sum_{i = 1}^{N_{T}} w_{i} d_{i}}{\sum_{i = 1}^{N_{T}} w_{i}}

(1)

여기서, $N_{T}$ 는 임무 시나리오에 의해 설정되는 총 표적 수를 의미하고 $d_{i}$ 는 특정 표적의 파괴 정도(미파괴: 0, 완전파괴: 1)를 의미하며 $w_{i}$ 는 0에서 1사이 값을 갖는 특정 표적의 중요도 가중치를 의미한다. 예를 들어, 임무 목표, 표적 위치 등을 고려하였을 때 표적 간 중요도 가중치는 상이할 수 있다.

조종사 생존율( $R_{S}$ )은 임무에 투입된 총 조종사 수 대비 생존한 조종사 수의 비율값으로 식 (2)와 같이 산출될 수 있다.

R_{S} = \frac{1}{N_{P}} \sum_{i = 1}^{N_{P}} r_{i}

(2)

여기서, $N_{P}$ 는 임무 시나리오에 의해 설정되는 총 조종사 수(항공기 좌석 기준)를 의미하고 $r_{i}$ 는 조종사의 생존 상태(사망: 0, 생존: 1)를 의미한다.

임무 수행시간 준수율( $R_{C}$ )은 기준 임무 수행시간 대비 실제 임무 수행시간의 비율값으로 시그모이드(Sigmoid) 함수를 적용함으로써 실제 임무 수행시간이 기준 임무 수행시간 대비 짧을수록 값이 커지고 길수록 값이 작아지도록 하였으며 식 (3)과 같이 산출될 수 있다.

R_{C} = \frac{1}{1 + e^{α (T_{a c t} - T_{R e f})}}

(3)

여기서, $T_{a c t}$ 는 실제 임무 수행시간을, $T_{R e f}$ 는 기준 임무 수행시간을 의미하고 $α$ 는 민감도 조절 파라미터로 실제 임무 수행시간과 기준 임무 수행시간의 차이를 얼마나 민감하게 반영할 것인지를 결정한다. 예를 들어, ±5분 차이를 유의미하게 반영하려면 $α$ 은 0.2 정도, ±10분 차이를 유의미하게 반영하려면 $α$ 은 0.1 정도로 설정할 수 있다.

아군전력 보존율( $R_{P}$ )은 유인기 및 무인기 플랫폼을 모두 포함하여 임무에 투입된 총 아군전력 수 대비 보존된 아군전력 수의 비율값으로 식 (4)와 같이 산출될 수 있다.

R_{P} = \frac{\sum_{i = 1}^{N_{F}} v_{i} s_{i}}{\sum_{i = 1}^{N_{F}} v_{i}}

(4)

여기서, $N_{F}$ 는 임무 시나리오에 의해 설정되는 총 유인기 및 무인기 플랫폼 수를 의미하고 $s_{i}$ 는 특정 플랫폼의 보존 상태(임무불가: 0, 임무 가능: 1)를 의미하며 $v_{i}$ 는 0에서 1사이 값을 갖는 특정 플랫폼의 가치 가중치를 의미한다. 예를 들어, 전력의 비용 및 효용 등을 고려하였을 때 유인기 플랫폼이 무인기 플랫폼보다 가치 가중치는 높을 수 있다.

최종적으로, AHP 기법을 활용하여 도출된 AI 임무 시나리오에서의 세 가지 보조지표들의 상대적 중요도 값을 가중치로 활용하여 임무 효과도 지수(Mission Effectiveness Index, MEI)를 산출하는 수식화 모델은 식 (5)와 같이 산출될 수 있다.

{MEI}_{A I} = 0.9 R_{D} + 0.1 (0.549 R_{S} + 0.183 R_{C} + 0.269 R_{P})

(5)

여기서, 핵심지표와 보조지표들의 총합에 대한 초기 가중치는 각 지표의 중요도를 고려하여 0.9와 0.1로 각각 설정하였다. 이는 핵심지표가 임무 시나리오의 최종 목표 달성에 대한 직접적인 효과를 반영하고 실제 항공작전 임무 수행 시에도 최종 목표 달성을 최우선으로 한다는 조종사들의 정성적인 의견을 반영한 결과이며, 이 값들은 반복적인 시뮬레이션 수행과 민감도 분석(sensitivity analysis)을 통해 조정될 수 있는 초기 값으로 활용될 수 있다.

3. 결 론

본 연구는 MUM-T 체계의 임무 효과도를 체계적으로 평가하기 위한 기반을 마련하고자 수행되었다. 구체적으로, MUM-T 체계 운용에 적합한 5종의 임무 시나리오(SEAD, ESCORT, DCA, AI, XINT)를 선정하였으며, 임무 시나리오별 핵심지표와 보조지표로 구성된 임무 효과도 평가지표를 식별하였다. 도출된 평가지표들은 델파이 조사 기반의 전문가 합의를 통해 그 타당성이 검증되었고, AHP 기법을 활용하여 임무 시나리오별 보조지표들의 상대적 중요도를 산출한 후 이를 바탕으로 임무 효과도를 정량적으로 산출할 수 있는 수식화 모델을 제안하였다.

본 연구에는 MUM-T라는 미래 첨단무기체계의 임무 효과도를 단순한 개념적 차원이 아니라 정량적이고 분석적인 기준을 통해 선제적으로 평가하고자 한 시도라는 점에서 의의가 있다. 기존 연구들이 주로 개별 임무 성공 여부나 특정 기술적 가능성에만 국한되었던 것과 다르게, 본 연구는 임무 및 체계의 특성을 종합적으로 반영하여 MUM-T 체계의 실질적 운용 효과 및 전술적 활용 가치를 측정할 수 있는 평가 기준을 제시하였다. 또한, 델파이 조사와 AHP 기법을 활용한 체계적인 접근을 통해 도출된 평가지표들의 타당성과 신뢰성을 확보하였으며, 정량적 수식화 모델을 제시함으로써 향후 M&S 환경에서 다양한 가정과 조건을 적용하여 실증적 효과 검증의 토대를 제공하였다. 위와 같은 본 연구의 제안은 향후 한국 공군이 MUM-T 체계를 실질적으로 도입 및 운용할 때 무기체계 개발 및 전력화 계획 수립에 도움을 줄 수 있을 것으로 기대된다. 또한 향후 국방 분야에서 미래 첨단무기체계의 임무 효과도 평가 방법론 구축을 지원하는 기초 자료로도 활용될 수 있을 것으로 판단된다.

그럼에도 불구하고, 본 연구는 몇 가지 한계를 가진다. 첫째, 연구에서 설정한 가정(2035년 이후 운용, 고도화된 데이터링크 및 자율성 수준 등)은 미래 전장을 가정한 것이므로 실제 기술 발전 속도 및 환경 변화에 따라 차이가 발생할 수 있으며, 특히 무인기의 자율성 수준이 고도화되어 유인기의 통제가 감소할 경우, 현재의 임무 효과도 평가지표의 구조가 근본적으로 수정될 가능성이 존재한다. 둘째, 평가지표 도출 과정에서 전문가 합의에 의존하였으므로 표본 수와 전문가 집단의 특성에 따라 결과가 제한될 수 있다. 셋째, 본 연구에서 제안한 수식화 모델은 기본 구조를 제시한 수준으로, 실제 시뮬레이션 적용 및 민감도 분석을 통해 보완이 필요하다.

향후 연구에서는 보다 다양한 임무 환경 변수와 기술 발전에 따른 MUM-T 체계의 능력 변화를 반영하여 평가지표를 지속적으로 보완할 필요가 있다. 예를 들어, 무인기 자율성 수준의 변화에 따른 평가지표 항목의 수정 및 가중치 조정 방안에 대한 심도 있는 논의가 필요하다. 또한, 실제 시뮬레이션 및 모의실험을 통해 본 연구에서 제안한 수식화 모델을 검증하고, 평가지표 가중치의 민감도 분석을 수행함으로써 보다 현실적이고 정교한 효과도 평가 체계를 마련해야 한다. 아울러 MUM-T 운용 개념을 다영역 작전 요소(우주, 사이버, 전자전)를 고려하여 확장 적용하고 그 임무 효과도를 검증하는 방안에 대한 연구도 중요할 것으로 사료된다. 이러한 연구는 미래 첨단 항공무기체계인 MUM-T 체계의 전력발전 방향을 구체화하는 데 실질적으로 기여할 수 있을 것이다.

Acknowledgement

본 연구는 국방기술진흥연구소(22-107-E00-015-00)와 공군사관학교 교육진흥재단(2025 교수연수)의 지원을 받 아 수행되었습니다.

Figure

<Figure 1>.

Overall Research Structure

<Figure 2>.

Comparison of Mission Scenarios between Manned Only and MUM-T (Mean ± Standard Deviation[Error Bar], *p < .01)

Table

<Table 1>.

Selection of Mission Candidates Suitable for MUM-T in Air Force Air Operations

Mission	Goal
SEAD	Destruction of enemy air defenses
ESCORT	Protection of friendly aircrafts
DCA	Defense of friendly high-value assets
AI	Destruction of enemy ground targets and weapon systems
XINT	Destruction of time-sensitive targets
XATK	Attack of enemy long-range artillery
CAS	Attack of enemy targets in close proximity to friendly forces

<Table 2>.

Mission Effectiveness Evaluation Measures Derived for Each Mission Scenario

Mission	Measures
SEAD	Primary	Neutralization rate of air defense systems
Secondary	Pilot loss rate
Damage cost of friendly forces (including manned and unmanned aircraft)
Mission execution cost (including personnel, fuel, ammunition etc.)
Mission performance time
ESCORT	Primary	Loss rate of escorted friendly aircraft
Secondary	Pilot loss rate
Damage cost of friendly forces (including manned and unmanned aircraft)
Mission execution cost (including personnel, fuel, ammunition etc.)
Kill rate of enemy aircraft
Mission performance time
DCA	Primary	Destruction rate of escorted high-value assets
Shortfall rate of mission time
Secondary	Pilot loss rate
Damage cost of friendly forces (including manned and unmanned aircraft)
Mission execution cost (including personnel, fuel, ammunition etc.)
Kill rate of enemy aircraft
Mission performance time
AI	Primary	Target destruction rate
Secondary	Pilot loss rate
Damage cost of friendly forces (including manned and unmanned aircraft)
Mission execution cost (including personnel, fuel, ammunition etc.)
Mission performance time
XINT	Primary	Target destruction rate
Secondary	Pilot loss rate
Damage cost of friendly forces (including manned and unmanned aircraft)
Target acquisition time
Mission execution cost (including personnel, fuel, ammunition etc.)
Mission performance time

<Table 3>.

The Results of 1st Round Delphi Survey

Mission	Measures
SEAD	Primary	Success rate of air defense system neutralization
Secondary	Pilot survival rate
Compliance rate of mission time
Preservation rate of friendly forces (including manned and unmanned aircraft)
ESCORT	Primary	Hit rate of escorted friendly aircraft
Secondary	Pilot survival rate
Compliance rate of mission time
Kill rate of enemy aircraft
Preservation rate of friendly forces (including manned and unmanned aircraft)
DCA	Primary	Cover success rate of escorted high-value assets
Mission availability rate
Secondary	Pilot survival rate
Compliance rate of mission time
Kill rate of enemy aircraft
Preservation rate of friendly forces (including manned and unmanned aircraft)
AI	Primary	Target destruction rate
Secondary	Pilot survival rate
Compliance rate of mission time
Preservation rate of friendly forces (including manned and unmanned aircraft)
XINT	Primary	Target destruction rate
Secondary	Target acquisition time
Pilot survival rate
Compliance rate of mission time

<Table 4>.

The Results of 2nd Round Delphi Survey

M: Mean, SD: Standard Deviation, CVR: Content Validity Ratio, Cons: Consensus, Conv: Convergence, CV: Coefficient Variation

Mission	Measures	M	SD	CVR	Cons	Conv	CV
SEAD	Primary	Success rate of air defense system neutralization	5.00	0.00	1.00	1.00	0.00	0.00
Secondary	Pilot survival rate	4.67	0.59	0.89	0.85	0.38	0.13
Compliance rate of mission time	4.33	0.69	0.78	0.75	0.50	0.16
Preservation rate of friendly forces (including manned and unmanned aircraft)	4.83	0.38	1.00	1.00	0.00	0.08
ESCORT	Primary	Hit rate of escorted friendly aircraft	5.00	0.00	1.00	1.00	0.00	0.00
Secondary	Pilot survival rate	4.61	0.70	0.78	0.85	0.38	0.15
Compliance rate of mission time	4.39	0.85	0.78	0.80	0.50	0.19
Kill rate of enemy aircraft	4.28	0.83	0.56	0.78	0.50	0.19
Preservation rate of friendly forces (including manned and unmanned aircraft)	4.61	0.78	0.89	0.85	0.38	0.17
DCA	Primary	Cover success rate of escorted high-value assets	5.00	0.00	1.00	1.00	0.00	0.00
Mission availability rate	4.61	0.61	0.89	0.80	0.50	0.13
Secondary	Pilot survival rate	4.78	0.43	1.00	1.00	0.00	0.09
Compliance rate of mission time	4.33	0.91	0.67	0.80	0.50	0.21
Kill rate of enemy aircraft	4.17	1.20	0.56	0.80	0.50	0.29
Preservation rate of friendly forces (including manned and unmanned aircraft)	4.44	0.98	0.89	0.80	0.50	0.22
AI	Primary	Target destruction rate	4.94	0.24	1.00	1.00	0.00	0.05
Secondary	Pilot survival rate	4.67	0.59	0.89	0.85	0.38	0.13
Compliance rate of mission time	4.56	0.62	0.89	0.80	0.50	0.14
Preservation rate of friendly forces (including manned and unmanned aircraft)	4.83	0.38	1.00	1.00	0.00	0.08
XINT	Primary	Target destruction rate	5.00	0.00	1.00	1.00	0.00	0.00
Target acquisition time	4.83	0.38	1.00	1.00	0.00	0.08
Secondary	Pilot survival rate	4.61	0.61	0.89	0.80	0.50	0.13
Compliance rate of mission time	4.61	0.70	0.78	0.85	0.38	0.15

<Table 5>.

Results of Weight and Priority Calculation for the Evaluation Measures

Evaluation measures (secondary measures only)	Weight	Priority
SEAD	Preservation rate of friendly forces	0.404	1
Pilot survival rate	0.367	2
Compliance rate of mission time	0.229	3
ESCORT	Preservation rate of friendly forces	0.404	1
Pilot survival rate	0.308	2
Compliance rate of mission time	0.145	3
Kill rate of enemy aircraft	0.142	4
DCA	Preservation rate of friendly forces	0.390	1
Pilot survival rate	0.245	2
Compliance rate of mission time	0.213	3
Kill rate of enemy aircraft	0.152	4
AI	Pilot survival rate	0.549	1
Preservation rate of friendly forces	0.269	2
Compliance rate of mission time	0.183	3
XINT	Target acquisition time	0.512	1
Pilot survival rate	0.351	2
Compliance rate of mission time	0.137	3

Reference

Buis, D., Key Technologies for UAV Interoperability, Proceedings of the 41^st Annual NDIA Symposium, 2003, U.S., pp. 1-16.
Clark, B., Patt, D. and Walton, T.A., Implementing Decision-Centric Warfare: Elevating Command and Control to Gain an Optionality Advantage, Hudson Institute, 2021.
Gwon, S.H. and Hong, S.K., A Study on the Analysis of Validity and Reliability of the Delphi Forecasting in Korea, Journal of Technology Innovation, 2009, Vol. 17, No. 1, pp. 97-118.
Hasson, F., Keeney, S. and McKenna, H., Research Guidelines for the Delphi Survey Technique, Journal of Advanced Nursing, 2000, Vol. 32, No. 4, pp. 1008-1015.
Hsu, C.C. and Sandford, B.A., The Delphi Technique: Making Sense of Consensus, Practical Assessment, Research, and Evaluation, 2007, Vol. 12, No. 1, pp. 1-8.
Jung, B.H., Lim, N.K., and Lee, J.H., Derivation of the Utility Evaluation Indicators of the Air Force LVC Synthetic Battlefield Training System, Journal of the Korean Society of Supply Chain Management, 2022, Vol. 22, No. 2, pp. 23-36.
Jung, B.H., Oh, J.H., Seol, H.J. and Hwang, S.I., A Study on the Classification of Autonomous Functions of Unmanned Aircraft Using Delphi Method, Journal of the Korean Society of Supply Chain Management, 2021, Vol. 21, No. 1, pp. 55-67.
Jung, B.H., Oh, J.H., Seol, H.J. and Hwang, S.I., Deriving Priorities between Autonomous Functions of Unmanned Aircraft using AHP Analysis: Focused on MUM-T for Air to Air Combat, Journal of Korean Society of Industrial and Systems Engineering, 2022, Vol. 45, No. 1, pp. 10-19.
Kang, H.T., Direction of Operation of ROKA RPA for Future Warfare, The Quarterly Journal of Defense Policy Studies, 2019, Vol. 35, No. 1, pp. 7-33.
Kim, I.S. and Um, J.S., A Study on the ‘Concept of Operations’ of ROK Air Force’s UCAVs : Focused on the Mission Analysis of UCAVs, Journal of National Defense Studies, 2021, Vol. 64, No. 4, pp. 153-179.
Kim, K.N., The Changes in the Future War Patterns and ROK’s Response, Korea and Global Affairs, 2017, Vol. 1, No. 1, pp. 115-152.
Kim, M.S., Roh, Y.C. and Oh, J.Y., Technology Analysis on Airborne Manned-Unmanned Teaming System, Proceedings of the 2021 Fall Conference on the Korean Society for Aeronautical and Space Sciences, 2021, Jeju, Korea, pp. 978-979.
Lawshe, C.H., A Quantitative Approach to Content Validity, Personnel Psychology, 1975, Vol. 28, No. 4, pp. 563-575.
Lee, J.H., Jung, B.H. and Lim, N.K., Evaluation of the Effectiveness of the Air Force LVC Training System Using AHP, Journal of Korean Society of Industrial and Systems Engineering, 2023, Vol. 46, No. 4, pp. 209-217.
Saaty, T.L., Axiomatic Foundation of the Analytic Hierarchy Process, Management Science, 1986, Vol. 32, No. 7, pp. 841-855.
Saaty, T.L., Priority Setting in Complex Problems, IEEE Transactions on Engineering Management, 1983, Vol. EM-30, No. 3, pp. 140-155.
Schmalz, U., Spinler, S. and Ringbeck, J., Lessons Learned from a Two-Round Delphi-based Scenario Study, MethodsX, 2021, Vol. 8, 101179, pp. 1-17.
Won, I.J. and Song, S.J., The U.S. Future Warfighting Concept and its Implication for ROK Armed Forces (Focusing on Joint All Domain Command and Control), Korean Journal of Military Art and Science, 2022, Vol. 78, No. 1, pp. 81-112.