1. 서 론

4차 산업혁명은 정보통신기술(ICT, Information Communication Technology)을 기반으로 초연결, 초지능, 초융 합을 통해 이뤄지는 차세대 산업혁명을 말한다. 핵심기술 로는 인터넷을 기반으로 모든 사물을 연결하여 정보를 상 호 소통케 하는 사물인터넷(IoT, Internet of Things), 빠른 속도로 초저지연과 초연결을 구현하는 5세대 이동통신 (5G), 인간의 능력을 컴퓨터 프로그램으로 실현하는 인공 지능(AI, Artificial Intelligence), 방대한 양의 데이터를 바 탕으로 가치를 추출하고 분석하는 빅데이터(Big Data) 등 이 있으며, 그중에서도 인공지능이 4차 산업혁명을 견인 하고, 전 분야에 활용 가능한 범용기술로 각광을 받고 있 다. 이미지 인식 분야에서의 인공지능[7]은 <Figure 1>과 같이 이미지 인식 경연대회(ILSVRC, ImageNet Large Scale Visual Recognition Challenge)에서 2015년 이후 인간 의 능력인 에러율 5.1%를 추월함으로써 성능을 입증하고 있다.

인공지능을 이용한 이미지 인식은 다양한 분야에서 응용 되고 있다. Barragan-Montero et al.[2]은 방사선학, 병리학 또는 종양학과 같이 이미지가 중심이 되는 의학 분야에서 인공지능의 응용 동향을 소개하였고, Jia et al.[8], Chen et al.[3]은 Lidar가 활용되는 지능형 로봇이나 자율주행 자동 차의 위치 파악과 지도 구축에 인공지능을 적용하였다. 또 한, Newman et al.[15]은 인공지능을 사용하여 미식축구의 전략 분석 시스템을 구축하여 가능성을 입증하였다. 군에 서도 전장에서 수집되는 데이터가 폭증함에 따라 인간의 처리능력이 한계에 도달하고 있고, 이를 위해 인공지능의 적용 필요성이 증대되고 있으나, 아직은 초기 단계라 할 수 있다. 인공지능의 군 적용과 관련한 연구는 활발하게 진행되고 있다. Kim[11]은 수동 음탐기의 저주파에 인공 지능을 활용하여 잠수함 식별능력 향상하는 방안을 제시 하였고, Moon[14]은 함정의 전투체계에 딥러닝 기반의 강 화학습으로 의사결정을 지원할 수 있도록 적용방안을 제 시하였다. 또한, Kim[12]는 인공지능을 활용한 국방 의사 결정 지원체계 구축방안을 연구하였지만, 이는 데이터에 인공지능을 직접 적용한 결과물이 아니라, 정책적 방안이 나 개념만을 제시하였다. Kwon[13]은 강화학습을 기반으 로 6개 전투상황에 대하여 함정의 전술적 결심 지원이 가 능한 전투체계를 구현하였고, Han et al.[5]은 해군분석모 델(NORAM, Naval Operational Resources Analysis Model) 의 데이터베이스를 기반으로 강화학습을 적용하여 함정의 지휘관이 대잠전, 대함전, 대공전 상황에서 탐색과 교전 전술을 선택할 수 있도록 하는 전술추천체계를 구현하였 다. 또한, Kim et al.[9]은 사진 데이터에 합성곱신경망 (CNN, Convolutional Neural Network)을 활용한 전차의 탐 지와 조준, Choi and Ma[4]는 군함과 비군함의 분류를 연 구하였고, Kim[10]은 딥러닝을 활용하여 군함의 탐지 및 분류모형을 연구하였다. 이러한 연구들은 일반적인 사람 의 육안으로도 일정 부분 식별이 가능한 정적인 이미지를 대상으로 연구가 진행된 것이며, 실시간 수집되는 동적인 영상 데이터에서는 활용도가 상대적으로 떨어지게 된다. 또한, 사람의 시각으로 판독이 제한되는 ISAR 영상에 관 한 인공지능 적용 연구가 이루어지지 않았다.

현재 해군에서는 <Table 1>의 해상초계기(P-3)를 운용 중이고, 임무 수행 간 해상표적을 식별하기 위해 ISAR (Inverse Synthetic Aperture Radar, 역합성개구레이더) 영 상을 활용하고 있으며, 승무원이 탑승하여 ISAR 영상에 대한 판독 임무를 수행하고 있다[16]. 또한, 정확한 표적 식별을 위해 해상초계 임무를 종료한 후 지상에서 전문 판독관이 장시간에 걸쳐 ISAR 영상을 재판독하고 있다. 본 연구에서는 여기에 인공지능을 적용하여 개선하고자 하며, 해상초계기가 다년간 수집한 ISAR 영상 데이터에 인공지능을 접목한 후 해상표적 식별능력을 분석하였다.

2. ISAR 영상 고찰

영상(Image)은 평면이나 공간에 배열된 현상이나 활동 등을 광학 또는 전자적 방법을 통해 2차원 평면 위에 시각 적으로 표현한 것을 말하며, 이러한 영상의 종류로 광학 영상과 레이더 영상이 있다. 광학 영상은 광파를 이용하여 표적을 영상으로 전시하는 것이며, 가시광선을 이용하는 전자광학(EO, Electro Optic)과 적외선(IR, Infra Red)이 있다. 레이더 영상은 전파를 방사한 후 표적에서 반사되는 신호 를 합성하여 영상으로 전시하는 것이며, SAR(Synthetic Aperture Radar, 합성개구레이더)와 ISAR가 있다. 영상의 종류와 특징은 <Table 2>와 같다.

레이더 영상의 원리는 <Figure 2>와 같이 SAR는 고정 된 표적에서 반향된 신호를 순차적으로 합성하여 종합된 정보를 영상으로 전시한 것이며, 전자광학과 적외선 영상 과 함께 주변에서 흔히 접할 수 있는 천연색과 흑백 이미 지이다. ISAR는 표적의 움직임에 따라 전파의 반사와 변 화가 잘 나타나는 위치로부터 발생하는 신호를 합성하여 영상을 전시하는데, 표적이 항공기 방향으로 기울 때 반사 파는 송신주파수보다 높아지고, 반대 방향으로 기울 때 반 사파는 송신주파수보다 낮아지는 도플러 효과를 이용한다 [17]. 특히, ISAR 영상은 <Table 2>에서처럼 표적의 형상 이 모호하고 흐릿하며, 표적의 움직임으로 인해 시간에 따 라 형상이 다양한 방향으로 불규칙하게 변화하며, 일반 사 람의 시각으로는 판독이 제한되어 전문가의 숙련된 기술 이 필요하다.

이러한 특징을 보유한 ISAR는 현재 해군의 해상초계기 P-3, 해상작전헬기 AW-159, 공군의 전투기 FA-50에 탑 재되어 운용 중이며, 현재 개발 중인 한국형 전투기 KF-21에도 탑재하여 운용할 예정이다.

3. 인공지능 적용

ISAR 영상에 인공지능을 적용하기 위해 <Figure 3>과 같은 총 4단계의 절차를 수행하였다. 제1단계에서는 ISAR 영상 데이터를 수집한 후 함정 형태별 분류(Classification), 명명(Labeling) 등 학습을 위한 데이터 전처리(Pre-processing) 를 수행하였고, 제2단계에서는 실험을 통해 예측 오류 율(Loss)과 예측 정확도(Accuracy)를 측정하여 데이터 입력 조건인 초당 프레임 수를 설정하였다. 제3단계에서는 연구 에 적합한 알고리즘을 선정하였고, 지도학습(Supervised Learning)의 방법으로 학습한 후 제4단계로 해상표적 식별 능력을 분석하였다.

3.1 데이터 수집 및 전처리

ISAR 영상 데이터는 우리나라 해군의 해상초계기 운영 부대에서 약 25년간 축적한 것을 수집하였고, 수집한 데이 터는 한국, 북한, 미국, 일본, 중국, 러시아 등 총 6개국, 81종의 함정 형태에 대한 동영상 데이터 757개이며, <Table 3>과 같다.

수집한 ISAR 영상 데이터를 인공지능 학습에 적용하기 위해 전처리를 수행하였다. 먼저 국가와 함정 형태별로 분류 하고, 동영상 데이터를 프레임별로 캡처(Capture)한 후 필요 한 부분의 위치정보(Location)를 생산하였다. <Figure 4>와 같이 필요한 부분을 정사각형 형태로 절단(Cropping)하였고, 벗어난 부분에 대해서는 흑색으로 처리하였다. 또한, 지도학 습을 위한 ISAR 영상 데이터에 표적 식별명을 부여하였다.

3.2 데이터 입력조건 설정

동영상 데이터의 입력조건인 적정 프레임 수를 설정하 기 위하여 독도급 대형수송함(LPH, Landing Platform Helicopter)과 세종대왕급 구축함(DDG, Guided Missile Destroyer) 등 수상함 2종의 동영상 데이터를 대상으로 공 개 소스(Open Source) 알고리즘인 AlexNet을 적용하여 실 험을 수행하였다. 초당 프레임 수를 10개부터 60개까지 10 개 단위로 변화시키면서 입력하였으며, 실험을 통해 측정 한 성능(예측 오류율, 예측 정확도)은 <Figure 5>와 같다.

예측 오류율은 초당 30프레임 이상 데이터 입력 시 학 습횟수(Epoch) 약 2.5회부터 0.01 이하, 예측 정확도는 학 습횟수 약 3회부터 98% 이상으로 측정되었다. 따라서 데 이터 입력조건인 적정 프레임 수는 초당 30프레임으로 설 정하였다.

3.3 알고리즘 선정

알고리즘은 시각적 이미지 분석에 주로 활용되는 합성 곱신경망 기반의 공개 소스 알고리즘을 사용하였다. 먼저 8개의 Layer로 구성된 AlexNet[1]을 활용하여 한국 수상함 2종의 ISAR 영상 데이터를 학습하였으며, 결과로 98∼ 99%의 정확도가 산출되었다. 이후 데이터를 증가시키면 서 학습한 결과 한국 수상함 13종 학습 시 정확도가 96% 수준으로 감소, 연산시간의 급격한 증가 등 AlexNet의 성 능이 저하됨을 발견하였다. 심층학습(Deep Learning)을 위 해 50개의 Layer로 구성된 ResNet-50[6]으로 알고리즘을 변경하였으며, 실험 결과 99%의 정확도와 상대적으로 짧 은 연산시간이 소요되어 본 연구의 알고리즘으로 선정하 였다.

4. 해상표적 식별능력 분석

해상초계기가 다년간 수집한 ISAR 영상 데이터에 인공 지능을 적용하기 위한 학습 조건을 설정한 후 알고리즘 성능을 측정하였고, 해상표적 식별능력을 도출하였다. 실 험에 활용한 알고리즘의 프로그래밍 언어는 Python을 사 용하였고, Intel Core X-series i9-9900X CPU(4.5GHz, 16GB RAM) 환경의 컴퓨터에서 수행하였다.

4.1 학습 조건 및 알고리즘 성능

학습 조건은 <Table 4>와 같이 데이터는 동영상 757개 에 입력조건 선정 실험 결과로 설정한 초당 30프레임을 적용하여 가공하였으며, 총 486,725개의 영상 프레임을 활 용하였다. 데이터의 적용 비율은 학습용 80%(389,380개), 검증용 20%(97,345개)로 하였으며, 지도학습 방법에 학습 률(Learning Rate)은 0.001, 학습횟수는 15회를 적용하였 다. 학습은 최초 한국의 13종 함정 데이터를 학습하고, 이 후 1개 국가씩 확장하면서 진행하였다.

ResNet-50 알고리즘과 학습 조건을 적용한 결과 총 학 습 시간은 12시간 31분 39초, 학습 1회당 50분 6초가 소요 되었다. 검증용 데이터로 측정한 성능은 <Table 5>와 같으 며, 예측 오류율은 1회 학습 시 0.00848, 최종 학습 종료 후에는 0.00005로 산출되었고, 예측 정확도는 1회 학습 시 91.6%, 최종 학습 종료 후에는 99.968%로 측정되었다.

4.2 해상표적 식별능력

인공지능 학습결과를 반영하여 해상표적 식별체계 (MITIS, Maritime ISAR Target Identification System)를 <Figure 6>과 같이 제작하였으며, 우선순위 3개까지의 표 적, 식별정확도, 식별된 함정 형태에 대한 기본 제원(국적, 크기, 톤수, 최대속력 등), 탐지 장비, 무장 등이 전시된다.

해상표적 식별체계에 ISAR 동영상을 적용하여 해상표 적 식별능력을 측정하였다. 함정 형태별 표적 식별정확도 는 90% 이상으로 도출되었으며, ISAR 동영상 데이터를 입력한 후 시간의 경과에 따라 해상표적 식별정확도가 점 차 증가함을 확인하였다. 또한, 해상표적 식별소요시간은 총 81종의 함정 형태 중 75종은 5초 이내였으며, 6종(한국 1종, 북한 4종, 미국 1종)은 <Table 6>과 같이 15∼163초가 소요되었다.

인공지능이 해상표적을 식별하는 과정을 확인하기 위 해 우리나라의 세종대왕급 구축함(DDG), 청해진급 잠수 함구조함(ASR, Submarine Rescue Ship), 그리고 북한의 SO-1급 소형경비함(PC, Coastal Patrol Boat) 등 3개 함정 형태에 대한 ISAR 동영상을 대상으로 실험하였으며, 결과 는 <Table 7>과 같다.

우리나라의 세종대왕급 구축함(DDG)의 ISAR 영상을 입력 후 실행하면, 3초 경과 후 식별정확도 50%로 표적을 최초 식별하여 가장 우수한 초기 식별능력을 확인하였다. 이후 인공지능은 해상표적 식별 활동을 계속 진행하였으 며, 15초 경과 후에는 식별정확도 99%로 표적을 최종 식 별하였다. 청해진급 잠수함구조함(ASR)의 ISAR 영상을 입력 후 실행하면, 초기에는 유사한 영상특성이 있는 북한 의 사리원급 중형경비함(PG) 또는 상해급 소형경비함(PC) 으로 혼동하여 인식하였으나, 26초 경과 후 식별정확도 17%로 표적을 최초 식별하여 가장 오랜 시간이 소요되었 다. 이후 시간이 지남에 따라 표적의 식별정확도가 점차 증가하였으며, 35초 경과 후에는 식별정확도 93%로 표적 을 최종 식별하였다. 마지막으로 북한의 SO-1급 소형경비 함(PC)의 ISAR 영상을 입력 후 실행하면, 10초 경과 후 식별정확도 14%로 표적을 최초 식별하여 가장 낮은 초기 식별정확도를 보였고, 이후 7초의 짧은 시간에 표적의 식 별정확도가 급격히 증가하였으며, 17초 경과 후에는 식별 정확도 95%로 표적을 최종 식별하였다.

5. 결 론

본 연구에서는 해상초계기가 다년간 수집한 ISAR 영상 데이터를 기반으로 인공지능 알고리즘을 적용하였으며, 해상표적의 식별능력을 분석하였다. 신속·정확한 해상표 적의 식별이 가능하였고, 이를 통해 군사 분야에 대한 인 공지능의 활용 가능성을 입증함과 동시에 ISAR를 탑재한 전력의 해상표적 판독 및 식별에 활용이 가능할 것이며, ‘디지털 강군과 스마트 국방’, ‘SMART Navy’ 구현에 기 여할 수 있을 것이다.

ISAR 영상에 인공지능을 적용한 해상표적 식별능력의 발전 방향으로 첫째, 데이터 수집과 인공지능 학습이 지속 해서 이루어져야 한다. 이를 위해서는 해상표적에 대한 방 위별, 고도별 ISAR 영상 데이터가 꾸준히 확보되어야 하 며, 인공지능이 새롭게 수집한 데이터를 반복 학습함으로 써 해상표적 식별능력의 향상이 가능해질 것이다. 둘째, 항공기에 탑재하는 레이더를 개발하거나 구매할 경우, 작 전운용성능(ROC, Required Operational Capability)에 해상 표적 식별에 대한 인공지능 체계 반영해야 한다. 라이선스 (License)나 호환성(Interface) 등 적용 가능성을 고려해야 하며, 해상표적 식별이 용이하도록 레이더 콘솔이나 다기 능 디스플레이(MFD, Multi Function Display) 등에 내장형 (Embedded) 체계로 구현해야 할 것이다.

미래 전쟁에서 현존 전력의 활용만으로는 승리를 보장 할 수 없다. 4차 산업혁명 시대의 ‘디지털 강군과 스마트 국방’, ‘SMART Navy’로 발돋움하기 위해서는 군사 분야 에 인공지능과 같은 신기술을 적극적으로 활용해야 할 것 이다. 군사 분야에 대한 인공지능 기술의 적용은 필요가 아니라 필수적이며, EO, IR, SAR, ISAR 등의 영상에 인공 지능을 활용함으로써 감시정찰과 작전능력의 혁신적인 향 상이 가능해질 것이다.