1. 서 론

국내 여름철 물놀이 사망사고는 최근 10년(2009∼2018) 간 꾸준히 발생하고 있으며. 사고원인은 안전 부주의, 음 주 수영 등으로 사망사고 절반을 넘고 있다. 특히 국내 해 수욕장 개장 기간인 6월부터 8월까지 안전관리가 집중되 고, 폐장기간 동안에는 최소한의 안전관리만 이루어지므 로 해수욕장 이용 형태의 변화에 따른 안전관리 제도의 개선 필요성도 제기되고 있다. 수상환경에서는 안전요원 배치 여부와 관계없이 안전사고 발생 시 구조체계에 대한 다각화가 이루어져야 하며 이에 대한 정보체계가 즉각적 으로 탐지 및 통보로 이루어져 응급상황 발생 시 골든타임 내 신속한 구조가 이루어질 수 있는 고도화된 시스템 구축 이 요구되고 있다.

정부는 매년 국민 안전관리에 총력을 기울이고 있으며, 수상안전관리에 CCTV 및 드론 등 감시장비 활용을 확대 하고, 인명구조와 위험구역 안내 체계를 개선 중이다. 이 러한 정부 정책 방향 중에서 수난(익수) 사고는 탐지와 연 계된 물리적인 구조활동이 즉각적으로 연계되어야만 익사 사고 등 사망사고를 예방할 수 있는 종합 안전관리 체계로 서 광범위한 지역의 영상감시 기술 방안과 연계된 수난사 고 탐지 AI 기술, 신속 정확한 정보 전달과 구난 장비 전달 기술 체계가 종합적으로 요구되고 있다.

본 논문에서는 무인화 모빌리티 기술 기반의 수상환경 에서의 구조․구난 시스템을 위한 익수자 탐지 기법과 익 수자의 위치정보를 신속히 전달할 수 있는 익수자 위치추 정 기법을 제안한다. 세부 연구내용은 다음과 같다.

본 연구주제와 관련된 영상분석 선행연구로 다중시점 (multi-view) 정보를 결합한 강화학습 모델 기반 시계열 (LSTM) 예측 구조에 적용하여 성능을 향상시키는 연구 [4] 및 기존 사람 검출 자세인식 모델의 개선하여 비정형 자세 탐지율을 높일 수 있는 데이터셋 구성과 비정형 자 세인식을 위한 HSENet이라는 베이스라인 모델을 제안하 여 기존의 모델들과 벤치마킹을 통해 그 우수성을 증명 한 연구가 진행되었다[1]. 또한 Tu et al.[6]의 연구에서는 시야 확보가 어려운 야간에서 UAV 및 열화상 카메라를 활용, 탐지하기 어려운 작은 객체에 대한 인식 성능을 향 상시켰다. 무인이동체 위치기반 목표 표적의 위치추정 및 자율비행 연구로서는, 고정익 무인항공기에서 취득한 영상과 카메라 정보를 활용한 자동착륙 기술 연구[2]와 물류 배송용 드론에서 착륙지점의 정확한 위치추정과 이 를 기반으로 자동착륙이 가능한 알고리즘을 개발한 연구 가 진행되었다[3]. 또한 항법 센서를 장착한 두 대의 UAV를 활용하여 지상의 이동 표적을 정확하게 지리적 위치로 추정하는 비전 기반 프레임워크를 개발하였다[5].

본 논문의 구성은 다음과 같다. 제2장에서 익수자 탐지 시각지능 모델 기법과 위치정보 추정 기법에 대해 기술하 고 제3장에서는 객체탐지, 골격-기반 상태추정 및 LSTM 기반 익수자 판별 그리고 드론 영상을 활용한 익수자 위치 추정 알고리즘에 대한 실험평가를 기술하고 제4장에서 결 론을 맺는다.

2. 익수자 탐지모델 및 위치추정 기법

2.1 드론 주/야간 영상에서의 익수자 탐지모델

주/야간 상시 수색이 가능한 고성능 무인이동체(드론) 및 드론에 장착된 RGB 및 열화상 영상수집 장치를 활용 하여 익수자 탐지 시각지능 모델을 개발한다. 탐지모델은 감시영역 내에서 익수자로 판단될 수 있는 특정 객체의 이미지에서 식별 가능한 익수자 패턴 및 특징을 인식 및 추적하고, 카메라 모듈을 통해 촬영된 영상에 포함된 이미 지 프레임을 기반으로 추적 대상 객체가 익수자 판단 기준 에 부합되는지를 평가한다. 익수자를 정확히 탐지하기 위 해서는 단순한 사람 객체 인식이 아닌 익수자의 특징 및 패턴을 분석하여 적용될 수 있으며, 주요 특징/패턴은 10 가지이며 다음과 같다.

10가지의 익수자 특징/패턴 중 드론에서 촬영된 영상에 서 판독할 수 있는 항목은 ‘다리를 사용하지 않고 수직으로 떠 있음,’ ‘특정 방향으로 이동하려 하지만 진전이 없음.’ ‘보이지 않는 사다리를 팔로 오르려고 함.’의 3가지이므로 익수자 탐지 시각직능 모델의 추적 대상 객체 특징으로 한정한다. 익수자 탐지를 위한 flow chart는 <Figure 3>같다.

제안한 영상인식 기반의 익수자 탐지 방법은, 무인 비행 체가 익수자의 존재 여부를 감시하기 위한 감시 구역을 비행하며 촬영하고 이 영상에서 인식된 객체가 의심 익수 자일 경우, 드론은 고도 하강을 통해 근접 찰영을 하게 되 고 2단계 영상분석을 통해 익수자 인지를 판별하게 된다. 익수자일 경우, 현재 익수자의 추정된 위치정보를 산출하 여 긴급 출동 요청을 할 수 있다.

익수자 탐지모델의 첫 번째 단계는 드론 감시영역에서 의 익수자로 의심되는 객체탐지이다. 또한, 주간 및 야간 에서의 탐지가 가능해야 하므로 입력 영상자료는 RGB 및 열화상 카메라에서 촬영된 영상이다. 수상환경에서의 객 체인식의 특성상 주/야간 익수자 탐지가 필요하고, 비록 주간이라 하더라도 물반사 및 카메라 역광 등의 이유로 열화상 카메라는 필수적으로 적용되어야 한다. 다음의 예 제 이미지와 같이 실제로 RGB 카메라 대비 열화상 카메 라에서 더 좋은 탐지 결과를 얻을 수 있다.

<Figure 5>는 YOLOv8 기반의 주/야간 영상에서의 객체 탐지 결과(바운딩 박스)예시이다.

두 번째 단계는 익수자로 의심되는 객체로부터 관절 키- 포인트를 정확히 감지하여 이를 연결해 전체 형태를 구성 한 후, 익수자 특징 및 패턴 인식에 활용한다. 익수자 객체 로부터 관절의 키-포인트 추정은 Skeleton-based Human Pose Estimation 기법을 활용하며, 영상 내 사람의 위치를 찾은 이후 각 관절에 대한 위치를 탐색하는 ‘HSENet1)’ [1] 모델을 적용한다.

드론을 활용한 수상환경 내 익수자 특징 추출의 단계를 요약하면 다음과 같다.

마지막 단계에서는 최종적으로 익수자 판별을 수행하며, Skeleton-based Pose Estimation & Action Recognition을 위해, 익수자의 시간에 따른 움직임 변화를 학습하고, 이를 통해 자세나 행동 상태를 정밀하게 이해한다. LSTM[4]은 각 프레 임에서 추정된 관절 키-포인트 시퀀스를 입력으로 받아, 시간적 패턴을 학습한 후, 행동라벨 및 상태정보를 출력한다.

2.2 드론 영상 기반의 익수자 위치추정 기법

2.1절에서 익수자 객체인식 및 특징/패턴 분석을 통해 익수자로 추정이 되면, 수상환경에서의 익수자의 정확한 위치좌표 획득이 필요하다. 이는 골든 타임 내, 긴급구조 시스템 구동에 필수적이다.

익수자의 위치추정을 위해서는 드론에 장착된 카메라 모듈의 시야각과 짐벌의 각도를 기반으로 드론으로부터 영 상 내 익수자에 해당하는 객체의 상대적 거리를 산출할 수 있다. 이는 카메라 모듈의 수평 시야각(HFoV: Horizontal Field of View) 및 수직 시야각(VFoV: Vertical Field of View) 을 기반으로 영상의 이미지 상에 중심점를 설정하고 이미지 상에서 드론이 평면에 투영된 위치를 설정한다.

이미지 상에서 중심점로부터 객체의 X축 거리를 산출 하고 이미지 상에서 중심점로부터 객체의 Y축 거리를 산 출한다. 이미지 상에 드론과 중심점의 거리를 기반으로 상 대적 거리를 산출할 수 있다. 다음 수식을 통해 중심점에 서 객체의 X축 및 Y축 거리인 u, v를 계산할 수 있다.

(k: 짐벌 각도의 여각, x1: 특정 객체의 x축 위치, y1: 특정 객체의 y축 위치, h: 드론의 고도)

여기서, k는 짐벌 각도(j)의 여각으로 k = 90° - j이다.

이미지 상에 드론과 이미지 중심점(O, 카메라 포인터) 의 거리 d1을 계산한 뒤, d1을 기반으로 객체의 상대적 거리 d2를 다음식으로 계산할 수 있다.

드론으로부터 익수자의 거리 추정 후에는 구면 삼각법 (Radian, 0∼2π 단위)을 이용하여 드론의 GPS와 익수자 (O1)의 거리 정보를 기반으로 익수자에 대한 GPS 정보를 산출할 수 있다.

다음의 계산식들에 의해서, 드론의 GPS 신호(degree, 0 ∼360) 위도(ϕA)와 경도(λA)를 radian 단위로 환산한다.

드론의 컴파스 정보(진북극)를 기반으로 익수자와 위도 사이의 진북 방위각(Compass True Heading, θA) 계산하고, 이를 radian 각도 추출에 활용한다. 이때, θGy는 짐벌의 yaw 각도이다.

다음으로, 아래의 계산식를 기반으로 익수자(O1)의 GPS 정보를 산출할 수 있다.

<Table 1>에 드론 위치와 익수자 간 거리를 활용한 익 수자 GPS 추정 산출식에 활용된 기호에 대한 설명이다.

3. 실험 및 평가

3.1 RGB 및 열화상 카메라 영상에서의 익수자 탐지 모델의 검증

주/야간 익수자 탐지를 위한 객체탐지, Skeleton-based Human Pose Estimation 및 LSTM 기반의 익수자 행동 인 식에 대한 성능평가를 위해서 다음의 데이터셋을 수집하 였다. 대부분 익수자의 주간 영상만을 제공하며, 열화상 영상은 <Table 2>의 10번 출처에서 제공한다. <Figure 11> 는 익수자 열화상 이미지 원본 및 YOLOv8 학습을 위한 익수자 바운딩 박스 치리된 데이터 예시이다.

<Table 2>의 데이터 중 70%를 학습 데이터로 사용하 여 객체탐지 모델을 생성하고 30%를 시험데이터셋으로 하여 객체탐지 정확도를 계산한다. 객체탐지 모델은 RGB 주간 영상 및 열화상 야간 영상의 두 가지 모델을 각각 생성하여 실험하였다. 실험환경 및 정확도 기준 지 표는 다음과 같다. 그러나 RGB 영상 대비 야간 탐지모델 을 위한 열화상이미지 데이터가 현저히 적으므로, 본 실 험을 위해서, 생성형 AI의 데이터 증강기법을 통해 293건 의 데이터를 증강 시켰다. 적용된 증강기법 알고리즘은 Fast AutoAugmentation 알고리즘이며, 회전, 색상 변형, 자 르기, 대비 조절 등의 다양한 증강 기법을 최적의 조합으 로 선택하여 적용하였다. 알고리즘의 적용 절차 및 예는 다음 그림과 같다.

객체탐지 실험은 YOLOv8 모델 학습 결과로 생성된 모델 의 정밀도를 계산하였고, 아래 그림과 같이 스트립트를 실 행하여 출력된 AP(Avg. Precision)로 결과를 확인하였다.

최종 RGB 및 열화상 이미지에 대한 AP(Avg. Precision) 평가 결과는 <Table 3>와 같다.

본 논문의 목적은 탐지된 후보 익수자 이미지로부터 골 격 키-포인트를 추출하여 현재 상태를 인식하고 LSTM 모 델을 통해 익수자 특성 및 패턴을 분석하여 익수자 여부를 판단한다. LSTM 모델의 학습 및 시험데이터는 YOLOv8 객체탐지 모델의결과 중 True positive와 True negative로 분류된 정탐 데이터셋만을 활용한다. 그러므로 RGB 및 열 화상 익수자 키-포인트 셋을 입력하여 LSTM 학습 후, 익 수자 상태이해 정확도를 계산하였다.

3.2 영상기반 익수자 GPS 위치추정 검증

드론 영상기반의 익수자 위치추정의 실험은 실제 수상 환경에서의 테스트베드 구축이 불가능하므로 지상에 설치 된 마커를 통해 진행하였다. 드론은 45∼50m 상공에서 지 상 마커를 YOLOv8 모델로 인식하고, 마커(익수자를 가 정)의 20m 고도로 하강 후. 2.2절에서 제안한 거리 추정 및 위치추정 알고리즘에 의해 추정하게 된다. 본 실험에 사용된 드론 기체 및 마커 영상은 다음과 같다.

실험 방법은 사전에 정의된 위치에서 드론이 출발하여 경로에 따라 행 후, 마커가 인식되면 마커 위치 20m 고도 에서 GPS 위치추정 정확도를 평가한다. 실험은 5회 반복 수행하였다.

4. 결 론

수상환경에서의 골든타임 내 익수자 구조활동을 위해 서, 무인화 모빌리티 기술인 드론과 영상장치 기반의 익수 자 탐지 및 정확한 위치추정 기법을 제안하였다. 본 연구 에서는 주/야간 감시 드론의 정찰영역 내에서 익수자로 의 심되는 객체탐지를 위해서 RGB 및 열화상 카레라 영상에 서의 객체탐지를 수행하였고, 익수자의 행동패턴을 분석 하기 위해 사람의 골격정보인 키-포인트를 추출하여, 시간 에 따라 변화하는 익수자의 3가지 주요 상태정보를 추정, 익수자로 판단하는 시각지능 기법을 개발하였다. 또한 드 론을 활용한 익수자를 탐지한 후, 구조 시스템에 즉각적인 익수자의 위치를 제공하기 위해서, 드론의 위치정보 기반 의 익수자 상대거리 추정 및 GPS 위치추정 기법을 제안하 였다. 실험결과 익수자 판단 정확도는 F1-Score 지표 기준 으로 RGB 영상에 대해 90.4%, 열화상 영상에서 69.8%이 며 평균 80.1%이다. 실험 결과, 사람 상태이해 기술에 대 한 논문[1]의 ‘HSENet 모델’의 정밀도 결과인 60.1% 보다 높은 정확도를 보여준다. 위치추정 결과는 5회 반복 시, 평균 0.29m의 오차를 보였으며, 기존 연구[3]의 평가방법2) 에서의 차이점이 있으나 혠 위치 추정치의 신뢰성 입증이 가능할 수준의 오차임을 증명한다.

본 연구에서의 한계점은 수상환경에서의 충분한 주/야 간 영상 확보가 어려워 외부 공개 데이터를 활용한 점과, 실제 익수자의 행동패턴 추정모델을 생성할 수 있는 테스 트베드 구축이 불가능하여 지상에서의 인식마커를 대신 사용한 점이다. 그럼에도 본 연구결과를 토대로 시각지능 및 위치추정 모델의 고도화를 통해, 익수자뿐만 아니라 선 박사고 시, 긴급조난자 구조 및 해루질 사고, 자살자 탐지 등 다양한 수상환경에서의 재난안전 시스템의 핵심 무인 화 모빌리티 기술로 활용 가능하다.