1. 서 론

영상은 다양한 정보를 시각적으로 전달하는 효과적인 데이터이다. 영상을 이용한 활용 분야에서 기본이 되는 중요한 기술 중 하나는 영상 모자이크이다. 영상 모자이크란 넓은 지역을 촬영한 경우, 하나의 영상으로 만들 위해 주변의 인접하는 영상들을 조합하는 것을 의미한다. 영상 모자이크는 모자이크 영상에서 접합선을 추출하는 방법이 핵심이다. 촬영환경이 다른 경우, 획득된 영상은 같은 지역이라도 서로 다른 영상정보를 갖게 되므로, 영상 간에 발생한 색상 차이를 효과적으로 줄여 색상 왜곡이 최소화 된 모자이크 영상을 생성하는 기법 또한 영상 모자이크에서 고려되어야 하는 중요한 요소이다. 이러한 접합선 추출에 관한 다양한 연구들이 진행되고 있으며, 위성이나 UAV(Unmanned Aerial Vehicle) 등 다양한 영상의 특징을 고려한 접합선 추출연구들도 진행되고 있다.

Chen et al.[4]은 정사영상에 DTM(Digital Terrain Model)과 DSM(Digital Surface Model)의 높이값을 부여하여 높이값을 기준으로 영상에서의 지면을 추출하고 세선화 하였다. 다익스트라(Dijkstra) 알고리즘을 적용하여 선분 노 드의 연결로 최적의 least-cost path를 접합선으로 결정하였다. Wang et al.[13]은 정사영상에 마커기반 워터셰드 (marker-based watershed) 분할을 적용하여 최소한의 객체를 지나가는 방법을 적용한 객체 단위(object-level)와 다익스트라 알고리즘을 적용해 픽셀 단위(pixel-level) 로 접합선을 추출하였다. Choi et al.[5]은 영상의 중복지역을 추출하여 계절에 따른 변화도 고려한 적합한 모자이크 절차를 제시하고, 기존의 방법들과 비교 분석하였다. Li et al.[9]은 영상에서 변화량이 크고 반복되는 패턴의 영역을 제외하기 위해서 화소값의 에너지가 최소인 지역을 계산하고, graph cuts optimization 알고리즘을 적용하여 접합선을 추출하였다. Kim et al.[8]은 영상과 수치지도에서 윤곽선을 추출하고, 윤곽선의 특징을 분석하여 등급을 결정하고 연결하여 접합선을 결정하였으며, Yuan et al.[14]은 D-LinkNet 신경망을 영상에 적용하여 도출한 도로 확률지도를 기반으로 영상의 접합선을 결정하는 연구를 진행하였다.

Zhang et al.[15]은 UAV 영상의 접합을 위해 영상 픽셀의 광학 정보를 사용하여 전위 및 고스팅 문제를 해결하기 위해 동적 프로그래밍을 적용하여 최적의 접합선을 도출 하였다. Chai et al.[3]은 위성영상의 해상도를 낮춰 적은 용량의 데이터로 영상의 접합선을 효율적으로 결정하는 연구를 진행하였다. 영상 모자이크는 동영상, 열 영상, 위성 영상 등 다양한 분야에서 활용되고 있다[5, 10].

본 논문에서 제안한 방법은 영상접합을 위해 접합할 영상의 특징점을 추출하여 두 영상 간의 접합 형태를 규명한다. 영상의 효율적인 처리를 위해 영상 피라미드를 생성하여 적용하는 것이 제안한 방법의 특징이다. 또한 낮은 해상도의 중복영역에서 건물, 도로 등을 포함하는 영상의 외곽선을 추출하고, 외곽선의 구성성분을 고려하여 접합선을 결정한다. 이를 기반으로 높은 해상도의 영상에서의 접합선을 재탐색하여 최종적으로 영상 접합선을 결정하였다. 결정된 접합선으로 영상의 색상 왜곡을 최소화하기 위해 접합선 영역의 미세 보정으로 모자이크 영상의 품질을 개선하는 방법을 적용하였다.

2. 연구방법

본 논문에서 제안한 방법의 개요는 <Figure 1>과 같다. 영상에서 특징점을 검출, 매칭하여 중복영역을 탐색하는 전처리 과정과 중복영역의 외곽선을 추출하여 외곽선 성분 분석으로 접합선의 후보가 될 가능성이 높은 외곽선을 선별하여 최단 경로 탐색 방법(shortest path algorithm)으로 접합선을 결정하는 단계가 있다. 생성된 모자이크 영상 단계에 따라 결정된 접합선은 재탐색하여 최종 접합선을 결정한다. 또한, 모자이크 영상 간의 색상 왜곡을 줄이기 위해 페더링(feathering)을 수행하여 최종적인 영상 모자이크를 수행하였다.

2.1 중복영역 탐색 및 접합선 기준 선정

영상 모자이크를 수행하기 위해서 선행되어야 하는 전 처리는 두 영상의 접합 형태를 파악하여 중복영역을 결정하고, 접합선 탐지를 위한 기준을 선정하는 것이다. 중복 영역의 탐색은 외부표정 정보가 제공되는 영상의 경우 다른 과정 없이 두 영상 간의 중복영역 탐색이 수행될 수 있으나, 영상의 외부표정이나 다른 정보를 알 수 없는 경우에는 두 영상 간의 관계를 규명하는 과정이 필요하다. 두 영상의 접합 형태를 파악하기 위해 각 영상의 특징점을 추출하여 동일한 특징점을 매칭하는 방법으로 중복영역 탐색을 수행하였다.

영상 특징점 추출에 SURF(Speeded-Up Robust Features) 를 적용하였으며, 특징점 매칭의 정확도를 높이기 위해 RANSAC(Random Sample Consensus)를 적용하였다. SURF는 Bay et al.[2]가 제안한 알고리즘으로 스케일과 회 전변환 등에 불변하는 특성을 기반으로 특징점을 검출하며, 계산 시간을 줄이기 위해 적분 영상을 사용한다. SURF 에서는 Hessian matrix<Equation 1>으로 주변의 변화량을 계산하여 변화량이 최대인 위치를 특징점으로 검출한다.

Where, p is point p=(x,y) in an image. σ is scale. <Equation 1> Hessian Matrix

영상 접합을 위한 특징점 매칭의 신뢰성을 높이기 위하여 RANSAC을 적용하였다. RANSAC은 Fischler and Bolles[6]에 의해 처음 제안되었으며, 특징점이 추정치에 아무런 영향을 미치지 않을 때 특징점을 포함하는 관측된 데이터 집합으로 수학적 모델의 매개 변수를 추정하여 데이터 집합을 결정하는 과정을 반복적으로 수행한다. RANSAC 수학적 모델 추정 방법으로 특징점의 매칭 오류를 줄이고 신뢰성을 높일 수 있다.

특징점을 검출하여 매칭을 수행한 결과를 <Figure 2>에서 보여주고 있다. <Figure 2(b)>는 검출된 특징점의 위치, 강도, 방향성을 초록색 점, 원, 선으로 표현하였다. <Figure 2(c)>는 특징점 매칭 오류이며, <Figure 2(d)>는 RANSAC 적용으로 매칭 오류가 줄어든 것을 확인할 수 있다.

영상이 접합된 형태에 따라서 접합선을 추출하기 위한 기준의 위치와 방향이 선정되어야 한다. <Figure 3>은 기준 선정의 예시를 보여주고 있다. <Figure 3(a) and 3(b)>는 부적합하게 선정된 기준에 의해 결정된 접합선 예시로 두 영상 간의 뚜렷한 경계를 정의하지 못하며, 접합 영역의 분할이 명확하지 않다. <Figure 3(c)>는 영상의 접합 형태에 따라 적합하게 선정된 기준에 따라 결정된 접합선의 예시를 보여주고 있다.

2.2 접합선 추출

본 논문에서 제시한 접합선 결정방법은 영상처리의 효율성을 향상하기 위해 피라미드 영상을 생성하여 적용하였다. 또한 접합선 추출을 위해 두 영상의 중복된 영역에서 외곽선을 추출하고, 외곽선 속성을 이용하여 접합선을 결정하였다.

2.2.1 Create Image Pyramid

영상처리의 효율성 및 성능 향상을 위해서 영상의 크기를 줄여 피라미드 영상을 생성하였다. 피라미드 영상은 효율적인 영상처리에 유용하며, 원본 영상과 압축된 복사본들로 구성되어 다중 스케일을 반영하는 유연하고 편리한 포맷을 제공한다[1]. 그러므로 데이터의 크기가 작은 영상으로부터 접합선을 결정하고, 그것을 기준으로 데이터 크 기가 큰 영상에서 더 디테일한 접합선을 결정하여 영상처리 과정의 효율성을 고려하였다.

2.2.2 Edge extraction

John[7]은 영상의 외곽선을 추출하는 Canny 필터를 최초로 제안하였다. Canny 필터는 영상의 잡음을 줄이기 위해 가우시안 필터를 적용하여 영상의 기울기 강도를 계산하고, 외곽선 추출의 오류를 줄이기 위하여 이중 임계값으로 약한 강도수치와 강한 강도수치에 상관된 영상의 외곽선을 추출한다. 즉, Canny 필터는 잡음에 강하고 외곽선 추출의 누락을 줄이는 특징을 갖는다. Canny 필터는 가우 시안 표준편차 sigma(σ)와 외곽선 강도수치로 반환하는 기준값을 임계값으로 설정하여 외곽선을 추출한다.

제안한 방법에서는 외곽선 추출 과정 이전에 이방성 확산(anisotropic diffusion) 필터를 적용하여 불필요한 외곽선 추출의 가능성을 줄였다. Perona and Malik[12]이 제안한 이방성 확산 필터는 영상 전반적인 정보를 활용하여 경계 영역의 외곽선을 효과적으로 추출할 수 있도록 하는 검출 기이다. 영상에서의 외곽선은 같은 영역으로 분류될 수 있을 것이라는 전제로 임의의 픽셀로부터 4방향(동, 서, 남, 북)의 외곽선의 기울기를 계산하고 정규화를 수행하여 외 곽선을 보존하면서 잡음을 제거한다. 즉, 영상의 중요한 정보를 제거하지 않고 잡음을 줄이는 기술이다.

2.2.3 Seamline Detection

추출된 외곽선의 속성을 이용하여 접합선 기준에 부합하는 외곽선을 선별하는 과정을 수행하였다. 외곽선 속성 (area, centroid, major axis length, orientation, and pixel list etc.)과 이전 단계에서 설정한 기준을 적용하여 외곽선의 반영도를 결정할 수 있다. 접합선 추출 기준 위치 및 방향 에 부합하는 외곽선에 더 높은 반영도를 부여하는 형식으로 접합선으로 사용될 가능성이 높은 외곽선들을 선별하였다.

선별된 외곽선들을 이용하여 하나의 접합선을 결정하기 위해 설정된 기준 위치에 접합선의 시작점, 끝점과 방향성을 부여하고, 시작점으로부터 끝점까지 최단거리를 선정하는 최단 경로 탐색 방법을 적용하였다.

<Figure 4>는 접합선 추출을 위한 과정을 보여주고 있다. <Figure 4(a)>는 영상 피라미드와 이방성 확산 필터가 적용된 결과를 보여준다. <Figure 4(b)>는 추출된 외곽선 결과이며, <Figure 4(c)>는 접합선 추출을 위한 기준 위치 범위와 방향성을 표현한 그림이다. 영상의 중복영역이 결정되면 접합 형태에 따른 기준 위치와 방향을 선정한다.

2.3 영상 Feathering

영상 접합영역 간에 발생한 왜곡을 효과적으로 줄여 모자이크 영상을 생성하는 기법은 모자이크 영상의 품질을 결정하는 중요한 요소이다. 실제적으로 모자이크 영상의 정량적 품질평가는 접합지점에 인접한 영상간의 색상왜곡 으로 계산되어진다[11]. 그러므로 높은 품질의 영상 접합을 수행하기 위해서는 영상 간의 색상왜곡을 줄이고, 접합선 지역에서의 미세 보정처리를 고려하여야 한다.

본 연구에서는 접합선 영역에서의 자연스러운 접합을 수행하기 위하여 접합선을 기준으로 주변의 값을 이용한 스무딩 필터를 적용하였다. 거리에 반비례하여 영상의 색상을 반영하는 필터를 적용하여 페더링을 수행하였다. <Figure 5>는 접합선을 따라 스무딩 필터가 일정한 범위로 적용되는 것을 보여준다.

3. 결과 및 분석

3.1 영상 모자이크 결과

실험영상으로 선정한 지역은 복잡한 건물들로 구성된 도심지역이다. 영상의 외곽선을 추출하여 접합선을 결정하는 제안 방법을 적용하기에는 건물, 도로 등 외곽선이 뚜렷하게 발생하는 지역이 적합하다고 판단하였다. <Figure 6(a)> and <Figure 6(b)>은 실험에 사용된 원본 영상을 보여준다. <Figure 6(c)>는 두 영상의 중복영역을 보여주고 있다.

중복지역에서 외곽선을 추출하고 외곽선의 구성성분을 분석하여 결정된 접합선이 적용된 최종 모자이크 영상 결과는 <Figure 7>에서 보여주고 있다. <Figure 7(a) and (b)>는 결정된 접합선에 의해서 선정된 왼쪽, 오른쪽의 영상을 나타내고 있다. <Figure 7(c)>는 모든 과정이 완료된 모자이크 영상 결과이다. 스무딩 필터를 적용한 접합선 처리도 인접한 영상과의 색상왜곡이 적게 발생하여 모자이크의 품질을 개선할 수 있었다.

3.2 접합선 추출 결과 분석

접합선 추출 알고리즘을 분석하기 위해 동일지역의 수치지도에 제안한 방법을 적용하였다. 수치지도는 점, 선으로 구성되어 원래부터 명확한 외곽선을 가지고 있다. 이러한 특징을 가진 수치지도에 제안한 방법을 적용한 결과와 영상으로 얻은 결과를 <Figure 8>에서 보여주고 있다.

수치지도에서 추출된 접합선<Figure 8(a)>과 영상에서의 접합선<Figure 8(b)> 결과가 유사하게 나타나는 것을 확인할 수 있었다. 이는 제안한 방법이 영상의 외곽선을 타당하게 조합하여 적합하게 도출한다는 것을 증명할 수 있다. 또한, 제안한 접합선 추출 방법도 타당하다는 것으로 분석될 수 있다.

접합선 추출 시, 영상 피라미드의 효과를 분석하기 위해서 소축척의 영상과 대축척의 영상을 사용하였다. 동일한 사양의 컴퓨터로 영상 피라미드를 두 번 적용한 영상으로 영상처리 할 경우, 원본 영상으로 처리하는 것보다 대략 1/2의 처리시간 개선을 보였다. 피라미드 영상을 적용하는 것은 처리시간 및 비용을 절감할 수 있다. <Table 1>에 대 축척 영상의 영상 피라미드 적용에 따른 처리시간을 보여 준다.

<Figure 9>은 영상 피라미드에 따라 결정된 접합선 결과를 보여주고 있다. <Figure 9(a)>, <Figure 9(b)>, <Figure 9(c)>는 소축척 영상에 적용한 결과이며, <Figure 9(d)>, <Figure 9(e)>, <Figure 9(f)>는 대축척 영상에 적용한 결과는 나타낸다. 영상의 축척에 상관없이 선정된 기준의 위치 및 방향에 따라 접합선이 적합하게 추출되는 것을 확인할 수 있었다. 또한, SURF를 이용한 중복영역 결정, 외곽선을 이용한 접합선 추출 및 필터를 적용한 페더링으로 구성된 알고리즘의 수행 결과는 항공영상의 축척과 무관하게 좋은 결과를 보였다.

4. 결 론

본 논문에서는 중복지역을 결정하여 영상 피라미드 기 반으로 추출한 외곽선으로부터 접합선을 결정하는 기술을 개발하였다. 본 연구에서 도출한 결론은 다음과 같다.

제안한 방법을 위성, UAV 등 다양한 영상에 적용하는 연구가 추가적으로 진행된다면 이를 통한 알고리즘의 확 장 및 개선을 기대할 수 있다.