1. 서 론

벼나 사탕수수, 밀과 같은 농작물을 기르고 관리하는 데 있어서 농작물의 성장을 방해하고 지력을 떨어뜨리는 잡 초를 제거․관리하는 일(weed management)과 농작물의 현재 상태를 감시하고 추정하는 일을 효과적으로 수행하 는 것이 작물 생산량과 품질을 제고하는 데에 필수적이다. 여기서, 농작물의 상태는 잎의 면적, 농작물에 의한 차폐율 (canopy cover), 성장 상태, 질병 유무, 질소 등의 영양상태, 수분 함유량 등의 현황을 나타낸다. 잡초를 제거하기 위해 서는 제초제를 살포하게 되는데 잡초가 있는 곳이 아닌 엉뚱한 곳에 잘못 살포하면 잡초뿐만 아니라 농작물에도 치명적인 영향을 주게 되고 필요 이상의 용량을 살포하게 되어 환경문제를 유발하고 비용도 많이 들게 된다. 그러므 로 살포해야 할 위치를 정확하게 추정해야 한다. 특히 넓 은 면적에서 대량 농작을 하는 경우에는 농민이 수작업으 로 제초제를 살포하기에는 많은 어려움이 있으므로 살포 위치를 정확하게 추정하여 정밀한 살포가 가능하기 위해 서 로봇이나 자동화된 장치를 활용하여야 한다.

농작물 상태 감시 및 추정을 위해서는 농경지가 매우 넓은 호주, 미국, 중국 등과 같은 나라에서는 물론이고 우 리나라의 경우에도 농경인구 감소 추세에 따라 한국농어 촌공사에 임대하는 농경지 규모가 점차 커지게 되어 유사 한 형태의 자동화가 생산성 향상에 큰 도움이 된다. 이를 위해서는 농작물의 상태를 원격에서 추정할 수 있는 시스 템이 역시 필요하다. 이러한 시스템들은 상공이나 지상에 서 대상 농작지의 영상을 획득․분석할 수 있도록 카메라 와 영상처리 장치로 구성된 머신비젼(machine vision) 시스 템을 활용하는 것이 가장 일반적이다[11, 13]. 이러한 머신 비젼시스템에서는 농작물이 자라고 있는 경작지를 카메라 로 촬영하여 획득한 영상을 목적에 맞게 처리하여야 한다.

잡초관리나 농작물 상태 관리를 위해서는 영상에서 농 작물과 잡초를 포함한 식물과 기타 돌, 흙, 지푸라기 등으 로 이루어진 배경으로 분할(segmentation)한 후, 분할된 식물을 다시 농작물과 잡초로 분류하는 과정이 필요하다. 이러한 영상처리과정을 위하여 질감특성(textural feature) 을 사용하기도 하지만 농작물의 잎들의 겹침, 잎의 방향, 카메라 초점 위치, 바람의 영향 등으로 인하여 효율성이 떨어지는 경향이 있어 이들 만에 의한 농작물 분할과 분 류 처리에는 한계가 있다[4]. 그러므로 기존의 많은 연구 에서 농작물의 색상정보를 활용하여 처리 효율과 정확성 을 제고하고자 하였다.

카메라에 들어오는 농작물에 대한 영상자료로부터 잎 과 줄기로 이루어진 농작물과 배경을 서로 분할하기 위한 식물분할은 하나의 명암도 기준 하에서 배경과 분할 대상 물을 구분하는 이진화(binarization) 작업에 의하여 이루어 진다. 이러한 이진화 작업은 화소의 적색(red : R), 녹색 (green : G), 청색(blue : B)의 3가지 색상성분을 그대로 모 두 이용하여 할 수도 있으나, 녹색 부분이 대부분인 식물 특성을 최대한 반영하기 위하여 3색 성분을 통합한 하나 의 명암도로 변환시키는 함수인 색상지수(Color Index)를 주로 사용하여 왔다[2, 5, 8, 20]. 식물분할에 사용되고 있 는 색상지수는 여러 가지가 있는데 그 중에서 녹색우월지 수(Excess Green Index : ExG)와 녹적우월차지수(Excess Green minus Excess Red Index : ExGR)가 실제 응용 사례에 가장 많이 사용되고 있다. 식물분할을 위해서는 주어진 식 물 칼라영상을 이러한 색상지수를 이용하여 흑백의 명암 도 영상(gray image)으로 변한한 후 적당한 명암도 임계치 (threshod)를 기준으로 식물과 배경으로 구분하는 이진화 에 의한 분류 작업을 수행한다.

주어진 영상에서 배경으로부터 식물을 분할하는 성능 은 사용되는 색상지수와 이진화 방법에 따라 크게 좌우 된다. 색상지수의 성능평가에 대한 연구는 상당히 많이 이루어졌으나 식물분할을 위한 이진화 방법에 대한 연구 는 상대적으로 충분히 이루어지지 않은 실정이다. 일반 적인 흑백명암도 영상에 대하여 두 부분으로 분할하기 위한 가장 대표적인 이진화 방법은 Otsu[15]에 의해서 개발된 임계치 설정방법이다. 이 임계치는 두 개의 급간 분산과 급내 분산의 비율을 최대화하도록 설정되는데 실 제 식물분류 사례에서 Otsu 분할법에 의하여 설정된 임 계치를 적용하였을 때, 그 값이 너무 커서 대상 식물부분 의 일부만이 분할되는 경우(under-segmentation)가 종종 발생하고 있다. 이를 피하기 위하여 Guijarro et al.[7]은 흑백명암도 영상내 모든 화소의 평균 명암도를 사용하였 다. Burgos-Artizzu[3]는 조도(illumination)의 영향을 줄이 기 위하여 R, G, B 삼색의 함수로 지수를 정의하고 이의 평균치를 이진화를 위한 임계치로 사용하였다. 한편, 녹적 우월차지수인 ExGR은 녹색우월지수와 적색우월지수의 차로 표현되는 함수인데 차이가 없는 상태를 나타내는 임계치는 0이 된다. 즉, 임계치 0을 초과하면 녹색 성분 이 우월하게 나타나는 것을 뜻하기 때문에 이러한 화소 들을 식물로 구분하는 방법을 사용한다[14]. 잡영(noise) 이 많은 일반적인 영상의 경우에는 우선 잡영처리를 위 한 사전작업으로 메디안 필터링(Median Filtering)이나 가 우시안 필터링(Gaussian Filtering)을 수행한다[10].

이와 같이 흑백명암도 영상에서 식물분할을 위하여 사 용되는 임계치 방법은 논리의 단순명료함과 계산의 간편 함으로 인하여 현재까지 대부분의 식물분할에 사용되어 왔다[8, 14, 19, 21]. 그러나, 영상 화소의 특성을 그 명암 도 만으로 평가하는 임계치 기반의 방법은 분할에 제한적 일 수밖에 없다. 즉, 임계치보다 큰 값을 갖는 화소는 식 물화소로, 그렇지 않은 것은 배경으로 단순화하는 것은 식물에 속한 화소와 배경에 속한 화소들의 명암치가 유사 하거나 거꾸로 되어 있는 경우에는 많은 분할 오차를 초 래할 수밖에 없다. 실제로, 기존에 알려진 영상자료를 통 해서 분석해 보면 배경에 속한 화소의 명암치가 매우 높 게 나타나 결과적으로 식물화소로 분류되는 경우가 많고 그 반대의 경우도 적지 않은 것이 사실이다.

따라서 이러한 오차를 줄이기 위해서는 해당 화소의 명 암도만을 고려할 것이 아니라 주위의 명암도 분포를 함께 포 괄적으로 고려하여 분류하는 것이 효과적일 수 있다. 본 연구에서는 이를 위하여 기계학습(machine learning)의 한 가 지 기법인 다층퍼셉트론 신경망(Multi-layer Perceptron Neural Network : MLPNN)을 이용한 식물분할 방법을 제시하고 실제 식물영상자료를 이용한 기존 방법들과의 비교 실험결 과 자료를 통하여 제시된 방법의 타당성을 검증하였다.

2. 색상지수 기반의 식물분할

잡초나 농작물은 대부분 녹색이고 식물군에 속하기 때문 에 이를 보다 일반화하여 본 연구에서는 녹색식물 분할을 다루기로 한다. 주어진 식물이 포함된 영상에서 식물에 해당되는 부분을 효과적으로 분할해내기 위해서(R, G, B) 의 3차원으로 표현되는 각 화소의 색상을 녹색이 상대적 으로 선명하게 강조되는 1차원의 단일 색상체계로 변환 시키는 방법을 주로 사용하여 왔다. 1차원의 단일 색상체 계 하에서는 화소들을 그 명암도 특성에 따라 분류하기가 쉬워지는 장점이 있다. 즉, 하나 이상의 명암도 임계치들을 기준으로 각 화소들을 특정의 군(group) 또는 급(class)으 로 용이하게 분할할 수 있다. 이러한 단일색상체계는 일 반적으로 0~255 수준의 흑백명암도로 표현되는데, 특정 화소가 식물과 배경 부분으로 쉽게 구분될 수 있도록 녹 색부분이 특히 강화되도록 변환되어야 한다. 이를 위하여 그동안 여러 가지 색상지수가 식물분할과 관련된 다양한 분야, 예를 들어 잡초제거를 위한 농작물 분할 및 분류 [5, 10, 18], 농작물 식재열(crop row) 검출[21], 농작물 성 장상태 모니터링[22], 식생분포 추정[1], 농작물 질병상태 추정[12] 등의 분야에서 개발․사용되어 왔다[6, 8].

(r, g, b)를 (R, G, B) 값을 정규화(normalize)한 값으로서 g = G/(R+G+B), r = R/(R+G+B), b = B/(R+G+B)

로 정의할 때, 그 관계는 당연히

이 된다. 대표적인 색상지수 중의 하나인 ExGR은 특정 화소의 녹색계열 색상의 상대적인 우월성을 표현하고 있다. 녹색성분의 상대적인 우월성을 나타내는 녹색우월지수 (Excess Green Index : ExG)와 녹색과 적색의 상대적 우월 성을 나타내는 적색우월지수(Excess Red Index : ExR)가

으로 정의된다[7]. ExGR는 이러한 ExG와 ExR의 차이로 정의되는데 이는 식 (1)로부터

이 된다.

<Figure 1>에는 하나의 실제 영상에 대한 식물분할 과정이 주어져 있다. 식물분할 과정의 첫 단계는 ExGR과 같은 색상지 수를 이용하여 대상 식물이 포함된 칼라 영상 <Figure 1(A)>을 식 (4)를 이용하여 흑백명암도 영상(<Figure 1(B)>) 으로 변환 (1단계)하는것이다. 다음으로 이영상을특정의명암도임계치 를 기준으로 윗부분은 식물로 아랫부분은 배경으로 이진화 (binarization : 2단계)한다(<Figure 1(C)> 참조). 특별히, 이진 화의 효과를 제고하기 위하여 잡영 등을 제거하기 위한 가우 시안 필터나 메디안 필터를 이용하여 필터링(filtering) 작업 을이진화이전에미리수행하기도한다. 다음단계는이진화된 영상을 <Figure 1(A)>에 주어진 원래의 영상과의 정합과정을 통하여 칼라영상의 식물부분으로 역변환(3단계) 하는 것이 다(<Figure 1(D)>). 참고로 <Figure 1(E)>에는 분할된 영상의 성능을 비교 평가하기 위하여 수작업으로 구한 분할영상이 주어져 있다. 3단계 수행 결과로 나타난 영상이 수작업으로 구한 목표 영상과 유사할수록 분할 성능이 우수한 것으로 평가된다. 분할 영상의 질을 높이기 위하여 2단계 이후에 잡영처리나 모폴로지(morphology) 처리를 포함하는 후처리 작업들을 수행할 수 있으나 여기서는 생략하기로 한다.

2단계 수행을 위한 임계치는 영상분할의 성능을 좌우하 는 매우 중요한 수치이므로 매우 신중하게 선정하여야 한 다. 기존의 임계치 결정방법으로 가장 많이 사용되는 방법 은 Otsu 분할법인데 일반적인 1차원 영상의 분할에 다른 방법들 보다 효과적인 것으로 밝혀져 있다[17]. 그러나, ExGR 색상지수의 경우에는 Meyer and Neto[14]에 의하면 Otsu 분할법에 의하여 구한 임계치보다는 0의 임계치를 사용하는 것이 더 효과적이라고 실제 영상에 대한 실험을 통하여 밝힌 바 있다.

3. 화소단위 기반의 식물분할을 위한 다층퍼셉 트론 신경망

제 2장에서 기술한 임계치 기반의 식물분할의 성과는 선정된 임계치에 절대적인 영향을 받게 된다는 단점이 있다. 설사 임계치 선정이 최적으로 이루어진다 하더라 도 화소별 개별적인 색상이나 위치 특성의 고려 없이 하 나의 임계치를 기준으로 모든 화소에 획일적으로 적용하 여 식물과 배경 화소로 분류하기 때문에 분류 성과가 만 족스럽지 않은 경우가 많다.

그동안 특정 이미지내의 물체 확인을 위한 분류문제 에 합성곱신경망(Convolutional Neural Network : CNN) 이 대단히 많이 사용되어 왔다. CNN은 받아들인 이미지 전체에 대하여 반복적으로 합성곱(convolution)을 수행하 여 이미지 정보를 함축화한 다음, 완전 연결된 다층퍼셉 트론 분류기를 통하여 일반적으로 이미지 전체에 대한 최종 분류 작업을 수행한다. 그런데 본 연구 대상은 화소 하나 하나에 대한 분류이기 때문에 이러한 CNN 구조에 직접적으로 적용하기에는 무리가 있다. 따라서 본 연구 에서는 수많은 분류 문제에 응용되어온 기계학습 다층퍼 셉트론을 화소 분류문제에 적용하기로 한다.

다층퍼셉트론 신경망은 다층의 뉴론층으로 이루어져 있 는데 하나의 뉴론층은 다수의 뉴론이 일렬로 배치된 구조 를 하고 있다. 일반적으로 하나의 입력층, 이와 연결된 상 위의 다수의 은닉층, 그리고 최상부의 하나의 출력층의 형 태로 되어있다. 뉴론의 활성화 함수(activation function)로 은닉층은 ReLU(Rectified Linear Unit)를, 그리고 출력층은 이진 분할을 쉽게 하도록 하기 위하여 0과 1사이의 값을 출력하는 시그모이드(Sigmoid) 함수를 사용하였다. 학습 방법은 전통적인 오류 역전파(error backpropagation) 알고 리즘[9]을 사용하였다.

입력층으로 들어오는 개개의 입력자료는 학습을 위한 특징 요소 값으로서 분류의 대상이 되는 개체의 특징을 수치로 나타낸 것이다. 출력층의 자료값은 주어진 입력 값을 가지는 개체가 속한 그룹이나 급에 해당되는 뉴론 의 수치를 나타낸다. 식물분할에서는 특정 화소가 속할 그룹 수가 ‘식물그룹’과 ‘배경그룹’의 2그룹이므로 출력 층은 2개의 뉴론으로 이루어진다. 예로서 분류 대상 화 소가 식물그룹에 속해야 한다면 출력층 뉴론값은 (0, 1) 로 배경화소라면 (1, 0)으로 표현된다.

한편 개별 화소의 입력값은 그 특징을 효과적으로 나타 내야 하는데 주어진 자료는 ExGR영상의 0~255 범위에 있 는 흑백명암도로서 오직 하나의 값에 불과하다. 화소의 특 징으로만 본다면 (R, G, B)의 3가지 색상으로 이루어진 원 래 칼라영상 보다도 정보수준이 결코 높다고 할 수 없고 매우 한정적이기 때문에 우수한 분류성과를 기대하기 어 렵다. 따라서 해당 화소만의 명암도 정보뿐만 아니라 주위 에 있는 화소들의 명암도도 함께 고려하는 것이 분류성과 를 제고할 수 있다고 판단되었다. 이를 고려하여 본 연구 에서는 특정 화소를 중심으로 m×m의 크기를 가진 입력 필터를 설정하고 이 입력필터를 통과한 흑백명암도 행렬 을 m²개의 성분을 갖는 1차원 입력벡터로 변환(flatten)하 여 해당화소의 특징값들로 사용하였다. <Figure 2>에 예시 된 입력필터의 크기는 m = 5인 경우이다.

그런데 대상 화소가 영상의 가장자리에 위치하는 경우 에는 mXm 입력 필터에 대응되는 화소들 중 일부는 존재하 지 않는다. 이렇게 존재하지 않는 화소들에 대한 입력값은 여러 가지 방법으로 설정할 수 있는데 본 연구에서는 대상 화소의 명암도로 대체하여 정의하도록 하였다. 즉, 흑백명 암도 영상의 크기가 N1×N2인 경우 이를 (N1+int(m/²))․ (N2+int(m//²)) 크기로 확장(padding)하고 확장된 부분의 명암 도는 입력필터 중심이 되는 화소의 명암도로 설정하였다. 여기서 int(x)는 x를 반내림한 정수로 변환시키는 함수이다.

4. 성능평가

4.1 식물영상 자료

Golzarian et al.[6]은 다양한 색상지수들의 행동 특성을 (r, g) 평면상에서 기하학적으로 보여주는 방법을 제안하 였고, 실제 식물 영상을 이용하여 식물과 배경으로 분리하 는 성능을 비교 평가한 바 있다. 본 연구에서는 전술한 다층 퍼셉트론 신경망의 분할 성능을 기존의 임계치 기반의 분할 방법들의 성능과 비교하기 위하여 이들의 연구에서 사용 한 영상의 일부를 사용하였다. 이 영상들은 밀(wheat(W)), 독보리(annual ryegrass(AR)), 참새귀리(brome grass(BG)), 귀리꼴(fodder oat(FO))의 네 가지 식물이 각각 햇빛을 직접 받는 경우(직접노출, direct light(DL))와 그늘진 경우(간접 노출, shade(SH))에 촬영한 것들로서 모두 80(= 4(식물종 류)․2(조명상태)․10(표본 수))개로 이루어져 있다.

주어진 영상에 대한 식물분할의 성능을 평가하기 위 해서는 분할되어야 할 부분에 대한 절대적인 기준자료가 있어야 하는데 이를 위하여 포토샵에서 수작업으로 식물 부분만을 추출한 영상을 사용하였다. 참고로 <Figure 3> 에서는 밀이 자라는 현장에서 햇빛을 직접 받는 경우에 촬영된 영상과 수작업으로 구한 식물부분의 영상이 주어 져 있다. 수작업으로 구한 목표 영상과 원래의 영상으로 이루어진 총 80개의 영상 쌍들을 학습용(training)으로 40쌍, 학습 유효성검사용(validation)으로 8쌍, 그리고 검증용 (test)으로 32쌍으로 나누어서 실험에 사용하였다.

4.2 성능평가 지수

식물이 포함된 영상에서 식물부분만을 정확하게 분할 해 내었는지를 평가하는 성능평가지수는 식물개체를 긍 정(positive) 부분으로 배경 개체를 부정(negative) 부분으 로 간주하면 다음의 네 가지 수치로부터 계산된다 :

이러한 수치를 이용하여 다양한 측면에서 성능을 평가할 수 있도록 다음과 같이 정의되는 정확도(accuracy), 정밀도 (precision)와 재현율(recall)을 고려하였다 :

여기서 정확도는 각 화소별 분류 자체가 전체적으로 올바 르게 되었는지를, 정밀도는 식물화소로 분류된 것들의 정 확도를, 그리고 재현율은 식물화소들이 실제로 식물로 분 류되는 정도를 각각 나타낸다. 참긍정 수가 참부정 수보 다 현저히 작은 편향된 영상의 경우에는 정확도가 높게 나온다 하더라도 긍정 표본(식물화소)에 대한 정확도가 제대로 반영되지 못할 수 있고, 반대로 참부정수가 참긍 정에 비하여 매우 작은 경우에도 역시 유사한 관계가 성 립한다. 이를 보완하기 위하여 참긍정의 분류 성능을 나 타내는 정밀도와 재현율을 종합적으로 평가할 수 있도록

조화평균(harmonic mean : F-score)

로 정의되는 종합적인 척도를 사용한다[16]. 이상의 모든 성능평가 척도 값들은 0과 1사이의 값을 갖는데 수치가 클수록 우수한 성능을 뜻한다.

4.3 실험 결과

본 연구에서 고려한 흑백명암도 임계치 기반의 식물 분할 알고리즘은 Otsu 알고리즘(Otsu), ExGR 색상지수의 0 명암도(Zero Threshold : ZERO_T), 명암도 평균(Mean Intensity : MI), Burgos-Artizzu 평균(Burgos-Artizzu Mean Intensity : BAMI) 등이다. ExGR에서 식 (2)의 ExG는 녹 색식물을 구별해내는 데 많이 사용되는 색상지수의 하나 이고, 식 (3)으로 주어지는 ExR은 적색의 우월성 정도를 의미하는데 일반적으로 토양성분을 잘 표현하고 있기 때 문에 배경을 탐지하는 데 유용하다. 여기서 ExGR = 0이 성립한다는 것은 ExG와 ExR의 차이가 없다는 것이고, 이 값이 0보다 크다는 것은 ExG가 상대적으로 커서 배경보 다는 식물화소일 가능성이 크다는 것을 의미한다. 따라서, ExGR 색상지수 값을 0를 기준으로 하여 분할하는 것은 나름대로 의미가 있고 실제로 실험을 통하여 그 유용성을 보인 바 있다[14]. 또한, BAMI는 (r, g, b)의 함수로 정립 된 지수로서 다음과 같이 칼라영상의 모든 화소에 대한 평균을 취한 값으로 정의된다[3] :

4.3.1 Otsu 알고리즘의 전처리

Otsu 알고리즘을 사용할 경우에는 흑백명암도 영상을 그대로 사용할 수도 있으나 잡영을 제거하기 위한 전처리 를 수행하면 분할성능이 개선되는 효과를 기대할 수 있어 서 메디안 필터나 가우시안 필터를 활용하여 잡영처리를 하는 경우가 많다. 본 연구에서 예비실험을 통하여 메디 안 필터보다는 가우시안 필터가 보다 우월한 분할성능을 보이는 것을 확인하였으므로 가우시안 필터를 사용하였 다. 적절한 가우시안 필터의 크기를 선정하기 위하여 필 터를 사용하지 않은 경우부터 9×9, 11×11, …, 23×23의 9 가지 경우를 실험하였다. 그 결과 <Figure 4>에서 보는 바 와 같이 필터 크기가 커짐에 따라 대부분의 성능척도 값 이 향상되다가 19×19에 이르러 정점을 보이고 그 후 하강 하는 경향을 보이고 있다. 이에 따라 성능평가를 위한 타 기법과의 비교에서는 19×19크기의 가우시안 필터로 전처 리후 Otsu 알고리즘을 적용한 결과를 사용하였다.

4.3.2 다층퍼셉트론 신경망의 입력필터 크기

본 연구에서 제안한 다층퍼셉트론 신경망의 입력자료 는 입력필터 크기가 m×m로서 2차원 행렬자료 구조이지 만 이를 평활화하여 일렬로 정렬된 총 m²개로 이루어진 다. 신경망의 구조는 하나의 입력층, 2개의 은닉층, 그리 고 하나의 입력층으로 구성되어 있는데 각 뉴론층의 뉴 론수는 m², 50, 25, 2로 주어져 있다. 이러한 구조하에서 입력필터 크기에 따른 다층퍼셉트론 신경망의 분할성능 을 평가한 결과가 <Figure 5>에 나타나 있다. 그림에서 보는 바와 같이 입력필터 크기 m값이 5인 경우가 정확 도와 조화평균이 모두 높게 나타나므로 이 결과를 다른 분할방법들과 비교하였다. m값이 9일 때 재현율이 급격 히 떨어지는 모습을 보이고 있는데 이는 주위의 화소들 을 너무 많이 고려하는 경우에는 식물화소의 특성이 배 경화소에 묻혀버리는 결과를 초래한다는 것을 보여주고 있다. 또한 m = 1인 경우는 입력필터의 개념 없이 해당 화소의 명암도 값만을 입력하여 학습하는 것을 의미하게 되는데 이는 가장 단순한 학습구조를 가진 신경망 형태 가 된다. 실험에서는 이러한 경우보다는 1보다 큰 m값으 로 이루어진 입력필터를 고려하는 것이 우월한 분할성능 을 보여주기 때문에 입력필터의 개념을 도입한 본 연구 의 접근방법의 타당성을 일부 확인하여 주고 있는 것으 로 판단된다.

4.3.3 고려된 식물분할 알고리즘들의 성능비교

<Figure 6>에서는 전술한 기존 식물분할 알고리즘들 과 제안된 다층퍼셉트론 신경망과 정확도, 정밀도, 재현 율, 조화평균의 4가지 평가척도에 대하여 비교하였다. 4 가지 평가척도 중 정밀도와 재현율을 종합한 조화평균인 F-score와 개별화소의 전체적인 분할정확성을 의미하는 정확도가

의 순으로 나타나고 있는 바, 다층퍼셉트론 신경망이 종 합적인 평가에서 확실하게 우수한 것으로 판단된다.

식물화소로 분할된 것들 중 실제로 식물화소에 속한 것들의 비율인 정밀도는

의 순서로서 ZERO_T의 정밀도가 97.3%로 다층퍼셉트론 신경망의 93.6%보다는 약간 높게 나타나고 있다. 그런데 ZERO_T의 재현율이 타 알고리즘에 비하여 현저히 낮은 것으로 보아 분할 임계치가 상대적으로 높게 설정되었음 을 의미한다. 녹색계열의 대부분 식물화소는 ExGR 수치 가 높게 나타나기 때문에 높은 수준의 임계치는 식물화 소들을 주로 분할해내게 되지만 실제로 분할된 식물화소 의 수는 전체 식물화소에 비하여 매우 작게 되어 재현율 이 낮게 나오는 것이다. 또한 이러한 높은 임계치에 따른 분할은 우선 식물화소로 분할된 화소들이 적게 나오고, 배경화소가 식물로 분류될 가능성이 낮으며 식물로 분할 된 화소들이 대부분 실제 식물화소로 이루어져 있기 때 문에 정밀도가 높게 나오는 것으로 풀이된다.

반면에, Otsu 알고리즘, BAMI 및 MI는 모두 정밀도는 낮고 재현율은 높아 ZERO_T와는 정반대의 특성을 보이 고 있다. 이는 임계치가 너무 낮게 설정되는 경향이 있기 때문인데 이러한 경우에는 상대적으로 많은 화소가 식물 화소로 분류되게 된다. 그러면 전체 식물화소로 분류된 화소 중 실제로 식물화소일 확률이 크게 떨어져서 정밀도 가 낮아지지만 대부분의 식물화소를 식물화소로 분류하 기 때문에 재현율은 매우 높게 나타나는 것이다. 이러한 실험 결과는 Meyer and Neto[14]가 확인한 Otsu 임계치가 높게 설정되는 경향이 있었다고 하는 실험결과와 배치되 는데 이는 사용되는 실험영상에 따라 설정되는 임계치 수준의 정도가 다르게 나올 수 있음을 보여주는 것으로 해석되어야 할 것이다.

이와 같이 임계치 기반의 식물분할 방법은 전체적으 로 정확도도 떨어지지만 정밀도와 재현율은 서로 상쇄효 과를 나타내는 경향이 강하기 적절한 임계치를 구하는 것도 쉽지 않고 설사 두 가지를 절충한다 하더라도 높은 정확도를 보장하기 힘든 경우가 대부분일 것으로 생각된 다. 이러한 측면에서 개별적인 화소의 특성을 고려하지 않고 영상전체에 대하여 오직 하나의 임계치를 사용하는 것은 식물분할 성능을 제고하는 데 많은 한계가 있다. 따라서 개별 화소 자체의 명암도와 그 주위에 있는 화소 들의 명암도 분포를 동시에 고려하여 개별적으로 분류하 는 방법이 보다 효과적일 것으로 판단된다. 본 연구에서 제안한 다층퍼셉트론 신경망은 이러한 색상분포 특성 을 직접적으로 자연스럽게 학습할 수 있는 이진화 도구 이다.

<Figure 7>에서는 비교 대상의 5가지 알고리즘에 대하 여 검증에 사용된 총 32개 영상의 정확도, 정밀도, 재현율, 조화평균에 대한 최소값, 최대값, 평균값을 도시하고 있 다. <Figure 7(A)>의 정확도를 보면 ZERO_T와 MLPNN의 경우에는 그 범위가 상당히 작아 알고리즘의 강건성을 보 여주고 있으며, 평균값이 1에 가까워 매우 정확한 분류 결 과를 생성함을 알 수 있다. 반면에 Otsu 알고리즘, BAMI 및 MI 모두 영상에 따라 분류성과에 변동성이 큰 현상을 보여주고 있는데 특히, Otsu 알고리즘은 13.6%~98.8%로 영상에 따라 편차가 매우 크므로 영상분할의 강건성이 요 구되는 실제 프로젝트에서는 그 활용에 상당한 제약이 있 을 것으로 보인다.

<Figure 7(B)>에서는 각 알고리즘에 대한 정밀도의 범 위를 보여주고 있는데 Otsu 알고리즘, BAMI 및 MI에 비 하여 ZERO_T와 MLPNN의 범위가 상대적으로 작아 영상 에 따른 정밀도 편차가 크지 않고 비교적 일정함을 보여주 고 있다. 정확도와 마찬가지로 Otsu 알고리즘은 검증 영상 에 따라 매우 편차가 크고 평균값도 낮게 나타나고 있다. 한편, <Figure 7(C)>에 보이는 재현율의 경우에는 정확도 와 정밀도의 경우와는 크게 다르게 Otsu 알고리즘, BAMI 및 MI는 매우 안정적이고 1에 가까운 높은 수준을 보여주 고 있는데 비하여 ZERO_T와 MLPNN의 경우에는 범위도 상당히 넓고 평균값도 상대적으로 낮은 편이다. 이는 전술 한 것처럼 Otsu 알고리즘, BAMI 및 MI는 분할을 위한 임 계치를 낮게 설정하는 경향이 있으므로 명암도가 높은 편 인 대부분의 식물화소가 식물화소로 쉽게 분할되기 때문 이다. MLPNN와 ZERO_T는 이러한 현상이 없어서 이들 에 비해서는 상대적으로 재현율이 낮은 편이지만 실용성 은 충분한 것으로 평가된다. MLPNN는 ZERO_T에 비하 여 평균치도 훨씬 높고 영상에 따른 재현율 범위도 좁게 나타나고 있으므로 상대적으로 우월한 것으로 평가된다. 마지막으로 정밀도와 재현율을 함께 고려한 조화평균이 <Figure 7(D)>에 나타나 있는데 Otsu 알고리즘의 범위가 특히 매우 넓고, ZERO_T의 경우도 변동폭이 큰 재현율 때문에 매우 넓은 분포를 하고 있다. 결과적으로 MLPNN 이 평균치도 가장 높고 범위도 가장 작게 나타나고 있어 다른 알고리즘에 비하여 종합적으로 우수한 것으로 평가 된다.

4.4 조명상태와 식물유형에 따른 성능평가

지금까지는 본 연구에서 제안한 다층퍼셉트론 신경망과 기존의 알고리즘과의 성능비교를 수행하였다. 여기서는 제안된 다층퍼셉트론 신경망을 사용하였을 경우 그 성능 이 조명상태와 식물유형에 따라 어떻게 달라지는지를 분 석하고자 한다.

4.4.1 조명상태에 따른 변화

본 실험에 사용된 식물영상의 조명상태는 4.1절에 기 술된 대로 직접노출과 간접노출의 두 가지 경우가 있다. 직접노출 영상과 간접노출 영상 수는 4가지의 식물유형 영상이 각각 4개씩으로 구성되므로 총 16개씩으로 이루 어져 있다. 직접노출 영상과 간접노출 영상 사이에 정확 도, 정밀도, 재현율, 조화평균이 각각 차이가 있는지를 평가하기 위하여 서로 독립적으로 구성된 2개의 자료 군 을 대상으로 한 비모수 검정인 Mann-Whitney 검정을 수 행하였다. 이 결과 5%의 유의수준 하에서 p = 0.003으로 나타나는 재현율을 제외하고는 나머지 3가지 성능척도 에 차이가 없었다. <Figure 8>에서는 직접노출 영상과 간 접노출 영상에 대한 4가지 성능평가 척도의 평균값을 보 여주고 있는데 재현율의 평균치 차가 타 척도에 비하여 상대적으로 크게 나타나고 있는 것을 알 수 있다.

이렇게 재현율에 차이가 나타나는 이유는 직접노출 영상에서는 식물부분이 햇볕에 반사되어 식물 본래의 색 상에서 벗어나 흰색 계통의 색상으로 표현되는 화소들이 많기 때문에, 알고리즘의 성능에 상관없이 영상자체의 특성 차이상 식물화소 자체의 검출 가능성이 떨어지기 때문으로 해석된다.

4.4.2 식물유형에 따른 변화

실험 대상의 식물영상은 밀(W), 독보리(AR), 참새귀리 (BG), 귀리꼴(FO)의 4가지 식물로부터 획득된 것들로서 직접노출과 간접노출 조명상태를 합하여 각각 8개씩으 로 이루어져 있다. 식물유형에 따른 성능차가 있는지를 알아보기 위하여 다수군의 소규모 자료의 평균치차 검정 에 적합한 비모수검정 방법인 Khuskall-Wallis 검정을 수 행하였다. 5%의 유의수준에서 정확도, 정밀도, 재현율은 식물유형에 따라 차이가 없으나, 조화평균은 상이한 것 으로 나타났다. 조화평균에 대하여 식물 유형별 차이를 검정하기 위하여 서로 다른 2개의 식물유형쌍 모두에 대 하여 Mann-Whitney 비모수 검정을 수행한 결과 <Figure 9>에서 보는 바와 같이 밀(W)과 귀리꼴(FO)은 평균치에 차이가 없으나 나머지 식물유형 쌍들은 모두 서로 차이 가 있는 것으로 나타났다. 이러한 결과는 식물의 유형이 달라지면 제안된 다층퍼셉트론 신경망의 성능 중 대부분 은 일관성 있는 결과를 보이나 조화평균의 경우에는 식 물유형에 따라 성능상에 차이가 있을 수 있다는 것을 의 미한다.

5. 결 론

본 연구에서는 식물이 포함된 영상에서 배경으로부터 식물을 분할하기 위한 새로운 방법인 다층퍼셉트론 신경 망을 제안하였다. 기존의 식물분할을 위한 방법은 하나의 색상지수를 이용하여 주어진 칼라영상을 흑백명암도 영 상으로 변환시킨 후 특정 임계치를 기준으로 이진화 하는 방법을 사용한다. 이와 같이 임계치 기반의 식물분할 방 법은 이진화 방법이 매우 단순하여 화소 개개의 미묘한 색상차이를 제대로 반영하지 못하는 경우가 많다. 제안된 다층퍼셉트론 신경망은 화소 하나 하나의 색상 특성과 주 변 화소들의 색상분포를 포괄적으로 고려하여 구분하기 때문에 기존의 방법보다 분할 성능이 우수할 것으로 기대 된다. 이를 뒷받침하기 위하여 실험대상의 영상자료를 이 용하여 다층퍼셉트론 신경망의 분할성능을 기존의 방법 들과 비교한 결과, 재현율을 제외하고는 정확도, 정밀도, 조화평균 척도 모두 상대적으로 매우 우수한 것으로 나타 났다. 임계치 기반의 다른 방법들을 적용할 경우, 설정되 는 임계치가 너무 낮아 대부분의 식물화소들이 식물집단 으로 구분되기 때문에 재현율이 거의 1에 가깝게 나타나 는 경향이 있다. 다층퍼셉트론 신경망의 재현율이 이들에 비해서는 상대적으로 열등하지만 크게 낮지 않으므로 실 제 적용에는 문제가 없을 것으로 보인다.

임계치 기반의 기존 식물화소 분류법은 해당 화소의 명암도만을 고려하여 분류작업을 수행한다. 이에 비하여 본 연구에서는 해당 화소 주위의 명암도 분포를 함께 포 괄적으로 고려하여 분류하도록 개별 화소 자료를 준비하 고, 이를 이용하여 기계학습법의 일종인 다층퍼셉트론 신경망을 사용하였다는 점에서 의의가 있다. 분류를 위 한 이미지도 원래의 RGB를 그대로 사용하는 경우가 보 통인데 여기서는 이를 녹색 색상이 강조된 형태로 변환 된 EXGR 이미지를 사용하여 분류효율을 제고하였다. 또 한, 성능비교를 위해서 기존 문헌에서는 정확도만을 주 로 사용한 반면에 정확도, 정밀도, 재현율, 조화평균의 4 가지 평가척도를 모두 사용하여 다양한 각도에서 평가하 였다는 것도 기존 연구와 차별되는 점이다.

전술한 실험결과로부터 다층퍼셉트론 신경망에 의한 식물분할은 기존의 방법들에 비하여 상대적으로 우수한 것으로 평가되므로 많은 영상자료를 확보하여 충분하게 학습이 된다면 다양한 식물분할 분야에 응용될 수 있을 것으로 생각된다. 또한 향후 CNN 등을 활용한 딥러닝 분야의 추가 연구에 본 연구의 결과가 성능 비교를 위한 참고자료로 사용될 수 있을 것으로 기대된다.