1. 서 론

최근 인공지능 기술인 딥러닝이 접목되면서 각종 산업 에서 컴퓨터 비전을 통한 성과를 도출하고 있다. 컴퓨터 비전은 4차 산업혁명을 견인할 핵심 기술로 반도체, 디스 플레이, 자율주행 등 다양한 분야에서 필요성을 보여주고 있다. 특히 제조업에서는 제조 공정의 불량 판정, 결함 검 출 등 검사과정에 적용되고 있다. 검사를 통해 제조 공정 의 공정 오류를 줄이는 것은 기업의 이익을 극대화하는데 매우 중요하지만 검사 과정에는 작업자의 부정확성과 시 간 및 비용이 소모되며, 컴퓨터 비전 기술을 통해 이를 해 결하고자 많은 연구가 진행되고 있다.

컴퓨터 비전을 위해서는 확보된 이미지 및 영상 데이터 가 학습 가능한 형태로 준비되어야 하며, 이러한 전처리 과정을 이미지 어노테이션(Image Annotation)이라 한다 [1]. 이미지 어노테이션을 통해 수집한 영상 이미지에서 분석이 필요한 객체 및 영역에 대한 주석(Label) 및 태그 (Tag)를 부여한다. 이미지 어노테이션 과정은 대부분 사람 의 수동 전처리 과정으로 수행되며, 이로 인해 전처리 과 정에 소요되는 시간과 비용은 매우 높다[5].

최근 새로운 영상 이미지의 어노테이션 과정에서 소요 되는 시간과 비용을 줄이기 위해 자동 이미지 어노테이션 (Automatic Image Annotation) 관련 연구가 활발하게 수행 되고 있다. 그러나 대부분의 자동 이미지 어노테이션 방법 론들은 기존 사람이 직접 전처리하는 Active learning이 사 전에 수행되어야 하며, 일부 방법론들은 주석처리만 가능 하고 영상 이미지 내 객체에 대한 위치 정보를 얻지는 못 한다.

따라서 본 연구에서는 새롭게 수집한 제조 영상 이미지 로부터 수동 어노테이션 수집 없이 자동으로 주석 및 위치 정보를 수집할 수 있는 SHAP(SHapley Additive Explanations) 알고리즘 기반 자동 어노테이션 프로세스 방법을 제안하고자 한다.

2. 관련 문헌 연구

이미지 기반 결함 검출 분야에서는 정확도 증대를 위한 다양한 연구가 진행되었다. Du et al.[3]는 제안하는 RoI(Region of Interest) 풀링 및 데이터 증강기법을 사용하 여 직접 수집한 X-ray 이미지 기반 알루미늄 주조 결함 걸 출 성능평가 연구를 진행하였으며, 어노테이션 방법은 Ground turth boxes를 통해 직접 수집하였다. Ferguson et al.[4]은 분류 모델(Classification)을 통해 클래스별 서로 다 른 특징(위치, 형태 등)을 사용하여 객체 검출 성능을 평가 하였으며, 기존 어노테이션이 존재하는 데이터를 사용하 였다. Jiang et al.[7]은 attention-guided 데이터 증강기법과 mutual-channel loss를 사용하고 1×1 컨볼루션 레이어를 추 가하여 CNN(Convolution Neural Network) 구조를 변경한 모델을 이용하여 객체 검출을 수행하였으며, 기존 어노테 이션 존재하는 데이터를 사용하였다. Hu and Wang[6]은 타입별 분류 모듈과 결함 분류 모듈을 이용한 이중선형 풀링 방식을 통해 결함 검출 성능을 향상시키는 연구를 진행하였으며, 기존 어노테이션이 존재하는 데이터를 사 용하였다. Wei et al.[15]는 Dense-SIFT, BOVW을 이용하 여 분류 모델을 구축하고, DCNN기반 위치 정보를 도출하 여 철도 경로의 결함을 도출하였다. Tao et al.[12]은 CASAE(Cascaded Autoencoder) 아키텍처를 제안하여 이 미지로부터 결함의 분할화 및 위치에 대한 지역화를 수행 하였다.

기존 수동 어노테이션 수집 방법의 어려움을 해결하기 위한 자동 이미지 어노테이션 방법론 연구도 최근 활발 하게 진행되고 있다. Wang et al.[13]은 AIACNNnet을 이 용하여 컨볼루션 레이어 사이에 풀링 레이어를 증가시켜 모델의 강건성을 증대시켰으며, 어노테이션 방법으로 Multitask Voting 방법론을 제안하였다. Cehn et al.[1]은 자 동 이미지 어노테이션 방법론들을 리뷰하였으며, 대표적 인 이미지 데이터인 Corel5K, IAPRTC-1, ESP Game 데이 터를 이용하여 6가지 어노테이션 알고리즘별 객체 검출 성능을 평가하였다. 사용한 어노테이션 방법은 JEC(Joint Equal Contribution), Tagprop, 2PKNN(2-pass K-nearest neighbour), Fasttag, ML-MG(Multi-label learning with missing labels using a mixed graph), GS(Group Sparsity)이다. Ma et al.[11]은 CNN-AlexNet 기반 시멘틱 확장 모델을 적 용하여 유사한 이미지를 군집화하고 베이지안 기반 시맨 틱 태그를 예측하였다. 어노테이션 방법으로는 제안하는 시맨틱 확장 모델을 사용하였다. Wei et al.[14]은 태그 시 맨틱 확장 모델을 기반으로 개선된 KNN 이미지 어노테이 션 방법을 적용하였다. 어노테이션 방법은 제안하는 태그 시맨틱 확장 모델을 사용하였다. Liong et al.[9]는 Gound turth 라벨링(Labeling)을 통해 어노테이션을 수집하고 segmentation 기반 불량 검출 성능을 평가하였다. 어노테이션 방법은 Ground truth 방법을 사용하였다. Ling et al.[8]는 Curve GCN(Graph Convolutional Network)를 제안하므로 효율적인 자동 어노테이션 수집 방법을 제안하였으며, 어 노테이션 방법으로는 제안하는 Polygon-GCN 방법을 사용 하였다. 어노테이션 방법론별 객체 검출 성능을 비교한 결 과, 자동 어노테이션 방법론을 적용한 모델의 객체 검출 성능이 비교적 낮은 것으로 확인하였다.

문헌 연구를 통해 어노테이션에 소요되는 시간과 비용 을 줄이기 위한 자동 이미지 어노테이션 관련 연구가 활발 하게 수행되고 있지만 대부분의 자동 이미지 어노테이션 방법론은 데이터 전처리 과정에서 수동 방식인 Active learning이 필요하며, 일부 방법론의 경우 영상 이미지 내 객체에 대한 위치 정보를 얻지는 못하는 한계를 가지고 있다.

SHAP의 경우 eXplainable AI 방법론 중 하나로 특징에 대한 주석 및 위치 정보를 얻을 수 있지만, SHAP 사용 관 점에서 기존 연구의 경우, 초기 데이터로부터 객체 검출을 위한 이미지 어노테이션을 수집하기 위한 선행 연구 사례 를 확인하기 어렵고 주로 모델 결과에 대한 해석 및 정확 성 평가가 진행되었다.

3. 이미지 어노테이션 자동화 프로세스

본 연구에서는 결함이 있는 데이터로부터 결함 부위에 대한 어노테이션을 자동으로 수집하는 방법론을 제안한 다. 제안하는 자동 어노테이션 수집 프로세스는 크게 2단 계로 구분할 수 있다. 1단계에서는 주석이 없는 데이터로 부터 주석 클래스를 할당하며, 2단계에서는 레이블링 된 데이터로부터 SHAP 알고리즘을 이용해 객체에 대한 위치 정보를 수집하는 절차로 프로세스가 진행된다. 이미지 어 노테이션 자동화 프로세스는 <Figure 1>과 같다.

3.1 군집 분석 기반 주석 할당

1단계에서는 결함 유형에 대해 주석처리가 되지 않은 데이터를 대상으로 주석을 할당하는 과정이 진행된다. 수집 한 결함 데이터는 픽셀 크기에 따라 많은 양의 특징을 가지 고 있다. 이 특징은 전처리 수행 전까지 무의미한 특징까지 가지고 있으므로 특징 추출 방법론을 적용하여 차원을 줄이 고 유의미한 특징을 추출하는 전처리 과정이 필요하다[10]. 어떠한 방법론을 적용하여 특징을 추출하는지에 따라 이후 군집화 및 주석 할당에 영향을 줄 수 있으므로 다양한 특징 추출 방법론을 적용하여 비교 분석이 필요하다. 또한, 차원 축소(Dimesion Reduction)는 불필요한 연산 과정을 줄임으 로써 처리 시간을 빠르게 하는 장점이 있다. 특징 추출은 이미지 분류에 자주 쓰이는 ImageNet 데이터로 사전학습된 VGG, MobileNet, Inception, DenseNet, RestNet 등을 사용할 수 있으며, Find-Tuning으로 새로운 분류기를 학습하기 위 해 기존의 FC(Fully-Connected Layer)를 제거하여 학습 이미 지 크기에 맞게 사용한다.

이후 추출된 특징을 기반으로 군집화 과정을 수행한다. 이를 통해 결함 유형을 의미하는 주석이 할당되지 않은 이미지로부터 결함 특징을 기반으로 유사한 결함이 있는 이미지 간 군집화가 가능하다. 군집화 방법으로는 대표적 군집화 방법인 K-평균 군집 방법 및 GMM 군집 방법을 사용한다. GMM은 좌표 데이터 군집화에 많이 사용되며, 이미지의 각 픽셀을 좌표화하여 군집화가 가능하다.

3.2 SHAP 기반 위치 정보 추출

2단계에서는 이미지로부터 결함이 있는 위치 정보를 수 집하는 과정이 진행된다. 라벨링된 이미지를 기반으로 분 류 모델을 수행한다. 분류 모델을 수행하는 이유는 이후 SHAP 방법론을 적용하여 결함 유형 이미지별 수퍼 픽셀 을 도출하는 과정을 수행하기 위함이다. 본 연구에서는 분 류 모델 평가 시, 분류 대상에 따라 SHAP 결과가 어떻게 도출되는지 비교 분석하기 위해 VGG16 기반 두 가지 방 법으로 분류 모델을 구축하였다. 첫 번째는 정상 데이터와 결함 유형 데이터 각각 분류하는 이진(Binary) 분류 모델 과 두 번째로 정상 및 모든 결함 유형을 분류하는 모델을 구축하였다.

이후 구축된 분류 모델을 기반으로 SHAP 알고리즘을 적용하여 이미지별 수퍼 픽셀에 대한 비교 분석을 수행 한다. SHAP의 경우 인스턴스별 가중치가 상이하므로 도 출되는 수퍼 픽셀도 상이한 결과가 도출된다. 또한, SHAP 알고리즘을 이미지에 적용할 시, 이미지를 설명하 기 위해 픽셀들의 그룹으로 구성된 수퍼 픽셀(Super Pixel)로 그룹화하고 수퍼 픽셀 간의 예측값 분포를 확인 할 수 있다.

<Figure 2>는 각 클래스에 속할 때의 가중치가 높은 수 퍼 픽셀의 분포를 보여준다. 두 이미지의 경우 도요새와 미어캣으로 분류했을 때, 분류한 이유에 대한 가중치가 높 은 수퍼 픽셀의 분포를 확인할 수 있지만 다른 종류로 잘 못 분류한 경우에는 수퍼 픽셀을 확인하기 어렵다.

결함을 포함한 이미지에 적용할 경우 결함 유형에 따른 분류 결과에 대한 수퍼 픽셀의 분포를 확인할 수 있다. 이 후 도출된 수퍼 픽셀을 기반으로 결함 위치에 대한 Bounding Box 좌표를 도출하기 위해 x 좌표 및 y 좌표의 최댓값 및 최솟값을 결정한다. 이후 수집된 주석 및 위치 정보를 이미지에 할당하면 결함 검출을 위한 이미지 어노 테이션이 구축된다.

4. 분석 및 결과

4.1 데이터 소개

본 연구에 사용된 데이터는 Kaggle에서 제공하는 Impellar 주조 결함 이미지 데이터이며 <Figure 3>과 같다 [2]. Impellar는 수중 펌프에 사용되며, 유체의 압력과 흐름 을 증가시키는데 사용되는 로터이다.

Impellar는 주조 공정을 통해 생산되며, 생산 과정에서 다양한 결함이 발생한다. 사용한 데이터의 특징은 다음과 같다.

결함 데이터가 가지는 다양한 결함 유형 중 분류가 명 확한 3개의 결함 유형을 가지고 있는 데이터를 대상으로 실험을 수행하였으며, 3개의 결함 유형은 구멍이 발생한 결함인 Blowhole과 일부분이 찢어진 결함인 Shrinkage, 성 형 불량으로 밖으로 튀어나오는 결함인 Burr이다. 각 결함 유형별 이미지는 <Figure 4>와 같다.

4.2 군집 기반의 라벨 도출

먼저 정상과 결함 이미지 분류 시, SHAP로부터 수퍼 픽셀이 어떻게 분포되는지 확인하기 위해 정상과 결함 데 이터로 라벨링되어 있는 데이터를 이용하여 <Figure 5>와 같이 이진 분류 모델을 구축하였다. 모델을 구축 과정에는 Python 3.7 버전, Tensorflow-gpu 2.3.0 버전을 사용하였다. 분류 모델은 VGG16을 사용하였으며, 학습 데이터와 테스 트 데이터의 비율은 8:2로 지정하였다. 또한, 분류 모델 결 과는 F1-score 기준으로 0.9978로 비교적 높은 성능을 보 여주었다.

이후 SHAP를 적용하여 수퍼 픽셀을 확인하였다. <Figure 6>은 결함 이미지에 대한 수퍼 SHAP 결과이다. 결함으로 분류된 결과에 대한 설명이 수퍼 픽셀로 도출되 었으며, 결함 부분을 정확하게 설명하지 못하고, 결함 유 형 구분 없이 Impellar의 바깥쪽 테두리 및 안쪽 테두리 부분의 가중치가 높은 것을 확인하였다.

4.3 제안 프로세스 적용

프로세스 1 단계의 결함 이미지에 결함 유형 주석 할당을 위한 군집 분석을 수행하였으며 군집 수는 결함 유형에 부합하도록 3개로 지정하였다. 군집 분석 결과 비교를 위해 사전에 수동으로 라벨링한 결과와 비교하였다. 군집 분석 시, 파라미터는 FC를 제거하고 include_top = False를 지정 한 후 입력되는 이미지의 크기에 맞게 기존 input_shape(300, 300, 3)를 (224, 224, 3)으로 resize 전처리 후 사용하였다. 데이터 전처리에 상용된 방법론은 VGG16, ResNet50, InceptionV3, MobileNetV2, DenseNet201을 사용하였으며, 요구되는 파라미터는 다음과 같다.

추출된 특징을 기반으로 군집화 과정을 수행하였으며, 이를 통해 결함 유형을 의미하는 주석이 할당되지 않은 이미지로부터 결함 특징을 기반으로 유사한 결함이 있는 이미지별 군집화가 가능하다. 군집화 방법으로는 K-평균 군집 방법 및 GMM을 사용하였으며, 요구되는 파라미터 는 다음과 같다.

특징 추출 방법 및 군집 모델별 F1-Score는 <Table 1>과 같다. 군집 분석 결과 이미지 특징 추출 방법으로 InceptionV3, 군집화 모델로 GMM을 사용하였을 때 F1-Score가 0.8644 로 가장 성능이 높은 것을 확인하였다.

프로세스 1 단계를 통해 주석 처리된 데이터를 기반으 로 결함 위치 정보를 수집하기 위한 프로세스 2 단계를 수행하였다. F1-Score가 가장 높은 군집 분석 결과를 기반 으로 분류 모델을 구축하였으며, 분류 모델은 VGGNet을 사용하였다. 분류 모델별 비교 분석을 위해 정상 이미지와 각 결함 유형별 이진 분류(2 Class)와 정상 이미지와 모든 결함 유형에 대한 분류 모델(4 Class)로 크게 2가지 케이스 로 구분하여 모델링을 수행하였다.

먼저 정상 이미지와 모든 결함 유형에 대한 분류 모델 결과는 F1-Score는 0.9867로 비교적 높은 성능을 보이는 것을 확인하였다. 두 번째로 정상 이미지와 각각 결함 유 형별 이진 분류 모델의. F1-Score 결과는 <Table 2>와 같 으며, 모든 결함 유형에 대해서 분류 성능이 비교적 높은 것을 확인하였다.

정상과 각 결함 유형에 대한 분류 모델 구축 결과를 기반으로 SHAP를 적용한 결과는 <Figure 7>과 같다. 수 퍼 픽셀이 다른 결함이나 정상으로 예측했을 경우 Blowhole 결함 부분에 대한 가중치가 낮지만, Blowhole 로 예측했을 경우 결함 부분에 대한 가중치가 높은 것을 확인할 수 있다.

분류 모델별 SHAP를 통해 수퍼 픽셀을 도출한 결과, 모든 수퍼 픽셀을 대상으로 결함 부분에 대한 위치 정보를 x 좌표 및 y 좌표의 최댓값 및 최솟값을 결정할 때, Bounding Box의 크기가 매우 커지므로 어노테이션 과정 이 부정확하게 수행될 수 있다. 따라서 수퍼 픽셀의 가중 치 크기를 기준으로 상위 N 개를 도출하여 수퍼 픽셀 분포 및 x 좌표 및 y 좌표의 최댓값 및 최솟값의 변화를 확인하 였다. <Figure 8>은 분류 모델의 수퍼 픽셀 가중치 상위 30개, 80개, 200개, 500개일 때의 분포를 도식화한 결과이 다. 수퍼 픽셀을 가중치 기준으로 상위 30개 일 때 결함 부분을 포함하는 것을 확인하였으며, 상위 30개 이하의 경 우 결함 부분에 대한 수퍼 픽셀 정확도가 저하되는 것을 확인하였다.

도출된 상위 30개의 수퍼 픽셀로부터 각 이미지별 x 좌 표 및 y 좌표의 최댓값 및 최솟값을 도출하여 어노테이션 을 수집하였다. 더 많은 수퍼 픽셀에 대해 어노테이션을 생성할수록 Bounding Box의 크기가 커지는 것을 확인하 였으며 도식화한 결과는 <Figure 9>와 같다.

4.4 실험 결과

수집한 어노테이션의 정확성을 평가하기 위해 모든 결함 유형에 대해 수집한 상위 30개 수퍼 픽셀 기준 어노테이션 과 수동으로 수집한 어노테이션을 이용하여 Faster-RCNN 기반 결함 검출 성능 평가를 수행하였다. 수동 어노테이션 의 경우 <Figure 10>과 같이 VGG Image Annotator tool을 사용하였으며, 정확한 비교를 위해 결함에 대한 특징을 Bounding Box 형태로 수집하였다. 결함 검출 성능 평가는 mAP(Mean Average Precision) 지표를 사용하였다. mAP 비 교 결과는 <Table 3>과 같으며, 수동 어노테이션, 2 Class 어노테이션, 4 Class 어노테이션 순으로 성능이 우수한 것을 확인하였다. 이는 수동 어노테이션이 비교적 정확한 결함 특징을 추출할 수 있는 결과를 보여주었다.

Annotation 수집 시간의 경우 초기 주석 및 특징에 대한 위치 정보가 없는 상태에서 각 방법론을 적용하여 객체 검출 모델링이 가능한 수준의 어노테이션을 수집할 때까지 소요되는 시간을 비교하였다. 결함이 있는 3,137개 데이터 에 대한 수동 어노테이션은 20일간 총 80시간이 소요되었으 며, 제안한 프로세스를 통해 수집한 경우, 수동으로 수집하 였을 때와 비교하여 92% 단축하였다.

제안된 어노테이션 자동화 프로세스를 적용한 결함 검 출 결과를 도식화한 결과는 <Figure 11>과 같다.

5. 결 론

수동으로 어노테이션을 수집하는 데에는 많은 시간과 비용이 발생한다. 이를 위해 자동 어노테이션 수집 방법론 관련 연구들이 최근까지도 활발하게 진행되고 있다. 그러 나 대부분의 연구는 기존 어노테이션을 기반으로 특징을 추출하여 새로운 어노테이션을 수집할 수 있는 방법론 개 발에 중점을 두고 있으며, 이는 새로운 대상 및 객체에 대 한 어노테이션 수집 시 어려움이 발생할 수 있다.

본 연구에서는, 수동 어노테이션 작업 또는 기존 어노테 이션 정보가 없는 이미지를 대상으로 군집 분석, 분류 모 델 및 SHAP 알고리즘을 이용하여 자동으로 주석을 할당 하고 위치 정보를 수집할 수 있는 프로세스를 제안하고 있다. 제안된 프로세스는 크게 2단계의 절차로 구성되어 있으며, 첫 번째 단계에서는 이미지별 결함 유형에 따른 주석을 할당하는 절차를 진행한다. 이미지 특징 추출 기법 을 기반으로 군집 분석을 수행하여, 유사한 결함 유형을 가지는 이미지들을 군집화한다. 이 결과를 각 이미지의 주 석으로 할당하고 이후 두 번째 단계에서 각 이미지에 속한 결함에 대한 위치 정보를 도출하는 절차를 진행한다. 각 결함 유형에 따른 분류 모델을 구축하고 분류 기준에 대한 설명력을 확인하기 위해 SHAP 알고리즘을 적용하여 결함 부분에 대한 특징을 도출 및 확인한다. 이를 기반으로 좌 표 정보를 위치 정보로 활용하여 결함 이미지에 대한 어노 테이션을 수집한다.

제안된 프로세스를 실제 Impellar 주조 결함 이미지 데 이터에 적용하여 주석을 할당하고 위치 정보를 도출하여 어노테이션을 수집하였으며, 어노테이션의 품질을 평가하 기 위해 Faster-RCNN을 이용하여 결함 검출 성능 평가를 수행하였다. 수동으로 어노테이션을 수집하였을 때의 결 함 검출 결과보다 양품과 비교한 이진 분류 모델 기반 2 Class 어노테이션을 이용한 결함 검출 결과 mAP 기준 27% 성능 저하를 확인하였으며, 어노테이션 수집에 소요 되는 시간을 비교한 결과 수동 어노테이션 대비 92% 시간 단축을 확인하였다.

본 연구의 한계점으로는 첫 번째로 SHAP 알고리즘을 활용하기 때문에 전처리 과정에서 발생 가능한 데이터 손 실에 대한 검토가 필요하며 추후 다중 결함 유형 포함되거 나 결함 크기가 상이한 이미지로 분석 시 성능차이에 대한 경향성을 비교가 필요하다고 사료된다. 두 번째로 SHAP 알고리즘이 적용한 모델 성능 및 종류에 따라 상이한 결과 를 도출할 수 있으며, 이는 향후 어노테이션 품질에 영향 을 줄 수 있다. 따라서 다양한 군집 및 분류 모델을 적용하 여 결과에 대한 제고가 필요할 것으로 판단되며, 기존 자 동 어노테이션 방법론을 제안하는 프로세스에 적용하여 기존 대비 빠르고 높은 품질의 어노테이션을 수집할 수 있을 것으로 사료된다.

SHAP 알고리즘의 경우 최근 다양한 분야에서 결과에 대한 해석 관점에서 유의미한 정보를 제공하고 있으며, 본 연구에서 제안된 프로세스를 기반으로 실제 주조 결함뿐 만 아니라 의료, 건축 항공 등 다양한 산업에서 객체 검출 을 위한 어노테이션 수집 방법으로 활용될 수 있으며, 전 처리에 소요되는 시간 및 비용을 절감하고, 수동으로 수집 한 어노테이션 만큼 높은 품질의 어노테이션을 수집할 수 있을 것으로 사료된다.