Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.46 No.4 pp.312-320
DOI : https://doi.org/10.11627/jksie.2023.46.4.312

Performance Analysis of MixMatch-Based Semi-Supervised Learning for Defect Detection in Manufacturing Processes

Ye-Jun Kim^*

, Ye-Eun Jeong^**

, Yong Soo Kim^*†

^*Department of Industrial Management Engineering, Kyonggi University
^**Department of Industrial and Systems Engineering, Kyonggi University Graduate School

^†Corresponding Author : kimys@kgu.ac.kr

Received 28/10/2023 Finally Revised 13/12/2023 Accepted 14/12/2023

Abstract

Recently, there has been an increasing attempt to replace defect detection inspections in the manufacturing industry using deep learning techniques. However, obtaining substantial high-quality labeled data to enhance the performance of deep learning models entails economic and temporal constraints. As a solution for this problem, semi-supervised learning, using a limited amount of labeled data, has been gaining traction. This study assesses the effectiveness of semi-supervised learning in the defect detection process of manufacturing using the MixMatch algorithm. The MixMatch algorithm incorporates three dominant paradigms in the semi-supervised field: Consistency regularization, Entropy minimization, and Generic regularization. The performance of semi-supervised learning based on the MixMatch algorithm was compared with that of supervised learning using defect image data from the metal casting process. For the experiments, the ratio of labeled data was adjusted to 5%, 10%, 25%, and 50% of the total data. At a labeled data ratio of 5%, semi-supervised learning achieved a classification accuracy of 90.19%, outperforming supervised learning by approximately 22%p. At a 10% ratio, it surpassed supervised learning by around 8%p, achieving a 92.89% accuracy. These results demonstrate that semi-supervised learning can achieve significant outcomes even with a very limited amount of labeled data, suggesting its invaluable application in real-world research and industrial settings where labeled data is limited.

Key Words : Defect Detection , Deep Learning , Semi-Supervised Learning , MixMatch Algorithm

제조 공정 결함 탐지를 위한 MixMatch 기반 준지도학습 성능 분석

김예준^*, 정예은^**, 김용수^*†

^*경기대학교 산업경영공학과
^**경기대학교 일반대학원 산업시스템공학과

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 연구 목표 및 배경

1.1 연구 배경 및 필요성

현대 제조 산업은 지속적인 고도화 추세에 있으며, 제품 의 품질 향상을 위한 결함 탐지와 품질 관리의 중요성이 점차 높아지고 있다. 그러나 다수의 기존 제조 공정에서는 대부분 수동 검사에 의존하고 있어, 이로 인한 시간 및 비 용적 손실이 크다. 또한, 검사 결과 정확성에 한계가 있어, 결함 검출 공정의 자동화 및 기술적 개선이 요구된다[13].

딥러닝 기술은 최근 몇 년 동안 발전 속도와 응용 범위 를 확장하며 이미지 처리 분야에 있어 획기적인 성과를 보이고 있다. 이와 같이 최근 산업 현장에서 딥러닝을 활 용하여 제품 결함 검사를 대체하려는 시도가 늘어나고 있 지만, 현재 산업 부문에서 생산 및 제조 영역에 인공지능 을 도입한 비율은 12%에 불과하다[1]. 또한, 딥러닝 모델 의 성능을 높이기 위해 다량의 labeled 데이터의 확보가 필요하지만, 경제적 및 시간적 제약이 따르게 된다[15]. 이 와 같은 문제점을 해결하기 위한 방법으로 적은 양의 labeled 데이터를 unlabeled 데이터와 함께 사용하는 준지도 학습(Semi-Supervised Learning)이 주목받고 있다[9].

준지도학습은 소량의 labeled 데이터에 지도학습 (Supervised Learning)을 적용하고, labeled 데이터를 제외한 대량의 unlabeled 데이터에는 비지도학습(Unsupervised Learning)을 적용한다[19]. 이와 같이 대량의 unlabeled 데이 터와 적은 양의 labeled 데이터를 함께 활용하는 준지도학습 은 라벨링 비용을 절감하면서도 모델의 성능을 향상시킬 수 있어, 실제 응용 분야에서 활발히 연구되고 있다[10].

본 연구에서는 준지도학습 분야에서 대표적인 세 가지 패러다임인 일관성 정규화 기법(Consistency regularization), 엔트로피 최소화 기법(Entropy minimization), 일반 정규화 기법(Generic regularization)을 적용하여 높은 성능을 보이 는 MixMatch 알고리즘[2]을 이용하여 금속 주조 공정에서 발생하는 결함을 검출하고, labeled 데이터 수에 따른 검출 정확도를 지도학습과 비교하여 평가하고자 한다.

1.2 연구절차 및 구성

본 연구의 절차는 <Figure 1>에 따라 총 네 단계의 절차 로 구성된다. 먼저, 문헌 조사를 통해 준지도학습의 연구 동향을 파악한다. 이후 데이터 전처리 단계에서 labeled 데 이터와 unlabeled 데이터를 분류한다. 다음으로, 적합한 딥 러닝 모델을 설계하고 적절한 준지도학습 알고리즘을 적 용한 후 하이퍼파라미터를 튜닝하여 모델을 최적화한다. 마지막 단계에서는 준지도학습과 지도학습 간의 정확도를 비교 분석하고, 그 결과를 해석하여 준지도 학습을 활용한 결함 검출이 제조 공정에서 품질 및 생산성 향상에 기여할 수 있는지를 검토한다.

2. 관련 문헌 연구

본 장에서는 준지도학습이 산업계에서 적용된 사례를 <Table 1>에 정리하였다. 준지도학습은 산업에서 확보가 어려운 결함데이터를 효과적으로 분석하고 예측할 수 있 다는 이점이 있어 자동차 부품, 반도체, 도로 등 여러 분야 에서 적용되고 있다.

준지도학습을 적용한 연구들은 대부분 높은 정확도를 보였으며, 기존 지도학습 모델보다 적은 데이터를 활용한 다는 이점이 있었다. 또한, 기존 준지도학습 기법들을 결 합하여 아이템 특징을 학습하기 유리한 도메인으로 변형 하여 적용한 연구들이 존재하였다. 이러한 준지도학습 모 델을 여러 성능지표와 Grad-CAM을 통해 지도학습보다 더 높은 이미지 분류 성능을 보일 수 있다는 것을 확인하 였다. Chun et al.[4]은 수도 레이블링을 활용하여 준지도 학습 기반 도로노면의 파손을 탐지하는 모델을 개발하였 다. Lee et al.[14]에서는 반도체 제조공정에서의 제어를 위 해 이상탐지 및 분류 시스템에 준지도학습을 적용하여 높 은 정확도를 통해 실리콘 식각 공정의 장비 상태를 파악하 였다. Sim et al.[16]에서는 지하구조물을 적대적학습을 기 반으로 가상 라벨 영상을 활용하여 준지도학습을 기반으 로 한 분할 신경망 학습을 수행하여 균열 분위 검출 정확 도를 향상시켰다. Sun et al.[18]은 전기 부하 상태 파악 시, 비정상적 현상의 데이터가 부족하므로 MixMatch를 기반 으로 한 준지도 학습 전력 부하 데이터 이상 탐지 방법을 제안하였다. Gao et al.[5]은 전기 자동차 충전장비에 Tri-training을 활용하여 Tri-DBN(Deep Believe Networks) 모델의 훈련을 강화하는 새로운 준지도식 접근법을 제안 하였다. Shin et al.[17]은 딥러닝 모델을 활용한 금속 표면 의 결함 검사를 위해 FixMatch의 강한 데이터 증강 기법을 개선한 AMFM (AugMix-empowered FixMatch) 모델을 제 안하여 기존 모델 보다 높은 분류 정확도를 달성하였다. Lee et al.[12]에서는 CAN 버스의 데이터 트래픽에 대한 메시지 주입 공격을 탐지하기 위해 준지도 학습 기반 딥러 닝 모델인 GAN(Generative Adversarial Network) 기반의 이상 탐지 모델을 제안하였다. Kim et al.[8]은 포장도로에 서 발생하는 포트홀에 Mean Teacher 기법을 사용하여 적 은 labeled 데이터로 지도학습보다 더 높은 이미지 분류 성능을 보임을 확인하였다.

3. 방법론

본 장에서는 MixMatch 알고리즘에 사용되는 기존의 방 법론을 설명한다. MixMatch 알고리즘은 아래와 같은 방법 론을 조합하여 라벨이 없는 데이터를 활용한 모델 훈련을 수행한다.

3.1 일관성 정규화(Consistency Regularization)

준지도학습은 동일한 데이터에 대해 서로 다른 방식으 로 증강된 데이터의 출력에 대한 결괏값에 일관성을 가져 야 한다. 따라서 일관성 정규화 기법은 unlabeled 데이터의 예측과 labeled 데이터의 예측 간의 일관성을 측정하고 유 지해주는 기법이다[11].

지도학습에서는 데이터가 변형되어도 class 정보는 영 향을 받지 않을 것이라는 가정을 한다. 그러나 준지도학습 에서는 labeled 데이터로 학습된 모델을 unlabeled 데이터 에 적용하였을 때, 데이터 증강에 따라 class의 예측 분포 가 변할 수 있다는 특성을 고려한다.

\begin{array}{l} ‖ p_{model} (y | Augment (x); θ) \\ {- p_{model} (y | Augment (x); θ) ‖}_{2}^{2} \end{array}

(1)

이러한 특성을 고려하기 위해 일관성 정규화는 식 (1)을 이용하여 unlabeled 데이터가 증강되어도 동일한 class 분 포를 예측할 수 있도록 학습한다. 식 (1)은 각기 다른 두 확률 분포 벡터 $p_{model} (y | Augment (x); θ)$ 사이의 거리를 L2 norm의 제곱을 사용하여 계산한 것으로, 이는 예측된 확률 분포의 일관성을 유지하기 위한 손실 함수로 사용된 다. L2 norm은 식 (2)와 같이 정의된다.

{‖ x ‖}_{2} = \sqrt{\sum_{i = 1}^{n} {| x_{i} |}^{2}} = \sqrt{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}

(2)

Augment(x) 함수는 일종의 Stochastic 증강 기법을 가정 하며, 동일한 unlabeled 이미지 데이터인 x에 대해서 서로 다른 증강을 적용하더라도 모델이 유사한 결과를 내도록 Cross Entropy Loss 대신 Squared Loss Term 등을 사용하 여 분포의 유사성을 높인다. Stochastic 증강 기법은 이미 지에 대해 뒤집기(flip), 회전(rotate), 자르기(crop), 크기 조 정(resize) 등의 무작위 변환을 통해 다양한 데이터를 생성 하는 것이다.

예를 들어, unlabeled 이미지 데이터 x에 대해 랜덤한 Stochastic 증강 기법을 두 번 적용한 후 파라미터 θ를 가 진 모델에 input으로 넣는다면, 각기 다른 예측 확률 분포 를 갖는 두 개의 예측값 $p_{model} (y | Augment (x); θ)$ 이 출력 된다. 이에 대한 모델의 예측값은 일관성을 유지하기 위해 오차가 최소화되는 방향으로 파라미터 θ를 점진적으로 조 정해 나간다. 이와 같은 방법을 통해 동일한 이미지에 데 이터 증강이 다르게 적용되더라도 유사한 출력 결과가 나 올 수 있게 되어 이미지에 존재하는 유의미한 특징들을 학습할 수 있다.

3.2 엔트로피 최소화(Entropy Minimization)

엔트로피 최소화는 모델의 예측 불확실성을 감소시켜 모델이 더 확실한 예측을 할 수 있도록 도와주는 훈련 기 법이다[7]. MixMatch가 적용된 Berthlot et al.[2]의 식 (3)에 서는 Softmax 함수의 제곱 부분에 Temperature Scaling[6] 을 도입시켜 불확실성을 최소화하였다.

softmax (z_{i}) = \frac{e^{z_{i}}}{\sum_{j = 1}^{L} e^{z_{i}}}

(3)

Softmax 함수는 입력받은 벡터를 확률 분포로 변환하는 함수로, 일반적으로 분류 문제에서 클래스의 확률을 예측하 는 데 사용되며, 식 (3)은 Softmax 함수의 일반적인 형태를 나타낸다. Temperature Scaling 기법은 Softmax 함수의 예측 확률 분포를 조정하기 위해 사용되며, 이 기법은 Softmax 함수의 입력값에 ‘Temperature’라는 변수를 적용하여 함수 의 출력 확률 분포를 조정한다. 이때 사용되는 Temperature 변수인 하이퍼파라미터 T 를 이용하여 Softmax 함수의 각 입력값에 나누어준다. 식 (4)는 Temperature Scaling이 적용 된 Softmax 함수를 나타낸다.

softmax (z_{i} / T) = \frac{e^{z_{i} / T}}{\sum_{j = 1}^{L} e^{z_{i} / T}}

(4)

<Figure 2>와 같이 T 가 0에 가까워질수록 확률 분포의 값이 Sharpening 되어 불확실성이 감소하게 되며, T 가 무 한으로 발산할 경우 확률 분포를 Smoothing 하게 만든다. 이는 unlabled 데이터에 대한 예측값의 confidence를 높이 는 목적으로 사용되며, 하이퍼파라미터 T 를 사용하여 예 측값이 one-hot 분포에 가까워지도록 엔트로피를 최소화 시킨다. 이와 같이 Sharpening 되어 불확실성이 줄어든 예 측 확률 분포를 토대로, unlabeled 데이터에 guessed label 을 부여하여 학습을 진행한다.

3.3 MixUp

MixUp은 딥러닝 모델의 훈련 도중 과적합을 방지하고 일반화 성능을 향상시키기 위해 개발된 데이터 증강 기법 이다[21]. 학습용 데이터 중 랜덤하게 두 개의 샘플 데이터 를 추출한 후, 두 데이터의 이미지와 label을 각각 일정 비 율로 혼합하여 새로운 이미지와 label을 가지는 학습 데이 터를 생성한다.

\begin{array}{l} λ \sim B (α, α) \\ λ^{'} = max (λ, 1 - λ) \end{array}

(5)

\begin{array}{l} x^{'} = λ^{'} x_{1} + (1 - λ^{'}) x_{2} \\ p^{'} = λ^{'} p_{1} + (1 - λ^{'}) p_{2} \end{array}

(6)

식 (5)에 사용된 α는 베타분포(Beta distribution)를 따르 는 하이퍼파라미터로, 두 이미지를 어떠한 비율로 혼합할 것인지 설정할 수 있다. 이를 기반으로 λ값이 (0,1) 범위 내에서 결정되며, 데이터에 적용할 가중치를 정하는 데 사 용된다. λ와 제안된 max (λ, 1 - λ) 함수에 의해 $λ^{'}$ 은 항상 (0.5, 1)의 범위를 갖도록 설정되며, 이는 이미지 데이터의 label 보간(interpolation)에 활용된다. 식 (6)에 사용된 x_i와 p_i는 각 이미지 데이터의 이미지와 label 정보를 의미한다.

<Figure 3>에 제시된 예시에 따르면, 정상 이미지 데이 터 x₁ 및 label p₁([1.0, 0.0]), 결함 이미지 데이터 x₂ 및 label p₂([0.0, 1.0])를 MixUp하여 새로운 이미지 데이터 x′ 와 새로운 label p′를 생성한다. 예시에서는 하이퍼파라미 터 α를 0.3으로 설정하여 $λ^{'}$ 의 값을 0.7로 결정하였고, 결 과적으로 왼쪽 정상 이미지 데이터에 높은 가중치가 부여 되어 새로운 label p′가 [0.7, 0.3]으로 생성된다.

MixUp 기법을 통해 생성된 새로운 데이터 포인트들은 기존 데이터 포인트 사이의 공간을 더욱 세밀하게 탐색하 게 되므로, 모델은 더욱 복잡한 패턴을 포착할 수 있게 된 다. 이는 모델이 훨씬 다양한 데이터에 대해 더 높은 일반 화 성능을 보이며, 특정 라벨에 지나치게 편향되지 않도록 보조하여 학습 중에 발생할 수 있는 과적합 문제를 완화할 수 있다.

3.4 MixMatch Algorithm [2]

Berthlot et al.[2]이 제안한 MixMatch 알고리즘은 앞서 소개한 준지도학습 분야의 대표적인 세 가지 패러다임인 일관성 정규화 기법, 엔트로피 최소화 기법, 일반 정규화 기법(MixUp)을 결합하여 모델의 일반화 성능을 향상시켰 다. MixMatch 알고리즘의 단계는 <Figure 4>과 같다. 먼저 엔트로피 최소화 기법과 일관성 정규화 기법을 활용하여 데이터 증강 및 label 추정을 실시하고, MixUp 기법을 활 용하여 새로운 데이터셋을 생성한다. 그 후 준지도학습의 최종 Loss(손실값)를 계산하며 모델을 개선해나간다.

먼저 Stochastic 증강 기법을 이용하여 labeled 데이터셋 인 X와 unlabeled 데이터셋인 U를 증강시켜, 증강된 데이 터셋인 $\hat{X}$ 과 $\hat{U}$ 을 생성한다. 이때 unlabeled 데이터는 하이 퍼파라미터인 K번 만큼 증강시킨다.

K번 증강시킨 unlabeled 데이터의 예측 확률 분포가 같은 값이 나오도록 일관성 정규화 기법을 적용하고, Softmax Temperature을 도입해 엔트로피를 최소화시켜 unlabeled 데 이터에 예측 class 정보를 부여한다.

모든 데이터에 class 정보가 생성된 후, 아래 <Figure 7> 와 같이 증강된 labeled 데이터셋 $\hat{X}$ 와 unlabeled 데이터셋 $\hat{U}$ 을 합치고 섞어 새로운 데이터셋인 W 를 만든다.

W = Shuffle (Concat (\hat{X}, \hat{U}))

(7)

그 후, 기존 labeled 데이터셋 $\hat{X}$ 와 unlabeled 데이터셋 $\hat{U}$ 을 W 와 비율에 맞게 MixUp 기법을 수행하여 새로운 labeled 데이터셋인 X′과 unlabeled 데이터셋인 U′을 만든다.

X^{'} = (Mix Up ({\hat{X}}_{i}, W_{i}); i \in (1, \dots, | \hat{X} |))

(8)

U^{'} = (Mix Up ({\hat{U}}_{i}, W_{i + | \hat{X} |}); i \in (1, \dots, | \hat{U} |))

(9)

X^{'}, U^{'} = Mix Match (X, U, T, K, α)

(10)

MixUp 기법을 수행할 때, 위 식 (8)에서 증강된 labeled 데이터셋인 $\hat{X}$ 가 식 (6)의 오른쪽 첫 번째 항에 사 용되어 labeled 데이터셋에 보다 높은 가중치를 둘 수 있 다. 즉, $\hat{X}$ 의 경우 label이 있는 데이터와 없는 데이터 사 이에서 MixUp 알고리즘을 수행할 경우, labeled 데이터 에 높은 가중치로 학습데이터에 반영될 수 있도록 하는 것이다.

결과적으로, labeled 데이터에 높은 가중치를 부여하 여 새로운 labeled 데이터셋인 X′가 생성되며, 식 (9)의 새로운 unlabeled 데이터셋인 U′ 또한 unlabeled 데이터 에 높은 가중치를 두어 각 데이터셋의 특성이 강조될 수 있다.

L_{x} = \frac{1}{| x^{'} |} \sum_{x, p \in x^{'}} H (p, p_{model} (y | x; θ))

(11)

H (p, p_{model} (y | x; θ)) = - \sum_{i = 1}^{n} p_{i} log (p_{model} {(y | x; θ)}_{i})

(12)

식 (11)의 L_x는 labeled 데이터의 Loss를 나타내며, 모델의 예측값 p_model (y|x; θ)과 실제 label p 사이의 Cross Entropy를 계산하여 학습을 진행한다. Cross Entropy 손실 함수는 모델 이 정확한 예측을 할수록 낮은 값을 가지며, 이를 통해 모델이 더 정확한 예측을 하도록 학습을 유도한다.

L_{u} = \frac{1}{| u^{'} |} \sum_{u, p \in u^{'}} {‖ q - p_{model} (y | u; θ)) ‖}_{2}^{2}

(13)

L 2 L o s s = \sum_{i = 1}^{n} {(q - p_{model} (y | u; θ))}^{2}

(14)

식 (13)의 L_u는 unlabeled 데이터의 Loss를 나타내며, unlabeled 데이터에 대한 모델의 예측 $p_{model} (y | u; θ)$ 와 추측 된 결과값(guessed label)인 q 사이의 L2 Loss(Consistency Loss)를 사용하게 된다. 이 손실 함수는 unlabeled 데이터에 대한 모델의 예측이 추측된 데이터의 분포와 가까워질수록 손실값이 감소한다. 즉, 추측된 label과 유사한 label을 출력 할 수 있도록 학습을 진행한다.

L = L_{x} + λ_{u} L_{u}

(15)

최종적으로 label이 존재하는 데이터셋에 대한 Loss와 label이 존재하지 않는 데이터셋의 Loss를 함께 사용하여 식 (15)의 L 과 같은 최종적인 준지도학습의 Loss를 구성 하고 이것을 학습에 사용한다. 식 (15)에 존재하는 하이퍼 파라미터 λ_u는 unlabeled 데이터에 대한 가중치를 의미한 다. 학습이 진행될수록 준지도학습의 최종 Loss인 L 을 줄 이는 방향으로 학습이 진행되게 되는데, 이때 unlabeled 데 이터셋의 Loss 값이 결과에 어느 정도 가중치를 둘 것인지 정할 수 있다.

이와 같이 MixMatch 알고리즘은 미니배치로 이루어진 labeled 데이터와 unlabeled 데이터를 이용하여 일관성 정 규화 기법 및 엔트로피 최소화 기법, MixUp 기법을 활용 하여 최종 Loss를 줄이는 방향으로 모델을 학습하고 이를 통해 모델의 성능을 체계적으로 향상시킨다.

4. 실험 및 결과

제4장에서는 실험에 사용된 데이터 소개와 준지도학습 기법 및 지도학습 기법을 적용한 결과를 비교 분석한다.

4.1 데이터 소개

본 연구에 사용된 데이터셋은 Kaggle에서 제공하는 수 중 펌프 임펠러(submersible pump impeller)의 주조 결함 이미지 데이터이다. 임펠러는 유체의 압력과 흐름을 조절 하는 부품으로, 펌프 내부에서 회전하며 유체에 에너지를 전달하는 로터(Rotor)이다[3].

데이터셋은 총 7,438개의 300*300 픽셀 크기의 흑백 이 미지가 존재하며, 양품 4,201개와 결함품 3,137개로 구분 되어 있다. 결함의 종류는 구멍이 발생하는 결함, 일부분 이 찢어진 결함, 성형 불량으로 밖으로 튀어나오는 결함으 로 총 3가지이나, 본 연구의 목적에 따라 여러 종류의 결함 을 모두 ‘결함’으로 라벨링 하였으며, 실험 시 사용된 그래 픽 카드의 메모리 용량 제약으로 인해 이미지 크기를 128*128 픽셀로 변환하여 실험을 진행하였다.

4.2 실험 내용

본 연구의 실험에 사용된 모델은 지도학습에 사용된 WideResNet과 준지도학습에 사용된MixMatch가 있다. WideResNet은 Berthlot et al.[2]에서 사용된 동일한 파라미 터를 갖는 WideResNet-28-2 구조를 사용하여 실험을 진행 하였다. WideResNet은 residual network의 넓이를 증가시 키고 깊이를 감소시킨 모델로, 모델의 깊이가 깊어지며 발 생하는 기울기 소실, 기울기 폭발 등의 문제를 완화하는데 초점을 둔 모델이다[20].

본 연구의 목적인 라벨 수에 따른 지도학습과 MixMatch 알고리즘을 활용한 준지도학습의 결과를 비교하기 위해, labeled 데이터의 수를 전체 데이터의 5%, 10%, 25%, 그리고 50%로 조절하여 실험을 진행하였고, 정상 데이터와 결함 데이터의 labeled 데이터 개수를 50 : 50 비율로 설정하였다. 또한, 그리드 서치(Grid Search) 기법을 적용하여 MixMatch 알고리즘의 하이퍼파라미터를 최적화하였다. 그리드 서치 기법은 다양한 하이퍼파라미터 조합을 체계적으로 탐색하 여 최적의 성능을 달성하는 조합을 찾는 방법이다.

MixMatch를 제안한 Berthlot et al.[2]에서는 하이퍼파라 미터 중 T 와 K의 값은 0.5와 2로 고정하는 것이 다른 실험 이나 데이터셋에 대해서도 일관된 결과를 보여줄 것으로 제시하였다. 이에 따라 이번 연구에서도 해당 하이퍼파라미 터의 값을 고정하였으며, α와 λ_u의 범위를 지정하여 최적 화를 수행하였다. α의 범위는 0.6에서 0.9 사이로 0.05 간격 으로 실험하였고, 그 결과 최적값은 0.75로 확인되었다. λ_u 의 경우, 0부터 100 사이에서 25 간격으로 실험했을 때 25에 서 가장 높은 성능을 보였다. 또한, Batch size는 16, Learning rate는 0.003으로 설정하였으며 총 100 epoch동안 학습을 진행하였다. 추가적으로, 검증 데이터셋에 대한 손실 값이 일정 epoch 동안 개선되지 않을 경우 학습을 조기에 중단하 는 조기종료(early stopping) 기법을 적용하였다.

4.3 평가 지표

본 연구의 결과를 정량적으로 비교하기 위해 Accuracy (정확도), Recall(재현율), Precision(정밀도), 그리고 F1-Score 와 같은 분류 성능 지표를 사용하였다.

Accuracy(정확도)란 모델이 올바르게 분류한 항목의 비 율로 계산이 된다.

A c c u r a c y = \frac{T P + T N}{T P + F P + F N + T N}

(16)

Recall(재현율)은 실제 Positive인 항목 중에서 모델이 Positive로 예측한 항목의 비율을 나타낸다.

R e c a l l = \frac{T P}{T P + F N}

(17)

Precision(정밀도)는 모델이 Positive로 예측한 항목 중 실제로 Positive인 항목의 비율을 나타낸다.

p r e c i s i o n = \frac{T P}{T P + F P}

(18)

F1-Score는 재현율과 정밀도의 조화 평균으로, 두 지표 의 균형을 나타내는 값을 제공한다. 이는 특히 불균형한 데이터셋에서 유용한 지표로 활용된다.

F 1 - S c o r e = 2 \times \frac{R e c a l l \times P r e c i s i o n}{R e c a l l + P r e c i s i o n}

(19)

4.4 실험 결과

본 연구에서는 labeled 데이터의 비율을 다양하게 조절 하여 지도학습과 MixMatch 알고리즘을 활용한 준지도학 습 간의 성능 차이를 비교하였다. 실험은 각 조건마다 랜 덤하게 데이터를 산출하여 5번씩 반복 수행되었으며, 각 반복에서 산출된 평가지표들 중 전체 반복 과정에서 기 록된 최곳값(maximum value)을 바탕으로 결과를 제시하 였다.

아래 <Table 4>에서는 다양한 labeled 데이터의 비율에 따른 지도학습과 준지도학습의 Accuracy, Recall, Precision, 그리고 F1-Score 값을 제시한다. 결과에서 확인할 수 있듯 이, labeled 된 데이터의 수가 적은 경우 MixMatch 알고리즘 을 기반으로 한 준지도학습의 성능이 훨씬 높은 결과를 보여주었다. labeled 된 데이터의 비율이 5%일 때의 준지도 학습의 정확도는 90.19%로, 동일한 비율의 지도학습과 비 교하여 약 22%p의 차이를 보였으며, 10%일 때는 92.89%로, 이 경우에도 동일 비율의 지도학습 성능보다 약 8%p 높은 정확도를 기록하였다. 이러한 결과는 labeled 데이터의 수가 매우 적은 경우, 준지도학습이 충분히 좋은 성과를 달성할 수 있음을 나타낸다.

5. 결론 및 추후연구

데이터 라벨링은 연구나 산업 현장에서 흔히 직면하는 큰 과제 중 하나로, 높은 품질의 labeled 데이터를 얻기 위 해서는 상당한 시간과 비용이 소모된다. 특히 이미지 데이 터의 경우, 세밀한 라벨링이 요구되므로 전문가의 개입이 필수적이며, 이로 인해 비용이 급증할 수 있다. 또한, 데이 터의 양이 증가할수록 그에 따른 라벨링 작업의 복잡성도 함께 증가한다.

본 논문에서는 금속 주조 공정에서의 결함 이미지 데이 터를 활용하여 지도학습과 MixMatch 알고리즘을 기반 준 지도학습 간의 성능을 비교하였다. 실험 결과, labeled 데 이터의 수가 매우 제한적인 상황에서 준지도학습이 지도 학습에 비해 상대적으로 높은 성능을 보였으며, 이는 labeled 데이터가 부족한 실제 연구나 산업 현장에서 유용하 게 활용될 수 있음을 시사한다.

그러나 본 연구에서는 몇 가지 한계점이 존재한다. 특 히, 사용된 모델의 하이퍼파라미터 수가 많아 그리드 서치 기법으로 완벽하게 최적화하기에 한계가 있었다. 그리드 서치 기법은 하이퍼파라미터의 조합을 체계적으로 탐색하 여 최적의 성능을 추구하지만, 동시에 큰 계산량과 항상 최적의 조합을 보장하지 않는 문제점이 존재한다. 또한, 하이퍼파라미터는 학습 데이터의 일부를 검증 데이터로 두고, 검증 데이터 내에서 성능이 좋았던 하이퍼파라미터 로 최종 세팅을 하게 되는데, 준지도학습을 적용하는 상황 은 Labeled 데이터가 적은 상황으로 올바른 검증 데이터가 만들어질 수 없다. 따라서 최적의 성능을 가진다고 보장할 수 없다는 한계점이 존재한다. 추가적으로, 하드웨어의 성 능 한계로 인한 데이터 전처리 과정에서의 정보 손실 또한 모델 성능에 영향을 미쳤을 것으로 사료된다.

본 연구에서는 MixMatch 알고리즘에 중점을 둔 결과를 분석하였지만, 향후 앙상블 방법론을 활용하여 모델의 성 능을 향상시키는 동시에, 다양한 데이터셋에도 적용 가능 한 모델에 대한 연구 방향을 모색할 예정이다.

Acknowledgement

This work was supported by Kyonggi University‘s Graduate Research Assistantship 2023.

Figure

<Figure 1>.

Research Process

<Figure 2>.

Entropy Minimization

<Figure 3>.

MixUp Example

<Figure 4>.

MixMatch Algorithm Process

<Figure 5>.

Data Augmentation

<Figure 6>.

Label Estimation

<Figure 7>.

ConCat & Shuffle and MixUp

<Figure 8>.

Submersible Pump and Impeller Dataset

Table

<Table 1>.

Semi-supervised Literatures Classified Application

Item	Case Study	Author	Year
Road Surface	This paper introduces a semi-supervised road damage detection method with pseudo labels. It outperforms a labeled-only model, showing improved precision and a high F1-score, despite a slight recall reduction.	Chun et al.[4]	2019
Plasma Etch Equipment	This study enhances semiconductor manufacturing with a high 95.2% accuracy FDC system using semi-supervised learning and equipment status data with optical emission spectroscopy during silicon etching.	Lee et al.[14]	2020
Underground Structure	This study improves crack area detection by 0.25% on average using adversarial learning with neural networks, enabling efficient deep learning for precise crack detection.	Sim et al.[16]	2020
Electricity Load	This paper proposes a semi-supervised electricity load anomaly detection method based on MixMatch. Experimental results demonstrate a significant improvement in AUC when compared to traditional machine learning methods.	Sun et al.[18]	2021
Charging Equipment of Electric Vehicle	This study introduces a novel semi-supervised approach for precise fault diagnosis in EV charging equipment using Tri-training and deep belief networks (DBN). It achieves over 90% accuracy for all fault types, even with limited labeled data.	Gao et al.[5]	2022
Metal Surface Defects	The paper presents the AMFM model for industrial product defect inspection, combining AugMix and RandAugment. It achieves exceptional 99.8% and 100% accuracy in semi-supervised learning, surpassing existing models.	Shin et al.[17]	2022
Electronic Control Unit	This study introduces an AI-based IDS for the vulnerable CAN protocol, efficiently detecting over 99% of attacks with just 1,000 data points, compared to 200,000 in conventional supervised learning.	Lee et al.[12]	2023
Potholes Occurring on Paved Roads	The paper improves pothole image classification using Mean Teacher in semi-supervised learning, achieving an average accuracy of 90.41%, with 2-9% performance difference from supervised learning.	Kim et al.[8]	2023

<Table 2>.

Notation and Definition Used in the MixMatch Algorithm

Notaion	Definition
x	A labeled example, used as input to a model
p	A (one-hot)label
L	The number of possible label classes(the dimentionality of p)
X	A batch of labeled examples and their labels
	A batch of augmented labeled examples derived from X
Xʹ	A batch of processed labeled examples produced by MixMatch
u	An unlabeled example, used as input to a model
q	A guessed label distribution for an unlabeled example
U	A batch of unlabeled examples
	A batch of augmented labeled examples derived from U
Uʹ	A batch of processed unlabeled examples with their label guesses produced by MixMatch
H(p,q)	Cross-entropy between “target” distribution p and “predicted” distribution q
θ	The model’s parameters
Pmodel(y\|x;θ)	The model’s predicted distribution over classes
Augement(x)	A stochastic data augmentation function that returns a modified version of x. For example, Augment(·) could implement randomly shifting an input image, or implement adding a perturbation sampled from a Gaussian distribution to x.
λu	A hyper-parameter weighting the contribution of the unlabeled examples to the training loss
α	Hyperparameter for ther Beta distribution used in MixUp
T	Temperature parameter for sharpening used in MixMatch
K	Number of augmentation used when guessing labels in MixMatch

<Table 3>.

Confusion Matrix

	Actual
Predicted	Positive	True Positive	False Positive
Negative	False Negative	True Negative

<Table 4>.

Research Result

Number of Labeled Data(%)	Supervised Learning	Semi-Supervised Learning
5	0.6809	0.8718	0.4595	0.6018	0.9019	0.8821	0.9021	0.8906
10	0.8511	0.9123	0.7647	0.8320	0.9289	0.9102	0.9348	0.9205
25	0.9722	1.0000	0.9495	0.9741	0.9474	0.9307	0.9555	0.9412
50	0.9939	1.0000	0.9882	0.9941	0.9757	0.9564	0.9660	0.9610

Reference

Artificial Intelligence Index Report 2021, McKinsey & Company, Stanford University, 2021
Berthelot, D., Carlini, N., Goodfellow, I., Papernot, N., Oliver, A., and Raffel, C.A., Mixmatch: A Holistic Approach to Semi-supervised Learning, Advances in Neural Information Processing Systems, 2019, Vol. 545, pp. 5049-5059.
Casting Product Image Data for Quality Inspection, https://www.kaggle.com/ravirajsinh45/real-life-industrial- dataset-of-casting-product.
Chun, C. and Ryu, S.K., Road Surface Damage Detection Based on Semi-supervised Learning Using Pseudo Labels, The Journal of the Korea Institute of Intelligent Transportation Systems, 2019, Vol. 18, No. 4, pp. 71-79.
Gao, D.,, Lin, X., Zheng, X., and Yang, Q., Novel Semi-supervised Fault Diagnosis Method Combining Tri-training and Deep Belief Network for Charging Equipment of Electric Vehicle, International Journal of Automotive Technology, 2022, Vol. 23, No. 6, pp. 1727-1737.
Guo, C., Pleiss, G., Sun, Y., and Weinberger, K. Q., On calibration of modern neural networks, In International Conference on Machine Learning, PMLR, 2017, pp. 1321-1330.
Grandvalet, Y. and Bengio, Y., Semi-supervised Learning by Entropy Minimization, Advances in Neural Information Processing Systems, 2004, Vol. 17, pp. 529-536.
Kim, I.K., Kim, B.J., and Gwak, J.W., Utilizing Mean Teacher Semi-Supervised Learning for Robust Pothole Image Classification, Journal of The Korea Society of Computer and Information, 2023, Vol. 28, No. 5, pp. 17-27.
Kingma, D.P., Mohamed, S., Jimenez Rezende, D., and Welling, M., Semi-supervised Learning with Deep Generative Models, Advances in Neural Information Processing Systems, 2014, Vol. 268, pp. 3581-3589.
Kostopoulos, G., Karlos, S., Kotsiantis, S., and Ragos, O., Semi-supervised Regression: A Recent Review, Journal of Intelligent & Fuzzy Systems, 2018, Vol. 35, No. 2, pp. 1483-1500.
Laine, S. and Aila, T., Temporal Ensembling for Semi-Supervised Learning, arXiv preprint arXiv, 2016, 1610.02242.
Lee, H.R., Hong, S.W., Lee, S.Y., and Ha, J.C., Anomaly Detection in Vehicle Network Using Semi-Supervised Learning Model, Journal of the Korea Academia- Industrial Cooperation Society, 2023, Vol. 24, No. 2, pp. 11-20.
Lee, S.W. and Kwon, Y.M., Machine Vision-based Quality Inspection Method and System Utilizing Deep Learning in Manufacturing Process, 10-2017-0162907, 2019.
Lee, Y.H., Choi, J.E., and Hong, S.J., Semi-Supervised Learning for Fault Detection and Classification of Plasma Etch Equipment, Journal of the Semiconductor & Display Technology, 2020, Vol. 19, No. 4, pp. 121-125.
Quali, Y., Hudelot, C., and Tami, M., An Overview of Deep Semi-supervised Learning, arXiv preprint arXiv, 2020, 2006.05278.
Shim, S.B., Choi, S.I., Kong, S.M., and Lee, S.W., Adversarial Learning for Underground Structure Concrete Crack Detection Based on Semi-supervised Semantic Segmentation, Journal of Korean Tunnelling and Underground Space Association, Vol. 25, No. 2, pp. 515-528.
Shin, Y.S., Kim, I.M., Kang, S.H., Lee, S.H., Park, J.H., and Kang, J.M, AMFM: AugMix-empowered FixMatch for High-Performing Semi-Supervised Classification of Metal Surface Defects, Journal of Korean Institute of Intelligent Systems, 2022, Vol. 32, No. 5, pp. 424-431.
Sun, S., Zhou, Y., He, Hao., He, J., and Chi, Y., Anomaly Detection of Electricity Load Data Based on MixMatch, International Conference on Computer Engineering and Artificial Intelligence, Shanghai, China, 2021, pp. 53-56.
Yang, X., Song, Z., King, I., and Xu, Z., A Survey on Deep Semi-supervised Learning, IEEE Transactions on Knowledge and Data Engineering, 2022, Vol. 35, No. 9, pp. 8934-8954.
Zagoruyko, S. and Komodakis, N., Wide Residual Networks, arXiv preprint arXiv, 2016, 1605.07146.
Zhang, H., Cisse, M., Dauphin, Y.N., and Lopez-Paz, D., Mixup: Beyond Empirical Risk Minimization, arXiv preprint arXiv, 2017, 1710.09412.

Number of Labeled Data(%)	Supervised Learning				Semi-Supervised Learning
Number of Labeled Data(%)	Accuracy	Recall	Precision	F1-Score	Accuracy	Recall	Precision	F1-Score
5	0.6809	0.8718	0.4595	0.6018	0.9019	0.8821	0.9021	0.8906
10	0.8511	0.9123	0.7647	0.8320	0.9289	0.9102	0.9348	0.9205
25	0.9722	1.0000	0.9495	0.9741	0.9474	0.9307	0.9555	0.9412
50	0.9939	1.0000	0.9882	0.9941	0.9757	0.9564	0.9660	0.9610