Journal Search Engine

ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)

Journal of Society of Korea Industrial and Systems Engineering Vol.44 No.3 pp.1-9
DOI : https://doi.org/10.11627/jkise.2021.44.3.001

Deep Learning based Image Recognition Models for Beef Sirloin Classification

Jun-Hee Han^*

, Sung-Hun Jung^*

, Kyungsu Park^**

, Tae-Sun Yu^***†

^*Departement of Industrial & Management Systems Engineering, Dong-A University
^**Department of Business Administration, Pusan National University
^***Division of Systems Management and Engineering, Pukyong National University

^†Corresponding Author : tsyu@pknu.ac.kr

Received 17/06/2021 Finally Revised 03/08/2021 Accepted 09/08/2021

Abstract

This research examines deep learning based image recognition models for beef sirloin classification. The sirloin of beef can be classified as the upper sirloin, the lower sirloin, and the ribeye, whereas during the distribution process they are often simply unified into the sirloin region. In this work, for detailed classification of beef sirloin regions we develop a model that can learn image information in a reasonable computation time using the MobileNet algorithm. In addition, to increase the accuracy of the model we introduce data augmentation methods as well, which amplifies the image data collected during the distribution process. This data augmentation enables to consider a larger size of training data set by which the accuracy of the model can be significantly improved. The data generated during the data proliferation process was tested using the MobileNet algorithm, where the test data set was obtained from the distribution processes in the real-world practice. Through the computational experiences we confirm that the accuracy of the suggested model is up to 83%. We expect that the classification model of this study can contribute to providing a more accurate and detailed information exchange between suppliers and consumers during the distribution process of beef sirloin.

Key Words : Deep learning , Image recognition , Classification , Data augmentation , Beef section

딥러닝 이미지 인식 기술을 활용한 소고기 등심 세부 부위 분류

한 준희^*, 정 성훈^*, 박 경수^**, 유 태선^***†

^*동아대학교 산업경영공학과
^**부산대학교 경영학과
^***부경대학교 시스템경영공학부

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

1. 서 론

소고기 등심은 일반적으로 세 가지 세부 부위로 세분 화될 수 있으며, 부위에 따라 윗등심, 아랫등심, 그리고 꽃등심으로 분류된다. 각 부위는 동일한 등심 부위임에 도 불구하고 육질과 지방의 함량에 따라 높은 수준의 가 격 차이를 보인다. 그러나 유통 과정에서는 비용 최소화 등의 이유로 이러한 세분화가 불가능한 경우가 많으며, 이는 각 부위별로 정확한 상품가치를 산출하는데 큰 어 려움으로 작용하게 된다. 이에 따라 공급자는 상품의 가 치를 극대화하지 못하며, 소비자는 충분하지 못한 정보 로 제품을 선택해야 하는 불합리한 상황이 발생하게 된 다. 이런 유통 과정의 불합리를 개선하고, 소비자에게 정 확한 정보를 제공하기 위해서는 빠른 의사 결정 모델을 수반한 분류 알고리즘이 필요하다.

따라서 본 연구에서는 딥러닝 기반의 이미지 인식 기 술을 활용하여 소고기 등심 부위를 세부적으로 분류하는 것을 목표로 한다. 이미지 인식에 딥러닝을 활용하는 기 술은 Fukushima et al.[7]에서 언급된 것처럼 데이터의 분 류와 군집분석 분야에서 많은 적용 및 응용 사례를 찾을 수 있다. 특히, 이미지 인식과 관련된 기술은 1990년대 후반부터 다양한 분야에 활용되어 왔다. LeCun et al.[18] 에서는 필기와 숫자를 인식하는 기초적인 알고리즘을 제 안하였으며, Lawrence et al.[17]에서는 안면 인식에 대한 모델을 제안하였다. 이미지 인식 연구를 위한 다양한 방 법론이 연구되었으며, 특히 Krizhevsky et al.[16]에서 딥 러닝 기술이 기존의 비전 기술을 뛰어넘는 모습을 보여 주면서 본격적으로 이미지 인식에서 딥러닝 기반의 방법 론들이 우위를 차지하게 되었다. Kim et al.[15]에서는 꾸 준히 발전하고 있는 딥러닝 기반 알고리즘들이 네이버 등의 IT기업에서 어떻게 활용되고 있는지 소개되었다. 이러한 딥러닝 기술은 최근 농축산업 분야에도 일부 적 용되기 시작했다. Jeong et al.[11]에서는 딥러닝 기반 알 고리즘들이 농업 및 축산업 분야에 활용되는 사례들을 조사하였으며, 특히 농작물의 질병 예측 등에 딥러닝이 활발하게 활용되고 있음을 확인하였다. 또한 농작물의 모니터링을 위한 이미지 분류 연구 등도 진행되고 있다 [20]. 그러나 2장의 선행 연구 조사에서 언급한 것처럼 딥러닝 기술이 축산업에 활용된 사례는 아직 많지 않다.

본 연구에서는 학습데이터 획득을 위해서 소비자와 연결되는 유통업체에서 소고기 등심의 부위별 유통 사진 및 인터넷 상의 소고기 등심 부위 사진을 수집한다. 그러 나 유통업체를 통해 수집된 사진 데이터만으로 충분히 높은 분류 정확도를 보장하기는 어렵기 때문에, 본 연구 에서는 데이터 증강(Data Augmentation) 기법을 통해 학 습 데이터를 증식하는 방법을 제안한다. 증강된 데이터 는 딥러닝 기반의 이미지 인식 기법이 활용된 학습 모델 을 구축함에 있어 학습 및 검증 데이터로 활용된다. 이렇 게 학습된 모델은 유통과정에서 얻을 수 있는 테스트 집 합에 적용되며, 이를 통해 제안된 모델의 효율성과 정확 도를 검증한다. 학습 모델 구현 과정에서는 모델의 경량 화와 컴퓨팅 자원(Computing Resource)의 한계를 극복하 고자 기존의 합성곱 신경망(Convolutional Neural Network) 을 개선한 MobileNet 알고리즘 기반 Teachable Machine 을 활용하며, 이를 통해 결과 도출에 필요한 계산시간 (Computation Time)과 컴퓨팅 자원을 최소화한다.

본 논문의 구성은 다음과 같다. 제2장에서는 본 연구 와 관련된 선행연구를 살펴본다. 제3장에서는 효율적인 이미지 인식 모델 학습에 필요한 데이터 증식 방법론과 모델의 경량화에 필요한 MobileNet에 대해 기술한다. 제 4장에서는 다양한 실험을 통해 우리가 제시한 모델의 정 확도를 검증한다. 그리고 제5장에서는 본 논문의 내용을 정리하고, 향후 연구방향 및 축산업 분야에서의 추가적 인 확장성에 대해 논의한다.

2. 배경 지식 및 선행 연구

소고기의 유통 과정에서는 품질과 부위에 따라 상품의 가격이 큰 영향을 받는다. 때문에 소고기의 품질을 계측하 고 세부 부위를 구분하기 위한 다양한 연구들이 오래전부터 선행되어 왔다. 국내의 소고기의 부위는 대분할 10개 부위 에 소분할 39개 부위로 정의되어 있다[21]. 특히, <Figure 1>에 명시된 등심 부위는 운동량이 상대적으로 적으며, 근 육과 근섬유 사이의 지방조직들이 잘 발달하여 우수한 품질 의 상품으로 취급된다고 알려져 있다[14].

등심부위는 윗등심, 아랫등심, 꽃등심 그리고 살치살 로 구분될 수 있으나, 살치살의 경우 특수부위로 취급되 어 유통과정에서 명확히 구분되므로 본 연구에서는 고려 하지 않는다. 윗등심은 대분할된 등심부위에서 제5등뼈 (흉추)와 제6등뼈사이를 2분체 분할정중선과 수직으로 절단하여 제1등뼈에서 제5등뼈까지의 부위를 정형한 것 이며, 꽃등심은 대분할된 등심부위에서 제5～제6등뼈(흉 추) 사이와 제9～제10등뼈 사이를 2분체 분할정중선과 수직으로 절단하여 제6등뼈에서 제9등뼈까지의 부위를 정형한 것, 그리고 아랫등심은 대분할된 등심부위에서 제9등뼈(흉추)와 제10등뼈사이를 2분체 분할정중선과 수 직으로 절단하여 제10등뼈에서 제13등뼈까지의 부위를 정형한 것이다. 살치살의 경우 윗등심살의 앞다리부위를 분리한 부위에 붙어있는 배쪽톱니근(복거근)을 추가로 분리한 것이다[22]. 윗등심과 아랫등심의 경우 기준이 명 확하게 제시되어 있지만, 꽃등심의 경우 도축과정에서 우수부위를 별도로 분류하며, 비육이 잘 된 소의 등심부 위에 나타나는 중대리석 무늬(Marbling)를 통해 유통 과 정 중에 구분된다. 따라서 꽃등심의 분류 기준은 그 분류 자 및 유통 환경에 따라 달라질 수 있다. 꽃등심은 등심 부위 중 지방의 배치로 인해 비교적 높은 유통가격을 형 성하고 있으나, 소비자의 입장에서는 중대리석 무늬에 대한 사전지식이 없어 우수한 부위 및 등급을 육안으로 구분하기 어렵다.

이러한 소고기의 분류 및 군집과 관련된 선행 연구는 기타 응용 대상들에 대한 선행연구들에 비해 매우 부족 한 상황이라고 볼 수 있다. 축산업 내의 소고기 품질과 관련된 연구는 Lee et al.[19]에서 중요성을 언급하였다. 그리고 소고기의 품질 특성에 대한 연구는 부위 및 품종 의 물리화학적인 특성에 집중되어 진행되어 왔다[3, 13]. 산업과 기술의 발달에 따라, 소고기의 외부적 특성을 활 용하여 등급을 판별하는 방법론들에 대한 연구도 다양하 게 진행되었다. 우선, Shiranita et al.[26]은 표면 분석 기 법을 기반으로 고기의 지방 배치를 활용한 품질 분석을 실시하였다. Timsorn et al.[29]은 Metal Oxide Gas 센서 로부터 발생된 데이터를 입력값으로 하여 신선도를 판명 하는 인공신경망 기반의 모델을 제안하였으며, Choi et al.[4]에서는 소고기 육색 등급의 자동 판정을 위해 인공 신경망 기법을 활용하여 색좌표계를 변환함으로써 색보 정 및 정량화를 실시하였다. 그 외에도 Jang et al.[10]에 서는 10개 고기의 신선도를 측정하는 센서 데이터를 활 용하여 각 측정 센서의 성능을 심층신경망을 통해 조사 하였다. 본 연구에서는 데이터 증강 기법과 Teachable Machine 및 MobileNet을 활용한 이미지 인식 기법을 동 시에 적용하며, 이에 대한 선행 연구들은 제3장에서 자 세히 다뤄진다.

3. 문제정의 및 방법론

이번 장에서는 본 연구에서 다루고자 하는 문제를 학 술적으로 정의하고 이를 해결하기 위한 접근방법에 대해 소개한다. 본 연구의 목적은 상대적으로 세분화가 어려 운 소고기 등심 세부 부위를 빠른 시간 내에 구분할 수 있도록 이미지 인식 기반의 효율적인 분류(Classification) 방법론을 제안하는 것이다. 이러한 효율적인 분류 방법 론 개발을 위해 본 연구에서는 인공지능 분야의 핵심 기 술 중 하나인 딥러닝 기반 이미지 인식 기술을 활용한다. 위에서 언급한 것처럼, 많은 종류의 딥러닝 기반 이미지 분석 모델들이 다양한 분야에서 개발되어 왔다. AlexNet 은 2012년 ImageNet 챌린지에서 우승하며 이미지 분석 에 딥러닝이 핵심 기술로 활용될 수 있음을 보여주었다 [16]. 이후, ResNet은 2015년 정확도 96.4% 로 ImageNet 에서 우승하며, 이미지 인식 분야에서의 딥러닝 활용기 법을 한층 더 발전시켰다[9]. 이번 장에서는 본 연구에서 활용하고자 하는 데이터 증강 기법과 MobileNet 기반의 Teachable Machine에 대해 소개한다. 이러한 방법론들을 기반으로 본 연구에서는 수집된 데이터를 증식하여 학습 량을 증가시키며, 증강된 데이터를 MobileNet 기반의 Teachable Machine에 적용하여 소고기 등심 세부 부위를 인식하고 분류하는데 활용한다.

3.1 데이터 증강

딥러닝 모델의 정확도를 높이기 위해서는 학습에 필 요한 충분한 양의 데이터를 확보하는 것이 중요하다. 그 러나 실제 현장에서 구할 수 있는 데이터의 양에는 한계 가 있는 경우가 많고, 또한 수집된 데이터들의 품질 또한 일정하지 않은 경우가 많다. 따라서, 본 연구에서는 데이 터 증강을 활용하여 데이터 양이 부족한 상황에서도 충 분한 모델 학습이 가능하도록 한다. 이러한 데이터 증강 기법의 적용은 제안된 학습 모델이 다양한 분석 조건 및 환경에서 제 기능을 발휘할 수 있도록 만들어준다[31].

데이터 증강에 대해서는 많은 선행 연구에서 다양한 방법 들이 제시되어 왔다[27]. 특히, 이미지의 기하학적 변경이 가장 일반적이라고 알려져 있으며[1, 5], 위조된 이미지를 생성하는 적대 이미지 생성(Generative Adversarial Network) 기법을 활용하여 모델의 성능을 높이기도 한다[23]. 또한 이미지의 질감 변형을 통해 데이터를 증강하는 방법도 사용 된다[6, 8]. 그 외에도 데이터를 증강하는 방법은 다양하게 연구되어 왔으나, 알려져 있는 모든 데이터 증강 기법을 모두 적용하는 것은 과도하게 많은 학습 시간과 자원을 소모하며 그에 따른 정확도의 개선은 유의미하지 않은 경우 가 많다. 또한 현실과 너무 동떨어지거나 기존 특징을 왜곡할 수 있는 데이터 증강 기법의 활용은 오히려 학습 과정을 더욱 어렵게 만들거나 학습 성능을 저하시킬 수 있다.

본 연구에서는 소고기 등심 세부 부위 판별을 위해 회 전 및 뒤집기의 기하학적 변경과 비닐 이미지를 합성하 여 질감을 변경하는 세 가지의 데이터 증강 기법을 적용 한다. 회전 및 뒤집기의 기하학적 변형을 통해 원본 이미 지를 다각도에서 학습할 수 있도록 하며, 비닐의 질감을 기존 데이터에 합성함으로써 광학적 노이즈를 효과적으 로 상쇄하여 데이터 품질의 편차를 줄이도록 하였다. 각 데이터 증강 기법의 효과를 검증하기 위해 본 연구에서 는 학습용 데이터(Training Data)를 증강 없음, 기하학적 변형, 질감 변경의 세 가지 집합으로 세분화하여 학습을 진행한다. <Figure 2>에서는 원본 이미지와 함께 90도, 180도, 270도 회전 이미지, 그리고 뒤집기를 통한 데이터 증강 예시를 보여주며, <Figure 3>에서는 15종의 비닐 이미지 합성을 통해 동일한 데이터에 다양한 질감을 적 용한 예시들을 보여준다. 위에서 언급한 증강 기법에 따 른 데이터 양은 <Table 1>에 정리되어 있다.

본 연구에 사용된 학습용 데이터는 실제 소비자가 접 하게 되는 유통 업체에서 수집된 촬영 사진과 인터넷에 서 수집 가능한 소고기 등심 사진을 함께 사용하였다. 학 습용 데이터 Set 1은 데이터 증강 기법을 적용하지 않은 원본 데이터 154개로 구성하였으며, Set 2에는 회전과 뒤 집기 등의 기하학적 증강 기법만 적용되었다. 마지막으 로, Set 3에서는 15종의 비닐 질감을 더한 1500개의 학습 용 데이터가 정의되었다. 위와 같이 증강 기법의 적용 유 무에 따라 정의되는 서로 다른 학습용 데이터들을 고려 하여 이미지 인식 모델을 학습하였으며, 이를 통해 각 데 이터 증강 기법들의 성능을 확인하고자 한다.

3.2 Teachable Machine과 MobileNet을 활용한 이미지 인식 기법

본 연구에서는 이미지 인식 모델을 구축하기 위해 Google 에서 제공한 Teachable Machine을 활용한다[2]. Teachable Machine은 사용자 지정 머신 러닝 분류 모델을 만들기 위한 웹 기반의 GUI 툴이다. Teachable Machine은 2017년 처음 도입되었으며, 2019년 2.0 모델로 업데이트 되며 성능이 개선되었다. Teachable Machine의 입출력은 Input, Training 그리고 Output으로 구성이 되어 있으며, 이미지와 소리 그리 고 동작 인식 등의 연구에 활용할 수 있다. 이미지 분석의 경우 사전에 구분이 완료된 이미지를 2개 종류 이상 업로드 하면, 새로운 입력 데이터에 대한 분류를 가능하게 해주는 학습 모델을 생성할 수 있다.

본 연구에서 다루는 Teachable Machine은 MoblieNet 알 고리즘을 기반으로 한다. AlexNet이 ImageNet Challenge: ILSVRC 2012에서 우승한 이후, 이미지 인식 분야에서는 합성곱 신경망을 활용한 학습 방법이 주목받기 시작하였다 [16, 24]. 이후 합성곱 신경망을 활용하여 이미지 인식의 정확도를 높이려는 다양한 후속 연구들이 진행되었다[28, 9]. 그러나, 이미지 인식의 정확도가 높은 학습 모델들의 경우 실용적인 수준 이상의 높은 컴퓨팅 능력과 자원을 요구하는 경우가 많았으며, 이에 따라 경량화를 통해 효율 성과 실용성을 극대화 시킨 인공신경망 모델들이 주목받기 시작하였다[12, 30]. 기존의 연구들은 사전 훈련된 네트워크 를 압축시키거나 소규모 네트워크를 학습하는데 집중하였 으나, Wang et al.[30]은 모델의 개발자가 가진 자원 제한의 한계를 고려하여 각 네트워크의 규모를 선택적으로 결정하 는 새로운 네트워크 아키텍처 MobileNet을 제안하였다. MobileNet은 깊이에 따른 분리 합성곱(Depthwise Separable Convolution)을 통해 기존에 곱연산으로 처리되던 과정을 두 개의 분리 합연산으로 변경하여, 필요한 모수(Parameter) 의 수와 연산량을 감소시킬 수 있다. 또한, 역 레지듀얼 (Inverted Residual)을 통해 저차원의 데이터를 고차원으로 확장하고, 이를 다시 압축하는 방법을 통해 데이터의 손실 을 최소화하도록 하는 방법이 제안되었다[25]. MobileNet의 활성화 함수(Activation Function)는 모바일에 적합한 구조 인 Relu6를 제시하였다.

본 연구에서 다루는 학습 모델의 전체적인 구조는 <Figure 4>에 도식화 하였으며, 특히 본 연구에서는 합성곱 신경망(Convolution Neural Network) 기반의 지식 증류 기법 을 활용하고 있다. 입력된 데이터는 선학습 모델(Teacher Model)에서 사전 학습을 진행하게 된다. 이러한 학습을 통 해, 하나의 데이터는 해당 데이터가 속할 수 있는 분류군 별 확률 값으로 표현되는데, 이를 소프트 레이블(Soft Label) 이라 정의한다. 반대로, 복잡한 모델의 학습 결과는 각 학습 데이터의 분석 결과를 포함하며, 이러한 분석결과를 포함한 소프트 레이블과 실제 분류 결과인 하드 레이블(Hard Label) 을 함께 반영하여 학습하도록 한다. 소프트 레이블을 활용 하면, 모델이 과적합(Overfitting)에 빠지는 것을 방지함과 동시에 후학습 모델(Student Model)의 연산량을 감소시키 므로 모바일 환경과 같은 낮은 컴퓨팅 조건에서도 빠르고 정확한 결과를 보여주게 된다.

4. 실험결과

4.1 데이터 증강 기법 실험

본 연구에서는 제3.1절에서 언급된 데이터 증강 기법 들의 성능과 효과를 우선적으로 검증하였다. 데이터 증 강 방법론에 대한 성능 검증을 위해 앞서 정의한 Set 1, Set 2 그리고 Set 3에 대해 학습을 진행하였고, 이를 사 전에 미리 분류해 놓은 정답 집단(Test Set)에 적용하여 정확도를 비교하였다. 정답 집단은 유통과정에서 최종 고객인 일반 소비자가 식료품점에서 구입할 수 있는 54 개의 시료를 활용하였다. 특히, 부위별로 냉장 혹은 냉동 상태로 포장되어 있는 시료를 조명, 기울기 그리고 회전 각에 따라 촬영하여 습득한 16,032개의 데이터를 정답 집단으로 사용하였다. 학습량에 따른 정확도 변화량을 검증하기위해, 학습 횟수(Epoch)는 각각 1500/3000/5000 으로 설정하여 결과를 비교하였다. 또한, 학습에는 모두 512개의 배치 크기(Batch Size)가 사용되었다.

<Table 2>에 정리된 학습용 데이터에 대한 실험 결과는 <Table 3>에 정리되어 있다. 154개의 기본 학습 데이터를 가지고 있는 Set 1의 경우 5000회 학습한 조건에서 60.52%의 정확도를 보여주었으며, 3000회 학습의 경우는 5000회 학습 의 결과보다 0.34% 낮게 나타났음을 확인할 수 있다. 또한 학습 횟수가 1500회인 경우 2.61% 더 낮은 결과를 보여주었 다. 이를 통해 3000회 학습 이후에는 학습 정확도의 개선 정도가 현저하게 떨어짐을 유추할 수 있다. 위와 같은 특성은 Set 2에서도 확인해볼 수 있다. 1500회 실험에서 나타난 69.38%의 정확도는, 3000회 학습에서 73.26%로 크게 개선 되었으나, 5000회 학습을 통해서는 0.8% 밖에 증가하지 않는 것을 확인할 수 있었다. 마지막으로 질감 변형을 통한 증강 방식은 학습용 데이터의 양이 15배로 증가되었음에도 불구 하고, 데이터를 증강하지 않은 모델보다 오히려 정확도가 감소하는 모습을 보여주었다. 학습 횟수에 따른 정확도의 개선 또한 0.5% 이내의 차이를 보여주었다. 이러한 결과를 종합해 보았을 때, 질감 변형을 통한 데이터 증강은 증강을 하지 않은 학습과 비슷한 수준의 학습 효과를 보여주었다. 학습 소요 시간은 데이터 양에 비례하기 때문에 약 15배 정도 더 소요되었으나 오히려 정확도가 감소하는 결과가 나타났으며, 학습 횟수 증가에 따른 효과도 미비하다. 반대 로 기하학적 증강에 따른 정확도 증가는 유의미하다고 볼 수 있으며, 특히 증강 기법을 사용하지 않은 Set 1과 비교하였 을 때 상당한 수준의 개선 효과가 있었다. 또한, 5000회 학습을 수행한 기하학적 증강에서 가장 높은 정확도 74%가 확인되었으나, 이러한 결과는 실제 실용화에 필요한 수준의 정확도라고 보기는 힘들다. 따라서 본 연구에서는 기존의 기하학적 증강 기법의 효과를 극대화하기 위해, 증강방식을 더욱 세분화함으로써 더 많은 데이터를 모델 학습에 활용하 고자 한다.

4.2 학습 모델 실험 결과

이번 장에서는 제 4.1장의 데이터 증강 기법 실험 결 과를 바탕으로 새로운 학습 데이터를 기하학적 증강에 맞춰 재구성 하였다. <Table 2>에서 기하학적 증강이 가 장 좋은 성과를 보여주었으므로 우리는 기하학적 증강의 데이터 증강 기법을 활용하였다. 기존 학습용 데이터 Set 2 에서의 90도 회전 및 반전 데이터를 더욱 증식하고자, 추가적으로 45도, 15도, 5도 그리고 3도의 기하학적 회전 및 반전을 통해 데이터를 증강하였다. 각 증강 조합은 앞 의 각도만큼 회전한 것과 그것들을 반전하여 증강된 것 으로 90도 회전은 원본, 90도, 180도, 270도의 4개 증강, 그리고 그것들을 반전한 4가지 증강을 고려하여 최종적 으로 기존보다 8배 많은 학습 데이터를 생성하였다. 같 은 방식으로, 45도 회전 증강은 16배, 15도 회전 증강은 48배, 5도 회전 증강은 144배, 3도 회전 증강은 240배의 학습 데이터를 만들어냈다.

<Table 3>에서는 기존의 90도 회전/반전 증강 방식과 함께, 회전의 각도를 다양하게 하여 데이터를 추가로 증 강한 학습용 데이터들의 결과를 정리하였다. 결과를 종 합해보면, Set 4 ~ Set 7의 결과를 통해 학습 데이터의 양이 증가하면 이에 따라 모델의 정확도 역시 증가하는 모습이 확인된다. 특히 5000회 학습한 Set 2 보다 1500회 학습한 Set 4가 더 우수한 성능을 보여준 것을 확인할 수 있다. 모델의 정확도는 Data의 양에 따라 크게 영향을 받 는 것으로 확인되었으며, 기하학적 증강 모델의 경우에 는 데이터의 양을 늘리는 것이 효과적임을 볼 수 있었다. 데이터 수가 2배 증가한 Set 4의 경우, 3000회 까지는 Set 2 대비하여 3.15% 증가하였으나 5000회로 학습 횟수 가 늘어난 경우에는 오히려 정확도가 하락하였다. 이를 통해 Set 4는 3000회 학습 이후에 과적합이 발생하였다 는 것을 예측할 수 있다. Set 5와 Set 6은 학습 횟수가 증 가함에도 정확도에는 큰 차이가 없었다. 마지막으로 가 장 많은 데이터를 학습한 Set 7은 3000회 학습까지는 Set 6 보다 낮은 정확도를 보여주었으나, 5000회까지 지속적 인 성능 상승을 보여주었으므로 학습 횟수를 더욱 늘린 다면 더 높은 정합성을 얻을 수 있을 것이라고 예상된다.

앞선 실험에서 가장 좋은 결과가 관측된 Set 7 조건에서, 학습 횟수 5000회를 적용한 분류 모델의 성능을 더욱 자세하 게 분석하기 위해 혼동행렬(Confusion Matrix)을 <Table 4> 와 같이 제시하였다. 실제 현장에서 수집된 데이터를 기반으 로 한 16,032개의 Test Set을 활용하여, 각 행의 실제 정답 (Actual Class; Actual Label)에 대한 모델의 예측 결과 (Predicted Class)를 정리하였다. 혼동행렬을 통해 각 부위별 정확도를 살펴보면 윗등심(Top), 꽃등심(Mid) 그리고 아랫 등심(Bottom)에 대해 각각 93.55%, 87.19% 그리고 70.58%의 정확도를 확인해볼 수 있다. 또한 <Table 4>를 통해 윗등심과 아랫등심 부위를 꽃등심으로 오판하는 경우가 가장 빈번하 게 발생했음을 확인할 수 있으며, 이는 꽃등심의 형태가 나머지 두 부위의 중간형태를 띄는 경우가 많기 때문에 발생한 오류로 보이며, 특히 형태적 특징이 강한 새우살이 포함될 수 있는 꽃등심과 아랫등심 사이의 예측 실패가 가장 크게 나타난 것으로 예상된다.

<Figure 5>와 <Figure 6>에서는 각각 기하학적 증강 에 대한 정확도 및 손실 함수 (Loss Function)에 대한 분석 결과를 보여준다. <Figure 5>에서는 학습 횟수에 따라 손실 함수의 감소량에 대해 확인할 수 있으며, 손 실 함수가 감소할수록 모델의 정확도는 높아진다고 판 단할 수 있다. 실험 결과와 유사하게, Set 2, Set 4, Set 5는 1500회 이전에 손실률이 수렴되는 것을 볼 수 있 으며, Set 6는 3500회에서 수렴하기 시작하였다. 다만, Set 7은 5000회 학습까지도 꾸준하게 손실률이 감소하 는 모습을 보여주었다. <Figure 6>에서는 각 Set의 정 확도를 비교할 수 있는데, 5000회 학습까지는 Set 6와 Set 7이 비슷한 결과를 보여주지만 위에서 언급된 것처 럼 학습 횟수를 증가시키는 방식으로 정확도를 추가로 개선할 여지가 남아있다.

5. 결 론

본 연구에서는 일반인이 육안으로 식별하기 어려운 소고 기 등심의 세부 부위에 대해, 이미지 인식 기법을 활용하여 등심 부위를 세분화할 수 있는 분류 모델을 다루었다. 이미 지 인식을 효과적으로 수행하기 위해, 주어진 데이터를 증 강할 수 있는 방법을 다양하게 제시하였고, 서로 다른 증강 이미지를 활용하여 MobileNet 기반의 학습 알고리즘을 개 발하였으며, 다양한 증강 기법과 학습 횟수를 조절하여 소 고기 등심 부위 구분에 적합한 모델을 제안하였다. 실험 결과에 따라 원본 데이터의 회전 및 반전을 활용한 기하학 적 증강 기법을 적용하여 학습 데이터를 충분히 확보하였 고, 83.56%의 정확도를 얻을 수 있었다. 더 나아가, 개발된 학습 모델을 탑재한 어플리케이션을 함께 개발하여 현장에 서 실용적으로 사용 가능한 계산 속도가 보장됨을 확인하였 다. 다만, 현재의 모델은 등심 부위가 상대적으로 중앙에 위치하여 대칭구조를 이루는 시료들의 사진을 집중적으로 활용하였기 때문에, 지방조직의 패턴을 분석하기 어려운 수준의 작은 이미지나 패턴의 일부분만 촬영된 사진에 대해 서는 학습과 예측이 제대로 이루어지지 않을 수 있다는 한계점도 가지고 있다.

인공지능 분야는 다양한 환경 및 다양한 분야에서 실 제 사례 적용에 대한 시도가 일어나고 있으나, 축산업 분 야에서는 아직 활발하게 적용되지 않고 있다. 본 연구에 서는 고기의 이미지를 활용한 다양한 분석을 통해 소고 기의 유통 과정에서 세부 부위를 분류할 수 있는 방법론 을 제시하였고, 이를 통해 유통 과정의 효율화를 얻을 수 있을 것으로 기대하고 있다. 또한, 소고기를 구매하고자 하는 소비자에게 정확한 부위를 구분할 수 있는 모델을 제시하여 소비자가 이를 활용할 수 있도록 할 수 있을 것이다. 더 나아가, 본 연구를 통해서 축산업의 다양한 분야에서 이미지 인식 기술을 활용하여 상품의 품질과 분류를 명확히 할 수 있는 기준을 제시할 수 있다는데 그 의의를 찾을 수 있다.

Acknowledgement

This work was supported by the Pukyong National University Research Fund in 2020(C-D-2020-0842). This work was also supported in part by the Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education under Grant 2020R1I1A3073672 and 2020R1G1A1099829. This research was also supported by the Korea Institute for Advancement of Technology (KIAT) grant funded by the Korea Government (MOTIE: Ministry of Trade Industry and Energy; Grant No. N0002429).

Figure

<Figure 1>.

Examples of Section and Classification of Beef Sirloin

<Figure 2>.

Examples of geometric augmentation

<Figure 3>.

Examples of Texture Augmentation

<Figure 4>.

Architecture of Knowledge Distillation in this Study

<Figure 5>.

Loss Value for Each Set and Epoch

<Figure 6>.

Accuracy Results for Each Set and Epoch (%)

Table

<Table 1>.

Fractionation of Training Data Set

<Table 2>.

Accuracy of the Learning Model for Each of the Different Augmentation Techniques

<Table 3>.

Accuracy of the model for each of the different geometric augmentation techniques

<Table 4>.

The Confusion Matrix for the Learning Model (5000 epochs case)

Reference

Bagherinezhad, H., Horton, M., Rastegari, M., and Farhadi, A., Label Refinery: Improving ImageNet Classification through Label Progression, arXiv, 2018, arXiv:1805.02641.
Carney, M., Webster, B., Alvardo, I., Phillips, K., Howell, N., Griffith, J., Jongejan, J., Pitaru, A., and Chen, A., Teachable Machine: Approachable Web-Based Tool for Exploring Machine Learning Classification, Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems, 2020, New York, USA, pp. 1-8.
Cho, S.H., Park, B.Y., Byun, J.S., Kim, J.H., Ahn, J.N., and Yun, S.G., Visual Evaluation Factors of Pork Loin and Korean Consumer’s Preference Choice, Korean Society of Animal Sciences and Technology, 2004, Vol. 46, No. 3, pp. 415-426.
Choi, S., Hwang, H., Kim, J.H., Han, N.Y., Ko, M.J., and Cho, S.H., Quantization and Calibration of Color Information From Machine Vision System for Beef Color Grading, Journal of biocystems Engineering, 2007, Vol. 32, No. 3, pp. 160-165.
Cubuk, E.D., Zoph, B., Mane, D., Vasudevan, V. and Le, Q.V., AutoAugment: Learning Augmentation Strategies From Data, 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, Long Beach, USA, pp. 113-123.
Efros, A.A. and Freeman, T.W., Image quilting for texture synthesis and transfer, Proceedings of the 28^th annual conference on Computer graphics and interactive techniques, 2001, New York, United States, pp. 341-346.
Fukushima, K., Miyake, S., and Ito, T., Neocognitron: A Neural Network Model for a Mechanism of Visual Pattern Recognition, IEEE Transactions on Systems, Man, and Cybernetics, 1983, Vol. SMC-13, No.5, pp. 826-834.
Gatys, A.L., Ecker, S.A., and Bethge, M. Image Style Transfer Using Convolutional Neural Networks, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, Las Vegas, USA, pp. 2414- 2423.
He, K., Zhang, X., Ren, S., and Sun, J., Deep Residual Learning for Image Recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, Las Vegas, USA, pp. 770-778.
Jang, A.R., Kim, H.J., and Kim, M.B., Deep Learningbased Analysis of Meat Freshness Measurement, The Korean Society of Broad Engineers, 2020, Vol. 25, No. 3, pp. 418-427.
Jeong, D.W., Kim, D.K., and Ren C., A Survey of Deep Learning in Agriculture: Techniques and Their Applications, JIPS(Journal of Information Processing Systems), 2020, Vol. 16, No.5, pp. 1015-1033.
Jin, J.H., Dundar, A., and Culurciello, E., Flattened Convolutional Neural Networks for Feedforward Acceleration, arXiv , 2015, arXiv:1412.5474.
Kang, J.O., Choi, D.Y., Oh, H.R., and Kim, G.H., Comparison of Physico - chemical Characteristics of the Meat Quality Grades in Hanwoo Beef and Imported Beef From Several Countries, Journal of Animal Science and Technology, 1999, Vol. 41, pp. 555-562.
Kim, Y.G., Yu, Y.M., Kim, J.H., and Ahn, J.N., Theme Common Sense of Meat, Dairy Science Division, National Institute of Animal Science Munsung, 2007, pp. 178-182.
Kim, J.W., Pyo, H.A., Ha, J.W., Lee, C.G., and Kim, J.H., Deep learning algorithms and applications, Communications of the Korean Institute of Information Scientists and Engineers, 2015, Vol. 33, No.8, pp. 25-31.
Krizhevsky, A., Sutskever, I., and Hinton, G.E., ImageNet Classification with Deep Convolutional Neural Networks, Communications of the ACM, 2017, Vol. 60, No. 6, pp. 84-90.
Lawrence, S., Giles, C.L., Tsoi, A.C., and Back, A.D., Face recognition: A convolutional neural-network approach, IEEE Transactions on Neural Networks, 1997, Vol. 8, no. 1, pp. 98-113.
LeCun, Y., Bottou, L., Bengio, Y., and Haffner, P., Gradient-based learning applied to document recognition, Proceeding of the IEEE, 1998, Vol. 86, No. 11, pp. 2278-2324.
Lee, J.H., Lee, B.H., and Sin, Y.G., A study on evaluation of the meat safety, Korean Journal of Agricultural Management and Policy, 2005, Vol. 32, No. 4, pp. 728-745.
Lee, M.G., A Multi-Layer Perceptron for Color Index based Vegetation Segmentation, Journal of Society of Korea Industrial and Systems Engineering, 2020, Vol. 43, No. 1, pp. 16-25.
Ministry of Agriculture, Food and Rural Affairs notice No.2007-82, https://www.law.go.kr/LSW/admRulInfoP. do?admRulSeq=2894.
Ministry of Food and Drug Safety notice No.2014-116, https://www.law.go.kr/admRulLsInfoP.do?chrClsCd=0 10202&admRulSeq=2100000184120.
Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., and Lee, H., Generative Adversarial Text to Image Synthesis, Proceedings of The 33^rd International Conference on Machine Learning, 2016, New York City, USA, pp. 1060-1069.
Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., Bernstein, M., Berg A.C., and Fei-Fei, L., ImageNet Large Scale Visual Recognition Challenge, International Journal of Computer Vision, 2015, Vol. 115, pp. 211-252.
Sandler, M., Howard, A., Zhu, M., Zhmoginov, A. and Chen, L.C., MobileNetV2: Inverted Residuals and Linear Bottlenecks, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, Salt Lake City, USA, pp. 4510-4520.
Shiranita, K., Miyajima, T., and Takiyama, R. Determination of meat quality by texture analysis, Pattern Recognition Letters, 1998, Vol. 19, No.14, pp. 1319-1324.
Shorten, C. and Khoshgoftaar, T.M., A survey on Image Data Augmentation for Deep Learning, Journal of Big Data, 2019, Vol. 6, No. 60.
Simonyan, K. and Zisserman, A., Very Deep Convolutional Networks for Large-Scale Image Recognition., 2014, arXiv, arXiv:1409.1556.
Timsorn, K., Wongchoosuk, C., Wattuya, P., Promdaen, S., and Sittichat, S., Discrimination of chicken freshness using electronic nose combined with PCA and ANN, 2014 11th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON), 2014, Nakhon Ratchasima, Thailand, pp. 1-4.
Wang, M., Liu, B., and Foroosh, H., Factorized Convolutional Neural Networks., 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), 2017, Venice, Italy, pp. 545-553.
Zhong, Z., Zheng, L., Kang, G., Li, S. and Yang, Y., Random erasing data augmentation., In Proceedings of the AAAI Conference on Artificial Intelligence, 2020, New York, USA, pp. 13001-13008.