1. 서 론

최근 제4차산업혁명(Industry 4.0)의 발전과 더불어 머 신 비전을 활용한 품질 검사 자동화 시스템에 대한 연구 가 활발히 진행되고, 해당 연구 결과가 생산 현장에 적용 되고 있다[4,5,6,12]. 작업자가 수동으로 진행하는 전 통적인 품질 관리 방식과 비교할 때, 자동화된 머신 비전 품질 관리 시스템은 다양한 이점을 제공한다. 예를 들어, 위험한 환경에서 24시간 내내 작업할 수 있고, 대부분 작업에서는 작업자 보다 더 빠르게 측정하면서 높은 정 확성과 일관성을 유지할 수 있다. 또한 자동화 검사 시스 템과 MES(Manufacturing Execution System)를 연동하여 품질 모니터링 결과가 제조업체의 공정 통제에 쉽게 통 합될 수 있다[4].

머신 비전 검사는 제품의 표면에 있는 흠집, 파손을 비롯한 표면의 이상이나 외부 형태, 수치 등의 가공 상태 를 측정하는 품질 검사 작업에 일반적으로 적용되고 있 다[6]. 품질 검사 대상의 이미지를 획득하기 위해 광전센 서(photoelectric sensor), 레이저, 카메라 등 다양한 장치 를 사용할 수 있으며, 비용이 저렴하고 설치가 간단하여 활용도가 높은 카메라 기반 머신 비전 시스템은 부품의 유무, 부품의 위치와 방향, 색상, 크기 등을 검사하기 위 해 통상적으로 사용되고 있다[1,6,7,11,13].

기존 머신 비전 품질 검사 시스템 개발에서는 센서, 조명 설정을 비롯한 이미지 획득 조건, 이미지 처리 알고 리즘 등을 주로 다루고 있으나, 제4차산업혁명 도입이 진행될수록 사이버-물리시스템, 사물인터넷, 빅데이터 클 라우드 컴퓨팅 등 신기술을 적용하기 위한 실시간 통신 과 기기 간 연동의 중요성이 높아지고 있다[12].

본 연구에서는 자동차 외장재용 금형을 생산하고 있 는 중소규모 공장에서 머신 비전 시스템을 활용한 금형 품질 검사 시스템을 개발한 사례를 다루고자 한다. 해당 공장의 가공, 이송, 적재 등 주요 공정은 PLC(programmable logic controller), CNC(computer numerical control), 로봇 등을 이용하여 자동화되었지만, 최종 품질 검사 공 정에서는 가공된 홀의 개수만 자동으로 측정할 수 있으며 정확한 수치 측정은 작업자가 수동으로 진행하고 있다.

머신 비전 품질 검사 시스템을 개발하여 완전 자동화 된 생산 시스템 구축하는 동시에 MES와 연동을 위한 API(application programming interface), 빅데이터 기반 AI 분석을 위한 품질 검사 데이터 수집 및 이력관리를 위한 데이터베이스와 관리자 화면도 개발하고자 한다.

머신 비전 검사 시스템의 신속한 개발과 개발 비용 절 감을 위해 전용 하드웨어, 솔루션 소프트웨어 사용을 지 양하고, 범용 산업용 카메라와 OpenCV[2], Django[3], Streamlit[14] 등 파이썬[16] 기반 오픈소스 라이브러리와 프레임워크를 사용하여 개발하고자 한다. 이를 통해 신 속하고 정확한 금형 품질 검사가 가능하여 생산량 증대, 리드 타임 단축, 불량률 감소 등 효과를 기대할 수 있다. 또한, 정밀하게 촬영된 결과물은 향후 딥러닝 기법을 적 용하여 공정 모니터링 및 개선에 활용 가능하다.

본 논문의 구성은 다음과 같다. 제2장에서는 금형 인 서트 블록 홀 가공 공정에 대한 소개 및 품질 검사 개선 문제를 정의하고자 한다. 제3장에서는 문제 해결을 위한 시스템 요구사항을 분석하고 시스템 하드웨어, 소프트웨 어 및 데이터베이스 설계를 진행한다. 제4장에서는 머신 비전 시스템 시제품 구현을 위해 하드웨어 구성 및 소프 트웨어 개발을 다루고자 한다. 마지막으로, 본 연구에서 개발된 머신 비전 품질 검사 시스템을 통한 개선 효과와 추후 연구 방안은 제5장에서 제시된다.

2. 홀 가공 공정 소개 및 문제 정의

자동차의 철제 외장 부품을 다이 스탬핑(die stamping) 방식으로 생산하기 위해 금속 소재 금형이 필요하다. 대 형 외장 부품의 금형을 생산할 때 하나의 금속 블록을 통으로 가공하려면 대형 공작 기계에서 오랜 작업 시간 이 소요된다. 대형 공작 기계에 비해 도입비용과 운용비 용이 저렴한 중소형 공작 기계를 활용하여 금형을 생산 하기 위해 큰 금형을 작게 분할된 블록 단위로 중소형 기계에서 1차 가공하여 조립 후 대형 공작기계에서 최종 가공하는 방식을 사용한다.

자동차 금형 공정은 주물과 인서트 스틸 제조 두 가지 로 구분할 수 있다. 주물 공정은 금형을 고정하기 위한 프레임을 생산하는 단순한 공정임에 반해, 인서트 스틸 제조 공정에서는 자동차 외장 부품의 형상을 블록 단위 로 분리하여 조립하기 위한 복잡한 홀 가공 공정이 필수 적이다.

인서트 블록의 홀은 대상 부품의 형상에 따라 위치와 크기가 가변적으로 가공되며 <Figure 1>과 같은 3D CAD(computer aided design)도면을 사용하여 홀의 종류, 위치, 크기를 설계하게 된다.

인서트 블록 홀 가공 공정은 가공물 이송을 위한 컨베 이어 벨트 및 로봇 이송 장치, 가공물 고정을 위한 스마 트 지그, CNC 공작 기계 등으로 구성되어 있고, 각 장비 는 PLC와 연동되어 있다. PLC를 통해 공작물의 정보를 파악하고 각 장비의 동작을 지시하게 된다. <Figure 2>는 인서트 블록 홀 가공 자동화 공정을 상부 조망(top view) 와 전면 조망(front view)으로 나타낸 것이다.

가공 공정의 세부 구성품은 <Table 1>과 같고, 인서트 블록 가공의 개략적인 절차는 다음과 같다.

현재 공정에서 비전 검사장비(5)의 문제점은 관통 홀 의 개수를 측정할 수 있지만 홀의 위치, 크기를 검사할 수 없다는 것이다. 인서트 홀 가공공정에서 발생하는 가 공 오차는 선행 공정에서 발생하는 오류를 포함해서 다 양한 원인이 있을 수 있지만 주로 원인은 다음과 같다.

G코드 작성 오류가 발생하는 경우를 제외하면 홀의 개수가 불량이 발생할 가능성은 매우 희박하고, 주로 나 머지 원인에 의한 홀의 크기 또는 가공 위치에 불량이 주로 발생하게 된다. 홀의 가공 오차를 검사하기 위해 본 연구에서는 기존 시스템과 연동하여 인서트 블록의 홀 가공 품질을 검사하는 머신 비전 기반 시스템을 개발하 고자 한다.

3. 시스템 요구사항 및 설계

3.1 시스템 요구사항

본 연구를 통해 개발하고자 하는 머신 비전 품질 검사 시스템은 홀에 발생하는 오차를 정확히 측정하는 기능을 필수적으로 제공할 수 있어야 한다. 카메라로 촬영한 물 체의 외형 치수를 측정하기 위해서는 동일 위치에 비교 가능한 기준 척도가 있거나 물체까지 거리를 측정할 수 있어야 한다. 비교 가능한 기준 척도를 사용하는 방법은 추가 공정이 도입되어야 하는 단점이 있고, 거리를 측정 할 수 있는 카메라를 도입하는 방법은 비용이 증가하는 단점이 존재한다.

이러한 문제를 해결하기 위한 대안으로 인서트 블록 자체의 외형 치수를 기준으로 하여 홀의 크기와 위치를 상대적으로 측정하는 방안을 도입하고자 한다. 검사 대 상이 되는 인서트 블록의 외형 치수를 검사에 활용하기 위해서는 인서트 블록에 부착된 QR코드로 인서트 블록 을 식별하고, 생산관리시스템(MES; manufacturing execution system)에 저장되어 있는 인서트 블록의 외형 치 수를 조회하는 방식을 사용하고자 한다. 따라서, 본 연구 를 통해 개발되는 머신 비전 검사 시스템(MVIS; machine vision inspection system)과 MES의 연동이 필수적 이라 할 수 있다. 또한 품질 검사 결과를 MES와 연동하 기 위한 기능도 필요하다. 다만, 비전 검사 시스템의 개 발비용 증가를 피하기 위해 기존에 운영하고 있는 MES 를 변경하거나 개선하는 추가 개발은 고려하지 않고 본 연구를 통해 최소한의 핵심적인 기능을 갖춘 독자적인 MES 시스템도 함께 개발하고자 한다.

MVIS의 하드웨어와 소프트웨어 개발에 있어 개발 비 용과 개발 기간도 중요한 고려 사항이다. 인서트블록 품 질 검사의 요구 정밀도가 수 밀리미터 단위 정도로 초정 밀 측정이 필요하지 않은 중소기업에서 활용하는 시스템 이므로 가능한 개발비용을 낮추고, 개발 기간을 단축하 고자 하는 요구 사항이 있다. 이러한 요구 사항을 반영하 고자 전용 하드웨어를 사용하지 않고 상호 호환되는 범 용 부품을 선정하여 하드웨어 시제품을 제작하고, 오픈 소스 라이브러리 또는 프레임워크를 활용하고자 한다.

3.2 시스템 하드웨어 구성

MVIS의 하드웨어는 카메라, 임베디드 보드, 서버로 구성된다. 카메라는 일반적으로 머신 비전 시스템 구성 에 가장 중요한 하드웨어라 할 수 있으며, 카메라 선정에 는 다음과 같은 사항을 고려해야 한다.

MVIS를 구성하기 위한 주요 하드웨어 사양은<Table 2>에 나타나 있다.

<Fig 3>는 하드웨어 구성도를 나타내고 있다. 바코드 를 인식하기 위한 카메라 1식(Camera1)은 임베디드 보드 에 USB로 연동되고 인서트 블록 촬영을 위한 카메라 1 식(Camera2)은 2.5G ethernet 케이블로 스위치를 통해 임 베디드 보드에 연결된다. 임베디드 보드에서는 MVIS 모 니터링을 위한 대시보드, 카메라 제어, 바코드 인식, 이 미지 처리, 검사, 서버 연동의 기능을 수행한다. 또한, 서 버는 MVIS 관리자 웹 페이지 구동, 데이터베이스 운용, API 서비스 기능을 담당한다. ‘Model training’ 박스는 MVIS에 축적된 홀 이미지를 학습하기 위한 딥러닝 모델 을 의미하며, MVIS 시제품에는 딥러닝 모델이 구현되어 있지 않고 딥러닝 학습용 GPU만 장착되어 있으므로 점 선으로 표시되어 있다.

3.3 시스템 소프트웨어 구성

MVIS에서 사용하는 소프트웨어는 Ubuntu 운영체제를 사용하는 임베디드 보드 및 서버에서 구동되며 파이썬 [16] 기반 라이브러리 또는 프레임워크를 사용하여 개발 하고자 한다. 임베디드 보드에서 구동되는 MVIS의 응용 프로그램은 품질 검사 모니터링, 인서트 블록 식별, 홀 이미지 촬영, 이미지 처리, 품질 검사, 검사 결과 전송 등 기능으로 구성된다. 서버에서는 MES의 데이터베이스를 구동하기 위해 오픈소스 DBMS(database management system) 중에서 성능 및 기능이 우수하다고 평가받는 PostgreSQL[8]을 사용하고, MVIS 검사 기능과 연동하기 위해 REST API[15] 방식으로 데이터베이스 접속 인터페 이스를 설계하고자 한다.

대부분 용용 프로그램 소프트웨어 개발에는 <Table 3>에 나타난 바와 같이 파이썬 기반인 Pyzbar[9], OpenCV[2], Requests[10], Django Framework[3], Streamlit[14] 등의 라이 브러리를 사용하고자 한다. MVIS의 핵심 기능인 홀 이미지 촬영, 이미지 처리 및 품질 검사에는 OpenCV를 활용하고, 데이터베이스 구축 및 관리자 화면과 REST API 기능은 Django 프레임워크를 활용하여 개발하고자 한다. 관리자 화면은 Django 프레임워크에 포함되어 있는 admin site 기능 을 커스터마이징 하여 기본적인 데이터 입력, 조회 기능을 제공할 수 있게 구현하고자 한다.

MVIS 시제품 개발 단계에서는 웹서버를 별도로 구축 하는 대신 Django 프레임워크에 내장된 개발용 웹서버를 사용하고 향후 생산 공정에 적용하는 단계에서 웹서버를 구축하여 적용하고자 한다.

3.4 데이터베이스 설계

인서트 블록 홀 가공 공정에서 현재 운용하고 있는 인 서트 홀 가공 자동화 시스템의 MES에 품질 검사 결과를 연동함과 동시에 간섭을 최소화하고자 하는 요구사항을 달성하기 위해 MVIS에도 기본적인 생산관리를 위한 제 품 기초 정보 및 생산정보 처리를 위한 데이터베이스 구 축이 필요하다.

인서트블록 기초 정보는 <Table 4>와 같으며 체계적 인 관리와 시스템 고도화를 고려하여 데이터 중복 방지, 일관성 유지를 위해 데이터베이스를 설계하고자 한다.

Block은 개별적인 인서트 블록에 할당되는 코드이며 인서트 블록의 외형을 나타내는 파라미터는 너비, 길이, 높이 등이며 홀 위치는 x, y 좌표로 구성된다.

인서트 블록 데이터를 관리하기 위해 사용되는 기초 데이터에 추가하여 데이터베이스에는 생산지시, 품질검 사 결과를 등록할 수 있는 데이터베이스 구조가 필요하 다. 또한, 생산지시 등록 시점, 생산 완료 시점, 품질 검 사 완료시점, 품질 검사 결과 및 비전 이미지 등록을 위 한 DB 구조 설계가 요구된다.

<Figure 4>에는 MVIS의 요구사항을 반영한 데이터베 이스 설계 결과인 ERD(entity relationship diagram)가 나 타나 있다. <Table 4>에 포함된 인서트 블록의 기초정보 를 등록하고 관리하기 위해 데이터베이스에 추가되어야 하는 테이블은 금형으로 생산하고자 하는 부품을 의미하 는 제품을 위한 Product 테이블, 제품 생산 공정을 관리 하는 Operation 테이블, 금형의 상판, 하판을 구분하는 Piece 테이블, 인서트 블록의 외형 수치, 홀 정보, CNC 가공 코드(G-code)를 관리하는 Block 테이블 등이 필요 하다. 또한, 생산지시를 등록하는 ProductionOrder 테이 블, 생산지시에 포함되는 인서트 블록을 등록하는 ProductionOrderBlock 테이블, 품질 검사 결과를 관리하 는 Inspection 테이블도 설계에 포함된다.

4. MVIS 구현

4.1 MVIS 하드웨어 시제품

MVIS(Machine Vision Inspection System)는 비용을 낮 추고 개발 기간을 단축하기 위해 범용 제품을 조립하여 시제품을 개발하고자 한다. 하드웨어 시제품 제작에 필 요한 구성품은 작업대와 카메라 거치대를 비롯한 단순 구조물을 포함하여 카메라, 임베디드 보드, 서버, 네트워 크 스위치 등으로 구성된다. 주요 부품에 대한 요구 사양 은 <Table 2>와 같다.

임베디드 보드는 NVidia Jetson AGX Orin 제품을 사용 하며 카메라 제어, 대시보드 작동, 비전 검사 결과 연산 기능을 수행한다. 시제품 하드웨어 테스트를 통해 성능이 충분함을 확인 가능하고, 양산 단계에서 비용 절감을 위해 더 낮은 사양의 제품으로 대체하는 것도 가능하다.

카메라는 바코드 촬영 및 인서트 블록 홀 촬영을 위해 총 2대가 필요하다. 바코드 촬영에는 고해상도 기능이 필요하지 않지만 초점 조절 기능이 필요하므로 일반적인 웹캠을 사용하지만, 비전 검사용 인서트 블록 홀 촬영에 는 최대해상도 4000x3000로 촬영 가능한 고성능 카메라 를 사용한다. 비전 검사용 이미지 촬영 카메라는 5GigE 전송 인터페이스(최대 5gbps 전송)를 갖추고 있으나 네 트워크 스위치의 최대 전송 속도가 2.5Gps 한계이므로 초당 3 프레임으로 촬영을 제한한다.

MVIS 하드웨어 시제품은 <Figure 5>에 나타나 있으 며, 작업대 상단에 카메라 거치대, 네트워크 스위치, 임 베디드 보드가 위치하고, 하단에 서버가 위치한다.

<Figure 6>은 바코드촬영 카메라와 블록 홀 촬영 카메 라를 자세히 살펴볼 수 있도록 카메라 거치대 부분을 확 대한 이미지이다.

MVIS 하드웨어 시제품에는 서버가 함께 구축되어 있 으나 추후 서버는 별도의 서버실로 이전하여 운용하고자 한다.

4.2 MVIS 작동 절차

MVIS HW 시스템에서 구동되는 품질 검사는 크게 블 록 정보 등록, 생산지시, 생산 완료 블록에 대한 품질 검 사 단계로 구성되며 <Figure 7>에 나타난 순서대로 진행 된다. 첫 번째 블록 정보 등록(Block Info Registration)에 서는 인서트 블록의 기초 정보에 해당하는 자동차 코드, 제품 코드, 공정 코드, 피스 코드가 등록된 이후 인서트 블록 홀 가공 정보가 등록된다.

<Figure 8>은 MVIS의 관리자 웹사이트에서 조회가능 한 인서트 블록 정보 상세 조회 화면으로, 블록 코드 및 피스 코드, 블록 외형 수치(Height, Width, Length), 홀 위 치 정보(JSON 형식), NC 코드 파일을 확인할 수 있다. 인서트 블록 정보는 작업자가 수동으로 입력하거나 NC 코드 생성 SW에서 코드 생성과 동시에 자동으로 MVIS 의 데이터베이스에 업데이트하는 기능을 포함한다.

인서트블록 정보가 등록되면, <Figure 9>와 같이 생산 지시(Production Order) 등록을 통해 작업지시가 등록, 조 회, 변경하는 것이 가능하다. 생산지시를 등록하고 해당 작업지시에 포함되는 인서트블록을 등록하게 된다. 생산 지시에 인서트 블록을 등록할 때 개별 블록 단위, 피스 단위, 공정 단위로 묶음 등록하는 것도 가능하다.

<Figure 10>은 생산지시에 인서트블록 정보를 등록하 고 조회하는 화면으로서 작업지시에 포함된 인서트블록 아이디, 블록 가공 시작 시점, 완료 시점, 검사 결과를 조 회하는 기능을 제공한다.

생산지시가 등록되면 PLC에 연동된 CNC 장비에서 인서트 블록 홀 가공(Block hole processing)이 진행되고, 홀 가공이 마무리되면 품질 검사 단계로 진행된다.

품질 검사(Quality Inspection) 단계에서는 인서트 블록 에 부착된 QR 코드를 스캔하여 데이터베이스에서 블록 정보를 조회하는 기능, 블록 정보에서 생성된 기준 블록 이미지를 생성하는 기능, 인서트 블록 이미지 캡처하는 기능, 캡처 이미지를 처리하여 기준 이미지와 비교하여 오차를 계산하는 기능 순서대로 진행된다.

인서트 블록에 부착된 바코드를 인식하고 인서트 블 록 이미지를 캡처하는 과정은 <Figure 11>과 같이 MVIS 의 임베디드 보드에서 구동되는 모니터링 소프트웨어 (Dashboard)를 통해 실시간으로 확인 가능하다.

바코드가 인식되면 데이터베이스에서 인서트 블록의 외부 수치 정보와 홀의 크기 및 좌표를 조회하여 기준 이미지를 생성한다. 기준 이미지는 도면에 작성한대로 생산되어 오차가 없는 이상적인 상태라고 할 수 있다.

인서트 블록 홀 이미지 캡처 단계에서 촬영된 이미지 주변 조명 상태, 블록의 재질로 인한 반사로 인해 기준 이미지와 직접 비교하기 어려운 상태이므로 전처리 과정 이 필요하다. 이미지 전처리 과정은 이진 임계화(binary thresholding) 과정을 통해 <Figure 12>의 이미지와 같이 픽셀 값이 0(검은색), 255(흰색)만으로 나타나게 된다.

이진 임계화는 이미지의 히스토그램을 분석하여 붉은 색으로 표시된 임계점을 기준으로 계산된다.

<Figure 12>에서 생성된 인서트 블록 홀 이미지는 기 준 이미지와 비교하여 불일치하는 영역의 픽셀 수를 기 준으로 불량률을 계산할 때 사용된다. 품질 검사 과정은 4.3절에 소개하고자 한다.

품질 검사 결과는 <Figure 13>과 같이 MVIS의 관리자 화면에서 조회 가능하도록 REST API를 통해 데이터베 이스에 기록된다. 완료 시점과 검사 결과는 품질 검사 이 후 자동으로 데이터베이스에 등록되며, 관리자 화면에서 는 해당 결과를 조회할 수 있다. 검사 코드는 불량 (BAD), 정상(OK)로 표시되고 있으나 향후 표시되는 내 용을 변경할 수 있다.

4.3 MVIS 기능 및 성능 검증

본 연구를 통해 개발된 MVIS의 품질 검사 기능과 성 능을 확인하기 위해 <Table 5>와 같이 오차가 있는 인서 트 블록과 오차가 없는 인서트 블록을 각각 생산하여 검 증을 실시한다.

<Figure 14>, <Figure 15>는 각각 인서트 블록 촬영 이 미지와 품질 검사 결과를 나타낸다. <Figure 14>, <Figure 15>의 좌측에 있는 이미지는 인서트 블록 촬영 이미지 원본이고, 우측에는 있는 이미지는 품질 검사 결과를 표 시하는 이미지이다. 우측 이미지에 있는 검은 원형은 좌 측의 인서트블록 촬영 이미지에서 전처리를 거쳐 식별된 홀을 나타내고, 붉은 색 실선으로 표시되는 원형은 DB 에서 조회하여 생성한 인서트블록의 외형을 나타내는 기 준 이미지의 홀을 나타낸다.

품질 검사 결과는 붉은색 실선으로 표시되는 부분과 검은색으로 표시되는 부분의 차이를 비율로 계산하여 평 가한다. 의도적으로 오차를 발생하여 가공한 <Figure 14>의 인서트 블록 주변부 4개 홀과 오차가 없는 중앙부 2개 홀이 시각적으로 명확하게 구분 가능하다. 또한 오 차가 없는 <Figure 15>의 모든 홀은 기준 이미지와 일치 함을 알 수 있다.

품질 검사 결과는 <Figure 13>과 같이 MVIS 시스템관 리자 화면에서 조회 가능하여 품질 검사 결과 등록 기능 도 이상이 없음을 확인할 수 있다.

5. 결 론

본 연구에서는 금형 인서트 블록의 홀 가공 품질을 검 사하는 머신 비전 품질 검사 시스템(MVIS)을 개발하기 위한 요구사항 분석 결과를 도출하고, 신속한 개발과 개 발 비용 절감을 위해 일반 산업용 카메라를 비롯한 범용 하드웨어와 OpenCV[2], Django[3], Streamlit[14] 등 파이 썬[16] 기반 오픈소스 라이브러리와 프레임워크를 사용 한 설계 방안을 제시하였다.

완전 자동화된 생산 시스템 구축하는 동시에 MES와 연동을 위한 API, 빅데이터 기반 AI 분석을 위한 품질 검사 데이터 수집 및 이력관리를 위한 데이터베이스와 관리자 화면을 갖춘 MVIS 시제품 하드웨어와 소프트웨 어 개발 결과를 상세히 제시하였다.

개발된 금형 품질 검사 시스템은 신속하고 정확한 검 사가 가능하여 생산량 증대, 리드 타임 단축, 불량률 감 소 등 효과를 얻을 수 있을 뿐 아니라 정밀하게 촬영된 결과물은 향후 딥러닝 기법을 적용하여 공정 모니터링 및 개선에 활용 가능하다.

추후 연구를 통해 불량을 판별하는 기준과 품질 지표 를 개발하고자 한다. 또한 홀 가공에 사용된 공구 이력 데이터를 추가 수집하여 MVIS에서 축적되는 홀 이미지 와 연계하여 불량을 유발할 수 있는 공구 마모를 예측하 는 AI 모델을 제시하고자 한다.