Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.44 No.1 pp.60-70
DOI : https://doi.org/10.11627/jkise.2021.44.1.060

The Improvement of NDF(No Defect Found) on Mobile Device Using Datamining

Jewang Lee*, Chang Hee Han**
*School of Management Consulting, Hanyang University
**School of Business Administration, Hanyang University
Corresponding Author : chan@hanyang.ac.kr
28/01/2021 08/03/2021 17/03/2021

Abstract


Recently, with the development of technologies for the fourth industrial revolution, convergence and complex technology are being applied to aircraft, electronic home appliances and mobile devices, and the number of parts used is increasing. Increasing the number of parts and the application of convergence technologies such as HW (hardware) and SW (software) are increasing the No Defect Found (NDF) phenomenon in which the defect is not reproduced or the cause of the defect cannot be identified in the subsequent investigation systems after the discovery of the defect in the product. The NDF phenomenon is a major problem when dealing with complex technical systems, and its consequences may be manifested in decreased safety and dependability and increased life cycle costs. Until now, NDF-related prior studies have been mainly focused on the NDF cost estimation, the cause and impact analysis of NDF in qualitative terms. And there have been no specific methodologies or examples of a working-level perspective to reduce NDF. The purpose of this study is to present a practical methodology for reducing NDF phenomena through data mining methods using quantitative data accumulated in the enterprise. In this study, we performed a cluster analysis using market defects and design-related variables of mobile devices. And then, by analyzing the characteristics of groups with high NDF ratios, we presented improvement directions in terms of design and after service policies. This is significant in solving NDF problems from a practical perspective in the company.



데이터 마이닝 기법을 활용한 Mobile Device NDF(No Defect Found) 개선

이 제왕*, 한 창희**
*한양대학교 일반대학원 경영컨설팅학과
**한양대학교 경상대학 경영학부

초록


    Hanyang University(HYU)
    HY-2020-G

    1. 서 론

    최근 4차 산업혁명의 인공지능, 사물인터넷, 나노기술, 생명공학 등의 기술은 사람, 사물, 공간을 초연결․초지능 화하여 기존산업을 전방위적으로 재편하고 있다[15]. 이 런 4차 산업혁명 관련 기술의 급격한 발달에 따라 항공기, 가전제품, 모바일 디바이스의 다기능화가 심화 되어가고 있다. 이에 따라 디바이스는 HW(Hard Ware) 및 SW(Soft Ware)관련 여러 부문의 기술이 융복합되어 적용되고 있고 사용 부품수도 늘고 있으며 집적화 되어 가고 있다. 복합 적인 기술의 융합적용과 부품수 증가는 제품의 제조․운 영 및 사용과정에서 결함 발생시 결함의 현상이 재현되지 않거나 결함 발생 이후의 조사 시스템에서 결함의 원인을 밝히지 못하는 NDF(No Defect Found)현상을 증가하게 하 는 주요 요인 중 하나이다[5, 8, 12].

    항공기 사례의 경우 NDF의 비율이 높고 이로 인한 비 용도 증가 하고 있다[5, 8]. ‘TechSee’의 조사에 따르면 가 전 전자제품의 시장 Return불량의 41%가 NDF로 나타났 으며[17], L사 모바일 디바이스의 시장 Return불량 시료 분석결과에서도 NDF 비율이 40.5%인 것으로 나타났다. NDF의 이해관계자인 제조업체, 서비스 제공업체 및 운영 자와 관련 있는 대부분 사람들의 요구사항은 코스트, 신뢰 성 및 안전성과 관련 있다[16]. L사의 사례에서도 NDF의 원인분석을 위한 평가비용과 시장에서 발생하는 NDF현 상에 따른 서비스 점검 비용이 큰 것으로 분석되었다. 반 면에 IT기술의 발전에 힘입어 예전에 비해 보다 많은 정보 가 수집되어 데이터를 얻는데 소요되는 비용은 떨어지고 있다[1]. 이러한 비즈니스 환경의 변화가 시장 데이터를 활용하여 NDF개선에 관한 연구의 동기가 되었다.

    기존의 NDF관련 선행연구는 설문이나 인터뷰를 통한 정성적 관점의 NDF비용 추정 및 NDF의 원인과 영향 등 에 대한 연구가 주를 이루었다. 반면에 NDF현상을 줄이 기 위하여 정량 데이터를 사용하여 구체적 방법론을 제 시한 사례는 없는 것으로 파악되었다.

    본 연구에서는 시장에서 발생하는 모바일 디바이스 제 품의 결함 및 사용 환경에 관한 인자와 설계인자를 입력 변수로 하여 군집분석을 수행하였다. 그리고 시장 결함과 관련 있는 인자의 데이터 값 중 NDF 여부를 판단하기 위 하여 더미변수를 생성하였고, 군집분석 결과로 얻어진 군 집 들 간의 NDF비율로 교차분석을 하였다. 교차분석 결 과를 바탕으로 NDF비율이 높은 군집과 낮은 군집 간 의 특성을 분석하여 시사점을 도출하였다. 제품디자인 및 After Service의 정책 대응 측면에서 대응방안을 도출하였 고 NDF 감소를 위한 개선 방향을 제시하였다.

    2. 이론적 배경

    2.1 NDF 정의 및 현상

    NFF(No fault found), NTF(No Trouble Found), NDF(No Defect Found), NFI(No Fault Indicated), CDF(Cannot Duplicate Failure)는 유지 보수 분야에서 동일한 의미로 사용되 며[12], 본 연구에서는 NFF와 NDF를 혼용하여 사용하였 으며 원저자의 직접인용 시에는 NFF를, 간접인용 및 저자 의 주장에 관한 내용은 NDF를 주로 사용했음을 밝혀둔다. NDF는 <Figure 1>에 나타낸 바와 같이 작업자 또는 BIT (내장 테스트)가 감지해낸 고장에 대해 장치의 결함을 감 지하지만 이상원인을 찾지 못하고 결과적으로 수리가 수 행되지 않은 상태로 장치가 다시 가동되는 것을 의미한다 [5, 12]. 숨겨져 있는 결함이 확인되지 않은 상태에서 장치 가 수리를 위해 여러 번 반환 될 수 있다.

    NFF 현상 발생은 <Figure 2>의 일반적인 유지보수 활 동 플로우에서 설명할 수 있다. 결합이 발생하면 유지보 수 담당자가 매뉴얼화 된 문서에 준하여 원인을 찾는다. 부품변경 여부를 결정하여 부품을 제거 후 심층 유지관리 파트로 보내진다. 심층분석에서 결함이 발견되지 않으면 부품변경 이유에 대한 의심이 제기되고 NFF 태그가 지정 된다. 따라서 NFF를 ‘사용자가 시스템 오류를 기록하고 이후의 조사에서 시스템 오작동의 원인을 밝히지 못하는 경우’로 정의할 수 있다[5, 12].

    2.2 NDF 발생원인 및 패턴

    NDF 발생 주요 원인중 하나로 항공우주 분야에서 현 대화 시스템에 따라 증가하는 부품과 NDF비율 간에 상 관관계가 있다는 보고가 있다[5]. 모바일 디바이스의 다 기능화에 따른 부품수 증가와 다양한 기술의 융합과 복 잡성 증가 요인으로 NDF가 늘고 있다.

    NDF 발생 패턴은 ①빠른 문제해결을 위한 시간적 압 박 하에 여러 부품을 교체하여 확인하는 서비스 기술 ② SW이슈 인지, HW이슈 인지, 구성(Configuration)문제 인 지 구별할 수 없는 경우 ③ 간헐적으로 불량이 발생하는 경우 ④원인이 되는 부품 진단 오류, 즉 결함의 원인이 아닌 부품을 진단한 경우로 구분할 수 있다[13].

    Khan et al.[12, 13]은 38개의 NFF관련 논문을 검토하 여 산업현장에서 NFF가 발생하는 4가지 범주로 ①결함 진단: 센서, 테스트, 트러블슈팅, 고장 진단 매뉴얼, 내장 테스트, 환경 테스트. ②시스템 설계 : HW 및 SW 설계, 운영 피드백, 핵심 성과 지표, 벤치 마크와 비용 절감 트 레이드 오프 연구. ③인적 요소 : 의사 소통, 훈련 및 교 육, 올바른 장비 사용, 보증 청구 및 책임. ④데이터 관리 : 데이터 추이, 전자 로그 및 데이터 혼합, 마이닝으로 구 분하였다.

    Williams et al.[19], Thomas et al.[18], Khan et al.[12, 13]의 주장을 요약하면 NDF의 원인으로 부적절한 훈련, 오류에 대한 불완전한 격리 및 문제 해결 매뉴얼, 문제 해결 중 부적절한 환경 자극 및 벤치 테스트, 전자 장비 의 간헐적 결함, 소프트웨어 미성숙, NDF 관리 정책의 부재, 조직 문화로 인한 장벽으로 구분할 수 있다.

    2.3 NDF의 영향

    NFF 및 DOA(Dead-on-Arrival)의 이해관계자인 제조업 체, 서비스 제공업체 및 운영자와 관련 있는 대부분 사람들 의 요구사항은 코스트, 신뢰성 및 안전성과 관련 있다[16].

    먼저 코스트측면에서 NFF는 재고, 파이프 라인 시간 증가, 작업 및 인력 비용 증가 등의 공급 및 유지 보수 시스템의 부담을 증가 시키며, 이는 예비 부품의 양을 증 가하게 하여 비용을 유발 시킨다[16]. Williams et al.[19] 은 NFF 사건이 항공 전자 부품 내 모든 현장 결함의 85 % 이상을 차지할 수 있으며, 모든 유지보수 비용의 90% 이상을 차지한다고 주장한다. NFF 사건에 기인 한 코스 트는 다음 세 가지 범주로 분류할 수 있다. 첫째로 예비 비용이다. 결함과 관련된 모든 비용으로 진단을 위한 시 간, 잉여 검사로 인한 인력 손실 및 작동 가능한 서비스 부품 교체로 총합된다. 두번째로 2차비용이다. 의심되는 유닛 및 제거된 부품의 테스트와 관련된 모든 비용이다. 환경 테스트 및 간헐적인 오류 감지 및 격리를 수행 할 수 있는 능력은 이 시점에서 전반적인 유지 관리 비용에 상당한 영향을 줄 수 있다. 마지막으로 3차비용이다. 모 든 구성 요소 지원 서비스와 관련된 비용이다. 공급망 내 에서 이러한 비용은 재고 관리에 미치는 영향을 고려해 야 한다[5].

    다음으로 신뢰성 측면의 영향을 보면, NFF 문제는 MTBUR (Mean Time Between Unscheduled Removal)과 같은 신뢰 성 측정에 상당한 영향을 미친다[3]. 실제로 NFF를 줄이 면 해당 시스템의 고장률이 향상되는 것보다 시스템 가 용성에 훨씬 큰 영향을 미친다[5]. NTF 반품은 고객의 문제가 해결되지 않았음을 나타내므로 고객 만족도가 떨 어지고 브랜드 가치가 약화된다.

    마지막으로 안전성측면에서 살펴보면 항공 우주산업 에서 NFF는 비용 증가보다 더 심각한 결과, 즉 유지 보 수 관행이 열악하여 잠재적으로 결함이 있는 장치가 작 동 상태로 돌아와 안전문제를 초래할 수 있다는 것이다 [16, 19].

    2.4 NDF관련 기존 연구 사례 요약

    기존의 NDF관련 연구사례를 요약해 보면 <Table 1>에 나타낸 바와 같이 주로 설문 및 인터뷰, 문헌검토를 바탕 으로 NDF비용 추정 및 NDF의 원인과 영향에 대한 연구 가 수행되었다. Khan et al.[12, 13]은 2014년 조직 문화와 인적 요소 관점에서 NFF의 영향을 연구했고 이후 데이터 수집 및 코스트모델 개발을 위한 방법론을 구축하여 NFF 비용 추정 최초 논문을 발표했다. Khan et al.[11]는 Petri nets의 개념을 도입하여 NFF 현상을 제어해야 하는 5가지 단계의 프로세스를 정립했다. Söderholm[16]은 NFF의 원 인과 개선방안을 신뢰성, 유지보수성, 유지보수 지원관점 으로 제시했다. Paul Phillips는 전자, 소프트웨어 및 기계 시스템에서 NFF 고장의 일반적인 원인 검토 및 기술적 측 면을 연구했다.

    3. 연구방법 및 절차

    본 연구의 목적은 기업에 축적된 정량적인 데이터를 활용하고 데이터마이닝을 통해 NDF현상을 감소하기 위한 실무적인 방법론을 제시하기 위함이다. 시장에서 발생하는 결함관련 서비스데이터와 제품의 설계인자를 입력변수로 하여 데이터마이닝을 수행한 후 군집 간 NDF비율을 교차분석 하였다. NDF비율이 높은 군집과 낮은 군집 간의 특성을 탐색하여 비즈니스관점의 시사 점을 찾고, 문제점을 개선하기 위한 대응방안을 제시하 였다.

    3.1 NDF개선을 위한 데이터마이닝 적용 방법

    연구방법과 진행단계를 도식화하면 <Figure 3>과 같 다. 변수선정은 모바일 디바이스의 밸류체인 단계와 연 계하여 설계요인, 제조․생산요인, 시장서비스요인으로 구분하여 선정하였다.

    데이터마이닝 실행은 데이터셋 선정, 데이터 전처리, 알고리즘 선정, 데이터마이닝 기법 실행, Performance 및 적합도 확인 순서로 진행하였다. 세부 절차는 3.2절에 기 술하였다. 모바일 디바이스 제품 시장에서 발생하는 NDF 와 연관된 결함 특성 및 사용환경에 관한 인자와 디바이 스 제품의 설계인자를 입력변수로 하여 군집분석을 수행 하였다. 시장불량 결함 항목 중 NDF현상을 더미변수로 생성하여 군집분석 알고리즘별 군집 간 NDF비율로 교차 분석을 수행하였다.

    군집분석 알고리즘별 NDF 발생 비율에 관한 교차분 석 결과를 바탕으로 NDF 비중이 높은 집단과 낮은 집단 간 인자의 특성을 찾아 시사점을 도출한다. 시사점과 관 련 있는 인자의 성격과 영역을 고려하여 제품디자인 단 계에서 반영해야할 사안과 after service정책 측면의 대응 방안을 브레인스토밍방법을 활용하여 NDF 감소 방안을 제시하였다.

    3.2 데이터마이닝 실행 절차

    데이터마이닝 실행 및 분석은 Linoff and Berry가 제시 한 CRISP-DM모델과, 지원철이 제시한 절차를 참조하여 다음과 같이 진행하였다[10, 14]. 첫 번째 단계는 적용 영 역을 이해하여, 응용영역의 배경 지식을 이해하고 문제와 관련된 지식을 수집하여 분석의 목적을 명확하게 정한다. 두 번째 단계는 데이터 셋을 선택하는 단계로 데이터마이 닝 작업의 대상이 될 데이터들을 선정하고, 다양한 자료원 으로부터 수집한다. 세 번째 단계는 데이터 전처리로 노이 즈나 이상치들을 제거하고, 결측치 들의 처리 방안을 결정 한다. 또한 필요한 경우 데이터마이닝 목적에 적합한 속성 들을 선별하고, 차원축소나 변수변환을 통하여 모형에 포 함시킬 변수의 수를 줄인다. 네 번째 단계는 분석 알고리 즘 선정단계로 회귀분석, 분류분석, 군집분석 등 필요한 작업 유형이 무엇인지 결정하고, 이에 적합한 분석 알고리 즘을 선정한다. 다섯 번째 단계는 데이터마이닝 수행으로 관심을 가질만한 패턴을 찾는다. 패턴은 분류 규칙, 분류 트리, 또는 회귀식 등 다양한 형태가 있다. 여섯 번째 단계 는 데이터마이닝 결과의 평가이다. 발견된 패턴들을 해석 하고 평가한다. 목적 달성에 불충분한 경우 데이터 전처리 단계로 돌아간다. 마지막 단계는 발견된 지식의 활용으로 데이터마이닝을 수행할 때 세웠던 전제조건이나 가정들을 감안하여 현실에 적용한다.

    4. 사례 연구

    4.1 데이터셋 및 변수 선정

    사례 연구 대상 기업인 L사는 스마트폰 제조 및 판매 회사로 R&D 및 설계, 생산, 판매 및 서비스까지 일련의 Business Process를 가지고 있는 글로벌 운영 회사이다.

    사례 기업의 주요 제품 중 하나인 모바일 디바이스의 밸류체인의 각 단계와 연계하여 NDF현상에 영향을 줄 수 있는 설계요인, 제조․공정 요인, 시장 및 사용환경 요인을 변수선정 영역으로 설정하였다. 설계요인으로는 설계 스펙과 사용부품, 제조․공정 요인으로는 공정 조 건과 생산 정보이다. 그리고 시장 및 사용환경 요인에는 사용환경 특성과 시장 불량 현상이며 이를 기반으로 예 비 변수 선정 대상 영역으로 설정하였다. 영역별 예비변 수를 포함하는 사내 IT시스템에서 설계인자와 연관 있는 ‘SDMS’, 공정 및 시장불량과 관련 있는 ‘GQIS’ 시스템 의 field항목을 예비변수 대상으로 하여 <Table 2>와 같 은 간이평가방법을 사용하여 최종 분석에 사용할 변수를 선정하였다.

    설계인자는 L사 사내 시스템인 ‘SDMS’으로 모델 information, 모델의 주요 사양, 적용 부품 관련 정보, Spec 관련된 인자로 연속형 데이터 9개, 이산형 데이터 변수 16개로 총 25개의 변수들로 구성하였다. 공정 및 시장환 경 인자는 L사 IT system인 ‘GQIS'의 생산정보, 불량정 보, 시장․사용환경 정보를 담고 있으며, 연속형 데이터 1개, 이산형 변수 13개로 총 14개 field로 구성되어 있다.

    모델별 동일한 분석 환경설정을 위해 IT 시스템에서의 분석 대상 모델 및 기간을 통제하여 데이터를 추출하였 다. 대상 모델은 제품의 Tier별 Global Launching 지역과 판매대수를 고려하여 선정하였다. high tier, mid tier, low tier로 15개 제품 플랫폼 122개 모델(suffix포함)을 분석 대상으로 선정하였으며, NDF발생 비율과 출시 후 누적 경과 된 기간과의 연관성을 배제시키기 위해 출시 후 12 개월까지의 데이터로 한정하였다.

    4.2 데이터 전처리

    L사 IT시스템으로부터 설계 스펙 및 제품서비스 관련 기초 데이터를 제공받아 R 프로그램밍을 사용하여 데이 터를 처리하였다. ‘model suffix’ field 항목을 key값으로 하여 설계 스펙 관련 데이터와 시장․사용환경 데이터를 병합한 후 분석인자 이외의 변수는 제거하고, 결측치 제 거 및 파생변수를 추가하여 데이터마이닝을 위한 데이터 셋을 정제하였다. 파생변수로는 시장서비스 결함항목의 내용 중 NDF현상 여부를 더미변수로 생성하여 교차분석 에 활용하였다. 군집분석을 실행하기 위한 정제된 데이터 셋은 38개 field, 88,246개 record를 가지는 목적변수가 없 는 데이터 셋이다. 설계요인 데이터 셋과 공정 및 시장관 련 데이터 셋은 각각 <Table 3>과 <Table 4>와 같다.

    4.3 데이타마이닝 알고리즘 선정

    본 연구에서는 Linoff and Berry[14]이 제시하는 K-means, 분포기반군집화, 분할군집화, 계층적 군집화, Tow Step 군 집화, 코호넨(SOM) 알고리즘을 잠재 선정 대상으로 정하 였다. 본 연구의 데이터마이닝 분석에 활용한 Data는 38개 field, 88,246개 레코드가 사용되었고, 많은 양의 Data처리 가 필요한 경우 계층적 군집분석 알고리즘은 컴퓨터 연산 에 많은 부하가 발생한다. 이를 고려하여 계층적 군집화 알고리즘의 대안으로 사용되는 Tow-step clustering 알고리 즘을 선정하였다. 그리고 근래 널리 사용되는 분할 군집분 석 알고리즘 중 하나인 k-means, 인공신경망의 알고리즘 을 차용한 코호넨(SOM)을 선정하였다. K-means의 군집수 K는 일반적으로 계층적 군집화 방법에 활용되며, 주로 사용 되는 통계적 기준은 CCC(Cubic Clustering Criterion), R2, Pseudo-F, Pseudo-t2 등이다[2]. 본 연구에서는 Tow- step 알고리즘과 코호넨(SOM) 알고리즘에서 산출된 군집수 5 에서 11개를 가변시키면서 실행하였다.

    4.4 데이타마이닝 실행

    데이터마이닝 분석tool로 데이터를 로딩하여 변환, 정제, 모델링, 그래프, 결과의 출력까지 하나의 소프트웨어 내에 서 수행 가능한 SPSS Modeler를 사용하여 분석하였다. SPSS Modeler는 시각적으로 데이터의 특성을 파악할 수 있어 의미 해석이 용이하다. 각 알고리즘별 performance와 적합도를 확인하면서 분석 목적에 부합하는 최선의 결과를 얻을 때까지 반복 수행하였다.

    군집분석은 개체 들 간의 거리를 측정하여 유사도가 높은 개체 들끼리 그룹화 하는 방법이다. 거리를 측정하 는 방법은 알고리즘에 따라 다양하다. 데이터의 척도에 따라 다른 형태의 측도 개념을 적용하기 때문에 이산형 과 연속형을 구분하여 적용하는 것은 매우 중요하다[9]. 일반적으로 범주형 데이터의 거리를 측정하는 경우, 숫 자형 데이터로 만들기 위해 ‘0’과 ‘1’을 가지는 더미 코 딩을 이용한다.

    Two-step 알고리즘은 기호 및 범위 필드를 모두 수용하 기 위해 확률기반의 로그 우드 거리 측정을 사용한다. 코 호넨(SOM)과 K-means 알고리즘은 유클리드 거리로 측정 한다[7].

    4.4.1 Tow-step 알고리즘 적용

    Two-step알고리즘은 계층적 군집화 알고리즘 적용 시 많은 양의 계산이 요구되는 단점을 보완하기 위한 방법 이다. 1단계 사전 군집화 진행 후 2단계로 사전에 만들 어진 군집들을 계층 군집화 하는 알고리즘이다[14].

    38개의 입력변수를 사용하여 군집수를 최소 5, 최대 15 로 거리 측도는 로그 우도, 군집기준은 슈바르츠 Bayesian 기준(BIC)으로 설정한 후 군집분석을 실행했다. 본 연구의 목적이 NDF 비중이 높은 군집을 탐색하는 것이므로 교차 분석 결과 군집 간 NDF 비중 차이의 크기를 군집분석의 performance로 설정하여 분석하였다. 그리고 각 군집 간의 거리가 얼마나 효율적으로 분리되어 있는지를 나타내는 실루엣 측도를 군집분석 적합도 평가방법으로 사용하였 다. 여기서 실루엣 측도 기준은 실루엣측도가 0.2 이하 나 쁨, 0.2~0.5 보통, 0.5~1.0 좋음을 기준으로 평가하였다[8].

    최종 군집분석 결과 <Figure 4>와 같이 다섯 개 군으로 구분되었다. 군집품질을 평가할 수 있는 실루엣 측도는 0.5로 양호한 수준이다. 가장 작은 군집의 크기는 536개 (2.8%)이며 가장 큰 군집의 크기는 7,090개(37.7%)이다.

    4.4.2 코호넨 알고리즘 적용

    코호넨 네트워크는 입력층과 출력층으로 구성된 신경 망의 한 유형이다. 출력층 다수의 단위 간 경쟁하여 승리 한 단위에 가중치를 추가로 조정하는 알고리즘이다[13].

    코호넨 실행 모델 옵션은 훈련 파티션의 데이터만 사 용하도록 하는 파티션된 데이터 사용 옵션을 선택했고, 데이터양이 큰 경우 훈련시간이 늦어지는 부분을 감안하 여 피드백 그래프 표시 옵션을 제거 후 실행했다. 모델 작성 중에 성능을 향상시키기 위한 옵션으로 최적화의 메모리를 선택했고, 각 차원과 함께 출력 단위의 수로 2 차원 출력 맵의 크기인 너비와 길이를 5와 3으로 지정하 여 초기 입력변수 38개를 사용하여 실행하였다.

    군집분석의 performance인 NDF비중 차이의 크기와 실 루엣 측도의 적합도를 최적화 하는 과정을 거쳐 최종 35 개의 입력변수를 사용하였다. 최종 분석 결과는 <Figure 5>와 같이 11개의 군집으로 구분되었다. 실루엣 측도는 0.6으로 좋음 수준으로 분석되었고 가장 작은 군집의 크 기는 129개(0.1%)이며 가장 큰 군집의 크기는 20,818개 (23.6%)이다.

    4.4.3 K-means 알고리즘 적용

    K-means 알고리즘은 사전에 임의의 K개의 포인트를 시드로 선택하여 각 개체 간의 거리를 계산하여 가장 가 까운 시드에 배정한다. 군집의 중심점을 찾아 다음 작업 의 시드로 배정하는 작업을 반복 수행하여 군집의 경계 가 더 이상 변하지 않을 때까지 반복 수행한다[14].

    K-means의 군집수 K를 <Table 5>에 나타낸 바와 같이 Tow-step 알고리즘과 코호넨(SOM) 알고리즘에서 산출된 군집수 5에서 11개까지 가변시키면서 실행하여 NDF비 율이 높은 K값을 선정하였다.

    K값을 10으로 설정한 후 performance와 적합도를 최 적화하여 실행한 결과 <Figure 6>과 같이 최종 35개의 입력변수를 사용하여 8개의 군집으로 구분되었다. 응집 및 분리의 실루엣 측도는 0.62로 좋음 수준으로 분석되 었고 가장 작은 군집의 크기는 537개(0.6%)이며 가장 큰 군집의 크기는 20,763개(23.6%)이다.

    4.5 분석 결과

    군집분석을 실행한 후, 시장서비스 데이터 중 결함 현 상을 나타내는 변수인 ‘SYMPTOPM_CD’의 값이 NDF 현상인 경우에는 ‘T’ 그 외의 결함인 경우에는 ‘F’인 더미 변수를 생성하여 교차분석에 사용하였다. 교차분석 결과 를 토대로 NDF비율이 높은 그룹과 낮은 그룹의 특성을 비교분석하여 시사점을 도출하였다.

    4.5.1 Tow-step알고리즘 적용 군집 교차분석

    Tow-step 알고리즘을 적용하여 도출된 군집별 NDF비 율을 교차분석한 결과 <Table 6>과 같고, 군집간 NDF비 율을 그래프로 표시하면 <Figure 7>과 같다. NDF비율이 가장 높은 군집은 ‘군집-5’이며, NDF비율이 가장 낮은 군 집은 ‘군집-3’이다.

    Tow-step 알고리즘을 적용하여 NDF비율이 높은 그룹 과 낮은 그룹 간 변수의 특성을 확인한 결과는 다음과 같다. NDF비율이 높은 그룹은 <Figure 8>에서 보는 바와 같이 battery 용량이 낮은 제품에서 많이 발생하고 ‘Application Chipset’ 심벌이 ‘MAM8917’인 T사 제품의 Application Chipset을 적용한 제품과, Ram Memory가 낮은 제품에서 NDF 비중이 높은 것을 확인할 수 있었다. SW 관점에서 Android 5.0버전 NDF 비중이 높았고 판매 후 5~6개월 후 NDF 발 생이 높은 것을 확인할 수 있었다.

    4.5.2 코호넨 알고리즘 적용 군집 교차분석

    코호넨 알고리즘을 적용하여 도출된 군집별 NDF비율을 교차분석한 결과 <Table 7>과 같이 나타났으며, 군집 간 NDF비율을 그래프로 표시하면 <Figure 9>와 같다. NDF비 율이 가장 높은 군집은 ‘X = 0, Y = 0’인 구역이며, NDF비 율이 가장 낮은 군집은 ‘X = 2, Y = 0’ 구역이다.

    코호넨 알고리즘을 적용하여 NDF비율이 높은 그룹은 <Figure 10>에서 보는 바와 같이 Ram Memory가 낮은 제 품과 ‘Memory_RAM Capacity’가 ‘GW3208’인 G사 지문 센서를 사용한 제품에서 NDF비중이 높게 나타났다. 생산 법인이 ‘LGEYT’인 Y공장 생산 분에서, 그리고 판매 후 4~5개월 후 NDF 발생이 높았다.

    4.5.3 K-means 알고리즘 적용 군집 교차분석

    K-means 알고리즘을 적용하여 도출된 군집별 NDF비 율을 교차분석한 결과 <Table 8>과 같이 나타났으며, 군 집 간 NDF비율을 그래프로 표시하면 <Figure 11>과 같 다. NDF비율이 가장 높은 군집은 ‘군집-5’이며, NDF비 율이 가장 낮은 군집은 ‘군집-9’이다.

    K-means 알고리즘을 적용하여 NDF비율이 높은 그룹은 <Figure 12>에서 보는 바와 같이 Ram Memory가 낮은 부 품을 적용한 제품에서 NDF 비중이 높고 ‘P_T’ Defect Code와 연관성이 있음을 알 수 있다. Display Size를 나타 내는 심벌이 ‘6’인 부품을 적용한 제품의 NDF 비중이 높 았다. 생산법인이 ‘LGEYT’인 Y공장 생산 분에서, 그리고 판매 후 5~6개월 후 NDF 발생이 높은 것을 확인하였다.

    4.6 대응방안 도출

    군집분석 적용 알고리즘인 Tow-step, K-means, 코호넨 (SOM)별 NDF비중이 높은 군집과 낮은 군집 간 변수의 특성을 분석한 결과 다음과 같은 시사점을 도출하였다. 첫 째, 설계인자와 관련하여 Ram Memory가 적고 battery 용 량이 낮은 저 사양 부품 적용 모델에서 NDF비중이 높게 나타났다. 그리고 지문센서, Application Chipset 등에서 특 정 제조사 부품 적용 모델에서 NDF비중이 높음을 확인하 였다. 둘째, 생산․공정 관련 측면에서 Y공장에서 생산한 제품이 NDF 발생 비율이 높게 나타났다. 셋째, 시장 및 사용환경 측면에서는 출시․판매 후 4~6개월이 경과한 시 점에서 NDF 발생비율이 높았고 ‘P_T’ defect code와 연관 성이 있음을 알 수 있었다. 그 외의 기타 특성으로 Android 5.0버전 적용모델에서 NDF비중이 높음을 확인하였다.

    시사하는 내용과 관련 있는, 인자와 밸류체인별 NDF를 감소할 수 있는 대응방안을 도출한 결과는 다음과 같다. 제품디자인측면에서 battery 용량, Memory Size, 저가 vendor의 부품 사용 등의 Spec down부품 사용에 의한 재료비 절감과 NDF비용 증가의 관계를 종합적으로 고려하여 제 품디자인에 반영하여야 한다. 생산 및 공정측면에서 특정 공장의 설비 및 공정점검이 필요하다. after service 정책 관점에서 ‘P-T’ defect 발생에 대한 심층 분석이 필요하고 출시 후 4개월 경과시점부터 NDF발생에 대한 시장 모니 터링이 필요하다.

    5. 결 론

    본 연구에서는 시장에서 발생하는 모바일 디바이스 제품의 결함 및 사용 환경에 관한 인자와 설계인자를 입 력변수로 하여 군집분석을 수행하였다. 또한 시장 결함 관련 인자의 데이터 값 중 NDF 여부를 판단하기 위하여 더미변수를 생성하여 교차분석을 실시한 후 NDF비중이 높은 그룹과 낮은 그룹을 비교하여 어떠한 특성이 있는 지 확인해 보았다.

    3가지 알고리즘을 적용한 군집분석 결과를 종합하여 NDF비중이 높은 그룹의 특성을 요약하면, 설계인자와 관련하여 Ram Memory가 적고 Battery 용량이 낮은 등 저 사양 부품 적용 모델에서 NDF비중이 높게 나타났다. 그리고 지문센서, AP Chip 등에서 특정 제조사의 부품 적용 모델에서 NDF비중이 높음을 확인하였다. 생산․공 정 관련 측면에서 특정 공장에서 생산한 제품이 NDF 발 생 비율이 높게 나타났다. 시장 및 사용환경 관련해서는 출시․판매 후 4~6개월이 경과한 시점부터 NDF 발생비 율이 높았고 ‘P_T’ Defect Code와 연관성이 있음을 확인 하였다. 그 외의 기타 특성으로 Android 5.0버전 적용모 델에서 NDF비중이 높음을 확인하였다.

    비즈니스 활용방안으로 다음과 같이 개선방안을 제안 한다. 제품디자인측면에서 Battery 용량, Memory Size, 저 가 vendor의 부품 사용 등의 Spec down 부품 사용에 의한 재료비 절감과 NDF비용 증가의 관계를 종합적으로 고려 하여 제품디자인에 반영하여야 한다. 생산 및 공정측면에 서 특정 공장의 설비 및 공정점검이 필요하다. after service 정책 측면에서 ‘P-T’ defect 발생에 대한 심층 분석이 필요 하고 출시 후 4개월 경과시점부터 NDF발생에 대한 시장 모니터링이 필요하다.

    본 연구의 의의는 3가지로 요약할 수 있다. 첫째, 기존 의 NDF관련 연구는 비용추정 및 정성적 측면에서의 개 선안을 제시한 반면 본 연구에서는 실제 기업의 정량적 데이터를 활용하여 개선안을 제시하였다. 둘째, 시장에 서 발생하는 제품결함에 대한 after service 관련 빅데이 터를 활용하여 데이터마이닝 기법을 통해 시장불량 개선 방향을 제시하였다. 셋째, 제품 디바이스의 설계, 제조․ 공정, 시장․판매까지 일련의 비즈니스 시스템상의 영향 인자를 고려하여 NDF를 개선하는 사례연구 방법을 제시 하였다.

    그리고 본 연구에서의 다음과 같은 한계점과 향후 연 구 방향을 제시 하고자 한다. 첫째, 입력 변수 선정에 있 어 시스템 상에 존재하는 field만을 분석 데이터로 활용 했다. 향후 분석 목적에 부합하는 변수를 추가하여 2차 연구가 필요하다. 둘째, 다양한 관점의 목적변수를 활용 하여 여러 데이터마이닝 방법론을 적용하여 비교분석하 는 것도 의미 있는 과제로 남아 있다. 셋째, 본 연구에 이어 NDF개선 정도에 따른 비용개선 효과가 기업경영에 어떤 영향을 미치는지에 대한 연구를 진행하는 것도 흥 미로운 주제가 될 것이라고 생각한다.

    Acknowledgement

    This research was supported by 2020 Hanyang University Research Fund(HY-2020-G).

    Figure

    JKISE-44-1-60_F1.gif

    Depiction of the No Fault Found Cycle

    JKISE-44-1-60_F2.gif

    Typical Maintenance Activity

    JKISE-44-1-60_F3.gif

    Research Model Diagram

    JKISE-44-1-60_F4.gif

    Tow-Step Algorithm Cluster Size

    JKISE-44-1-60_F5.gif

    Kohonen Algorithm Cluster Size

    JKISE-44-1-60_F6.gif

    K-Means Algorithm Cluster Size

    JKISE-44-1-60_F7.gif

    NDF Ratio Size Graph for Each Cluster Applied Tow-Step Algorithm

    JKISE-44-1-60_F8.gif

    Cluster Characteristics Applied Tow-Step Algorithm

    JKISE-44-1-60_F9.gif

    NDF Ratio Size Graph for Each Cluster Applied Kohonen Algorithm

    JKISE-44-1-60_F10.gif

    Cluster Characteristics Applied Kohonen Algorithm

    JKISE-44-1-60_F11.gif

    NDF Ratio Size Graph for Each Cluster Applied K-Means Algorithm

    JKISE-44-1-60_F12.gif

    Cluster Characteristics Applied K-Means Algorithm

    Table

    Cases of Previous Research Papers Related to NFF

    Variable Selection

    Design Factors Variables

    Manufacturing and Market Environment Variables

    NDF Ratio According to K Value

    Cross Tabulation Analysis of NDF Ratio Applied Tow-Step Algorithm

    Cross Tabulation Analysis of NDF Ratio Applied Kohonen Algorithm

    Cross Tabulation Analysis of NDF Ratio Applied K-Means Algorithm

    Reference

    1. Artficial Inteligence Times, http://www.aitimes.kr/news/articleView.html?idxno=10993.
    2. Bea, Y.J., A Comparison and Case Study of Cluster Algorithms for Mixed Data with Quantitative and Qualitative Variable, Journal of the Korean Data Analysis Society, 2015, Vol. 17, No. 6(B), pp. 2991-3000.
    3. Beniaminy, I. and Joseph, D., Reducing the ‘No Fault Found’ Problem : Contributions from Expert-System Methods, Proceedings, IEEE Aerospace Conference, 2002.
    4. Cho, G.H. and Park, H.C., Comparison of Clustering Algorithms in Data Mining, Journal of The Korean Data Analysis Society, 2006, Vol. 8, No. 2, pp. 585-596.
    5. Erkoyuncu, J.A., Khan, S., Hussain, S.M.F., and Roy, R., A Framework to Estimate the Cost of No-Fault Found Events, International Journal of Production Economics, 2016, Vol. 173, pp. 207-222.
    6. Hockleya, C. and Lacey, L., A Research Studky of No Fault Found(NFF) in the Royal Air Force, Procedia CIRP, 2017, Vol. 59, pp. 263-267.
    7. IBM, “IBM SPSS Modeler 14.2 Algorithms Guide”, 2011.
    8. James, I., Lumbard, D., Willis, I., and Goble, J., Investigating No Fault Found in the Aerospace Industry, In : Proceedings of Annual Reliability and Maintainability Symposium, 2003.
    9. Jang, H., Kim, K.G., and Kim, C., Comparison of Clustering Methods for Categorical Data, Journal of the Korean Data Analysis Society, 2014, Vol. 16, No. 5, pp. 2439-2445.
    10. Ji, W.C., Data Mining in the Era of Big Data, minyeongsa, 2017.
    11. Khan, S., Farnsworth, M., and Erkoyuncu, J., A Novel Approach for No Fault Found Decision-Making, CIRP Journal of Manufacturing Science and Technology, 2017, Vol. 17, pp. 18-31.
    12. Khan, S., Phillips, P., Jennions, I., and Hockley, C., No Fault Found Events in Maintenance Engineering Part 1 : Current Trends, Implications and Organizational Practices, Reliability Engineering and System Safety, 2014, Vol. 123, pp. 183-195.
    13. Khan, S., Phillips, P., Jennions, I., and Hockley, C., No Fault Found Events in Maintenance Engineering Part 2 : Root Causes, Technical Developments and Future Research, Reliability Engineering and System Safety, 2014, Vol. 123, pp. 196-208.
    14. Linoff, G.S. and Berry, M.J.A., Data Mining Techniques For Marketing, Sales, and Customer Relationship Management (3nd ed.), Wiley, 2011.
    15. Schwab, K., The Fourth Industrial Revolution, Crown Pub, 2016.
    16. Soderholm, P., A System View of the No Fault Found (NFF) Phenomenon, Reliability Engineering and System Safety, 2007, Vol. 92, pp. 1-14.
    17. TechSee, https://techsee.me/blog/nff-survey.
    18. Thomas, D.A., Ayers, K., and Pecht, M., The “Trouble not Identified” Phenomenon in Automotive Electronics, Microelectronics Reliability, 2002, Vol. 42, No. 4-5, pp. 641-651.
    19. Williams et al., An Investigation of ‘Cannot Duplicate’ Failures, Quality and Reliability Engineering International, 1998, Vol. 14, No. 5, pp. 331-337.