1. 서 론
편리한 쇼핑, 간편한 결제, 빠른 배송을 장점으로 내세우 며 온라인 쇼핑은 소비생활의 주요한 채널로 자리잡았다. 산업통상자원부의 2024년 연간 유통업체 매출동향에 따르 면 오프라인(2.0%)과 온라인(15.0%) 모두 상승하여 전년대 비 8.2% 증가하였으며 23년과 달리 온라인의 매출 비중 (50.6%)이 오프라인의 매출비중(49.4%)을 앞서는 것으로 나타나 온라인 유통시장의 증가 추세가 심화되고 있다[15].
온라인 유통시장의 확대에 따라 고객의 선호를 파악하 고, 적절한 상품을 추천하여 매출을 높이기 위한 서비스 전략 연구도 이루어지고 있다. 과거의 경우 상품 기획자 등의 경험을 바탕으로 상품을 추천하던 방식에서 고객의 구매 통계를 바탕으로 유사한 그룹고객에게 상품을 추천 하는 형태로 발전해 왔다.
온라인 추천서비스 경우 이용고객을 대상으로 자사의 성별, 연령대 등 고객정보 및 접근 채널, 조회 정보, 장바구 니 정보 등을 바탕으로 개인화된 추천정보를 제공하고 있 다. 상품의 사진 및 가격정보에 추가하여 다른 고객이 함 께 구매하는 상품 및 함께 조회한 상품 정보를 제공하고 있으며, 개인의 검색정보, 조회정보 등 통계정 방법을 기 반으로 개인화된 추천 상품을 제공하는 형태이다.
편의점 이마트24의 경우 판매자 관점의 상품추천 서비 스를 도입하여 각 점포의 POS매출 데이터를 AI가 분석하 여 상품 카테고리, 판매 비중 및 판매형태를 기준으로 유 사한 점포를 선별하고 해당 점포에서는 잘 팔리고 있지만 대상 점포에서는 도입하고 있지 않은 상품을 추천하는 서 비스를 제공하고 있다[14].
최근 유통물류진흥원은 유통데이터서비스 누리집 등을 통해 중소마트 매출 분석정보, 소비자 구매트렌드, 인기상 품 트렌드 등을 제공하고 있다. 하지만 아직 서비스 초기 단계로 제공되는 상품품목의 수가 적고 판매관련 다양한 부가정보의 제공이 요구되고 있다. 이와 같이 중소유통업 체의 경우 대형 유통채널과 같이 온라인 중심으로 변화하 고 있는 시장의 판매 변화를 적시에 파악하기 어려운 환경 이다.
본 연구에서는 온라인 쇼핑몰의 판매 데이터를 활용하 여 해당 쇼핑몰에서 상품을 판매하는 유통업체를 위한 추 천 시스템을 적용하였다.
본 논문의 구성은 2장에서 관련연구, 3장에서 데이터 전 처리 및 추천모델 적용 내용, 4장에서 온라인 쇼핑몰 판매 데이터에 적용한 성능평가 결과를 기술하였으며 5장에서 향후 연구 계획을 작성하였다.
2. 관련연구
2.1 온라인 추천 서비스 관련 연구
추천시스템은 사용자에 적합하고 필요한 제품을 추천 하는 기술로서 어떤 상품을 구매할지 어떤 영화를 시청할 지 어떤 음악을 들을지 등 다양한 분야의 소비자에게 추천 서비스를 제공하기 위해 활용하고 있다[4, 6, 10].
정보기술의 발달로 데이터 양이 증가함에 따라 고객의 행동을 분석하거나 선호를 파악할 수 있는 데이터가 증가 하게 되고, 이를 기반으로 한 온라인 쇼핑분야에서의 상품 추천 연구가 다양하게 수행되었다.
추천 시스템을 위한 추천방법으로는 전통적으로 콘텐 츠 기반 필터링, 협업 필터링, 하이브리드 필터링 방법이 사용되어 왔으며 최근에는 딥러닝 기반의 추천 연구가 진 행되고 있다[1].
콘텐츠 기반 추천 방법은 구매 또는 시청과 같은 사용 자의 최근 행동을 바탕으로 사용자 프로필을 생성하고 이 전에 선호했던 항목과 유사한 특성을 가진 항목을 추천하 는 방법이다[12].
협업 필터링 기반 추천 방법은 사용자와 비슷한 선호도를 갖는 다른 사용자들이 선호하는 상품을 추천하는 방식이다. 협업 필터링 기반 추천에는 행렬분해(Matrix Facotrization), SVD, 신경망 방법이 사용되어 왔다[7].
컨텍스트 기반 추천시스템은 사용자 및 상품정보 이외에 구매시간, 구매장소, 아이템 카테고리 등 여러 관련 부가정 보를 활용하여 보다 정확한 추천을 제공하는 방법이다.
대표적으로 S. Rendle이 제안한 Factorization Machine (FM) 방법 이후에 DeepFM, Attention factorization machine 방법 등이 CTR(Click-through rate)예측 분야에 확장 발전되었다[5, 9, 11].
딥러닝을 활용한 추천 시스템은 사용자-상품 등 기존의 속성간의 선형성을 활용한 방법에 MLP를 통해 비선형성 을 추가하여 확장하는 방법이다. 딥러닝 기반 추천모델은 입력데이터를 효과적으로 학습하고 Feature Engineering에 대한 비용을 줄일 수 있는 특징이 있다. 관련 추천 모델로 Neural Collaborative Filtering(NCF), Deep Factorization Machine(DeepFM), Wide & Deep Model 등의 모델이 제안 되었다.
최근에는 소셜네트워크나 지식 그래프 등의 관계성 데 이터를 대상으로 한 Graph CNN 기반 추천 시스템이 제안 되었으며, 전체 데이터 속성 중 특정부분에 집중하는 Attention 메커니즘을 활용한 Attention기반 추천 시스템이 연구되고 있다[2, 3, 16, 18].
유통서비스 분야에서는 상품카테고리 재분류 기반의 수요예측 및 상품추천 방법론에 대한 연구와 역직구 상품 추천 및 판매가 추정을 위한 머신러닝 모델에 대한 연구가 수행되어 왔다[7, 8].
2.2 판매상품추천 실증 모델
본 연구에서는 판매상품추천을 위한 알고리즘으로 Neural Collaboration Filltering(NCF), Attentional Factorization Machines(AFM), Deep Factorization Machines(DeepFM)을 사용하였다.
2.2.1 Attentional Factorization Machines
AFM 알고리즘은 Xiao et al.[17] 이 제안한 알고리즘 으로, 전통적인 Factorization Machines(FM)을 확장하여 추천 시스템에서 특징 상호작용 모델링을 개선하는 알고 리즘이다. AFM은 어텐션 메커니즘을 도입하여 특징 상 호작용에 문맥적 중요도에 따라 동적으로 가중치를 부여 함으로써 가장 정보 가치가 높은 쌍에 초점을 맞춘다. 이 모델은 먼저 입력 특징을 dense 벡터로 임베딩하고, 요소 별 곱을 통해 쌍별 상호작용을 계산한 후, 어텐션 기반 풀링 레이어를 적용하여 상호작용 벡터의 가중합을 생성 한다. 이 출력은 최종 예측 점수를 생성하는 예측 레이어 로 전달된다. 의미 있는 상호작용을 우선시함으로써 AFM은 클릭률 예측 및 개인화된 추천과 같은 작업에서 우수한 성능을 달성하며, 특히 복잡하고 희소한 특징 세 트에서 강점을 보인다.
2.2.2 Deep Factorization Machines
DeepFM은 Guo et al.[2] 이 제안한 하이브리드 신경망 모델로, 추천 시스템에서 Factorization Machines(FM)와 심 층 신경망을 결합하여 저차원 및 고차원 특징 상호작용을 효과적으로 포착하도록 설계되었다. FM의 선형 및 2차 상 호작용 모델링 능력과 DNN의 복잡한 비선형 특징 상호작 용 학습 능력을 통합하여 기존 FM모델을 개선하였다. DeepFM은 클릭률 예측과 같은 작업에서 우수한 성능을 입증하며, 전자상거래 및 온라인 광고와 같은 도메인에서 개인화된 추천에 매우 효과적으로 알려져 있다.
2.2.3 Neural Collaboration Filltering
NCF알고리즘은 전통적인 협업필터링(Collaborative Filtering)의 한계를 극복하기 위해 신경망(neural network) 를 활용한 추천 알고리즘이다. He et al.은 매트릭스 분해 (Matrix Factorization, MF)와 같은 선형 모델이 사용자-아 이템 상호작용의 비선형 관계를 포착하기 어렵다는 점을 지적하며, 이를 해결하기 위해 NCF를 제안하였다. NCF는 대규모 데이터 셋에서 사용자 선호도를 정밀하게 모델링 하며, 암묵적 피드백을 기반으로 한 추천에 효과적으로 영 화추천, 전자상거래 등의 도메인에서 활용되어 왔다[3].
2.2.4 Ensemble
추천 시스템의 예측 정확도와 견고성을 향상시키기 위 해, Attentional Factorization Machines(AFM), DeepFM, Neural Collaborative Filtering(NCF) 세 가지 모델의 확률 출력을 결합한 앙상블 예측 방법을 적용하였다. 이 앙상블 접근법은 각 모델의 예측 확률을 산술 평균으로 집계하여 계산하며, 수식은 아래 식 (1)과 같이 정의된다.
이 단순 평균 기법은 AFM의 어텐션 기반 특징 상호작 용 가중치 부여, DeepFM의 저차원 및 고차원 특징 상호작 용 포착 능력, NCF의 사용자-아이템 상호작용의 비선형 모델링 강점을 활용하여 보다 견고한 예측을 생성한다.
3. 데이터 전처리 및 추천모델
3.1 활용 데이터
본 연구의 목표인 판매자별 상품추천을 위해서 2022년 10주부터 39주까지의 온라인 쇼핑몰에서의 판매 데이터 를 사용하였다. 해당 데이터는 <Table 1>과 같이 일별 판 매량, 판매수량, 판매순위, 판매일자 정보와 함께, 고객 리 뷰 수, 고객리뷰 평점 정보를 포함하며, 판매자 계정과, 판 매제품 번호, 판매제품의 분류정보를 포함한다.
추천에 활용된 데이터는 생활용품 관련 온라인 판매 데 이터를 활용하였으며, 물티슈, 주방용품, 청소용품 등이 판매량 기준 주요 세부 카테고리를 구성한다.
전체 데이터 수는 약 62만 건의 자료를 사용하였으며 자료 내 판매자 수는 13,607건, 상품수는 95,938건 이며, 주요 세부 카테고리의 판매자수, 상품수 정보는 <Table 2> 와 같다.
주별 판매자수, 총판매금액, 판매상품수 추이 그래프는 <Figure 2>와 같다.
3.2 데이터 전처리
3.2.1 SMOTE활용 Data 불균형 처리
주별 판매량 상위 10% 품목에 대한 추천을 수행하기 위하여 판매일자 정보로부터 week정보 및 주별 상품-판매 자별 판매순위 정보를 추가로 생성하였다. 또한 주별 상 품-판매자별 판매순위 정보를 기반으로 상위 90% 이상의 Percentile 자료에 대한 그룹을 추천 그룹으로 90% 미만의 그룹을 비 추천 그룹으로 설정하였다.
이 경우 추천 : 비 추천 그룹의 비율이 약 1:9로 설정되 어 다수 클래스에 대한 과적합이 발생할 수 있다.
따라서 SMOTE를 사용하여 각 그룹간의 불균형을 개선하 였다. SMOTE(Synthetic Minority Oversampling Technique) 는 Over sampling 기법의 하나로 Data가 상대적으로 적은 추천 클래스를 증강시켜 두 클래스 간의 균형을 유지한다. 아래 <Figure 3>는 SMOTE적용 후의 주별 추천 및 비추천 클래스의 구성을 나타내고 있으며, <Table 3>는 전체 데이터 에 대한 주별 추천/비추천 그룹의 데이터 수를 나타낸다.
3.2.2 학습데이터 생성
주별 판매자-판매상품에 대하여 다음 주의 추천유무를 학습할 수 있도록 target column을 shift 하여 조정하였으며 학습데이터와 테스트데이터의 비율을 8:2로 수행하였다.
3.3 추천 알고리즘 학습
3.3.1 Attentional Factorization Machines
본 연구의 상품추천에 사용된 모델의 입력은 주별속성, 상품 및 판매자 정보를 범주형 특징으로 판매량, 판매순위, 리뷰수 등을 수치형 특징으로 변환하여 구성하였다. 학습률 은 0.0005로 설정된 Adam 옵티마이저를 사용하였으며, 손 실함수로는 이진분류에 적합한 Binary_crossentropy를 채택 하였다. 배치 크기는 256, 학습 에포크는 30으로 설정하여 모델을 학습시켰다.
3.3.2 Deep Factorization Machines
본 연구에 활용된 모델에서는 범주형 및 수치형 변수를 모두 포함하여 FM과 DNN 컴포넌트의 특성컬럼으로 공 통적으로 사용하여 컴포넌트간 임베딩 공유를 가능하게 하였다. 옵티마이저와 손실함수 등의 파라메터 설정은 AFM 모델과 동일하게 설정하였다.
3.3.3 Neural Collaboration Filltering
본 연구의 모델에서는 Adam 옵티마이저를 사용하였으 며, 학습률(lr)은 0.001로 설정되었다. 손실 함수로는 이진 분류에 적합한 BCELoss를 채택하였으며, 가중치 손실은 별도로 적용되었다.
3.3.4 Ensemble
최적의 분류 임계값을 결정하기 위해 앙상블 확률을 사 용해 정밀도-재현율 곡선을 구성하고, 정밀도와 재현율의 곱을 최대화하는 임계값을 선택하여 오탐지와 미탐지 간 균형을 보장하였다. 구체적으로, 최적 임계값은 아래 식 (2)과 같이 계산되었으며, 임계값이 없을 경우 기본값 0.5 를 사용하였다. 이 임계값을 앙상블 확률에 적용하여 이진 예측을 도출하였다.
4. 성능 평가
4.1 알고리즘 성능 평가
추천 시스템의 성능을 평가하기 위해 AFM, DeepFM, NCF, 그리고 이들 모델의 예측을 결합한 앙상블(Ensemble) 모델을 사용하였으며, 전체 데이터와 주요 카테고리 3개 그룹에 대한 성능을 각각 평가하였다.
성능 평가를 위한 평가지표로는 AUC, 정확도(Accuracy), 정밀도(Precision), 재현율(Recall) 지표를 계산하여 <Table 4>과 같이 도출되었다.
전체 데이터에서 Ensemble 모델이 AUC는 0.9508, Accuracy는 0.8866, Recall은 0.9207로 나타나 다른 모델에 비해 우수한 결과를 나타냈다.
전체 데이터 셋의 ROC-curve 그래프는 <Figure 4>와 같 이 나타나며, 3개의 주요 세부 상품군에서도 전체 데이터 의 결과와 유사한 결과를 나타내었다.
이는 앙상블 기법이 개별 모델의 장점을 효과적으로 결합하 여 안정적이고 균형 잡힌 예측 성능을 달성했음을 시사한다.
DeepFM 모델은 전체 데이터에서 Precision 결과가 0.8783으로 나타나 다른 모델에 비해 좋은 결과를 나타내었 고, AUC와 Accuracy 결과에서도 상대적으로 우수하게 나 타났다. AFM 모델은 모든 데이터 셋에서 가장 낮은 성능을 나타냈다.
<Figure 5>에서와 같이 데이터 셋별 성능지표 비교에서 는 ‘301-Beauty supplies’ 데이터 셋이 DeepFM, Ensemble model의 성능비교에서 다른 데이터 그룹에 비해 우수한 성능을 나타내고 있다. 이는 <Table 2>, <Table 3>에서 살펴 본 바와 같이 상품수나 판매자 수 대비 많은 판매 데이터를 나타내고 있어 낮은 희소성에 기인한다고 볼 수 있다.
한편 협업 필터링 계열의 NCF model에서는 데이터 셋간 의 성능지표 차이가 FM 기반의 알고리즘에 비해 크게 나타 나지 않았다.
5. 한계 및 향후연구
본 연구는 온라인 쇼핑몰의 판매자의 판매 데이터를 활용 하여 판매상품을 추천하기 위한 추천 알고리즘을 여러 상품 카테고리 데이터에 대하여 적용하여 성능을 분석하였다.
과제에서 수집한 특정 쇼핑몰 데이터에 국한되어 있어 다양한 데이터와 상품군에서의 영향은 고려하지 않았다. 또한 추천 대상군에 있어서는 서비스 시스템에서 요구하 고 있는 대상군에 대한 추천 모델을 적용하였으나, 상품정 보를 그룹화하여 브랜드 속성을 추출하거나, 판매자 기준 의 카테고리를 적용하는 등 카테고리별 아이템 특징과 사 용자 프로필 데이터를 추가로 활용하여 모델 성능을 개선 하는 방향을 탐구할 계획이다.
또한 보다 긴 기간의 데이터를 기반으로 계절성 요인이 나 세일페스타 등의 이벤트 특징에 대한 상호작용, 시퀀스 학습 등을 반영할 수 있는 xDeepFM, Transformers4Rec, FiBiNET, BERT4Rec 등의 최신 모델을 적용하여 성능을 분석하고자 한다.