Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 2005-0461(Print)
ISSN : 2287-7975(Online)
Journal of Society of Korea Industrial and Systems Engineering Vol.37 No.1 pp.1-8
DOI : https://doi.org/10.11627/jkise.2014.37.1.01

Emotion Classification Using EEG Spectrum Analysis and Bayesian Approach

Seong Youb Chung*, Hyun Joong Yoon**
*Department of Mechanical Engineering, Korea National University of Transportation
**School of Mechanical and Automotive Engineering, Catholic University of Daegu
Corresponding Author : yoon@cu.ac.kr
July 18, 2013 September 23, 2013 December 20, 2013

Abstract

This paper proposes an emotion classifier from EEG signals based on Bayesʼ theorem and a machine learning using a perceptron convergence algorithm. The emotions are represented on the valence and arousal dimensions. The fast Fourier transform spectrum analysis is used to extract features from the EEG signals. To verify the proposed method, we use an open database for emotion analysis using physiological signal (DEAP) and compare it with C-SVC which is one of the support vector machines. An emotion is defined as two-level class and three-level class in both valence and arousal dimensions. For the two-level class case, the accuracy of the valence and arousal estimation is 67% and 66%, respectively. For the three-level class case, the accuracy is 53% and 51%, respectively. Compared with the best case of the C-SVC, the proposed classifier gave 4% and 8% more accurate estimations of valence and arousal for the two-level class. In estimation of three-level class, the proposed method showed a similar performance to the best case of the C-SVC.


뇌파 스펙트럼 분석과 베이지안 접근법을 이용한 정서 분류

정 성엽*, 윤 현중**
*한국교통대학교 기계공학과
**대구가톨릭대학교 기계자동차공학부

초록


    National Research Foundation of Korea
    No. 2010-0004341
    No. 2010-0021157

    1.서 론

    최근 인간의 뇌에 대한 관심이 증가함에 따라 뇌파를 이용하여 인간의 정서를 인지하고자 하는 연구도 많은 관심을 받고 있다. 인간의 정서를 간접적으로 인지하고 자 하는 연구는 이전에도 진행되고 있었는데, 대표적인 방법이 인간의 얼굴 표정이나 음성을 분석하여 정서 상 태를 인지하는 것이었다. 그러나 이는 인간의 표정이나 음성은 문화적, 사회적 환경 등에 비교적 많은 영향을 받기 때문에 한계가 있다. 이 외에도 기능적자기공명영상(fMRI, functional magnetic resonance imaging), 양전자단층촬영술 (PET, proton emission tomography), 근전도(EMG, electromyogram), 피부전기전도성(skin conductance), 피부체온(skin tem- perature), 심박률(heart rate) 등을 이용한 인간의 정 서 인지 방법에 대한 연구가 진행 중이다. 인간의 정서를 인지하기 위하여 어떤 정신생리학적 신호를 이용할 것인 지는 신호 측정에 있어서의 시공간적 제약 조건과 예측 하고자 하는 정서의 종류에 따라 결정되어야 할 것이다. 그러나 아직 인간 정서 인지 문제에 있어 어떤 방법이 적합한지에 대해서는 앞으로도 많은 연구가 요구된다. 본 논문에서는 최근에 가장 주목을 받고 있는 뇌파 신호 를 이용하여 베이지안 확률모델에 근거한 인간의 정서 추정 문제를 다룬다.

    인간의 정서 상태와 뇌파와의 관계에 대한 연구는 1990 년대부터 주로 심리학자들에 의하여 연구가 진행 되고 있는데, 특히 뇌파를 이용한 인간의 정서 인지는 2000년 부터 활발히 연구가 진행되고 있다. 심리학 측면의 연구 는 주로 뇌파의 어떤 특징이 특정 정서 상태와 관련이 있는지를 알아내는데 초점이 맞추어져 있는데 비하여, 과학․공학적 측면의 연구에서는 뇌파 신호로부터 정서 를 효과적으로 인지하기 위하여 특징을 추출하고 패턴을 분석하여 정서를 인지하는데 초점이 맞추어져 있다. 특 히 뇌파를 이용한 정서 인지는 감성 로봇 기술 및 감성 적 인공지능 기술이 발전함에 따라 많은 관심을 받고 있 으나 아직 관련 연구는 초기 단계에 있다.

    뇌파와 인간의 정서와의 관계에 대한 심리학적 접근에 서는 고속푸리에변환(FFT, fast Fourier transform)과 사건 관련전위(ERP, event related potential)의 분석 방법이 주 로 사용되어 왔다. 특히 인간 정서의 arousal보다는 valence와 뇌파와의 관계를 규명하는 연구가 대다수를 이루 고 있다. 뇌파의 전두엽 부분의 비대칭 특성이 valence와 관련이 되어 있다는 연구 보고가 대표적인데, 좌측 전두 엽은 positive valence와 우측 전두엽은 negative valence와 관련이 있다는 많은 실험 결과가 보고되고 있다[5, 6, 8, 9, 10, 11, 22]. 이 외에도 Heller[10, 11]는 arousal이 측두- 두정엽과 관련되어 있다고 주장 하였으며, Müller 외[17]는 감마파의 경우 좌측 측두엽이 우측 측두엽보다 negative valence와 더 관련이 있으며 positive valence의 경우에는 우반구의 편측성이 있음을 보였다.

    이와 같은 심리학적 측면에서 밝혀진 뇌파와 정서 사이 의 관계 규명에 기반을 두고, 2000년대 후반 들어 많은 연 구자들이 뇌파로부터 인간의 정서를 인지하는 연구를 활 발히 진행하고 있다. Horlings[12]는 뇌파 신호를 분석하 여 정서를 valence-arousal 차원에서 5가지 클래스로 구분 하였다. 특징 벡터로는 사건관련동기화(ERS, event-related synchronization), 교차상관관계(cross-correlation), 알파최대 주파수(alpha peak frequency), Hjorth 파라미터를 사용하 였고, mRMR(minimum Redundancy Maximum Relevance) [18] 알고리즘을 이용하여 중요 특징을 선택하였으며, 분 류 알고리즘으로는 신경망(neural network), 나이브베이즈 분류기(naïve Bayes classifier), 서포트벡터머신(support vector machine)의 세 가지 분류기를 적용하였다. 정서 인식 률은 서포트벡터머신을 이용하였을 때 가장 높게 나왔다. Schaaff와 Schultz[21]International Affective Picture System( IAPS)[13]의 시각자극을 이용하여 뇌파로부터 정서 인지에 대한 연구를 수행하였는데, 이 때 정서의 valence 측면만 고려하였으며 pleasant, neutral, unpleasant의 세 단 계로 나누어 정서 상태를 고려하였다. 뇌파 신호의 특징

    은 단시간푸리에변환(short time Fourier transform)을 사용 하였으며 상관성 분석을 이용하여 중요 특징을 선택하였다. 또, 서포트벡터머신과 은닉마코프모델(hidden Markov model) 의 두 가지 분류기를 사용을 하였는데, 서포트벡터머신 이 은닉마코프모델보다 정서 인지에 더 좋은 인식률을 보 였다. Petrantonakis와 Hadjileontiadis[19, 20]는 뇌파를 이 용한 정서인지를 위하여 Hybrid Adaptive Filtering- Higher Order Crossing(HAF-HOC)라는 새로운 특징 추출 방법을 제안하였다. HAF는 유전자 알고리즘을 이용하여 정서와 관련된 뇌파 신호의 특성을 찾고, HOC은 HAF를 통하여 필터링 된 신호로부터 특징을 추출하는 기능을 담당한다. 제안된 방법은 2차 판별분석법(quadratic discriminant analysis), k-최근접객체탐색법(k-nearest neighbor), 마할라노비 스의 거리(Mahalanobis distance), 서포트벡터머신의 네 가 지 분류기를 이용하여 평가되었다. Ekman[7]의 6개 기본 정서(행복, 놀람, 화남, 공포, 역겨움, 슬픔)를 구분하는데 서포트벡터머신이 가장 좋은 성능을 보였다. Lin 외[15]는 음악 자극에 대한 정서 상태의 구분을 위하여 다층퍼셉트론 (multilayer perceptron)과 서포트벡터머신을 사용하였는데, 이 때 정서는 기쁨, 화남, 슬픔, 즐거움의 네 단계로 구분 하였다. 특징 벡터로는 주파수 밴드 타입에 따라 DASM12 (differential asymmetry of 12 electrode pairs), RASM12(rational asymmetry of 12 electrode pairs), PSD24(power spectrum density of 24 channels), PSD30(power spectrum density of 30 channels)가 사용되었다. 실험 결과 DASM12가 가장 좋은 성능을 보였으며, 서포트벡터머신이 다층퍼셉트론 보다 좋은 결과를 보였다.

    이와 같이 뇌파 신호로부터 인간의 정서 상태를 인지 하기 위하여 다양한 특징추출(feature extraction) 방법, 특 징선택(feature selection) 방법, 분류기(classifier)가 제안되 고 비교되어 왔다. 특히 분류기의 경우 서포트벡터머신, 은닉마코프모델, 신경망, 나이브베이즈분류기, 2차판별분 석법, k-최근접객체탐색법, 마할라노비스의거리 등 다양 한 알고리즘에 대한 적용이 이루어졌으며, 현재까지 보 고된 연구들을 보면 서포트벡터머신이 가장 좋은 성능을 보였다. 그러나 뇌파를 이용한 정서 인지 문제에서 서포 트벡터머신은 커널과 파라미터의 선택에 따라 성능의 차 이가 비교적 크다는 한계가 있다[12].

    본 논문에서는 뇌파 신호로부터 인간의 정서를 valencearousal 차원에서 추정하는 문제를 다루고 있다. 특징추 출 방법으로는 고속푸리에변환을 이용한 주파수 분석을 사용하였으며, 특징선택 과정 없이 분류기를 바로 적용 하였다. 정서 상태 분류를 위해서는 베이즈 이론에 근거 한 확률적 분류기법을 사용하였는데, 이는 다른 분류기 와 비교할 때 직관적이고 단순하다는 장점이 있다[4]. 베 이즈 분류기의 성능을 높이기 위하여 가중로그사후확률 함수(weighted-log-posterior function)를 정의하여 적용하고, 이 때 가중치는 단일퍼셉트론모델에서 기계학습을 이용 하여 구하였다.

    본 논문의 나머지 구성은 다음과 같다. 제 2장에서는 가중로그사후확률함수를 이용한 베이즈 분류기와 퍼셉트 론수렴 알고리즘(perceptron convergence algorithm)을 제안 하였으며, 제 3장에서는 제안된 방법의 검증을 위하여 사 용된 DEAP(a database for emotion analysis using physiological signal)에 대한 설명 및 구현상의 이슈들에 대하여 서술하였다. 제 4장에서는 제안된 방법으로 구한 정서 인지 결과를 보여주며, 마지막으로 제 5장에서는 제안된 방법에 대한 토의 및 이슈들에 대해 기술하였다.

    2.정서 인지 방법

    뇌파 신호로부터 인간의 정서 인지를 위하여 1개의 테 스트 데이터와 N개의 학습 데이터를 가지고 있다고 가 정하자. 총 D개의 특징 요소로 구성되어 있는 테스트특 징벡터는 tx = (tx1, tx2, …, txD)T로 정의되며, 학습특징벡 터집합은 UX = {1ux, 2ux, …, Nux}로 정의되었다. 이 때 n번째 학습특징벡터는 nux =(nux1, nux2, …, nuxD)T∈UX 로 정의된다. 인간의 정서와 관련해서 ET는 정서 상태 종류의 집합으로 본 논문에서는 valence-arousal의 2개의 차원을 고려하므로 ET = {VALENCE, AROUSAL}로 정 의되며, EL은 정서 상태의 레벨의 집합으로 정의된다. 예 를 들면 2레벨 정서 상태의 경우 EL = {LOW, HIGH}로, 3레벨 정서 상태의 경우 EL = {LOW, MEDIUM, HIGH} 로 정의된다. 인간의 정서 상태는 정서 상태 종류와 정서 상태 레벨의 조합으로, 정서 상태 집합 E는 E := (ET×EL) 로 정의된다. 마지막으로, 목표출력(desired output)의 집 합 S는 S(n, e) = {ns(e) : e∈ET and n = 1, 2, …, N}로 정의되는데, 목표출력은 SAM(self-assessment manikin)[1] 지수 값으로 0에서 1사이의 값을 갖는다.

    베이즈 이론에 따르면 테스트특징벡터 tx에 대하여 정 서 상태 ε∈E의 사후확률함수(posterior probability function) p(ε|tx)는 아래와 같이 정의된다.

    p ϵ tx = p tx ϵ P ϵ p tx
    (1)

    여기서 P(ε)는 사전확률(prior probability)이며, p(tx|ε) 는 우도함수(likelihood function)이다. 비정규화된 사후확 률함수는 정규화 계수인 p(tx)를 생략함으로써 아래와 같 이 구할 수 있다.

    p ϵ tx = p tx ϵ P ϵ
    (2)

    따라서 일반적인 베이즈 분류기는 식 (2)을 사용하는 데, 이 때 우도함수 p(tx|ε)의 분포는 학습데이터로 부터 구할 수 있으며, 사전확률 P(ε)는 실제의 많은 예에서는 구하기 힘들기 때문에 보통 일정한 값으로 가정되어 진다. 본 논문에서는 특징벡터의 각각의 요소들이 독립적이라 는 기본 가정 하에, 각 특징들에 가중치를 적용하였다. 즉, 비정규화 사후확률함수는

    p ϵ tx = p tx ϵ P ϵ = P ϵ d = 1 D p tx d ϵ w d
    (3)

    으로 표현되며, 여기서 wdd번째 특징 요소의 가중치 를 의미한다. 양변에 자연로그를 취함으로써 가중로그사 후확률함수 ψ(ε|tx)를 아래와 같이 정의한다.

    ψ ϵ tx = lnp ϵ tx = lnP ϵ + d = 1 D w d . lnp td d ϵ = b + d = 1 D w d . lnp td d ϵ
    (4)

    본 논문에서 제안된 분류기는 식 (4)에 기반을 두는데, 이 때 편심계수(bias factor) b와 가중치 wd(d = 1, 2, …, D)는 다음과 같이 학습특징벡터집합을 가지고 기계학습 을 통하여 결정된다.

    주어진 학습특징벡터 ux∈UX와 정서 상태 ε∈E에 대 하여, 시스템입력벡터 z∈ℝ는 z = (lnp(ux1|ε), lnp(ux2|ε), …, lnp(uxD|ε))T로 정의되며, 가중벡터 w∈ℝD는 w = (w1, w2, …, wd)T로 정의된다. 그러면 가중로그사후확률함수 는 시스템 입력벡터 z의 각 요소들의 1차 결합으로 아래 식과 같이 쓸 수 있다.

    ψ ϵ ux = w T z + b
    (5)

    시스템 출력은 hard-limit 함수를 이용하여 아래와 같이 정의한다.

    y = hardlim ψ ϵ ux = 0 if ψ 0 1 if ψ > 0
    (6)

    목표출력을 sS, 시스템에러를 e = s-y라 하면, Shynk [23]에 의해 정의된 성과함수(performance function)를 이 용한다. 즉,

    J w = E e . ψ ϵ ux
    (7)

    여기서 E[․]는 기댓값을 의미한다. 그러면 성과함수 의 순간 추정치는 아래 식과 같이 계산된다.

    J ˆ w = e t . ψ t = s t y t . ψ t
    (8)

    여기서 e(t), s(t), y(t), ψ(t)는 각각 시스템에러, 목표출 력, 시스템출력, 가중로그사후확률함수의 t번째 반복(iteration) 에서의 값을 의미하며, 매 반복마다 추정되는 구배는 아래 식과 같다.

    J ˆ w = e t . ψ t
    (9)

    이를 가중치 wd로 미분하면 아래와 같다.

    w d J ˆ w = J ˆ w w d = e t . ψ t w d = e t . ψ t w d = e t . w d w T z t + b = e t z d t
    (10)

    같은 방법으로, 편심계수로 미분하면 아래와 같다.

    b J ˆ w = J ˆ w b = e t . b w T z t + b = e t . w d w T z t + b = e t
    (12)

    최급강하법(steepest descent method)을 사용하여, t번째 가중벡터와 편심계수로부터 t+1번째 가중벡터와 편심계 수를 구하면 식 (13) 및 식 (14)와 같다.

    w t + 1 = w t + μ e t z t
    (13)
    b t + 1 = b t + μ e t
    (14)

    여기서 μ는 학습인자이다. 이와 같은 단일퍼셉트론수 렴알고리즘을 이용한 기계학습 절차로 가중벡터와 편심 계수를 계산한 후에, 가중로그사후함수를 최대로 하는 정 서 상태를 식 (15)와 같이 추정할 수 있다.

    ϵ ˆ = argmax ψ ϵ tx
    (15)

    3.실험 및 구현

    3.1.정서 분석을 위한 데이터베이스

    Koesltra 외[14]는 생체 신호를 이용한 정서 분석을 위한 데이터베이스(DEAP : database for emotion analysis using physiological signals)를 제안하였다. 그들은 뮤직비디오를 정서 자극으로 하여 32명의 피시험자의 뇌파 신호와 심전도 등의 생체신호를 기록하였다. 이 때 뇌파는 국제 10~20 시스템에 근거하여 총 32곳(Fp1, AF3, F3, F7, FC5, FC1, C3, T7, CP5, CP1, P3, P7, PO3, O1, Oz, Pz, Fp2, AF4, Fz, F4, F8, FC6, FC2, Cz, C4, T8, CP6, CP2, P4, P8, PO4, O2)에서 512Hz의 샘플링 속도로 기록되었다. 피시 험자의 성비는 50 : 50이며 나이는 19~37세이다. 뮤직비디 오는 1분 분량이며 한 명의 피시험자마다 총 40회의 다른 뮤직비디오가 이용되었다. 피시험자는 뮤직비디오의 valence, arousal, like, dominance의 SAM 지수를 평가하여 1 에서 9사이의 값으로 기록하였으며, 이 값 역시 DEAP에 서 같이 제공된다. 본 논문에서는 valence, arousal 값만 사 용하며, SAM 지수를 0에서 1사이의 값으로 조정한 값을 사용하였다. Koesltra 외[14]는 원본 데이터를 128Hz로 해 상도로 다시 샘플링한 데이터에 대해 4Hz에서 45Hz의 대 역필터를 적용하였고 동시에 안구운동과 같은 아티팩트 (artifact)를 제거한 데이터를 원본데이터와 함께 제공하고 있다. 본 논문에서는 아티팩트가 제거된 128Hz의 데이터 를 사용하여 제안된 방법을 검증하였다.

    3.2.특징 추출

    연구 배경에서 밝혔듯이 좌/우 또는 전/후 뇌파의 차이 는 정서와 밀접한 관계가 있다. 따라서, 본 연구에서는 DEAP에서 제공하는 32채널의 뇌파에 수평 방향 및 수 직 방향의 쌍극 몽타주를 이용하여 가상의 61채널의 뇌파 신호를 정서 인지에 사용하였다[3]. 가상의 채널은 Fp1- F7, F7-T7, T7-P7, P7-O1, Fp1-FC5, FC5-CP5, CP5-O1, AF3-F3, F3-C3, C3-P3, P3-PO3, FC1-CP1, Fz-Cz, Cz-Pz, Pz-Oz, FC2-CP2, AF4-F4, F4-C4, C4-P4, P4-PO4, Fp2- FC6, FC6-CP6, CP6-O2, Fp2-F8, F8-T8, T8-P8, P8-O2, Fp1-Fp2, AF3-AF4, F7-F3, F3-Fz, Fz-F4, F4-F8, FC5-FC1, FC1-FC2, FC2-FC6, T7-C3, C3-Cz, Cz-C4, C4-T8, CP5-CP1, CP1-CP2, CP2-CP6, P7-P3, P3-Pz, Pz-P4, P4-P8, PO3-PO4, O1-Oz, Oz-O2, F7-F8, F3-F4, FC5-FC6, FC1-FC2, T7-T8, C3-C4, CP5-CP6, CP1-CP2, P7-P8, P3-P4, O1-O2로 정의 된다. 가상채널을 포함하여 총 93채널의 뇌파에 대해 고 속푸리에변환(50% 중접된 2초 해밍창 적용)의 주파수 분 석을 수행하여 세타파, 알파파, 베타파, 감마파의 파워값 을 구했으며, 자연로그를 취한 값을 정서인지의 특징으로 사용하였다. 채널당 2초 동안의 데이터의 수가 총 256개 이고 샘플링 주파수가 128Hz이므로 주파수 분석의 분해 능은 0.5Hz이다. 본 논문에서 사용된 특징은 총 372(= 93× 4)이다.

    3.3.구현 알고리즘

    본 논문에서는 제안된 방법을 검증하기 위해 단일잔 류교차검증(leave-one-out cross validation)을 적용하였다. 예를 들면, 특정 피실험자를 대상으로 검증 할 때, 총 40 개 실험 데이터 집합 중 1개를 테스트 데이터로 이용하 고 나머지 3개를 학습 데이터로 사용한다. 테스트 데이 터를 순차적으로 바꿔가며 총 40번의 테스트가 수행되었 다. 가중로그사후함수를 이용한 베이즈 분류기의 기계학 습 알고리즘은 아래와 같다.

    Training Procedure

    1. begininitialize W, b

    2. m ← 0

    3. do

    4. m ← m + 1

    5. eSUM ← 0

    6. for n ← 1 to N

    7. z ← Get-Log-Posterior-Vector(nux)

    8. y ← Get-Output-Vector(W, z, b)

    9. e ← s - y

    10. eSUMeSUM + ||e||

    11. for c ← 1 to C

    12. wcwc + μecz

    13. bcbc + μec

    14. untileSUM < ethorm > mth

    15. W ← {w1, w2, …, wC}

    16. b ← (b1, b2, …, bC)T

    17. return W, b

    18. end

    기계학습 알고리즘에서 가중행렬 W = {w1, w2, …, wC} 와 편심벡터 b = (b1, b2, …, bC)T는 0에서 1사이의 임의 값으로 초기화 하였다. 가중벡터와 편심계수는 정서 상 태마다 각각 계산되며, 가중벡터와 편심계수의 아래첨자 는 정서 상태의 인덱스를 의미한다. 알고리즘의 6번째 줄 부터 13번째 줄까지의 for 루프에서 가중행렬과 편심벡터 가 업데이트 된다. 학습은 오차의 절대 값의 합 eSUM이 문턱값 eth보다 작거나 또는 반복 횟수 m이 반복 횟수 문 턱값 mth보다 큰 경우에 종료한다. 학습 알고리즘 7번째 줄에서는 n번째 특징벡터 nux로부터 시스템입력벡터 z를 구한다. 8번째 줄에서는 각 정서 상태마다 시스템출력 값 을 계산하여 시스템출력벡터 y = (y1, y2, …, yC)T를 구성 하고, 9번째 줄에서는 시스템에러벡터 e = (e1, e2, …, eC)T를 계산한다. 학습 알고리즘의 10번째 줄은 오차의 절대값의 합 eSUM을 구하는 과정이며, 11번째 줄의 for 루 프는 정서 상태별로 가중벡터 wc와 편심계수 bc를 식 (13) 과 식 (14)를 적용하여 갱신한다. 학습 알고리즘은 최종적 으로 가중행렬 W와 편심벡터 b를 생성하고 종료된다.

    테스트 과정은 학습 과정과 유사한 절차로 진행된다. 우선 2번째 줄에서는 테스트특징벡터 tx로부터 시스템입 력벡터 z를 구한다. 시스템출력벡터 y는 기계학습 알고 리즘에서 계산된 가중행렬 W 및 편심벡터 b를 이용하여 Get-Output-Vector(W, z, b) 함수를 통해 구한다. 테스트 알고리즘 4번째 줄에서 시스템오차벡터를 계산한 후, 오 차가 0이면 베이즈 분류기가 목표값을 인지한 것이고 그 렇지 않은 경우에는 인지하지 못한 것으로 판별한다.

    Testing Procedure

    1. beginwith W,b

    2. z ← Get-Log-Posterior-Vector(tx)

    3. y ← Get-Output-Vector(W, z, b)

    4. es - y

    5. if ||e|| = 0 thenreturntrue

    6. elsereturn false

    7. end

    4.실험 결과

    본 논문에서 정서를 valence와 arousal 측면에서 2레벨 (high, low)과 3레벨(high, medium, low) 그룹으로 분류하 고 제안된 방법을 적용하여 성능을 평가하였다. 정서를 2 레벨로 분류하는 기준은 1에서 9까지의 SAM 지수를 기준 으로 할 때, 5 미만을 low로, 5 이상을 high로 하였으며, 3레벨의 경우에는 4 미만을 low로, 6 이상을 high로, 4 이상 에서 6 미만을 medium으로 하였다.

    4.1.2레벨 정서 구분 실험 결과

    <Figure 1>과 <Figure 2>는 valence와 arousal 측면의 2 레벨 정서 구분 실험 결과를 보여준다. 각 그래프는 high 와 low의 판별에 대한 정밀도(precision), 재현율(recall)과 F1 지수(F1-score)를 나타낸다. 정밀도는 판별 결과에서 바 르게 판별한 비율을, 재현율은 찾아야할 데이터에서 실제 찾은 비율을, F1 지수는 정밀도와 재현율의 조화평균을 각각 의미한다. F1 지수는 정확도에 비해 각 그룹별로 판 별 성능을 판별할 수 있는 기준을 제시한다. <Figure 1>의 valence 정서 구분 실험 결과를 보면, high 정서에 대해 69.5%의 판별 성능을, low 정서에 대해서는 58.6%의 판별 성능을 보여준다. 또한 <Figure 2>의 arousal 정서 구분 실 험 결과를 보면 high 정서에 대해 65.2%의 판별 성능을, low 정서에 대해 51.5%의 판별 성능을 보여준다. <Figure 1>과 <Figure 2>의 실험 결과에서 보듯이 제안된 방법은 valence나 arousal 모두 low 정서 보다 high 정서를 더 잘 판별함을 알 수 있다. 32명의 SAM 데이터를 살펴보면, valence는 40개 데이터 중 high 정서의 개수는 평균 22.6개이 며, low 정서의 개수는 평균 17.4이고, arousal은 high 정서 의 개수는 평균 23.6개이며 low 정서의 개수는 평균 16.4 개다. 이와 같이 high 정서의 수가 학습데이터에 low 정서의 수보다 많기 때문에 결과적으로 high 정서가 학습이 잘되 어 low 정서에 비해 정확한 성능을 보인 것으로 판단된다.

    4.2.3레벨 정서 구분 실험 결과

    <Figure 3>은 valence 측면에서 3레벨 정서 구분 실험 결과를 의미하며, <Figure 4>는 arousal 측면에서 3레벨 정서 구분 실험 결과를 나타낸다. <그림 3>의 valence 정 서 판별 결과를 보면 제안된 방법은 high 정서에 대해 60.2%의 판별 성능을, medium 정서에 대해서는 39.0%의 판별 성능을, low 정서에 대해서는 40.0%의 판별 성능을 보여준다. 또한 <그림 4>의 arousal 정서 판별 결과를 보면 high 정서에 대해서는 54.1%의 판별 성능을, medium 정 서에 대해서는 36.0%의 판별 성능을, low 정서에 대해서 는 38.5%의 판별 성능을 보여준다. 3레벨 정서 구분 실 험 결과 역시 valence나 arousal 모두 다른 정서에 비해 high 정서를 더 잘 판별함을 알 수 있다. 이러한 결과는 3레벨 정서 구분 실험 결과 역시 학습데이터에 high 정 서의 개수가 medium 정서와 low 정서에 비해 더 많기 때문에 high 정서가 다른 정서에 비해 더 좋은 결과가 나 온 것으로 생각할 수 있다.

    4.3.SVM과 비교 실험

    본 논문에서 제안한 방법과 기존 대다수의 연구에서 가장 좋은 성능을 보인 서포트벡터머신을 비교하기 위해 방사형 기저함수를 커널 함수로 이용하는 C-서포트벡터 머신(C-SVC)을 사용하였다[11]. C-SVC는 비용 C와 감마 ϒ에 따라 성능에 차이가 난다. 따라서 본 논문에서는 C-SVC의 최대 성능을 구하기 위해 C = {e0, e1, ..., e12}, ϒ = {e-2, e-2.5, e-3, e-3.5, ..., e-11.5, e-12}에서 C와 ϒ의 모든 순서쌍에 대해 C-SVC의 성능을 구하였다. <Figure 5>는 2레벨 정서 구분 실험의 경우에 valence와 arousal 정서 인지 성능을 제안된 방법과 C-SVC와 비교한 것이다. C 와 ϒ에 따라 성능이 변화된다는 것을 보이기 위해 그림 에서 C-SVC 성능의 최대와 최소를 같이 비교하였다. 그림 에서 보듯이 제안된 방법이 C-SVC의 최대보다 valence 측면에서는 4.3%, arousal 측면에서는 5.5% 더 좋은 성능 을 보였음을 알 수 있다. <Figure 6>은 3레벨 정서 구분 실험의 결과이다. 이 실험에서 valence 측면에서는 C-SVC 의 최대 성능 보다 제안한 방법이 3.2% 더 좋은 결과를 보였으나, arousal 측면에서는 C-SVC와 제안한 방법이 비슷한 성능을 보였다. 본 논문에서 제안된 방법이 CSVC와 비교하여 월등한 성능 향상을 보이지는 않지만, 제안된 방법과 C-SVC에서 사용되는 파라미터 값들을 변 화시키면서 결과를 비교해 보면, C-SVC는 파라미터 설 정에 따라 정확도의 변화 정도가 크다는 단점이 있다. 반 면 제안된 방법은 파라미터 설정에 상관없이 C-SVC와 비교하여 항상 좋은 결과를 보인 것에 의미가 있다.

    베이즈 분류기를 제안하였다. Lotte 외[16]는 뇌파신호에 기초한 뇌-컴퓨터 인터페이스를 위한 분류 방법을 검토 하였는데, 그들은 분류기를 선형판별분석(linear discriminant analysis)과 서포트벡터머신을 포함한 선형 분류기, 다층퍼셉트론을 포함하는 신경망, 은익마코프모델을 포 함하는 비선형 베이즈 분류기, k-최근접객체탐색법과 마 할라노비스의 거리법을 포함하는 최근접분류기, 이들의 조합을 이용하는 분류기로 구분하였다. 또한 그들은 이 들 분류기들 중에 서포트벡터머신이 가장 좋은 성능을 보인 것으로 보고하였다. 그러나 <Figure 5>와 <Figure 6> 에서 보듯이 서포트벡터머신은 파라미터와 어떤 커널함 수를 사용하는 가에 따라 성능이 크게 변한다는 단점이 있다. Horlings[12] 또한 서포트벡터머신에 있어 파라미터 설정과 커널 선택이 중요하다는 것을 언급하였다. 그는 C-SVC, nu-SVC, epsilon-SVR, nu-SVR의 서포트벡터머신 에 대해 다항식, 방사기저함수, 시그모이드(sigmoid)의 커 널 함수를 조합하여 성능을 시험하였다. 그 결과 valence 정서에 대해서는 14.2%에서 32.1%까지 성능 변화가 있 었으며, arousal 정서에 대해서는 7.4%에서 31.6%까지 성 능 변화가 있었다. 앞에서 언급한 복잡한 분류기에 비해 서 베이즈 분류기는 가장 오래된 분류기 중 하나이지만 확률에 근거하며 매우 단순하고 직관적인 장점을 가진다. 따라서 실제 많은 응용 분야에서 베이즈 분류기는 사용 되고 있지만, 뇌파신호를 이용한 정서 인지 분야에는 아 직까지 좋은 성능을 보이고 있지 못하다. 본 논문에서 제 안한 방법은 놔파신호를 이용한 정서 인지 문제에 있어 베이즈 분류기를 성공적으로 적용하는 단서를 제공하였 다는 데 큰 의의가 있다.

    본 연구팀은 최근에 자폐스펙트럼장애와 주의력 결핍 및 과잉 행동 장애의 진단 및 치료 방법을 개발 중에 있 다[2]. 특히 실시간으로 환자의 정서 상태 인지를 통해 인터렉티브한 진단 및 치료 시스템 개발하고 있으며, 본 논문에서 제안한 베이즈 분류기는 환자의 정서 상태를 예측하는 데 활용할 계획이다.

    Figure

    JKISE-37-1_F1.gif

    Precision, Recall, and F1-score of Valence Estimation for Two-Level Class

    JKISE-37-1_F2.gif

    Precision, Recall, and F1-score of Arousal Estimation for Two-Level Class

    JKISE-37-1_F3.gif

    Precision, Recall, and F1-score of Valence Estimation for Three-level Class

    JKISE-37-1_F4.gif

    Precision, Recall, and F1-score of Arousal Estimation for Three-level Class

    JKISE-37-1_F5.gif

    Accuracies of the Proposed Classifier and C-SVC for Two-Level Class

    JKISE-37-1_F6.gif

    Accuracies of the Proposed Classifier and C-SVC for Three-Level Class

    Table

    Reference

    1. Bradley M.M , Lang P.J (1994) Measuring emotion : The self-assessment manikin and the semantic differential , Journal of Behavioral Therapy and Experimental Psychiatry, Vol.25; pp.49-59
    2. Chung S.Y , Yoon H.J (2011) A framework for treatment of autism using affective computing , Proceedings of Medicine Meets Virtual Reality 18. Newport Beach. CA. USA, pp.8-12
    3. Chung S.Y , Yoon H.J (2012) Analysis of electroencephalogram electrode position and spectral feature for emotion recognition , Journal of the Society of Korea Industrial and Systems Engineering, Vol.35 (2) ; pp.64-72
    4. Chung S.Y , Yoon H.J (2012) Affective classification using Bayesian classifier and supervised learning, pp.17-21
    5. Davidson R.J (1992) Anterior cerebral asymmetry and the nature of emotion , Brain and Cognition, Vol.20; pp.125-151
    6. Davidson R.J Lewis M , Haviland M (1993) The neuropsychology of emotion and affective style , Handbook of Emotion, Guilford Press,
    7. Ekman P (1992) An argument for basic emotions , Cognition and Emotion, Vol.6; pp.169-200
    8. Fox N.A (1991) If it’s not left, it?s right : Electroencephalograph asymmetry and the development of emotion , American Psychologist, Vol.46; pp.863-872
    9. Fox N.A Fox N.A (1994) Dynamic cerebral processes underlying emotion regulation , The Development of Emotion Regulation : Behavioral and Biological Considerations. Monographs of the Society for Research in Child Development, University of Chicago Press,
    10. Heller W Stein N , Leventhal B.L , Trabasso T (1990) The neuropsychology of emotion : Developmental patterns and implications for psychopathology , Psychological and Biological Approaches to Emotio : Erlbaum, Erlbaum,
    11. Heller W (1993) Neuropsychological mechanisms of individual differences in emotion, personality, and arousal , Neuropsychology, Vol.7 (4) ; pp.476-89
    12. Horlings R (2008) Emotion recognition using brain activity [dissertation]. [Delft Netherlands] : Faculty of Electrical Engineering, Mathematics, and Computer Science, Delft University of Technology,
    13. (1999) International Affective Picture System (IAPS) : Technical Manual and Affective Rating, NIMH-Center for the Study of Emotion and Attention , University of Florida. Gainesville. FL,
    14. Koelstra S , Mühl C , Soleymani M , Lee SJ , Yazdani A , Ebrahimi T , Pun T , Nijholt A (2012) DEAP : A database for emotion analysis using physiological signals , IEEE Transactions on Affective Computing, Vol.3; pp.18-31
    15. Lin Y.P , Wang C.H , Jung T.P , Wu T.L , Jeng S.K , Duann J.R , Chen J.H (2010) EEG-based emotion recognition in music listening , IEEE Transactions on Biomedical Engineering, Vol.57 (7) ; pp.1798-1806
    16. Lotte F , Congedo M , Lecuyer A , Lamarche F , Arnaldi B (2007) A review of classification algorithms for EEG-based brain-computer interface , Journal of Neural Engineering, Vol.4 (2) ; pp.1-13
    17. Müller MM , Keil A , Gruber T , Elbert T (1999) Processing of affective pictures modulates right-hemispheric gamma band EEG activity , Clinical Neurophysiology, Vol.110; pp.1913-1920
    18. Peng H , Long F , Ding C (2005) Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy , IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.27 (8) ; pp.1226-1238
    19. Petrantonakis PC , Hadjileontiadis LJ (2010) Emotion recognition from EEG using higher order crossings , IEEE Transactions on Information Technology in Biomedicine, Vol.14 (2) ; pp.186-197
    20. Petrantonakis PC , Hadjileontiadis LJ (2010) Emotion recognition from brain signals using hybrid adaptive filtering and higher order crossing analysis , IEEE Transactions on Affective Computing, Vol.1 (2) ; pp.81-97
    21. Schaaff K , Schultz T (2009) Towards emotion recognition from electroencephalographic signals, pp.792-796
    22. Schmidt L.A , Trainor L.J (2001) Frontal brain electrical activity(EEG) distinguishes valence and intensity of musical emotions , Cognitive and Emotion, Vol.15 (4) ; pp.487-500
    23. Shynk JJ (1990) Performance surfaces of a single-layer perceptron , IEEE Transactions on Neural Networks, Vol.1 (3) ; pp.268-274