Plateforme d'évaluation des émotions à partir de signaux physiologiques :
Utilisation d'une méthode de classification statistique pour définir des modèles

Soutenu par Mickaël MENARD
Tuteur : Paul RICHARD

Résumé

Mots clés : signaux physiologiques, classification, modèles, émotions, plateforme

Ce travail s’inscrit dans le cadre du projet EMOTIBOX, dont l’objectif est de contribuer au développement et à l’évaluation de la plateforme de reconnaissance des émotions PACE (Plateforme d’Analyse Comportemental et Emotionnelle). Celle-ci a été développée au laboratoire LARIS dans le cadre de la thèse de Mr. Hamza Hamdi. Cette plateforme est équipée de capteurs permettant de mesurer plusieurs signaux physiologiques (EEG, conductivité dermique, fréquence cardiaque, etc.) afin d’analyser l’état émotionnel (joie, peur, colère, tristesse, dégout, surprise) d’un sujet humain en temps réel.

Ce document rassemble les techniques utilisées pour proposer des modèles de signaux associés aux émotions évaluées. Ces modèles ont été définis de manière expérimentale. Les patients ont été soumis, au cours des expérimentations, à des stimuli vidéo (extraits de films). Les données subjectives recueillies ont été analysées afin de manière statistique en fonction du sexe et de l’âge des sujets. En ce qui concernent les signaux physiologiques enregistrés, une transformée de Fourier a été appliquée dans un premier temps. Ces données ont ensuite été classifiées à l’aide des machines à vecteurs de support (SVM). Des modèles correspondant aux classes d’émotions ont été générés pour une future intégration dans la plateforme.



Rapports



La Plateforme d’Analyse Comportementale et Emotionnelle : PACE

Ce sujet de recherche est une continuité de ce qui a été produit précédemment par Mr Hamza HAMDI dans le cadre de sa thèse : le projet PISE (Plate-forme Immersive de Simulation d’Entretiens d’embauche). Cette plateforme a pour but de confronter un candidat à un recruteur virtuel afin d’améliorer sa gestion du stress.

PACE est une plateforme d’évaluation des émotions en temps réel, qui se base sur les bio-signaux et les expressions faciales de l’utilisateur collectés par différents capteurs. Les signaux sont ensuite fusionnés à différents niveaux afin de générer un “vecteur émotionnel” qui nous indique l’état émotionnel de notre utilisateur à l’instant “t”.

$V_e(t) = \left\{joie, peur, colere, tristesse, surprise, degout\right\}$

Exemple :
$V_e(t) = \left\{0.1,0.5,0,0.4,0.9,0.2\right\}$

Ce vecteur est alors réinjecter dans le simulateur : le recruteur virtuel réagit alors en fonction et l’analyse des résultats est corrélée avec les données émotionnelles.

Le projet EMOTIBOX, lancé en septembre 2013 vise à conforter la plateforme en y intégrant de nouveaux capteurs, à développer de nouvelles interfaces (paramétrages et lecture de résultats) et finalement à promouvoir la plateforme dans le but d’une utilisation en production.



Intégration d'un capteur de conductivité dermique

Mon travail correspond à l’intégration d’une nouvelle modalité à cette plateforme, sous la forme d’un capteur de conductivité dermique. Cette mesure est en effet très révélatrice du stress et des émotions activatrices : c’est pour cela que ce capteur est systématiquement utilisé dans les systèmes de détection de mensonges ou l’évaluation émotionnelle de produits nouveaux.

Expérimentation

L’intégration d’un nouveau capteur sur la plateforme passe à travers la définition de modèles qui vont associer chacune des émotions au signal d’entrée. La première étape de ce travail correspond à la mise en place d’une expérience permettant de récupérer les signaux physiologiques de sujets soumis à des stimuli émotionnels.

Les stimuli choisis, de types dynamiques, sont des extraits vidéo tagués spécialement pour des émotions précises. Au cours de l’expérience, treize vidéos, dont la durée moyenne est d'une minute, sont projetées : il y a deux vidéos pour chaque émotion et une vidéo neutre (intervenant entre chaque catégorie) sensée remettre les émotions du sujet à plat. Après chaque vidéo, une évaluation subjective des émotions ressenties est demandée au sujet. Pendant le visionnage, deux capteurs récupèrent différents signaux : la conductivité dermique, la fréquence cardiaque et le taux d’oxygène dans le sang.



Analyse subjective

L’analyse subjective nous permet de valider les vidéos utilisées pour l’expérimentation. Les données récoltées avec chaque candidat nous permettent de construire la matrice de confusion des émotions ressenties.

Cette matrice nous laisse apercevoir l’appréciation des stimuli par les sujets. Les vidéos de colère et de peur sont confondues de manière assez importante avec l’émotion « dégout ». Ces trois émotions sont déclenchées par des stimuli similaires : les vidéos provoquant ces émotions ont généralement une ambiance « sale » car elles doivent créer des scènes avec une atmosphère pesante et représenter des événements choquants. A ces exceptions près, l’émotion induite est toujours reconnue.

Classification

La décomposition en série de Fourier a été utilisée pour traiter les données physiologiques :

$X_i=\sum_{j=1}^{+\infty }X_{i,j}\varphi _j$

Les coefficients récupérés pour chaque vidéo et donc chaque émotion d’un signal (multiplié par le nombre de sujet) ont été mis dans le tableau suivant :

$\begin{pmatrix} Y_1&X_{1,1} &... &X_{1,k} \\ Y_2&X_{2,1} &... &X_{2,k} \\ \vdots&\vdots & \ddots & \vdots\\ Y_n&X_{n,1} &... &X_{n,k}\end{pmatrix}$

Avec $Y_i$ les émotions à classifiées et $X_{i,j}$ les coefficients de Fourier associés aux données physiologiques relevées pour une vidéo $i$.

Les machines à support de vecteurs (SVM) nous permettent ensuite de réaliser la classification de ces données à travers le logiciel Weka.
Des taux de classification de 85.5% pour les données de conductivité dermique et de 89.5% pour les données de fréquence cardiaque ont pu être obtenu grâce à cette méthode.