Introduction
dans le langage humain, les informations linguistiques et les informations paralinguistiques associées à des messages implicites, tels que les états émotionnels du locuteur, sont véhiculées. Les émotions humaines sont les états mentaux et physiologiques associés aux sentiments, aux pensées et aux comportements des humains. L’état émotionnel exprimé par un sujet humain reflète non seulement l’humeur mais aussi la personnalité du sujet humain., Dans la communication verbale humain-humain, il joue un rôle important en reflétant les réponses des locuteurs au monde extérieur. Les mêmes mots exprimés dans différentes émotions, par exemple, peuvent donner des significations très différentes. L’Identification des états émotionnels véhiculés dans la parole est donc tout à fait critique pour parvenir à des communications efficaces entre les humains.
alors que les applications informatiques reçoivent une attention croissante de la part des universités et de l’industrie, la technologie de l’interaction homme-machine (HCI) a également progressé rapidement au cours des dernières décennies., Semblable à la communication humain-humain, un facilitateur essentiel de l’interaction naturelle entre l’homme et les ordinateurs est la capacité de l’ordinateur à comprendre les états émotionnels exprimés par les sujets humains et à fournir une réponse personnalisée en conséquence.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., La modélisation et l’analyse des émotions de la parole humaine couvrent plusieurs domaines, y compris la psychologie, la linguistique et l’ingénierie. En ingénierie, la reconnaissance des émotions vocales a été formulée comme un problème de reconnaissance de formes qui implique principalement l’extraction de caractéristiques et la classification des émotions. La reconnaissance des émotions vocales a trouvé des applications croissantes dans la pratique, par exemple dans la sécurité, la médecine, le divertissement, l’éducation. Cependant, les travaux de recherche sur la reconnaissance des émotions de la Parole sont principalement menés sur des bases de données prétraitées qui, en général, consistent en des énoncés ou des phrases isolés., Les états émotionnels sont reconnus sur la base de ces phrases isolées. Cela limite ses applications dans la pratique. Par rapport à la reconnaissance des émotions sur une base de données prétraitée, plus de défis, tels que l’identification de l’apparition, de la durée et du Changement des émotions, l’efficacité de la reconnaissance pour le traitement en temps réel, etc., sont confrontés à la reconnaissance des émotions de la parole en temps réel qui vise à détecter les états émotionnels de la parole continue et spontanée.
avec le développement des technologies de communication et de l’interface homme-ordinateur, l’apprentissage en ligne a suscité un intérêt croissant., Il présente de nombreux avantages par rapport à l’apprentissage traditionnel en classe en face à face. Premièrement, l’apprentissage en ligne offre beaucoup de flexibilité et de commodité aux étudiants. Avec seulement un ordinateur et une connexion Internet, les étudiants peuvent terminer leurs cours d’apprentissage n’importe où et n’importe quand sans avoir du mal à se faufiler dans un horaire de classe fixe. Deuxièmement, l’environnement d’apprentissage en ligne est en mesure de fournir un plus large choix de cours aux étudiants, ce qui peut à la fois élargir efficacement leur champ d’éducation et inspirer leur intérêt dans différents domaines., Troisièmement, suivre un cours en ligne est beaucoup moins cher que les programmes éducatifs traditionnels avec des frais de scolarité coûteux. De plus, le coût et le temps passé sur les voyages vers et depuis les classes peuvent être économisés. Quatrièmement, les étudiants sont autorisés à suivre des cours d’apprentissage en ligne dans un environnement dans lequel ils se sentent à l’aise. De plus, s’ils peuvent étudier à domicile, ils n’ont pas à s’inquiéter de problèmes tels que le transport vers/depuis le campus, les repas sur le campus et la recherche de salles d’étude. Cependant, l’apprentissage en ligne manque d’interaction entre les enseignants et les étudiants., Contrairement à l’environnement d’apprentissage en face-à-face traditionnel, où les enseignants sont conscients des réponses des étudiants au matériel fourni et peuvent ajuster le contenu du cours et la vitesse de livraison en conséquence, les enseignants dans l’environnement d’apprentissage en ligne ne peuvent pas voir ce que les étudiants ressentent à propos du cours en cours, Il est donc impossible pour l’apprentissage en ligne d’adapter les modes de prestation des cours aux capacités d’apprentissage des étudiants. Les Solutions pour résoudre ou soulager ce problème sont devenues importantes dans le développement de programmes d’apprentissage en ligne.,
au cours des dernières années, L’impact des émotions des élèves sur l’apprentissage efficace a été étudié dans les communautés de l’éducation et de l’exploration de données (Kort, Reilly, & Picard, 2001). Les émotions positives peuvent générer de bons sentiments, améliorer les capacités de réflexion, augmenter la tendance à une plus grande créativité, aider à résoudre des problèmes et améliorer l’efficacité et la rigueur dans la prise de décision (Isen, 2000). En effet, les fonctions affectives et cognitives sont intégrées dans le cerveau humain, et les fonctions affectives jouent un rôle très important dans l’apprentissage cérébral., Détecter les états affectifs des étudiants et comprendre leurs réponses au matériel fourni peut aider à personnaliser le cours dans les systèmes d’apprentissage en ligne pour s’adapter à chaque étudiant spécifique., Par exemple, pour les étudiants hautement qualifiés, le cours peut être dispensé à une vitesse plus élevée, et pour ceux qui sont très intéressés, l’extension des connaissances et des exemples supplémentaires peuvent être introduits; tandis que pour ceux qui se sentent confus, des séances de questions-réponses ou des explications plus détaillées pourraient être ajoutées; et pour les étudiants qui s’ennuient, des activités amusantes et intéressantes peuvent être introduites pour attirer leur attention. Les fournisseurs de cours peuvent ainsi ajuster le contenu de l’enseignement et la vitesse de livraison pour satisfaire la variété des étudiants., Une réponse négative peut inciter les élèves à se concentrer sur l’apprentissage et à s’adapter à l’étude. Le processus susmentionné peut améliorer les performances et l’efficacité de l’apprentissage, et également apporter plus de plaisir dans le processus d’apprentissage.
dans ce chapitre, nous présentons d’abord nos travaux sur le développement d’un système de reconnaissance des émotions vocales en temps réel. Ce système est capable d’accepter à la fois des données vocales préenregistrées et une parole continue enregistrée en temps réel, et de détecter également les états émotionnels exprimés dans la parole telle qu’elle est lue dans la première ou telle qu’elle est enregistrée dans la seconde., Une interface utilisateur graphique conviviale (GUI) est fournie pour afficher des résultats de reconnaissance, y compris des informations de catégorie cible et de synchronisation de segments individuels, ainsi qu’une analyse de statistiques de fréquence d’émotion sur la base de l’ensemble des données d’entrée. Des expériences avec des ensembles de données préenregistrés et un enregistrement en temps réel exprimé en quatre états émotionnels ont été réalisées, et les précisions moyennes de 90% et 78,78% ont été atteintes, respectivement., Deuxièmement, l’application du système d’émotion vocale en temps réel développé dans l’apprentissage en ligne est explorée avec une expérience dans un environnement d’apprentissage en ligne simulé. Les résultats ont montré que notre système de reconnaissance des émotions peut comprendre efficacement la réponse de l’étudiant au cours, ce qui permet de personnaliser les cours en ligne pour chaque étudiant suivant le même cours, mais avec des capacités d’apprentissage différentes, afin d’obtenir des résultats d’apprentissage optimaux.
la partie restante de ce chapitre est organisée comme suit., Le système de reconnaissance des émotions vocales en temps réel proposé est présenté dans la section suivante. Les résultats de l’expérience sont illustrés, puis il suit une description de son application dans l’apprentissage en ligne et les résultats numériques dans l’étude de simulation. Enfin, il y a des remarques finales.