Einleitung
In der menschlichen Sprache, sprachlichen Informationen und paralinguistic information im Zusammenhang mit impliziten Botschaften, wie die emotionalen Zustände der Muttersprache gefördert werden. Menschliche Emotionen sind die mentalen und physiologischen Zustände, die mit den Gefühlen, Gedanken und Verhaltensweisen des Menschen verbunden sind. Der emotionale Zustand eines menschlichen Subjekts spiegelt nicht nur die Stimmung, sondern auch die Persönlichkeit des menschlichen Subjekts wider., In der verbalen Kommunikation zwischen Mensch und Mensch spielt sie eine wichtige Rolle, indem sie die Reaktionen der Sprecher auf die Außenwelt widerspiegelt. Dieselben Wörter, die zum Beispiel in verschiedenen Emotionen ausgedrückt werden, können ganz unterschiedliche Bedeutungen haben. Die Identifizierung der in der Sprache vermittelten emotionalen Zustände ist daher sehr wichtig, um eine effektive Kommunikation zwischen Menschen zu erreichen.
Da computergestützte Anwendungen sowohl von der Wissenschaft als auch von der Industrie immer mehr Beachtung finden, hat sich auch die Human-Computer Interaction (HCI) – Technologie in den letzten Jahrzehnten rasant weiterentwickelt., Ähnlich wie bei der Mensch-Mensch-Kommunikation ist ein wesentlicher Faktor für die natürliche Interaktion zwischen Mensch und Computer die Fähigkeit des Computers, die emotionalen Zustände der menschlichen Subjekte zu verstehen und entsprechend eine personalisierte Antwort zu liefern.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modellierung und Analyse von Emotionen aus der menschlichen Sprache erstrecken sich über mehrere Bereiche, einschließlich Psychologie, Linguistik und Ingenieurwesen. In der Technik wurde die Spracherkennung als Mustererkennungsproblem formuliert, das hauptsächlich die Extraktion von Merkmalen und die Klassifizierung von Emotionen umfasst. Die Spracherkennung von Emotionen hat in der Praxis zunehmend Anwendung gefunden, z. B. in den Bereichen Sicherheit, Medizin, Unterhaltung und Bildung. Die Forschungsarbeiten zur Spracherkennung werden jedoch hauptsächlich an vorverarbeiteten Datenbanken durchgeführt, die im Allgemeinen aus isolierten Äußerungen oder Phrasen bestehen., Emotionale Zustände werden anhand dieser isolierten Sätze erkannt. Dies begrenzt seine Anwendungen in der Praxis. Verglichen mit der Emotionserkennung in einer vorverarbeiteten Datenbank, mehr Herausforderungen,wie Identifizierung von Emotion einsetzen, anhaltende, und ändern, Erkennungseffizienz für Echtzeit-Verarbeitung, etc., sind in Echtzeit-Sprach-Emotionserkennung konfrontiert, die auf die Erkennung emotionaler Zustände aus kontinuierlicher und spontaner Sprache abzielt.
Mit der Entwicklung der Kommunikationstechnologie und der Mensch-Computer-Schnittstelle hat das Online-Lernen zunehmendes Interesse geweckt., Es hat viele Vorteile im Vergleich zum traditionellen persönlichen Lernen im Klassenzimmer. Erstens bietet Online-Lernen den Schülern viel Flexibilität und Komfort. Mit nur einem Computer und einer Internetverbindung können die Schüler ihre Lernkurse überall und jederzeit abschließen, ohne Schwierigkeiten zu haben, einen festen Stundenplan einzuhalten. Zweitens ist die Online-Lernumgebung in der Lage, eine breitere Auswahl an Kursen für Studenten bereitzustellen, die sowohl ihren Bildungsbereich effektiv erweitern als auch ihr Interesse in verschiedenen Bereichen wecken können., Drittens ist ein Online-Kurs viel billiger als herkömmliche Bildungsprogramme mit teuren Studiengebühren. Darüber hinaus können Kosten und Zeit für die Fahrten zu und von den Klassen gespart werden. Viertens dürfen die Schüler Online-Lernkurse in einer Umgebung absolvieren, in der sie sich wohl fühlen. Wenn sie von zu Hause aus lernen können, müssen sie sich keine Sorgen über Probleme wie den Transport zum/vom Campus, Mahlzeiten auf dem Campus und das Finden von Lernräumen machen. Beim Online-Lernen fehlt jedoch die Interaktion zwischen Lehrern und Schülern., Im Gegensatz zur traditionellen persönlichen Lernumgebung, in der Lehrer die Reaktionen der Schüler auf das gelieferte Material kennen und die Kursinhalte und die Liefergeschwindigkeit entsprechend anpassen können, können Lehrer in der Online-Lernumgebung nicht sehen, wie sich die Schüler über den laufenden Kurs fühlen.von ihren Gesichts-und verbalen Ausdrücken. Dies macht es dem Online-Lernen unmöglich, die Kursbereitstellungsmodi an die Lernfähigkeit der Schüler anzupassen. Lösungen zur Lösung oder Linderung dieses Problems sind bei der Entwicklung von Online-Lernprogrammen wichtig geworden.,
In den letzten Jahren wurde der Einfluss der Emotionen der Schüler auf effektives Lernen in den Gemeinschaften Bildung und Data Mining untersucht (Kort, Reilly, & Picard, 2001). Positive Emotionen können zu einem guten Gefühl führen, Denkfähigkeiten verbessern, die Tendenz zu mehr Kreativität erhöhen, zur Problemlösung beitragen und die Effizienz und Gründlichkeit bei der Entscheidungsfindung verbessern (Isen, 2000). In der Tat sind sowohl affektive als auch kognitive Funktionen in das menschliche Gehirn integriert, und affektive Funktionen spielen eine sehr wichtige Rolle beim Lernen des Gehirns., Das Erkennen der affektiven Zustände der Schüler und das Verständnis ihrer Antworten auf das gelieferte Material können dazu beitragen, den Kurs in Online-Lernsystemen an jeden einzelnen Schüler anzupassen., Zum Beispiel kann der Kurs für hochqualifizierte Studenten mit einer höheren Geschwindigkeit durchgeführt werden, und für diejenigen, die sehr interessiert sind, können Wissenserweiterung und zusätzliche Beispiele eingeführt werden; während für diejenigen, die sich verwirrt fühlen, Frage-und Antwortsitzungen oder detailliertere Erklärungen hinzugefügt werden können; und für diejenigen Studenten, die sich gelangweilt fühlen, können lustige und interessante Aktivitäten eingeführt werden, um ihre Aufmerksamkeit zu erregen. Kursanbieter können somit die Lehrinhalte und die Liefergeschwindigkeit anpassen, um die Vielfalt der Schüler zu befriedigen., Eine negative Reaktion kann die Schüler darauf aufmerksam machen, sich auf das Lernen zu konzentrieren und sich an das Studium anzupassen. Der oben genannte Prozess kann die Leistung und Effizienz des Lernens verbessern und auch mehr Spaß in den Lernprozess bringen.
In diesem Kapitel stellen wir zunächst unsere Arbeit zur Entwicklung eines Echtzeit – Spracherkennungssystems vor. Dieses System ist in der Lage, sowohl vorab aufgezeichnete Sprachdaten als auch in Echtzeit aufgezeichnete kontinuierliche Sprache zu akzeptieren und auch die in der Sprache ausgedrückten emotionalen Zustände zu erkennen, wenn sie in ersteren oder in letzterem wiedergegeben werden., Eine benutzerfreundliche grafische Benutzeroberfläche (GUI) wird bereitgestellt, um Erkennungsergebnisse anzuzeigen, einschließlich Zielkategorien-und Timing-Informationen einzelner Segmente sowie eine Analyse von Emotionsfrequenzstatistiken basierend auf den gesamten Eingabedaten. Es wurden Experimente mit voraufgezeichneten Datensätzen und Echtzeitaufzeichnungen durchgeführt, die in vier emotionalen Zuständen ausgedrückt wurden, und die durchschnittlichen Genauigkeiten von 90% bzw., Zweitens wird die Anwendung des entwickelten Echtzeit-Sprachemotionssystems beim Online-Lernen mit einem Experiment in einer simulierten Online-Lernumgebung untersucht. Die Ergebnisse haben gezeigt, dass unser Emotionserkennungssystem die Reaktion des Schülers auf den Kurs effizient verstehen kann, wodurch es möglich ist, Online-Kurse für jeden Schüler anzupassen, der denselben Kurs besucht, jedoch unterschiedliche Lernfähigkeiten aufweist, um ein optimales Lernergebnis zu erzielen.
Der verbleibende Teil dieses Kapitels ist wie folgt organisiert., Das vorgeschlagene Echtzeit – Spracherkennungssystem wird im nächsten Abschnitt vorgestellt. Die Versuchsergebnisse werden illustriert und dann folgt eine Beschreibung ihrer Anwendung im Online-Lernen und die numerischen Ergebnisse in der Simulationsstudie. Schließlich gibt es abschließende Bemerkungen.