wprowadzenie
w mowie ludzkiej przekazywane są zarówno informacje językowe, jak i informacje paralingwistyczne związane z wiadomościami niejawnymi, takimi jak stany emocjonalne mówcy. Ludzkie emocje to stany psychiczne i fizjologiczne związane z uczuciami, myślami i zachowaniami ludzi. Stan emocjonalny wyrażony przez podmiot ludzki odzwierciedla nie tylko nastrój, ale także osobowość podmiotu ludzkiego., W komunikacji werbalnej człowiek-człowiek odgrywa ważną rolę, odzwierciedlając reakcje mówców na świat zewnętrzny. Na przykład te same słowa wyrażone w różnych emocjach mogą nadawać zupełnie inne znaczenia. Identyfikacja stanów emocjonalnych przekazywanych w mowie jest zatem dość krytyczna dla osiągnięcia skutecznej komunikacji między ludźmi.
ponieważ aplikacje komputerowe otrzymują coraz większą uwagę zarówno ze strony środowiska akademickiego, jak i przemysłu, technologia interakcji człowiek-komputer (HCI) również szybko się rozwinęła w ostatnich dziesięcioleciach., Podobnie jak komunikacja człowiek-człowiek, jednym z podstawowych czynników umożliwiających naturalną interakcję między człowiekiem a komputerem jest zdolność komputera do zrozumienia stanów emocjonalnych wyrażanych przez ludzi i dostarczenia odpowiednio spersonalizowanej odpowiedzi.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modelowanie i analiza emocji z ludzkiej mowy obejmuje kilka dziedzin, w tym psychologię, lingwistykę i inżynierię. W inżynierii rozpoznawanie emocji mowy zostało sformułowane jako problem rozpoznawania wzorców, który obejmuje głównie ekstrakcję cech i klasyfikację emocji. Rozpoznawanie emocji mowy znalazło coraz większe zastosowanie w praktyce, np. w bezpieczeństwie, medycynie, rozrywce, edukacji. Jednak prace badawcze nad rozpoznawaniem emocji mowy prowadzone są głównie na wstępnie przetworzonych bazach danych, które na ogół składają się z izolowanych wypowiedzi lub zwrotów., Stany emocjonalne są rozpoznawane na podstawie tych odosobnionych zdań. Ogranicza to jego zastosowanie w praktyce. W porównaniu z rozpoznawaniem emocji na wstępnie przetworzonej bazie danych, więcej wyzwań, takich jak identyfikacja początku emocji, trwałe i zmiany, skuteczność rozpoznawania w czasie rzeczywistym przetwarzania, itp., mają do czynienia z rozpoznawaniem emocji mowy w czasie rzeczywistym, które ma na celu wykrywanie stanów emocjonalnych z mowy ciągłej i spontanicznej.
wraz z rozwojem technologii komunikacji i interfejsu człowiek-komputer, nauka online cieszy się coraz większym zainteresowaniem., Ma wiele zalet w porównaniu z tradycyjnym nauczaniem w klasie twarzą w twarz. Po pierwsze, nauka online zapewnia uczniom dużą elastyczność i wygodę. Dzięki komputerowi i połączeniu z Internetem uczniowie mogą ukończyć swoje kursy w dowolnym miejscu i czasie bez trudu zmieścić się w ustalonym harmonogramie zajęć. Po drugie, środowisko nauki online jest w stanie zapewnić szerszy wybór kursów dla studentów, które mogą zarówno skutecznie rozszerzyć ich zakres edukacji, jak i zainspirować ich zainteresowanie różnymi dziedzinami., Po trzecie, kurs online jest znacznie tańszy niż tradycyjne programy edukacyjne z kosztownymi opłatami za naukę. Ponadto można zaoszczędzić koszty i czas spędzony na wycieczkach do i z zajęć. Po czwarte, studenci mogą ukończyć kursy online w środowisku, w którym czują się komfortowo. Ponadto, jeśli mogą uczyć się w domu, nie muszą martwić się o problemy, takie jak transport do/z kampusu, posiłki w kampusie i znalezienie pokoi do nauki. Jednak w uczeniu się online brakuje interakcji między nauczycielami a uczniami., W przeciwieństwie do tradycyjnego środowiska uczenia się twarzą w twarz, w którym nauczyciele są świadomi reakcji uczniów na dostarczone materiały i mogą odpowiednio dostosować zawartość kursu i szybkość dostarczania, nauczyciele w środowisku uczenia online nie mogą zobaczyć, jak uczniowie czują się na temat trwającego kursu, na podstawie ich wyrazu twarzy i werbalnego. Uniemożliwia to uczeniu się online dostosowanie trybów dostarczania kursów do możliwości uczenia się uczniów. Rozwiązania w celu rozwiązania lub złagodzenia tego problemu stały się ważne w rozwoju programów nauczania online.,
w ostatnich latach wpływ emocji uczniów na efektywne uczenie się został zbadany w społecznościach edukacji i eksploracji danych (Kort, Reilly,& Picard, 2001). Pozytywne emocje mogą przynieść dobre samopoczucie, poprawić umiejętności myślenia, zwiększyć skłonność do większej kreatywności, pomóc w rozwiązywaniu problemów oraz zwiększyć wydajność i dokładność w podejmowaniu decyzji (Isen, 2000). Rzeczywiście, zarówno funkcje afektywne, jak i poznawcze są zintegrowane w ludzkim mózgu, a funkcje afektywne odgrywają bardzo ważną rolę w uczeniu się mózgu., Wykrywanie Stanów afektywnych uczniów i zrozumienie ich odpowiedzi na dostarczony materiał może pomóc w dostosowaniu kursu w systemach nauczania online, aby pasował do każdego konkretnego ucznia., Na przykład, dla uczniów o wysokich umiejętnościach, kurs może być prowadzony z większą prędkością, a dla tych, którzy są bardzo zainteresowani, rozszerzenie wiedzy i dodatkowe przykłady mogą być wprowadzone; podczas gdy dla tych, którzy czują się zdezorientowani, sesje pytań i odpowiedzi lub bardziej szczegółowe wyjaśnienia mogą być dodane; a dla tych studentów, którzy czują się znudzeni, zabawne i ciekawe zajęcia mogą być wprowadzone, aby przyciągnąć ich uwagę. W ten sposób dostawcy kursów mogą dostosować treść nauczania i szybkość dostarczania, aby zaspokoić różnorodność studentów., Negatywna odpowiedź może ostrzec uczniów, aby skoncentrowali się na nauce i przystosowali się do nauki. Wspomniany proces może zwiększyć wydajność i efektywność uczenia się, a także przynieść więcej zabawy w procesie uczenia się.
w tym rozdziale po raz pierwszy przedstawiamy nasze prace nad rozwojem systemu rozpoznawania emocji mowy w czasie rzeczywistym. System ten jest w stanie akceptować zarówno wstępnie nagrane dane mowy, jak i ciągłą mowę zarejestrowaną w czasie rzeczywistym, a także wykrywać stany emocjonalne wyrażone w mowie, jak jest odtwarzana w pierwszej lub tak, jak jest nagrywana w drugiej., Przyjazny graficzny interfejs użytkownika (GUI) umożliwia wyświetlanie wyników rozpoznawania, w tym informacji o kategorii docelowej i czasie poszczególnych segmentów, a także analizę statystyk częstotliwości emocji na podstawie całych danych wejściowych. Przeprowadzono eksperymenty z zarówno wstępnie nagranymi zestawami danych, jak i zapisem w czasie rzeczywistym wyrażonym w czterech stanach emocjonalnych, a średnie dokładności odpowiednio 90% i 78,78% zostały osiągnięte., Po drugie, zastosowanie opracowanego systemu emocji mowy w czasie rzeczywistym w nauczaniu online jest badane za pomocą eksperymentu w symulowanym środowisku uczenia się online. Wyniki pokazały, że nasz system rozpoznawania emocji może skutecznie zrozumieć reakcję ucznia na kurs, co umożliwia dostosowanie kursów online dla każdego ucznia biorącego udział w tym samym kursie, ale o różnych umiejętnościach uczenia się, w celu osiągnięcia optymalnego wyniku uczenia się.
pozostała część tego rozdziału jest zorganizowana w następujący sposób., Proponowany system rozpoznawania emocji mowy w czasie rzeczywistym jest przedstawiony w następnej sekcji. Wyniki eksperymentu są ilustrowane, a następnie następuje opis jego zastosowania w nauczaniu online i wyniki liczbowe w badaniu symulacyjnym. Wreszcie, są Uwagi końcowe.