Bevezető
Az emberi beszéd, mind a nyelvi információt paralingvisztikus információ társul implicit üzenetek, mint például érzelmi állapotunk a hangszóró, csak kevés. Az emberi érzelmek az emberek érzéseihez, gondolataihoz és viselkedéséhez kapcsolódó mentális és fiziológiai állapotok. Az emberi alany által kifejezett érzelmi állapot nemcsak az emberi alany hangulatát, hanem személyiségét is tükrözi., Az emberi-emberi verbális kommunikációban fontos szerepet játszik a hangszórók külvilágra adott válaszainak tükrözésével. Ugyanazok a szavak, amelyeket különböző érzelmekben fejeznek ki, például egészen más jelentéssel bírnak. A beszédben közvetített érzelmi állapotok azonosítása ezért nagyon fontos az emberek közötti hatékony kommunikáció eléréséhez.
mivel a számítógépes alkalmazások egyre nagyobb figyelmet kapnak mind a tudományos élet, mind az ipar részéről, az emberi-számítógépes interakció (HCI) technológia az elmúlt évtizedekben is gyorsan fejlődött., Az emberi-emberi kommunikációhoz hasonlóan az emberi és a számítógépek közötti természetes kölcsönhatás egyik alapvető eszköze a számítógép azon képessége, hogy megértse az emberi alanyok által kifejezett érzelmi állapotokat, és ennek megfelelően személyre szabott választ adjon.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Az emberi beszédből származó érzelmek modellezése és elemzése több területen is kiterjed, beleértve a pszichológiát, a nyelvészetet és a mérnökséget. A mérnöki -, beszéd -, érzelem-felismerés már megfogalmazta, mint egy mintázat felismerő probléma, hogy elsősorban magában feature extraction érzelmek osztályozása. A beszédérzelmek felismerése egyre növekvő alkalmazásokat talált a gyakorlatban, például a biztonság, az orvostudomány, a szórakozás, az oktatás területén. A beszédérzelmek felismerésével kapcsolatos kutatási munkát azonban elsősorban olyan előre feldolgozott adatbázisokon végzik, amelyek általában elszigetelt kijelentésekből vagy kifejezésekből állnak., Az érzelmi állapotokat ezen elszigetelt mondatok alapján ismerik fel. Ez korlátozza alkalmazásait a gyakorlatban. Összehasonlítva az érzelmek felismerésével egy előre feldolgozott adatbázisban, több kihívás, mint például az érzelmek kialakulásának azonosítása, tartós, változás, felismerési hatékonyság a valós idejű feldolgozáshoz stb., valós idejű beszédérzelem-felismeréssel szembesülnek, amelynek célja az érzelmi állapotok folyamatos és spontán beszédből történő felismerése.
a kommunikációs technológia és az ember-számítógép felület fejlesztésével az online tanulás egyre nagyobb érdeklődést váltott ki., Számos előnye van a hagyományos osztálytermi személyes tanuláshoz képest. Először is, az online tanulás sok rugalmasságot és kényelmet biztosít a diákok számára. Csak egy számítógép és Internet kapcsolat, a diákok befejezni a tanulási tanfolyamok bárhol és bármikor anélkül, hogy szorítani egy fix órarendben. Másodszor, az online tanulási környezet képes szélesebb körű kurzusokat biztosítani a hallgatók számára, amelyek hatékonyan bővíthetik oktatási hatókörüket, és ösztönözhetik érdeklődésüket a különböző területeken., Harmadszor, az online tanfolyam sokkal olcsóbb, mint a hagyományos oktatási programok, drága tandíjakkal. Ráadásul az órákra és az órákról való utazásokra fordított költség és idő megtakarítható. Negyedszer, a diákok online tanulási kurzusokat végezhetnek olyan környezetben, amelyben jól érzik magukat. Ezenkívül, ha otthonról tanulhatnak, nem kell aggódniuk olyan kérdések miatt, mint például a campusba való szállítás/az egyetemről, az étkezés az egyetemen, valamint a tanulószobák megtalálása. Az online tanulásban azonban hiányzik a tanárok és a diákok közötti interakció., Ellentétben a hagyományos szemtől-szembe tanulási környezet, ahol a tanárok tisztában vannak azzal, hogy a tanulók válaszait, hogy a szállított anyag, illetve beállíthatja kurzus tartalmára, valamint a szállítási sebesség ennek megfelelően a tanárok az online tanulási környezet nem látom, hogy a diákok a folyamatban természetesen a saját képét, verbális kifejezések. Ez lehetetlenné teszi, hogy az online tanulás alkalmazkodni tanfolyam szállítási mód, hogy illeszkedjen a diákok tanulási képességét. A probléma megoldására vagy enyhítésére szolgáló megoldások fontossá váltak az online tanulási programok fejlesztésében.,
az elmúlt években a diákok érzelmeinek a hatékony tanulásra gyakorolt hatását vizsgálták az oktatási és adatbányászati közösségekben (Kort, Reilly, & Picard, 2001). A pozitív érzelmek hozam jó érzés, javítja a gondolkodási képességek, növeli a tendencia felé nagyobb kreativitás, segíts problémamegoldó, valamint növelik hatékonyságát, valamint az alaposság, a döntéshozó (Isen, 2000). Valójában mind az érzelmi, mind a kognitív funkciók integrálódnak az emberi agyba, az érzelmi funkciók pedig nagyon fontos szerepet játszanak az agy tanulásában., A hallgatók érzelmi állapotának felismerése, valamint a szállított anyagra adott válaszaik megértése segíthet az online tanulási rendszerek kurzusának testreszabásában, hogy megfeleljen az egyes hallgatóknak., Például a magas-képesség, diákok, természetesen lehet szállítani egy nagyobb sebességgel, valamint azoknak, akik nagyon érdekelt, ismeretek bővítése, extra példák is be lehet; míg azok számára, akik úgy érzik, zavaros, kérdés-válasz ülés vagy részletesebb magyarázat lehet hozzá; valamint azok a diákok, akik úgy érzik, hogy unatkozik, vicces, érdekes tevékenységeket lehet bevezetni, hogy vonzza a figyelmet. A kurzusszolgáltatók így módosíthatják a tanítási tartalmat és a szállítási sebességet, hogy kielégítsék a hallgatók sokféleségét., A negatív válasz arra figyelmeztetheti a diákokat, hogy a tanulásra összpontosítsanak, és alkalmazkodjanak a tanuláshoz. A fent említett folyamat javíthatja a tanulás teljesítményét és hatékonyságát, valamint szórakoztatóbbá teheti a tanulási folyamatot.
ebben a fejezetben először bemutatjuk a valós idejű beszédérzelem-felismerő rendszer fejlesztésével kapcsolatos munkánkat. Ez a rendszer képes mind az előre rögzített beszédadatokat, mind a valós időben rögzített folyamatos beszédet elfogadni, valamint felismerni a beszédben kifejezett érzelmi állapotokat, ahogy az előbbiben lejátszódik, vagy ahogy az utóbbiban rögzítik., Barátságos grafikus felhasználói felület (GUI) áll rendelkezésre a felismerési eredmények megjelenítésére, beleértve a célkategóriát és az egyes szegmensek időzítési információit, valamint az érzelmek gyakoriságának statisztikáit a teljes bemeneti adatok alapján. Kísérletek mindkét előre rögzített adatok, illetve a valós idejű felvétel kifejezett négy érzelmi államokban végeztek, az átlagos pontosságot 90% – os, illetve 78.78% elérték, ill., Másodszor, a kifejlesztett valós idejű beszédérzelmi rendszer alkalmazását az online tanulásban egy szimulált online tanulási környezetben végzett kísérlet segítségével vizsgálják meg. Az eredmények azt mutatták, hogy az érzelemfelismerő rendszerünk hatékonyan képes megérteni a hallgató válaszát a kurzusra, ami lehetővé teszi az online tanfolyamok testreszabását minden azonos tanfolyamon részt vevő, de különböző tanulási képességekkel rendelkező hallgató számára az optimális tanulási eredmény elérése érdekében.
a fejezet fennmaradó része a következőképpen szerveződik., A javasolt valós idejű beszédérzelem-felismerő rendszer a következő részben kerül bemutatásra. A kísérlet eredményeit szemléltetjük, majd az online tanulásban való alkalmazásának leírását, valamint a szimulációs tanulmány numerikus eredményeit követjük. Végül záró megjegyzések vannak.