Introducere
În vorbirea umană, atât lingvistice, cât și informații paralinguistic informații asociate cu mesaje implicite, cum ar fi stările emoționale ale vorbitorului, sunt transportate. Emoțiile umane sunt stările mentale și fiziologice asociate cu sentimentele, gândurile și comportamentele oamenilor. Starea emoțională exprimată de un subiect uman reflectă nu numai starea de spirit, ci și personalitatea subiectului uman., În comunicarea verbală om-om, ea joacă un rol important prin reflectarea răspunsurilor vorbitorilor la lumea exterioară. Aceleași cuvinte exprimate în emoții diferite, de exemplu, pot oferi semnificații destul de diferite. Identificarea stărilor emoționale transmise în vorbire este, prin urmare, destul de critică pentru realizarea unei comunicări eficiente între oameni.deoarece aplicațiile bazate pe calculator primesc o atenție din ce în ce mai mare atât din mediul academic, cât și din industrie, tehnologia de interacțiune om-calculator (HCI) a avansat rapid în ultimele decenii., Similar comunicării om-om, un factor esențial al interacțiunii naturale dintre om și computere este capacitatea computerului de a înțelege stările emoționale exprimate de subiecții umani și de a oferi un răspuns personalizat în consecință.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modelarea și analiza emoțiilor din vorbirea umană se desfășoară în mai multe domenii, inclusiv psihologie, lingvistică și inginerie. În inginerie, recunoașterea emoțiilor de vorbire a fost formulată ca o problemă de recunoaștere a modelelor care implică în principal extragerea caracteristicilor și clasificarea emoțiilor. Recunoașterea emoțiilor de vorbire a găsit aplicații din ce în ce mai mari în practică, de exemplu, în securitate, medicină, divertisment, educație. Cu toate acestea, activitatea de cercetare privind recunoașterea emoțiilor de vorbire se desfășoară în principal pe baze de date pre-procesate care, în general, constau în declarații sau fraze izolate., Stările emoționale sunt recunoscute pe baza acestor propoziții izolate. Acest lucru limitează aplicațiile sale în practică. În comparație cu recunoașterea emoției pe o bază de date pre-procesată, mai multe provocări, cum ar fi identificarea debutului emoției, durata și schimbarea, eficiența recunoașterii pentru procesarea în timp real etc., se confruntă în timp real recunoașterea emoțiilor de vorbire care are ca scop detectarea stărilor emoționale din vorbirea continuă și spontană.odată cu dezvoltarea tehnologiei de comunicare și a interfeței om-calculator, învățarea online a atras un interes tot mai mare., Are multe avantaje în comparație cu învățarea tradițională față în față a clasei. În primul rând, învățarea online oferă o mulțime de flexibilitate și comoditate studenților. Cu doar un calculator și conexiune la Internet, elevii pot finaliza cursurile lor de învățare oriunde și oricând, fără luptă pentru a stoarce într-un program de clasă fixă. În al doilea rând, mediul de învățare online este capabil să ofere o gamă mai largă de cursuri pentru studenți, ceea ce le poate extinde în mod eficient domeniul de educație și le poate inspira interesul în diferite domenii., În al treilea rând, a lua un curs online este mult mai ieftin decât programele educaționale tradiționale cu taxe de școlarizare scumpe. Mai mult, costul și timpul petrecut în călătoriile către și de la cursuri pot fi salvate. În al patrulea rând, studenților li se permite să finalizeze cursuri de învățare online într-un mediu în care se simt confortabil. În plus, dacă pot studia de acasă, nu trebuie să-și facă griji în legătură cu probleme, cum ar fi transportul la/de la campus, mesele în campus și găsirea sălilor de studiu. Cu toate acestea, învățarea online nu are interacțiunea dintre profesori și studenți., Spre deosebire de mediul tradițional de învățare față în față, în care profesorii sunt conștienți de răspunsurile elevilor la Materialul livrat și pot ajusta conținutul cursului și viteza de livrare în consecință, profesorii din mediul de învățare online nu pot vedea ce simt elevii despre cursul în curs, din expresiile lor faciale și verbale. Acest lucru face imposibilă învățarea online să adapteze modurile de livrare a cursurilor pentru a se potrivi capacității de învățare a studenților. Soluțiile pentru rezolvarea sau ameliorarea acestei probleme au devenit importante în dezvoltarea programelor de învățare online.,în ultimii ani, impactul emoțiilor elevilor asupra învățării eficiente a fost investigat în comunitățile de educație și data mining (Kort, Reilly, & Picard, 2001). Emoțiile pozitive pot da un sentiment bun, pot îmbunătăți abilitățile de gândire, pot crește tendința spre o creativitate mai mare, pot ajuta la rezolvarea problemelor și pot spori eficiența și minuțiozitatea în luarea deciziilor (Isen, 2000). Într-adevăr, atât funcțiile afective, cât și cele cognitive sunt integrate în creierul uman, iar funcțiile afective joacă roluri foarte importante în învățarea creierului., Detectarea stărilor afective ale studenților și înțelegerea răspunsurilor lor la Materialul livrat poate ajuta la personalizarea cursului în sistemele de învățare online pentru a se potrivi fiecărui elev specific., De exemplu, pentru studenții cu abilități ridicate, cursul poate fi livrat cu o viteză mai mare, iar pentru cei care sunt foarte interesați, pot fi introduse extensii de cunoștințe și exemple suplimentare; în timp ce pentru cei care se simt confuzi, pot fi adăugate sesiuni de întrebări și răspunsuri sau explicații mai detaliate; iar pentru acei studenți care se simt plictisiți, pot fi introduse activități amuzante și Furnizorii de cursuri pot ajusta astfel conținutul de predare și viteza de livrare pentru a satisface varietatea studenților., Un răspuns negativ poate alerta elevii să se concentreze pe învățare și să se adapteze la studiu. Procesul menționat mai sus poate îmbunătăți performanța și eficiența învățării și, de asemenea, poate aduce mai multă distracție în procesul de învățare.în acest capitol, prezentăm mai întâi munca noastră privind dezvoltarea unui sistem de recunoaștere a emoțiilor de vorbire în timp real. Acest sistem este capabil să accepte atât datele de vorbire preînregistrate, cât și vorbirea continuă înregistrate în timp real și, de asemenea, să detecteze stările emoționale exprimate în vorbire, așa cum este redat în primul sau așa cum este înregistrat în cel de-al doilea., O interfață grafică prietenoasă (GUI) este furnizată pentru a afișa rezultatele recunoașterii, inclusiv categoria țintă și informațiile de sincronizare ale segmentelor individuale, precum și o analiză a statisticilor de frecvență emoțională pe baza datelor de intrare întregi. Au fost efectuate experimente atât cu seturi de date preînregistrate, cât și cu înregistrări în timp real, exprimate în patru stări emoționale, și au fost obținute preciziile medii de 90% și, respectiv, 78,78%., În al doilea rând, aplicarea sistemului dezvoltat de emoții de vorbire în timp real în învățarea online este explorată cu un experiment într-un mediu de învățare online simulat. Rezultatele au arătat că sistemul nostru de recunoaștere a emoțiilor poate înțelege eficient răspunsul elevului la curs, ceea ce face posibilă personalizarea cursurilor online pentru fiecare student care urmează același curs, dar cu abilități de învățare diferite, pentru a obține un rezultat optim al învățării.partea rămasă a acestui capitol este organizată după cum urmează., Sistemul propus de recunoaștere a emoțiilor de vorbire în timp real este prezentat în secțiunea următoare. Rezultatele experimentului sunt ilustrate și apoi urmează o descriere a aplicării sale în învățarea online și rezultatele numerice în studiul de simulare. În cele din urmă, există observații finale.