Indledning
I menneskelig tale, både sproglige oplysninger og paralinguistic oplysninger i forbindelse med implicitte beskeder, såsom følelsesmæssige tilstande af højttaleren, transporteres. Menneskelige følelser er de mentale og fysiologiske tilstande, der er forbundet med menneskers følelser, tanker og adfærd. Den følelsesmæssige tilstand udtrykt af et menneskeligt emne afspejler ikke kun stemningen, men også det menneskelige subjekts personlighed., I menneskelig-menneskelig verbal kommunikation spiller den en vigtig rolle ved at afspejle talernes svar på omverdenen. De samme ord udtrykt i forskellige følelser, for eksempel, kan levering helt forskellige betydninger. Identifikation af de følelsesmæssige tilstande, der formidles i tale, er derfor ret kritisk for at opnå effektiv kommunikation mellem mennesker.da computerbaserede applikationer får stigende opmærksomhed fra både den akademiske verden og industrien, har human-computer interaction (HCI) – teknologien også udviklet sig hurtigt i de seneste årtier., I lighed med menneskelig-menneskelig kommunikation er en væsentlig katalysator for naturlig interaktion mellem mennesker og computere computerens evne til at forstå de følelsesmæssige tilstande udtrykt af de menneskelige emner og levere et personlig svar i overensstemmelse hermed.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modellering og analyse af følelser fra menneskelig tale spænder over flere områder, herunder psykologi, lingvistik, og teknik. Inden for teknik, talefølelsesgenkendelse er formuleret som et mønstergenkendelsesproblem, der hovedsageligt involverer funktionsekstraktion og følelsesklassificering. Talefølelsesgenkendelse har fundet stigende anvendelser i praksis, f.inden for sikkerhed, medicin, underholdning, uddannelse. Forskningsarbejdet om talefølelsesgenkendelse udføres dog hovedsageligt på forbehandlede databaser, der generelt består af isolerede udtryk eller sætninger., Følelsesmæssige tilstande genkendes baseret på disse isolerede sætninger. Dette begrænser sine applikationer i praksis. Sammenlignet med følelsesgenkendelse i en forbehandlet database, flere udfordringer, såsom identifikation af følelsesbegyndelse, varig, og ændring, genkendelseseffektivitet til realtidsbehandling, etc., står over for i realtid talefølelsesgenkendelse, der sigter mod at opdage følelsesmæssige tilstande fra kontinuerlig og spontan tale.
med udviklingen af kommunikationsteknologi og human-computer interface har online læring tiltrukket stigende interesse., Det har mange fordele i forhold til traditionelle klasseværelse face-to-face læring. For det første giver online-læring masser af fleksibilitet og bekvemmelighed for studerende. Med kun en computer og internetforbindelse kan eleverne gennemføre deres læringskurser hvor som helst og når som helst uden at kæmpe for at presse i en fast klasseplan. For det andet er online læringsmiljøet i stand til at give et bredere udvalg af kurser for studerende, som både effektivt kan udvide deres uddannelsesomfang og inspirere deres interesse for forskellige områder., For det tredje er det meget billigere at tage et kursus online end traditionelle uddannelsesprogrammer med dyre studieafgifter. Desuden kan omkostninger og tid brugt på ture til og fra klasserne spares. For det fjerde har studerende lov til at gennemføre online læringskurser i et miljø, hvor de føler sig godt tilpas. Hvis de desuden kan studere hjemmefra, behøver de ikke at bekymre sig om problemer, såsom transport til/fra campus, måltider på campus og finde studierum. Online-læring mangler imidlertid samspillet mellem lærere og studerende., I modsætning til den traditionelle ansigt-til-ansigt læringsmiljø, hvor lærerne er opmærksomme på elevernes reaktioner, at de leverede materiale, og kan tilpasse kursets indhold og levering hastighed i overensstemmelse hermed, lærere i online læringsmiljø kan ikke se, hvordan de studerende til at føle, om den igangværende kursus, fra deres ansigts-og verbale udtryk. Dette gør det umuligt for online-læring at tilpasse kursusleveringsmetoder, så de passer til elevernes læringsevne. Løsninger til at løse eller lindre dette problem er blevet vigtige i udviklingen af online læringsprogrammer.,
I de seneste år, er virkningen af elevernes følelser på effektiv læring er blevet undersøgt i de samfund, uddannelse og data mining (Kort, Reilly, & Picard, 2001). Positive følelser kan give god følelse, forbedre tænkefærdigheder, øge tendensen til større kreativitet, hjælpe problemløsning og øge effektiviteten og grundigheden i beslutningsprocessen (Isen, 2000). Faktisk er både affektive og kognitive funktioner integreret i den menneskelige hjerne, og affektive funktioner spiller meget vigtige roller i hjernelæring., Detektering af elevernes affektive tilstande og forståelse af deres svar på det leverede materiale kan hjælpe med at tilpasse kurset i online læringssystemer, så de passer til hver enkelt studerende., For eksempel, for høj evne studerende, er det naturligvis kan være leveret på en højere hastighed, og for dem, der er meget interesseret, viden udvidelse og ekstra eksempler kan være indført, mens det for dem, der føler sig forvirret, spørgsmål og svar sessioner eller mere detaljerede forklaringer kunne være tilføjet, og for de elever, der føler sig kede af det, sjove og interessante aktiviteter, der kan være indført for at tiltrække deres opmærksomhed. Kursusudbydere kan således justere undervisningsindholdet og leveringshastigheden for at tilfredsstille forskellige studerende., Et negativt svar kan advare eleverne om at fokusere på læring og tilpasse sig til at studere. Ovennævnte proces kan forbedre præstationen og effektiviteten af læring, og også bringe mere sjov ind i læringsprocessen.
i dette kapitel præsenterer vi først vores arbejde med udviklingen af et real-time talefølelsesgenkendelsessystem. Dette system er i stand til at acceptere både forudindspillede taledata og kontinuerlig tale optaget i realtid og også registrere de følelsesmæssige tilstande udtrykt i tale, som det afspilles i førstnævnte, eller som det er optaget i sidstnævnte., En venlig grafisk brugergrænseflade (GUI) leveres til at vise genkendelsesresultater, herunder målkategori og timinginformation for individuelle segmenter, samt en analyse af følelsesfrekvensstatistikker baseret på hele inputdataene. Eksperimenter med både forindspillede datasæt og realtidsoptagelse udtrykt i fire følelsesmæssige tilstande er blevet udført, og de gennemsnitlige nøjagtigheder på henholdsvis 90% og 78, 78% er opnået., For det andet udforskes anvendelsen af det udviklede realtids talefølelsessystem i online læring med et eksperiment i et simuleret online læringsmiljø. Resultaterne har vist, at vores følelsesgenkendelsessystem effektivt kan forstå den studerendes respons på kurset, hvilket gør det muligt at tilpasse onlinekurser for hver studerende, der tager det samme kursus, men med forskellige læringsevner, for at opnå et optimalt læringsresultat.
den resterende del af dette kapitel er organiseret som følger., Det foreslåede system til genkendelse af talefølelser i realtid præsenteres i næste afsnit. Eksperimentresultaterne er illustreret, og så følger der en beskrivelse af dens anvendelse i online-læring og de numeriske resultater i simuleringsundersøgelsen. Endelig er der afsluttende bemærkninger.