Inleiding
In menselijke spraak worden zowel taalkundige informatie als paralinguïstische informatie over impliciete boodschappen, zoals emotionele toestanden van de spreker, overgebracht. Menselijke emoties zijn de mentale en fysiologische toestanden geassocieerd met de gevoelens, gedachten en gedragingen van mensen. De emotionele toestand van een menselijk subject weerspiegelt niet alleen de stemming, maar ook de persoonlijkheid van het menselijk subject., In mens-mens verbale communicatie speelt het een belangrijke rol door de reacties van sprekers op de buitenwereld weer te geven. Dezelfde woorden uitgedrukt in verschillende emoties, bijvoorbeeld, kunnen leveren heel verschillende betekenissen. Identificatie van de emotionele toestanden overgebracht in spraak is daarom zeer kritisch voor het bereiken van effectieve communicatie tussen mensen.aangezien computergebaseerde toepassingen steeds meer aandacht krijgen van zowel de academische wereld als de industrie, heeft de mens-computerinteractie (HCI) – technologie zich de afgelopen decennia ook snel ontwikkeld., Net als mens-mens communicatie, een essentiële enabler van natuurlijke interactie tussen mens en computers is het vermogen van de computer om de emotionele toestanden uitgedrukt door de menselijke proefpersonen te begrijpen en leveren een gepersonaliseerde reactie dienovereenkomstig.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modellering en analyse van emoties uit menselijke spraak overspannen verschillende gebieden, waaronder psychologie, taalkunde, en engineering. In de techniek is spraakemotieherkenning geformuleerd als een patroonherkenningsprobleem dat voornamelijk betrekking heeft op functie-extractie en emotieclassificatie. Spraakemotieherkenning heeft steeds meer toepassingen gevonden in de praktijk, bijvoorbeeld in veiligheid, geneeskunde, entertainment, onderwijs. Het onderzoek naar spraakemotieherkenning wordt echter voornamelijk uitgevoerd op vooraf verwerkte databases die in het algemeen uit geïsoleerde uitingen of zinnen bestaan., Emotionele toestanden worden herkend op basis van deze geïsoleerde zinnen. Dit beperkt de toepassing ervan in de praktijk. Vergeleken met emotie herkenning op een vooraf verwerkte database, meer uitdagingen, zoals identificatie van emotie begin, blijvende, en verandering, erkenning efficiëntie voor real-time verwerking, enz., worden geconfronteerd in real-time spraakemotieherkenning die gericht is op het detecteren van emotionele toestanden van continue en spontane spraak.
met de ontwikkeling van communicatietechnologie en mens-computerinterface heeft online leren steeds meer belangstelling gekregen., Het heeft vele voordelen in vergelijking met traditionele klaslokaal face-to-face leren. Ten eerste biedt online leren studenten veel flexibiliteit en gemak. Met alleen een computer-en internetverbinding, kunnen studenten hun leercursussen overal en op elk moment voltooien zonder moeite te knijpen in een vast klassenschema. Ten tweede is de online leeromgeving in staat om studenten een ruimere keuze aan cursussen te bieden, die zowel hun opleidingsbereik effectief kunnen uitbreiden als hun interesse in verschillende vakgebieden kunnen inspireren., Ten derde, het volgen van een cursus online is veel goedkoper dan traditionele educatieve programma ‘ s met dure collegegeld. Bovendien kunnen kosten en tijd besteed aan de reizen naar en van de klassen worden bespaard. Ten vierde mogen studenten online cursussen volgen in een omgeving waarin ze zich op hun gemak voelen. Als ze thuis kunnen studeren, hoeven ze zich bovendien geen zorgen te maken over zaken als vervoer van/naar de campus, maaltijden op de campus en het vinden van studiezalen. Online leren mist echter de interactie tussen docenten en studenten., In tegenstelling tot de traditionele face-to-face leeromgeving, waar leraren op de hoogte zijn van de reacties van leerlingen op het geleverde materiaal en de cursusinhoud en de snelheid van de aflevering dienovereenkomstig kunnen aanpassen, kunnen leraren in de online leeromgeving niet zien hoe de leerlingen zich voelen over de lopende cursus, aan de hand van hun gezichtsuitdrukkingen en verbale uitdrukkingen. Dit maakt het voor online leren onmogelijk om cursusmodi aan te passen aan het leervermogen van studenten. Oplossingen om dit probleem op te lossen of te verlichten zijn belangrijk geworden in de ontwikkeling van online leerprogramma ‘ s.,
De afgelopen jaren is de impact van emoties van studenten op effectief leren onderzocht in de gemeenschappen van onderwijs en datamining (Kort, Reilly, & Picard, 2001). Positieve emoties kunnen goed gevoel opleveren, denkvaardigheden verbeteren, de neiging naar meer creativiteit vergroten, probleemoplossend werken en de efficiëntie en grondigheid in de besluitvorming verbeteren (Isen, 2000). Zowel affectieve als cognitieve functies zijn in het menselijk brein geïntegreerd en affectieve functies spelen een zeer belangrijke rol bij het leren van de hersenen., Het detecteren van de affectieve toestanden van studenten en het begrijpen van hun reacties op het geleverde materiaal kan helpen bij het aanpassen van de cursus in online leersystemen aan elke specifieke student., Bijvoorbeeld, voor high-ability studenten, de cursus kan worden geleverd op een hogere snelheid, en voor degenen die zeer geïnteresseerd zijn, kennis uitbreiding en extra voorbeelden kunnen worden geïntroduceerd; terwijl voor degenen die zich verward, vragen en Antwoorden sessies of meer gedetailleerde uitleg kunnen worden toegevoegd; en voor die studenten die zich vervelen, grappige en interessante activiteiten kunnen worden geïntroduceerd om hun aandacht te trekken. Cursusproviders kunnen zo de leerinhoud en de leveringssnelheid aanpassen om de verscheidenheid aan studenten tevreden te stellen., Een negatieve reactie kan studenten waarschuwen om zich te concentreren op het leren en zich aan te passen aan studie. Het bovengenoemde proces kan de prestaties en efficiëntie van het leren verbeteren en ook meer plezier in het leerproces brengen.
in dit hoofdstuk presenteren we eerst ons werk over de ontwikkeling van een real-time spraakemotieherkenningssysteem. Dit systeem is in staat om zowel vooraf opgenomen spraakgegevens als continue spraak die in real-time worden geregistreerd, te accepteren en ook de emotionele toestanden te detecteren die in spraak worden uitgedrukt als het wordt afgespeeld in de eerste, of als het wordt opgenomen in de laatste., Een vriendelijke grafische gebruikersinterface (GUI) wordt verstrekt om de herkenningsresultaten weer te geven, met inbegrip van doelcategorie en timing informatie van individuele segmenten, evenals een analyse van emotie frequentie statistieken op basis van de hele inputgegevens. Experimenten met zowel vooraf opgenomen datasets en real-time opname uitgedrukt in vier emotionele toestanden zijn uitgevoerd, en de gemiddelde nauwkeurigheid van 90% en 78,78% zijn bereikt, respectievelijk., Ten tweede wordt de toepassing van het ontwikkelde real-time spraakemotiesysteem in online leren onderzocht met een experiment in een gesimuleerde online leeromgeving. De resultaten hebben aangetoond dat ons emotieherkenningssysteem efficiënt de reactie van de student op de cursus kan begrijpen, waardoor het mogelijk is om online cursussen aan te passen voor elke student die dezelfde cursus volgt, maar met verschillende leercapaciteiten, om een optimaal leerresultaat te bereiken.
het resterende deel van dit hoofdstuk is als volgt georganiseerd., Het voorgestelde real-time spraakemotieherkenningssysteem wordt in de volgende paragraaf gepresenteerd. De resultaten van het experiment worden geïllustreerd en vervolgens volgt er een beschrijving van de toepassing ervan in online leren en de numerieke resultaten in de simulatiestudie. Tot slot zijn er nog slotopmerkingen.