introduktion
i mänskligt tal förmedlas både språklig information och paralingvistisk information i samband med implicita meddelanden, såsom talarens känslomässiga tillstånd. Mänskliga känslor är mentala och fysiologiska tillstånd i samband med känslor, tankar och beteenden hos människor. Det emotionella tillståndet som uttrycks av ett mänskligt ämne återspeglar inte bara stämningen utan också personligheten hos det mänskliga ämnet., I mänsklig-mänsklig verbal kommunikation spelar den en viktig roll genom att återspegla talarens svar på omvärlden. Samma ord som uttrycks i olika känslor kan till exempel leverera ganska olika betydelser. Identifiering av emotionella tillstånd som förmedlas i tal är därför ganska kritisk för att uppnå effektiv kommunikation mellan människor.
eftersom datorbaserade applikationer får ökad uppmärksamhet från både den akademiska världen och industrin har tekniken för Människa-datorinteraktion (hci) också utvecklats snabbt under de senaste decennierna., I likhet med mänsklig-mänsklig kommunikation är en viktig möjliggörare av naturlig interaktion mellan människa och datorer datorns förmåga att förstå de känslomässiga tillstånden som uttrycks av de mänskliga ämnena och leverera ett personligt svar i enlighet därmed.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modellering och analys av känslor från mänskligt tal spänner över flera områden, inklusive psykologi, lingvistik och teknik. I teknik har Tale emotion recognition formulerats som ett mönsterigenkänningsproblem som huvudsakligen innebär funktionsextraktion och känslighetsklassificering. Tal emotion erkännande har funnit ökande tillämpningar i praktiken, t. ex. i säkerhet, Medicin, underhållning, utbildning. Forskningsarbetet om talutkännande utförs emellertid huvudsakligen på förbehandlade databaser som i allmänhet består av isolerade uttalanden eller fraser., Emotionella tillstånd erkänns baserat på dessa isolerade meningar. Detta begränsar dess tillämpningar i praktiken. Jämfört med känslor erkännande på en förbehandlad databas, fler utmaningar, såsom identifiering av känslor debut, varaktig, och förändring, erkännande effektivitet för realtidsbearbetning, etc., står inför i realtid tal emotion erkännande som syftar till att upptäcka känslomässiga tillstånd från kontinuerlig och spontan tal.
med utvecklingen av kommunikationsteknik och människa-dator gränssnitt, online lärande har lockat ökande intresse., Det har många fördelar i jämförelse med traditionell klassrum ansikte mot ansikte lärande. För det första ger online-lärande massor av flexibilitet och bekvämlighet för eleverna. Med endast en dator och Internet-anslutning kan eleverna slutföra sina inlärningskurser var som helst och när som helst utan att kämpa för att klämma i ett fast klassschema. För det andra kan online-inlärningsmiljön erbjuda ett bredare utbud av kurser för studenter, som både effektivt kan utöka sin utbildningsomfång och inspirera sitt intresse inom olika områden., För det tredje är det mycket billigare att ta en kurs online än traditionella utbildningsprogram med dyra terminsavgifter. Dessutom kan kostnad och tid spenderas på resor till och från klasserna sparas. För det fjärde får eleverna slutföra online-kurser i en miljö där de känner sig bekväma. Dessutom, om de kan studera hemifrån, behöver de inte oroa sig för problem, såsom transport till/från campus, måltider på campus och hitta studierum. Online-lärande saknar dock samspelet mellan lärare och studenter., Till skillnad från den traditionella inlärningsmiljön ansikte mot ansikte, där lärare är medvetna om elevernas svar på det levererade materialet och kan justera kursinnehållet och leveranshastigheten i enlighet därmed, kan lärare i online-inlärningsmiljön inte se hur eleverna känner för den pågående kursen, från deras ansikts-och verbala uttryck. Detta gör det omöjligt för online-lärande att anpassa kursleveranslägen för att passa elevernas inlärningsförmåga. Lösningar för att lösa eller lindra detta problem har blivit viktiga i utvecklingen av online-lärande program.,
under de senaste åren har effekterna av elevernas känslor på effektivt lärande undersökts i samhällena för utbildning och datautvinning (Kort, Reilly, & Picard, 2001). Positiva känslor kan ge bra känsla, förbättra tänkande färdigheter, öka tendensen mot större kreativitet, hjälpa problemlösning och förbättra effektivitet och grundlighet i beslutsfattandet (Isen, 2000). Faktum är att både affektiva och kognitiva funktioner är integrerade i den mänskliga hjärnan, och affektiva funktioner spelar mycket viktiga roller i hjärninlärning., Att upptäcka elevernas affektiva tillstånd och förstå deras svar på det levererade materialet kan hjälpa till att anpassa kursen i online-inlärningssystem för att passa varje specifik student., Till exempel, för studenter med hög förmåga kan kursen levereras med högre hastighet, och för dem som är mycket intresserade kan kunskapsförlängning och extra exempel introduceras; medan för dem som känner sig förvirrade kan frågestunder och svarssessioner eller mer detaljerade förklaringar läggas till; och för de studenter som känner sig uttråkad kan roliga och intressanta aktiviteter introduceras för att locka uppmärksamheten. Kursleverantörer kan därmed justera undervisningsinnehållet och leveranshastigheten för att tillfredsställa olika studenter., Ett negativt svar kan varna eleverna att fokusera på lärande och anpassa sig till studier. Den ovan nämnda processen kan förbättra prestanda och effektivitet i lärande, och också ge roligare i inlärningsprocessen.
i det här kapitlet presenterar vi först vårt arbete med att utveckla ett system för talkänslor i realtid. Detta system kan acceptera både förinspelade taldata och kontinuerligt tal som registreras i realtid och upptäcka även de emotionella tillstånden som uttrycks i tal som det spelas upp i det förra, eller som det spelas in i det senare., Ett användarvänligt grafiskt användargränssnitt (GUI) tillhandahålls för att visa igenkänningsresultat, inklusive målkategori och tidsinformation för enskilda segment, samt en analys av känslofrekvensstatistik baserad på hela inmatningsdata. Experiment med både förinspelade datauppsättningar och realtidsinspelning uttryckt i fyra känslomässiga tillstånd har utförts, och den genomsnittliga noggrannheten på 90% respektive 78.78% har uppnåtts., För det andra utforskas tillämpningen av det utvecklade realtidslärandesystemet i online-lärande med ett experiment i en simulerad online-inlärningsmiljö. Resultaten har visat att vårt emotion recognition system effektivt kan förstå studentens svar på kursen, vilket gör det möjligt att anpassa onlinekurser för varje elev som tar samma kurs, men med olika inlärningsförmåga, för att uppnå optimalt läranderesultat.
den återstående delen av detta kapitel är organiserad enligt följande., Det föreslagna systemet för talkänslor i realtid presenteras i nästa avsnitt. Experimentresultaten illustreras och sedan följer en beskrivning av dess tillämpning i online-lärande och de numeriska resultaten i simuleringsstudien. Slutligen finns det avslutande kommentarer.