Introduzione
Nel linguaggio umano vengono trasmesse sia informazioni linguistiche che informazioni paralinguistiche associate a messaggi impliciti, come gli stati emotivi dell’oratore. Le emozioni umane sono gli stati mentali e fisiologici associati ai sentimenti, ai pensieri e ai comportamenti degli umani. Lo stato emotivo espresso da un soggetto umano riflette non solo l’umore ma anche la personalità del soggetto umano., Nella comunicazione verbale umano-umano, svolge un ruolo importante riflettendo le risposte degli oratori al mondo esterno. Le stesse parole espresse in emozioni diverse, ad esempio, possono fornire significati molto diversi. L’identificazione degli stati emotivi trasmessi nel discorso è quindi piuttosto critica per ottenere comunicazioni efficaci tra gli esseri umani.
Poiché le applicazioni basate su computer ricevono crescente attenzione sia dal mondo accademico che dall’industria, anche la tecnologia di interazione uomo-computer (HCI) è progredita rapidamente negli ultimi decenni., Simile alla comunicazione uomo-uomo, un fattore essenziale di interazione naturale tra uomo e computer è la capacità del computer di comprendere gli stati emotivi espressi dai soggetti umani e fornire una risposta personalizzata di conseguenza.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., La modellazione e l’analisi delle emozioni dal linguaggio umano si estendono in diversi campi, tra cui psicologia, linguistica e ingegneria. In ingegneria, il riconoscimento delle emozioni vocali è stato formulato come un problema di riconoscimento di pattern che coinvolge principalmente l’estrazione delle caratteristiche e la classificazione delle emozioni. Il riconoscimento delle emozioni vocali ha trovato applicazioni crescenti nella pratica, ad esempio in sicurezza, medicina, intrattenimento, istruzione. Tuttavia, il lavoro di ricerca sul riconoscimento delle emozioni vocali è condotto principalmente su database pre-elaborati che, in generale, consistono in espressioni o frasi isolate., Gli stati emotivi sono riconosciuti sulla base di queste frasi isolate. Ciò limita le sue applicazioni nella pratica. Rispetto al riconoscimento delle emozioni su un database pre-elaborato, più sfide, come l’identificazione dell’insorgenza, della durata e del cambiamento delle emozioni, l’efficienza del riconoscimento per l’elaborazione in tempo reale, ecc., sono affrontati nel riconoscimento di emozione di discorso in tempo reale che mira a scoprire stati emotivi da discorso continuo e spontaneo.
Con lo sviluppo della tecnologia della comunicazione e dell’interfaccia uomo-computer, l’apprendimento online ha attirato un crescente interesse., Ha molti vantaggi rispetto al tradizionale apprendimento faccia a faccia in aula. In primo luogo, l’apprendimento online offre molta flessibilità e convenienza agli studenti. Con solo un computer e connessione a Internet, gli studenti possono completare i loro corsi di apprendimento ovunque e in qualsiasi momento senza lottare per spremere in un programma di classe fisso. In secondo luogo, l’ambiente di apprendimento online è in grado di fornire una scelta più ampia di corsi per gli studenti, che possono sia ampliare efficacemente la loro portata educativa che ispirare il loro interesse in diversi campi., In terzo luogo, prendere un corso online è molto più economico rispetto ai programmi educativi tradizionali con costose tasse universitarie. Inoltre, i costi e il tempo speso per i viaggi da e per le classi possono essere salvati. In quarto luogo, gli studenti sono autorizzati a completare corsi di apprendimento online in un ambiente in cui si sentono a proprio agio. Inoltre, se possono studiare da casa, non devono preoccuparsi di problemi, come il trasporto da/per il campus, i pasti nel campus e la ricerca di sale studio. Tuttavia, l’apprendimento online manca l’interazione tra insegnanti e studenti., A differenza del tradizionale ambiente di apprendimento faccia a faccia, in cui gli insegnanti sono consapevoli delle risposte degli studenti al materiale consegnato e possono regolare i contenuti del corso e la velocità di consegna di conseguenza, gli insegnanti nell’ambiente di apprendimento online non possono vedere come gli studenti si sentono sul corso in corso, dalle loro espressioni facciali e verbali. Ciò rende impossibile per l’apprendimento online adattare le modalità di consegna dei corsi per adattarsi alla capacità di apprendimento degli studenti. Le soluzioni per risolvere o alleviare questo problema sono diventate importanti nello sviluppo di programmi di apprendimento online.,
Negli ultimi anni, l’impatto delle emozioni degli studenti sull’apprendimento efficace è stato studiato nelle comunità di educazione e data mining (Kort, Reilly,& Picard, 2001). Le emozioni positive possono produrre buoni sentimenti, migliorare le capacità di pensiero, aumentare la tendenza verso una maggiore creatività, aiutare a risolvere i problemi e migliorare l’efficienza e la completezza nel processo decisionale (Isen, 2000). In effetti, sia le funzioni affettive che quelle cognitive sono integrate nel cervello umano e le funzioni affettive svolgono un ruolo molto importante nell’apprendimento del cervello., Rilevare gli stati affettivi degli studenti e comprendere le loro risposte al materiale consegnato può aiutare a personalizzare il corso in sistemi di apprendimento online per adattarsi a ogni studente specifico., Per esempio, per ad alta capacità degli studenti, il corso può essere tenuto a una velocità maggiore, e per coloro che sono molto interessati, di conoscenza, di estensione e di altri esempi possono essere introdotti; mentre per coloro che si sentono confusi, sessioni di domande e risposte o spiegazioni più dettagliate potrebbero essere aggiunti e per gli studenti che si sentono annoiati, divertenti e interessanti attività può essere introdotto per attirare la loro attenzione. I fornitori di corsi possono quindi regolare il contenuto didattico e la velocità di consegna per soddisfare la varietà di studenti., Una risposta negativa può avvisare gli studenti a concentrarsi sull’apprendimento e adattarsi allo studio. Il processo di cui sopra può migliorare le prestazioni e l’efficienza dell’apprendimento e anche portare più divertimento nel processo di apprendimento.
In questo capitolo, presentiamo per la prima volta il nostro lavoro sullo sviluppo di un sistema di riconoscimento delle emozioni vocali in tempo reale. Questo sistema è in grado di accettare sia i dati vocali pre-registrati che il discorso continuo registrato in tempo reale, e anche rilevare gli stati emotivi espressi nel discorso mentre viene riprodotto nel primo, o come viene registrato nel secondo., Viene fornita un’interfaccia utente grafica (GUI) per visualizzare i risultati del riconoscimento, comprese le informazioni sulla categoria di destinazione e sulla tempistica dei singoli segmenti, nonché un’analisi delle statistiche sulla frequenza delle emozioni basate sull’intero dato di input. Sono stati effettuati esperimenti con set di dati preregistrati e registrazioni in tempo reale espresse in quattro stati emotivi e sono state raggiunte rispettivamente le precisioni medie del 90% e del 78,78%., In secondo luogo, l’applicazione del sistema di emozioni vocali in tempo reale sviluppato nell’apprendimento online viene esplorata con un esperimento in un ambiente di apprendimento online simulato. I risultati hanno dimostrato che il nostro sistema di riconoscimento delle emozioni può comprendere in modo efficiente la risposta dello studente al corso, il che rende possibile personalizzare i corsi online per ogni studente che segue lo stesso corso, ma con diverse capacità di apprendimento, al fine di ottenere un risultato di apprendimento ottimale.
La parte restante di questo capitolo è organizzata come segue., Il sistema di riconoscimento delle emozioni vocali proposto in tempo reale è presentato nella sezione successiva. I risultati dell’esperimento sono illustrati e segue una descrizione della sua applicazione nell’apprendimento online e dei risultati numerici nello studio di simulazione. Infine, ci sono osservazioni conclusive.