introdução
na fala humana, tanto a informação linguística e a informação paralinguística associada com mensagens implícitas, como os estados emocionais do orador, são transmitidos. As emoções humanas são os estados mentais e fisiológicos associados aos sentimentos, pensamentos e comportamentos dos seres humanos. O estado emocional expresso por um sujeito humano reflete não só o humor, mas também a personalidade do sujeito humano., Na comunicação verbal humano-humana, desempenha um papel importante ao refletir as respostas dos palestrantes ao mundo exterior. As mesmas palavras expressas em emoções diferentes, por exemplo, podem dar significados bastante diferentes. A identificação dos estados emocionais veiculados na fala é, portanto, bastante crítica para alcançar comunicações eficazes entre os seres humanos.como as aplicações baseadas em computadores recebem crescente atenção tanto da academia quanto da indústria, a tecnologia de Interação Humano-Computador (HCI) também tem avançado rapidamente nas últimas décadas., Semelhante à comunicação humano-humana, um facilitador essencial da interação natural entre o humano e os computadores é a capacidade do computador para compreender os estados emocionais expressos pelos sujeitos humanos e entregar uma resposta personalizada em conformidade.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., Modelagem e análise de emoções da fala humana abrangem vários campos, incluindo psicologia, linguística e engenharia. Na engenharia, o reconhecimento de emoções de fala tem sido formulado como um problema de reconhecimento de padrões que envolve principalmente a extração de recursos e classificação de emoções. O reconhecimento de emoções de fala tem encontrado aplicações crescentes na prática, por exemplo, em segurança, medicina, entretenimento, educação. No entanto, o trabalho de pesquisa sobre Reconhecimento de emoções de fala é realizado principalmente em bases de dados pré-processadas que, em geral, consistem em declarações isoladas ou frases., Os estados emocionais são reconhecidos com base nestas frases isoladas. Isto limita as suas aplicações na prática. Em comparação com o reconhecimento de emoções em um banco de dados pré-processado, mais desafios, tais como identificação de início de emoção, duradouro, e mudança, eficiência de reconhecimento para processamento em tempo real, etc., são enfrentados no reconhecimento de emoções de discurso em tempo real que visa detectar estados emocionais a partir do discurso contínuo e espontâneo.com o desenvolvimento da tecnologia da comunicação e da interface homem-computador, a aprendizagem em linha tem atraído um interesse crescente., Tem muitas vantagens em comparação com a aprendizagem tradicional cara-a-cara em sala de aula. Em primeiro lugar, a Aprendizagem online proporciona muita flexibilidade e conveniência aos alunos. Com apenas um computador e conexão à Internet, os alunos podem completar seus cursos de aprendizagem em qualquer lugar e a qualquer hora sem lutar para apertar em um horário fixo de aula. Em segundo lugar, o ambiente de aprendizagem on-line é capaz de proporcionar uma escolha mais ampla de cursos para os alunos, que podem efetivamente expandir seu escopo de educação e inspirar seu interesse em diferentes áreas., Em terceiro lugar, fazer um curso online é muito mais barato do que programas educacionais tradicionais com taxas de matrícula caras. Além disso, o custo e o tempo gasto nas viagens de e para as classes podem ser salvos. Em quarto lugar, os alunos são autorizados a completar cursos de aprendizagem on-line em um ambiente em que eles se sentem confortáveis. Além disso, se eles podem estudar a partir de casa, eles não precisam se preocupar com problemas, tais como transporte de/para o campus, refeições no campus, e encontrar salas de estudo. No entanto, a aprendizagem online carece da interacção entre professores e alunos., Ao contrário do ambiente tradicional de aprendizagem cara-a-cara, onde os professores estão cientes das respostas dos alunos para o material entregue e podem ajustar o conteúdo do curso e velocidade de entrega em conformidade, os professores no ambiente de aprendizagem on-line não podem ver como os alunos se sentem sobre o curso em curso, a partir de suas expressões faciais e verbais. Isto torna impossível que a aprendizagem em linha adapte os modos de entrega do curso à capacidade de aprendizagem dos alunos. Soluções para resolver ou aliviar este problema tornaram-se importantes no desenvolvimento de programas de aprendizagem on-line.,nos últimos anos, o impacto das emoções dos alunos na aprendizagem eficaz foi investigado nas comunidades de educação e Mineração de dados (Kort, Reilly, & Picard, 2001). Emoções positivas podem produzir bom sentimento, melhorar as habilidades de pensamento, aumentar a tendência para uma maior criatividade, ajudar a resolver problemas, e aumentar a eficiência e rigor na tomada de decisões (Isen, 2000). Na verdade, as funções afetivas e cognitivas estão integradas no cérebro humano, e as funções afetivas desempenham papéis muito importantes na aprendizagem cerebral., Detectar os estados afetivos dos alunos e compreender as suas respostas ao material entregue pode ajudar a personalizar o curso em sistemas de aprendizagem on-line para caber cada aluno específico., Por exemplo, para alta-capacidade de alunos, o curso pode ser entregue a uma velocidade superior, e para aqueles que estão muito interessados, conhecimento, extensão e extra exemplos podem ser introduzidas; enquanto para aqueles que se sentem confusos, sessões de perguntas e respostas ou explicações mais detalhadas poderia ser adicionado; e para aqueles alunos que se sentem entediados, engraçado e interessante atividades podem ser introduzidos para atrair a sua atenção. Os fornecedores de cursos podem, assim, ajustar o conteúdo do ensino e a velocidade de entrega para satisfazer a variedade de estudantes., Uma resposta negativa pode alertar os alunos para que se concentrem na aprendizagem e se adaptem ao estudo. O processo acima mencionado pode melhorar o desempenho e a eficiência da aprendizagem, e também trazer mais diversão no processo de aprendizagem.neste capítulo, apresentamos pela primeira vez o nosso trabalho sobre o desenvolvimento de um sistema de reconhecimento de emoções de fala em tempo real. Este sistema é capaz de aceitar tanto os dados pré-gravados da fala como o discurso contínuo gravados em tempo real, e também detectar os estados emocionais expressos na fala como é reproduzido no primeiro, ou como é registrado no segundo., Uma interface gráfica de usuário amigável (GUI) é fornecida para exibir resultados de reconhecimento, incluindo a categoria de destino e informações de cronometragem de segmentos individuais, bem como uma análise de estatísticas de freqüência de emoção com base em todos os dados de entrada. Foram realizadas experiências com conjuntos de dados pré-gravados e registos em tempo real expressos em quatro estados emocionais, tendo sido obtidas as precisões médias de 90% e 78,78%, respectivamente., Em segundo lugar, a aplicação do desenvolvido sistema de emoções da fala em tempo real na Aprendizagem online é explorada com uma experiência num ambiente de Aprendizagem online simulado. Os resultados mostraram que nosso sistema de reconhecimento de emoções pode compreender eficientemente a resposta do aluno ao curso, o que torna possível personalizar cursos on-line para cada aluno que faz o mesmo curso, mas com diferentes habilidades de aprendizagem, a fim de alcançar o melhor resultado de aprendizagem.
a parte restante deste capítulo é organizada da seguinte forma., O sistema de reconhecimento de emoções em tempo real proposto é apresentado na próxima seção. Os resultados da experiência são ilustrados e, em seguida, segue-se uma descrição de sua aplicação na aprendizagem online e os resultados numéricos no estudo de simulação. Por último, há observações finais.