Introducción
en el habla humana, se transmite tanto información lingüística como información paralingüística asociada con mensajes implícitos, como estados emocionales del hablante. Las emociones humanas son los estados mentales y fisiológicos asociados con los sentimientos, pensamientos y comportamientos de los seres humanos. El estado emocional expresado por un sujeto humano refleja no solo el estado de ánimo sino también la personalidad del sujeto humano., En la comunicación verbal humano-humano, juega un papel importante al reflejar las respuestas de los oradores al mundo exterior. Las mismas palabras expresadas en diferentes emociones, por ejemplo, pueden entregar significados muy diferentes. Por lo tanto, la identificación de los estados emocionales transmitidos en el habla es muy crítica para lograr comunicaciones efectivas entre los seres humanos.
a medida que las aplicaciones basadas en computadoras reciben cada vez más atención tanto del mundo académico como de la industria, la tecnología de interacción humano-computadora (HCI) también ha avanzado rápidamente en las últimas décadas., Similar a la comunicación humano-humana, un facilitador esencial de la interacción natural entre el ser humano y las computadoras es la capacidad de la computadora para comprender los estados emocionales expresados por los sujetos humanos y ofrecer una respuesta personalizada en consecuencia.,, Ser, Yu, & Cen, 2010; Cowie, 2001; Dellaert, Polzin, & Waibel, 1996; Lee & Narayanan, 2005; Morrison, Wang, & De Silva, 2007; Nguyen & Bass, 2005; Nicholson, Takahashi, & Nakatsu, 1999; Petrushin, 1999, 2000; Scherer, 2000; Ser, Cen, & Yu, 2008; Ververidis & Kotropoulos, 2006; Yu, Chang, Xu, & Shum, 2001; Zhou, Wang, Yang, & Chen, 2006)., El modelado y el análisis de las emociones del habla humana abarcan varios campos, incluida la psicología, la lingüística y la ingeniería. En ingeniería, el reconocimiento de emociones del habla se ha formulado como un problema de reconocimiento de patrones que involucra principalmente la extracción de características y la clasificación de emociones. El reconocimiento de emociones del habla ha encontrado aplicaciones cada vez mayores en la práctica, por ejemplo, en seguridad, medicina, entretenimiento, educación. Sin embargo, el trabajo de investigación sobre el reconocimiento de emociones del habla se lleva a cabo principalmente en bases de datos preprocesadas que, en general, consisten en expresiones o frases aisladas., Los estados emocionales se reconocen en base a estas oraciones aisladas. Esto limita sus aplicaciones en la práctica. En comparación con el reconocimiento de emociones en una base de datos preprocesada, hay más desafíos, como la identificación del inicio de la emoción, la duración y el cambio, la eficiencia del reconocimiento para el procesamiento en tiempo real, etc., se enfrentan en el reconocimiento de emociones del habla en tiempo real que tiene como objetivo detectar estados emocionales a partir del habla continua y espontánea.
con el desarrollo de la tecnología de la comunicación y la interfaz hombre-ordenador, el aprendizaje en línea ha atraído un interés creciente., Tiene muchas ventajas en comparación con el aprendizaje presencial tradicional en el aula. En primer lugar, el aprendizaje en línea proporciona mucha flexibilidad y comodidad a los estudiantes. Con solo una computadora y conexión a Internet, los estudiantes pueden completar sus cursos de aprendizaje en cualquier lugar y en cualquier momento sin tener que esforzarse por tener un horario de clases fijo. En segundo lugar, el entorno de aprendizaje en línea es capaz de proporcionar una mayor variedad de cursos para los estudiantes, lo que puede ampliar efectivamente su alcance educativo e inspirar su interés en diferentes campos., En tercer lugar, tomar un curso en línea es mucho más barato que los programas educativos tradicionales con costosas tasas de matrícula. Además, se pueden ahorrar costos y tiempo en los viajes de ida y vuelta a las clases. En cuarto lugar, los estudiantes pueden completar cursos de aprendizaje en línea en un entorno en el que se sientan cómodos. Además, si pueden estudiar desde casa, no necesitan preocuparse por problemas, como el transporte hacia/desde el campus, las comidas en el campus y la búsqueda de salas de estudio. Sin embargo, el aprendizaje en línea carece de la interacción entre profesores y estudiantes., A diferencia del entorno tradicional de aprendizaje cara a cara, donde los profesores son conscientes de las respuestas de los estudiantes al material entregado y pueden ajustar el contenido del curso y la velocidad de entrega en consecuencia, los profesores en el entorno de aprendizaje en línea no pueden ver cómo se sienten los estudiantes sobre el curso en curso, desde sus expresiones faciales y verbales. Esto hace que sea imposible para el aprendizaje en línea adaptar los modos de entrega del curso para adaptarse a la capacidad de aprendizaje de los estudiantes. Las soluciones para resolver o aliviar este problema se han vuelto importantes en el desarrollo de programas de aprendizaje en línea.,
en los últimos años, el impacto de las emociones de los estudiantes en el aprendizaje efectivo se ha investigado en las comunidades de educación y minería de datos (kort, Reilly, & Picard, 2001). Las emociones positivas pueden producir buenos sentimientos, mejorar las habilidades de pensamiento, aumentar la tendencia hacia una mayor creatividad, ayudar a resolver problemas y mejorar la eficiencia y la minuciosidad en la toma de decisiones (Isen, 2000). De hecho, las funciones afectivas y cognitivas están integradas en el cerebro humano, y las funciones afectivas juegan un papel muy importante en el aprendizaje del cerebro., Detectar los estados afectivos de los estudiantes y comprender sus respuestas al material entregado puede ayudar a personalizar el curso en sistemas de aprendizaje en línea para adaptarse a cada estudiante específico., Por ejemplo, para los estudiantes de alta capacidad, el curso se puede impartir a una velocidad más alta, y para aquellos que están muy interesados, se pueden introducir la extensión del conocimiento y ejemplos adicionales; mientras que para aquellos que se sienten confundidos, se pueden agregar sesiones de preguntas y respuestas o explicaciones más detalladas; y para aquellos estudiantes que se sienten aburridos, se pueden introducir actividades divertidas e interesantes para atraer su atención. Los proveedores de cursos pueden ajustar el contenido de la enseñanza y la velocidad de entrega para satisfacer la variedad de estudiantes., Una respuesta negativa puede alertar a los estudiantes para que se concentren en el aprendizaje y se adapten al estudio. El proceso mencionado anteriormente puede mejorar el rendimiento y la eficiencia del aprendizaje, y también traer más diversión en el proceso de aprendizaje.
en este capítulo, presentamos primero nuestro trabajo sobre el desarrollo de un sistema de reconocimiento de emociones del habla en tiempo real. Este sistema es capaz de aceptar tanto los datos de voz pregrabados como el habla continua grabada en tiempo real, y también detectar los estados emocionales expresados en el habla como se reproduce en el primero, o como se graba en el segundo., Se proporciona una interfaz gráfica de usuario (GUI) amigable para mostrar los resultados de reconocimiento, incluida la categoría objetivo y la información de tiempo de segmentos individuales, así como un análisis de las estadísticas de frecuencia de emociones basadas en todos los datos de entrada. Se han llevado a cabo experimentos con conjuntos de datos pregrabados y registros en tiempo real expresados en cuatro estados emocionales, y se han logrado precisiones promedio de 90% y 78,78%, respectivamente., En segundo lugar, la aplicación del sistema de emoción del habla en tiempo real desarrollado en el aprendizaje en línea se explora con un experimento en un entorno de aprendizaje en línea simulado. Los resultados han demostrado que nuestro sistema de reconocimiento de emociones puede comprender de manera eficiente la respuesta del estudiante al curso, lo que permite personalizar los cursos en línea para cada estudiante que toma el mismo curso, pero con diferentes habilidades de aprendizaje, con el fin de lograr un resultado de aprendizaje óptimo.
la parte restante de este capítulo se organiza de la siguiente manera., El sistema de reconocimiento de emociones del habla en tiempo real propuesto se presenta en la siguiente sección. Se ilustran los resultados del experimento y a continuación se describe su aplicación en el aprendizaje en línea y los resultados numéricos en el estudio de simulación. Por último, hay algunas observaciones finales.