Распознавание эмоций по речи

Abstract

В этой работе проводится обширное сравнение различных подходов к системам распознавания речи по эмоциям. Анализы проводились на аудиозаписи из аудиовизуальной базы данных эмоциональной речи и песен Райерсона. После предварительной обработки необработанных аудиофайлов считались такие функции как Log-Mel, спектрограмма, кепстральные коэффициенты Mel-частоты (MFCC), высота тона и энергия. Значение этих характеристик для классификации эмоций сравнивается с применением таких методов, как Long Short Term Memory (LSTM), сверточные нейронные сети (CNN), скрытые марковские модели (HMM). Нейронные сети (DNN). По 14-классной классификации (2 пола × 7 эмоций) задача, точность 68 % была достигнута с 4-слойной 2-мерной CNN с использованием спектрограммы Log-Mel. Мы также наблюдаем, что при распознавании эмоций выбор звуковых характеристик влияет на результаты гораздо больше, чем сложность модели. In this paper, we conduct an extensive comparison of different approaches to speech recognition systems based on emotions. The analyses were performed on audio recordings from the Ryerson emotional speech and songs audio-visual database. After preprocessing the raw audio files, such features as Log-Mail, spectrogram, Mel- Frequency cepstral coefficients (MFCC), pitch, and energy were counted. The significance of these characteristics for emotion classification is compared using methods such as Long Short Term Memory (LSTM), convolutional neural networks (CNN), and hidden Markov models (HMM). Neural networks (DNNs). According to the 14-class classification (2 genders × 7 emotions) task, 68 % accuracy was achieved with a 4-layer 2-dimensional CNN using a Log-Mel spectrogram. We also observe that in emotion recognition, the choice of sound characteristics affects the results much more than the complexity of the model.