Skip to content
DSML.KZ
Publications

Article · Dynamics of Systems Mechanisms and Machines · January 1, 2020

METHOD OF AUTOMATIC CLASSIFICATION OF THE SPEAKER'S EMOTIONAL STATE BY VOICE

Kayrat Koshekov, V. Yu. Kobenko, Raziyam Anayatova, Alexey Savostin, Abay Koshekov

Alexey Savostin
Open via DOI

Abstract

В данной статье рассматривается проблема разработки эффективного метода автоматической классификации эмоций авиационного персонала (диктора) по голосу. Для этого решается задача по созданию дикторонезависимого алгоритма, способного выполнять многоклассовую классификацию семи эмоциональных состояний человека (радость, страх, гнев, печаль, отвращение, удивление и нейтральное состояние) на основании набора из 48 информативных признаков. Данные признаки формируются из цифровой записи речевого сигнала путем расчета мел-частотных кепстральных коэффициентов и частоты основного тона для отдельных фреймов звукозаписи. Повышение информативности и снижение размерности для мел-частотных кепстральных коэффициентов выполняется за счет их обработки при помощи глубокой сверточной нейронной сети. Модель классификатора реализована при помощи логистической регрессии, которая обучалась по указанным информативным признакам на базе записей эмоционально окрашенных образцов английской речи. В результате обучения на тестовой выборке доля правильных ответов распознавания составляет accuracy = 0,96. Предложенное в работе решение может быть использовано для улучшения человеко-машинных интерфейсов, а также в области авиационных перевозок, медицине, маркетинге и пр.

Emotion and Mood RecognitionSpeech Recognition and SynthesisSpeech and Audio Processingemotion recognition from speechaviation personnelvoice analysis

More by Alexey Savostin