MERGE Áudio 2.0

Abstract

A biblioteca de musical disponível digitalmente aos consumidores levou ao crescimante do campo científico de Recoonhecimento de Emoção em Música, devido à necissidade de organizar estas enormes coleções e prestar recomendações personalizadas para os ouvintes. A infância deste campo é dominada por metodologias de Aprendizagem Computacional Clássica utilizando elementos cuidadosamente desenhados para identificar as emoções percecionadas em peças musicais. Recentemente, registou-se um aumento de metodologias de Apredizagem Profunda no campo devido à sua abilidade de extrair elementos relevantes nestas peças, tornando o passo de desenhar elementos automático.Este trabalho contribuí para o campo oferecendo um conjunto alargado de experiências utilizando diversas metodologias avaliadas em dois conjuntos de dados: o conjunto de dados 4 Quadrant Audio Emotion Dataset (4QAED), previamente desenvolvido pela nossa equipa, e a sua extensão, cujos resultados são comparados de forma a estudar o impacto na performance.Obtivemos resultados acima do estado da arte. Nomeadamente, um F1 Score de 80.24\% utilizando um modelo híbrido, constituído por uma Rede Neuronal Convolucional, pré-treinado em amostras sintetizadas a partir de técnias de sintetização de dados áudio, uma Rede Neuronal Densa, pré-treinada em elementos extraídos desenhados à mão.O trabalho desenvolvido deu também alguma , incluindo continuar a explorar metodologias que utilizam Sintetização de Dados and utilizar a informação de múltiplas representações espectrais para lidar com o número reduzido de amostras disponíveis nos conjuntos de dados no estado da arte.

The library of digital music available to consumers has pushed for the growth of the Music Emotion Recognition research field, due to the need of organizing these large collections and provide personalized recommendations to listeners. The infancy of this field is dominated by Classical Machine Learning approaches using carefully constructed features to identify the perceived emotions of music pieces. Recently, there has been an increase in Deep Learning approaches in the field due to the ability of extracting the underlying features in the pieces, making the feature design step of the previous approaches automatic.This work thus contributes to the field by providing an extensive set of experiments using a variety of approaches conducted on two datasets: the 4 Quadrant Audio Emotion Dataset (4QAED) dataset, previously developed by our team, and its extension, whose results are compared against for studying the impact in performance. We obtained results above the state-of-the-art. Namely, a 80.24\% F1 Score using an hybrid model, comprised of a Convolutional Neural Network, pre-trained on augmentated samples obtained using classical audio augmentation techniques, and a Dense Neural Network, pre-trained on extracted handcrafted features.The developed worked also gave some insight in some promising directions, include further exploring Data Augmentation approaches and leveraging the information from multiple spectral representation to deal with the low amount of samples available in current state of the art datasets.