Please use this identifier to cite or link to this item:
https://hdl.handle.net/10316/31955
Title: | Emotion-based Analysis and Classification of Music Lyrics | Authors: | Malheiro, Ricardo Manuel da Silva | Orientador: | Paiva, Rui Pedro Pinto de Carvalho Gomes, Paulo Jorge de Sousa |
Keywords: | Music Emotion Recognition; Natural Language Processing; Lyrics Music Emotion Variation Detection; Lyrics Music Emotion Recognition; Reconhecimento de Emoções em Música; Processamento de Linguagem Natural; Deteção de variação de Emoções ao longo de Letras de Música; Reconhecimento de Emoções em Letras de Música | Issue Date: | 27-Apr-2017 | Citation: | MALHEIRO, Ricardo Manuel da Silva - Emotion-based analysis and classification of music lyrics. Coimbra : [s.n.], 2017. Tese de doutoramento. Disponível na WWW: http://hdl.handle.net/ 10316/31955 | Abstract: | O reconhecimento de emoções a partir da música (Music Emotion Recognition – MER) está a ser
alvo de uma atenção cada vez mais significativa por parte da comunidade científica que se dedica à
Recuperação de Informação Musical (Music Information Retrieval). De facto, a pesquisa de música
através de emoções é um dos tipos de pesquisa mais efetuados hoje em dia pelos utilizadores. Bases
de dados musicais de sites como o AllMusic ou o Last.fm crescem grandemente todos os dias, o que
requer uma enorme quantidade de trabalho para as manter atualizadas no que concerne ao processo
de catalogação. Infelizmente, a anotação manual de música com etiquetas emocionais é normalmente
um processo muito subjetivo e moroso. Isto pode ser ultrapassado com a utilização de sistemas de
reconhecimento automático. Além de classificação automática de música, o MER tem várias outras
aplicações como recomendação de música, geração automática de playlists, desenvolvimento de
jogos, cinema, publicidade e saúde. Muitos dos primeiros sistemas automáticos de MER eram
baseados apenas na análise do áudio. Estudos mais recentes passaram a combinar as duas dimensões
(áudio e letra da música) conduzindo a análises bi-modais que melhoraram a eficácia dos sistemas
MER.
Esta investigação foca-se em primeiro lugar no papel das letras musicais no processo de MER.
A extração de características (feature extraction) é uma das etapas mais importantes no processo de
MER a partir das letras. A nossa abordagem é baseada em aprendizagem e utiliza grande parte das
características utilizadas no estado de arte complementadas por novas características estilísticas,
estruturais e semânticas propostas por nós. Para avaliar a nossa abordagem, criámos um corpus
contendo 180 letras de música anotadas de acordo com o modelo emocional de Russell. Realizámos
quatro tipos de experimentos: regressão e classificação por quadrantes de emoções, por grau de
valência (valence) e por grau de ativação (arousal). Para validar, criámos um corpus de validação
composto por 771 letras de música anotadas através do mesmo modelo de Russell.
Para estudar a relação entre características das letras e as emoções (quadrantes), realizámos
experimentos para identificar as melhores características que permitem descrever e discriminar cada
quadrante. Conduzimos ainda experimentos para identificar regras interpretáveis que mostrem a
relação entre características e emoções e entre características entre si.
Esta investigação foca-se ainda no papel das letras em contexto de deteção de variação de
emoções na música. Para tal, criámos um sistema para detetar a emoção predominante transmitida
por cada frase ou verso da letra. O sistema utiliza o mesmo modelo emocional de Russell com quatro
conjuntos de emoções (quadrantes). Para detetar a emoção predominante em cada verso, propusemos
uma abordagem baseada em palavras-chave, que tem como entrada uma frase (ou verso) e como saída
a emoção (quadrante) correspondente. Para otimizar os parâmetros do sistema, criámos um corpus de
treino constituído por 129 frases tiradas de 68 letras de música. Para o validar, criámos outro corpus
com 239 frases tiradas de 44 letras.
No final, medimos a eficácia das características das letras num contexto de análise bimodal
(áudio e letra). Utilizámos grande parte das características de letras e áudio presentes no estado de
arte, assim como as novas características propostas por nós. Music emotion recognition (MER) is gaining significant attention in the Music Information Retrieval (MIR) scientific community. In fact, the search of music through emotions is one of the main criteria utilized by users. Real-world music databases from sites like AllMusic or Last.fm grow larger and larger on a daily basis, which requires a tremendous amount of manual work for keeping them updated. Unfortunately, manually annotating music with emotion tags is normally a subjective process and an expensive and time-consuming task. This should be overcome with the use of automatic systems. Besides automatic music classification, MER has several applications related to emotion-based retrieval tools such as music recommendation or automatic playlist generation. MER is also used in areas such as game development, cinema, advertising and health. Most of early-stage automatic MER systems were based on audio content analysis. Later on, researchers started combining audio and lyrics, leading to bimodal MER systems with improved accuracy. This research addresses the role of lyrics in the music emotion recognition process. Feature extraction is one of the key stages of the Lyrics Music Emotion Recognition (LMER). We follow a learning-based approach using several state of the art features complemented by novel stylistic, structural and semantic features. To evaluate our approach, we created a ground truth dataset containing 180 song lyrics, according to Russell’s emotion model. We conduct four types of experiments: regression and classification by quadrant, arousal and valence categories. To validate these systems we created a validation dataset composed for 771 song lyrics. To study the relation between features and emotions (quadrants) we performed experiments to identify the best features that allow to describe and discriminate each quadrant. We also conducted experiments to identify interpretable rules that show the relation between features and emotions and the relation among features. This research addresses also the role of the lyrics in the context of music emotion variation detection. To accomplish this task, we create a system to detect the predominant emotion expressed by each sentence (verse) of the lyrics. The system employs Russell’s emotion model with four sets of emotions (quadrants). To detect the predominant emotion in each verse, we proposed a novel keyword-based approach, which receives a sentence (verse) and classifies it in the appropriate quadrant. To tune the system parameters, we created a 129-sentence training dataset from 68 songs. To validate our system, we created a separate ground-truth containing 239 sentences (verses) from 44 songs. Finally, we measure the efficiency of the lyric features in a context of bimodal (audio and lyrics) analysis. We used almost all the state of the art features that we are aware of for both dimensions, as well as new lyric features proposed by us. |
Description: | Tese de doutoramento em Ciências e Tecnologias da Informação, apresentada ao Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologias da Universidade de Coimbra | URI: | https://hdl.handle.net/10316/31955 | Rights: | openAccess |
Appears in Collections: | FCTUC Eng.Informática - Teses de Doutoramento |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Emotion-based Analysis and Classification of Music Lyrics.pdf | 3.32 MB | Adobe PDF | View/Open |
Page view(s) 50
642
checked on Jul 2, 2024
Download(s) 20
1,814
checked on Jul 2, 2024
Google ScholarTM
Check
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.