Konuşma bilgisi ve makine öğrenmesi kullanılarak duygu analizi

Abstract

Bu tez çalışmasında, insanların konuşurken çıkardığı seslerdeki duygu durumu ve sese ait spektral özellikler makine öğrenmesi kullanılarak işlenmeye çalışılmıştır. Duyguyu barındıran sesli içerik günlük konuşmalar, videolar, müzik, film, dizi içerikleri gibi birçok farklı kaynaktan elde edilebilir. Duygunun tespit edildiği sistemin ne kadar sürede duygu çıkarımı yaptığı, bu tarz bir sistemin oluşturulması aşaması, özelliklerin sesten elde edilmesi için harcanan süre ve sistem gereksinimlerinin minimum düzeye indirilmesi önemli bir çalışma alanıdır. Bu tez çalışmasında daha önce konuşmadan duygu çıkarımı çalışmalarında bir arada kullanılmayan spektral özellikler girdi duyarlılık analizi yapılarak bir arada kullanılmıştır. Makine öğrenmesi sistemlerinin yüksek başarımla çalışabilmesi için kullanılan özellik sayısının az olması önemli bir faktördür. Bu nedenle bu çalışmada duygu çıkarımının az özellik kullanılarak yapılması üzerinde durulmuştur. Yapılan çalışmada sese ait spektral özellikler olan Melspectrogram, Mel Frekans Kepstral Katsayıları, Chorma – Kısa Süreli Fourier Dönüşümü, Spektral Kontrast ve Tonnetz özellikleri, makine öğrenmesi tekniği olan yapay sinir ağları ve destek vektör makineleri yöntemleri ile birlikte kullanılarak elde edilen en iyi sonuçlar paylaşılmıştır. Konuşmadan duygu çıkarımı çalışmalarında bu özelliklerin kullanılmasına katkı sağlanmaya çalışılmıştır.

In this thesis, it is aimed to obtain the sentiment in the speeches that people make while talking by using the spectral features and machine learning. Emotional audio content can be obtained from many different sources such as daily speeches, videos, music, movies, series content. Issues like how long it takes for the emotion extraction system to detect the emotion, how long the emotion extraction takes place, the process of creating such a system, the time taken to obtain the features from the sound and minimizing the system requirements, are an important work area. In this thesis, spectral features, which were not used together in previous speech extraction studies were used together by performing input sensitivity analysis. The low number of features used for machine learning systems is an important factor for high performance. Therefore, in this study, it is emphasized that emotion extraction is done by using few features. In this study, spectral properties of speech such as Melspectrogram, Mel Frequency Cepstral Coefficients, Chorma - Short Term Fourier Transform, Spectral Contrast and Tonnetz properties are used together with machine learning methods such as Artificial Neural Networks and Support Vector Machines and best results were shared. It has been tried to contribute to the usage of these features in the studies of sentiment extraction from speech.