L’analyse des émotions multimodale

Abstract

L’être humain reflète constamment ces sentiments et ces émotions, qui sont des composantes cruciales de l’existence. afin d’effectuer le calcul émotionnel dans le but de reconnaître les émotions et d’analyser les sentiments, certains faits qui peuvent être appelés données émotionnelles sont nécessaires pour analyser ces émotions et sentiments. nous appelons ces types de données des modalités. Il peut s’agir de la parole, du texte ou des expressions faciales. Ce projet a pour but d'implémenter plusieurs modèles de reconnaissance d'émotions et d'analyse de sentiments et de comparer entre les différents résultats obtenus, et ensuite faire une fusion entre ces deux approches que l'on appelle la fusion multimodale afin d'essayer d'améliorer ces derniers tout en utilisant les principes fondamentaux du Deep Learning implémentés avec le langage python. Concernant la reconnaissance des émotions, nous avons choisis les architectures The human being constantly reflects these feelings and emotions, which are crucial components of existence in order to perform the emotional calculation in order to recognize emotions and analyze feelings, some facts that can be called emotional data are needed to analyze these emotions and feelings.we call these types of modality data. It can be speech, text or facial expressions. This project aims to implement several models of recognition of emotions and analysis of feelings and to compare between the different results obtained, and as a result to achieve a fusion between these two approaches that we call multimodal fusion in order to try to improve these while using the fundamental principles of Deep Learning implemented with the python language. Regarding the recognition of emotions, we have choose the CNN architectures and concerning the analysis of feelings in the text we chose the CNN and LSTM architecture. الإنسان يعكس باستمرار هذه المشاعر والعواطف، التي تعتبر مكونات أساسية للوجود من أجل إجراء الحساب العاطفي للتعرف على المشاعر وتحليل الأحاسيس. هناك بعض الحقائق التي يمكن تسميتها بيانات عاطفية مطلوبة لتحليل هذه المشاعر والأحاسيس. نحن نسمي هذا النوع من البيانات بالبيانات المتعددة الوسائط. يمكن أن تكون كلامًا، نصًا أو تعبيرات وجهية.

يهدف هذا المشروع إلى تنفيذ عدة نماذج للتعرف على المشاعر وتحليل الأحاسيس والمقارنة بين النتائج المختلفة التي تم الحصول عليها، ونتيجة لذلك تحقيق دمج بين هذين النهجين الذي نسميه الدمج متعدد الوسائط من أجل محاولة تحسينهما باستخدام المبادئ الأساسية للتعلم العميق المطبق بلغة بايثون.

فيما يتعلق بالتعرف على المشاعر، اخترنا هياكل الشبكات العصبية التلافيفية (CNN)، وبالنسبة لتحليل الأحاسيس في النص اخترنا هياكل CNN وLSTM. CNN et concernant l’analyse des sentiments dans le texte nous avons choisis l’architecture CNN et LSTM