Modélisation de l’adversaire dans un domaine de négociation multi issus non linéaire

Abstract

La négociation est un processus de communication et de prise de décision qui vise à résoudre des divergences d'intérêts entre différentes parties impliquées. Dans ce travail, nous étudions les mécanismes de négociation bilatérale multi-issues dans un domaine non linéaire dans le but d'atteindre une solution de compromis satisfaisante l'objectif est de développer une approche qui permet de modéliser l'adversaire en se basant sur les négociations précédentes. Dans cette étude, nous concevons un agent utilisant l'apprentissage par renforcement et mis en œuvre avec l'algorithme Q-learning pour anticiper les intentions d'autres agents et les actions futures envisageables. Notre objectif est de maximiser le rôle de notre agent en prenant des décisions concernant la sélection de la meilleure offre parmi plusieurs offres multi-issues non linéaires, en tenant compte des stratégies d'acceptation/refus, de concessions et de proposition. Nous démontrons que notre agent est capable d'apprendre dans un environnement multi-issue non linéaire et d'obtenir une meilleure valeur d'utilité que les autres agents disponibles dans la plateforme de simulation des négociations automatiques appelée GENIUS. Negotiation is a communication and decision-making process that aims to resolve conflicting interests between different parties involved. In this work, we study the mechanisms of bilateral multi-issue negotiation in a nonlinear domain with the aim of reaching a satisfactory compromise solution. The objective is to develop an approach which makes it possible to model the adversary based on the previous negotiations. In this study, we design an agent using reinforcement learning and implemented with the Q learning algorithm to anticipate the intentions of other agents and possible future actions. Our goal is to maximize the role of our agent in making decisions regarding the selection of the best offer among several non-linear multi-issue offers, taking into account accept/decline, concessions and proposal strategies. We demonstrate that our agent is able to learn in a nonlinear multi-issue environment and to obtain a better utility value than the other agents available in the automatic trading simulation platform called GENIUS. التفاوض هو عملية تواصل واتخاذ قرار تهدف إلى حل المصالح المتضاربة بين الأطراف المختلفة المشاركة. في هذا العمل، ندرس آليات التفاوض الثنائي متعدد القضايا في مجال غير خطي بهدف الوصول إلى حل تسوية مرضٍ. الهدف هو تطوير نهج يجعل من الممكن نمذجة الطرف المقابل بناءً على المفاوضات السابقة. في هذه الدراسة، نصمم وكيلاً باستخدام التعلم التعزيزي وتطبيقه بخوارزمية Q لتوقع نوايا الوكلاء الآخرين والإجراءات المستقبلية المحتملة. هدفنا هو تعظيم دور وكيلنا في اتخاذ القرارات المتعلقة باختيار أفضل عرض من بين عدة عروض غير خطية متعددة القضايا، مع مراعاة القبول/الرفض، والتنازلات واستراتيجيات المقترحات. نحن نثبت أن وكيلنا قادر على التعلم في بيئة غير خطية متعددة القضايا والحصول على قيمة منفعة أفضل من الوكلاء الآخرين المتاحين في النظام الآلي.