Présentation

webTV

Lecture

Création de la chaire "Futurs de l'industrie et du travail"

Lecture

"Formes atypiques de travail et d'emploi : Liberté ou précarité ?", le débrief

Lecture

Les entreprises à mission

Lecture

La Théorie C-K à l'école

Lecture

Pourquoi se lancer dans l'aventure entrepreneuriale

+ TOUS

L'agenda du CERNA

Retrouvez tous les événements passés ou à venir

Le 13 décembre 2021

Soutenance de thèse de Eva ARTUSI

Apprentissage par renforcement profond dans une architecture cognitive pour l'aide à la conduite de missions navales

Résumé de la thèse en français

Cette thèse CIFRE est réalisée dans le cadre d'une collaboration entre le Centre de recherche sur les Risques et les Crises de MINES ParisTech et NAVAL GROUP Research. Elle a pour objectif de formaliser un système d'aide à la décision pour la conduite de missions navales militaires au niveau tactique. Contexte et problématiques La conduite de missions tactiques de la Marine Nationale nécessite d'intégrer simultanément un bon nombre d'informations relatives au navire et à l'environnement dans lequel il évolue. L'organe de commandement d'un navire analyse ces informations afin de prendre les décisions adaptées à la situation pour mener à bien la mission. De manière générale, en fonction de sa position, de son état, de son environnement, de ses objectifs, le Commandant du navire évalue en temps réel le succès de la mission à l'aide d'indicateurs construits, choisis et calculés par l'humain muni de son discernement et de son expertise. Cependant, les capacités humaines soumises à leurs propres limites ne sont plus suffisantes pour appliquer de manière adéquate et rapide les méthodologies mises à leur disposition dans un environnement incertain et contraint par le temps. Les décideurs sont donc confrontés aujourd'hui en mission à des situations incertaines dans lesquelles ils manquent de temps et de ressources. Pour faire face à cette situation, la conception et le développement d'un système d'aide à la décision permettrait grâce à la combinaison des sciences cognitives et de la puissance de calcul des moyens informatiques modernes de réduire les temps (1) d'analyse de la situation et (2) de sélection d'une action appropriée à la situation. Les travaux de thèse se fondent sur une méthode de prise de décision issue du Natural Decision Making appelée Recognition Primed Decision (RPD), utilisée pour la prise de décision dans l'urgence. Le RPD, modélisant un processus de décision rapide face à des situations complexes, permet au décideur de s'adapter et d'agir dans des situations changeantes, en choisissant rapidement un plan d'actions satisfaisant et d'ainsi diminuer le temps de prise de décision et les ressources humaines nécessaires. Cependant le RPD est de plus en plus difficile à appliquer par les décideurs, car la capacité de décision humaine est souvent altérée par des biais cognitifs introduits d'une part par la « rationalité limitée » et d'autre part par la surcharge cognitive telle que la surcharge d'informations. Pour surmonter cela, des agents informatiques reproduisant le RPD ont été implémentés en tant qu'aide à la décision. Pourtant, les modèles existants modélisent souvent partiellement le RPD et ne permettent pas de s'adapter à des environnements dynamiques changeant de manière inédite. Or, lors de la conduite de missions, les confrontations à des situations inattendues ou inédites sont fréquentes. Proposition et démarche méthodologique Ma proposition est donc de formaliser un système d'aide à la décision et plus particulièrement une architecture cognitive fondée sur le RPD et capable de réagir dans un environnement dynamique avec des situations inédites. La conception de l'aide va s'inspirer de l'architecture cognitive de Kunde et al et s'appuiera sur l'apprentissage par renforcement. Ce choix a été fait car l'apprentissage par renforcement (1) modélise le fonctionnement du processus de décision humain et (2) permet à un agent informatique d'apprendre des conséquences de ses actions en interagissant avec un environnement dynamique. Après apprentissage, le système est capable de répondre de façon autonome à des situations inédites et de préconiser en tant qu'aide au commandement des actions et des décisions adaptées, de sorte que le navire atteigne le but de sa mission. La méthodologie pour la conception et le développement de ce système d'aide à la décision est divisée en trois étapes. Après le recensement de différents types de scénarios de missions navales grâce à des entretiens réalisés auprès d'officiers et d'anciens officiers de la Marine Nationale, la première étape consiste à modéliser la prise de décision à l'aide du RPD. Une préconisation de décisions est fondée sur une série d'indicateurs et de scénarios possibles proposée au Commandant. Cette préconisation est produite à l'aide d'algorithmes d'apprentissage par renforcement ayant la capacité de s'adapter aux données du navire et de son environnement en temps réel. Un prototype de l'architecture est ensuite développé, intégrant l'implémentation des algorithmes et une interface Homme-Machine adaptée au commandement. Enfin, la validation se fait à l'aide de scénarios de missions réalistes en condition simulée. Les décisions sont alors évaluées avec des individus ayant une expérience de la réalité du terrain afin de mesurer l'apport du système en conditions opérationnelles.

Résumé de la thèse en anglais

The aim of this Phd is to formalize a support decision model for the conduct of military naval missions at the tactical level. Context and Problematics Information analysis related to a ship and its environment is required in order to make the appropriate decisions during naval missions. However, human capabilities are no longer sufficient to reliably and rapidly apply methodologies at their disposal in an uncertain and time-constrained environment. Decision-makers face with uncertain situations where they lack time and resources. To deal with this situation, the design and the development of a decision support system would make it possible, thanks to the combination of cognitive sciences and the computing power of modern IT resources, to reduce the time required (1) to analyse the situation and (2) to select an appropriate action for the situation. This Phd work is based on a decision making method from Natural Decision Making (NDM) called Recognition Primed Decision (RPD), used for emergency decision making. RPD models a rapid decision-making process in complex situations and allows decision-makers to adapt and act in changing situations, by quickly choosing a satisfactory course of actions and thus reducing the decision-making time and human resources required. However, RPD is more and more difficult to apply by decision-makers, because human decision-making capabilities are often impaired by cognitive biases introduced on the one hand by "bounded rationality" and on the other hand by cognitive overload such as information overload. To overcome this, computer agents reproducing the RPD have been implemented as a decision aid. However, existing models often only partially model the RPD and are not able to adapt to dynamic environments and during the conduct of naval missions, confrontations with unexpected situations are frequent. Proposal and methodology My proposal is therefore to formalize a decision support system and more specifically a cognitive architecture based on RPD and capable of reacting in a dynamic environment with novel situations. The design of the aid will be inspired by the cognitive architecture of Kunde et al and will be based on reinforcement learning. This choice was made because reinforcement learning (1) models the functioning of the human decision process and (2) allows a computer agent to learn the consequences of its actions by interacting with a dynamic environment. After learning, the system is able to respond autonomously to novel situations and to recommend appropriate actions and decisions as an aid to command. The methodology for the design and the development of this decision support system is divided into three steps. After identifying different types of naval mission scenarios through interviews with current and former officers of the French Navy, the first step is to model decision making with the RPD. A decision recommendation is based on a series of indicators and possible scenarios proposed to the Commander. This recommendation is produced using reinforcement learning algorithms with the ability to adapt to the ship's data and environment in real time. A prototype of the architecture is then developed, integrating the implementation of the algorithms and a Human Machine Interface adapted to the command. Finally, validation is carried out using realistic mission scenarios in simulated conditions. The decisions are then evaluated with individuals who have experience of the reality of the field in order to measure the contribution of the system in operational conditions.

Titre anglais : Deep reinforcement learning in a cognitive architecture for naval mission support
Date de soutenance : lundi 13 décembre 2021 à h00
Adresse de soutenance : CRC- MinesParistech, Rue Claude Daunesse, 06560 Valbonne - IR014
Directeur de thèse : Aldo NAPOLI

> plus d'informations sur le site dédié Soutenance de thèse de Eva ARTUSI - Mines Paris - PSL

Voir tous les événements

Agenda du CERNA et de MINES ParisTech - Mines Paris - PSL
Partager

actualité

240 ans de recherche et de formation

Ecole 240 ans de recherche et de formation Vidéo : 240ans de recherche…
> En savoir +

Les politiques publiques doivent-elles sauver des vies ou des années de vie en plus ?

Formation Les politiques publiques doivent-elles sauver des… Photo de Andre Taissin sur Unsplash François…
> En savoir +

Mines Paris plébiscitée par ses étudiantes

Formation Mines Paris plébiscitée par ses étudiantes Mines Paris - PSL, une école qui répond…
> En savoir +

Non, les billets pour les JO 2024 ne sont pas un privilège de riche

Formation Non, les billets pour les JO 2024 ne sont pas un…     Seul 0,5 % des billets coûtent plus…
> En savoir +

Femmes de science

Formation Femmes de science Chercheuses confirmées, doctorantes, élèves ou alumni,…
> En savoir +

+ Toutes les actualités

Plan du site
Mentions légales efil.fr © 2014 Mines Paris - PSL