Recurrent Neural Networks and Reinforcement Learning: Dynamic Approaches - Laboratoire de recherche en informatique. Équipe: Apprentissage et optimisation Access content directly
Theses Year : 2019

Recurrent Neural Networks and Reinforcement Learning: Dynamic Approaches

Réseaux Récurrents et Apprentissage par Renforcement: Approches Dynamiques

Abstract

An intelligent agent immerged in its environment must be able to both understand and interact with the world. Understanding the environment requires processing sequences of sensorial inputs. Interacting with the environment typically involves issuing actions, and adapting those actions to strive towards a given goal, or to maximize a notion of reward. This view of a two parts agent-environment interaction motivates the two parts of this thesis: recurrent neural networks are powerful tools to make sense of complex and diverse sequences of inputs, such as those resulting from an agent-environment interaction; reinforcement learning is the field of choice to direct the behavior of an agent towards a goal. This thesis aim is to provide theoretical and practical insights in those two domains. In the field of recurrent networks, this thesis contribution is twofold: we introduce two new, theoretically grounded and scalable learning algorithms that can be used online. Besides, we advance understanding of gated recurrent networks, by examining their invariance properties. In the field of reinforcement learning, our main contribution is to provide guidelines to design time discretization robust algorithms. All these contributions are theoretically grounded, and backed up by experimental results.
D’un agent intelligent plongé dans le monde, nous attendons à la fois qu’il comprenne, et interagisse avec son environement. La compréhension du monde environnant requiert typiquement l’assimilation de séquences de stimulations sensorielles diverses. Interagir avec l’environnement requiert d’être capable d’adapter son comportement dans le but d’atteindre un objectif fixé, ou de maximiser une notion de récompense. Cette vision bipartite de l’interaction agent-environnement motive les deux parties de cette thèse : les réseaux de neurone récurrents sont des outils puissants pour traiter des signaux mul- timodaux, comme ceux résultants de l’interaction d’un agent avec son environnement, et l’apprentissage par renforcement et le domaine privilégié pour orienter le comportement d’un agent en direction d’un but. Cette thèse a pour but d’apporter des contributions théoriques et pratiques dans ces deux champs. Dans le domaine des réseaux récurrents, les contributions de cette thèse sont doubles : nous introduisons deux nouveaux algo- rithmes d’apprentissage de réseaux récurrents en ligne, théoriquement fondés, et passant à l’échelle. Par ailleurs, nous approfondissons les connaissances sur les réseaux récurrents à portes, en analysant leurs propriétés d’invariance. Dans le domaine de l’apprentissage par renforcement, notre contribution principale est de proposer une méthode pour robus- tifier les algorithmes existant par rapport à la discrétisation temporelle. Toutes ces con- tributions sont motivées théoriquements, et soutenues par des éléments expérimentaux.
Fichier principal
Vignette du fichier
thesis_core.pdf (16.74 Mo) Télécharger le fichier
Origin Files produced by the author(s)
Loading...

Dates and versions

tel-02434367 , version 1 (10-01-2020)
tel-02434367 , version 2 (05-12-2023)

Identifiers

  • HAL Id : tel-02434367 , version 1

Cite

Corentin Tallec. Recurrent Neural Networks and Reinforcement Learning: Dynamic Approaches. Artificial Intelligence [cs.AI]. Université Paris-Saclay, 2019. English. ⟨NNT : 2019SACLS360⟩. ⟨tel-02434367v1⟩

Collections

GS-ENGINEERING
347 View
113 Download

Share

Gmail Mastodon Facebook X LinkedIn More