Échantillonnage adaptatif optimal dans les champs de Markov, application à l’échantillonnage d’une espèce adventice
Résumé
This work is divided into two parts: (i) the theoretical study of the problem of adaptive sampling in Markov Random Fields (MRF) and (ii) the modeling of the problem of weed sampling in a crop field and the design of adaptive sampling strategies for this problem. For the first point, we first modeled the problem of finding an optimal sampling strategy as a finite horizon Markov Decision Process (MDP). Then, we proposed a generic algorithm for computing an approximate solution to any finite horizon MDP with known model. This algorithm, called Least-Squared Dynamic Programming (LSDP), combines the concepts of dynamic programming and reinforcement learning. It was then adapted to compute adaptive sampling strategies for any type of MRF distributions and observations costs. An experimental evaluation of this algorithm was performed on simulated problems. For the second point, we first modeled the weed spatial repartition in the MRF framework. Second, we have built a cost model adapted to the weed sampling problem. Finally, both models were used together to design adaptive sampling strategies with the LSDP algorithm. Based on real world data, these strategies were compared to a simple heuristic and to static sampling strategies classically used for weed sampling
Ce travail de thèse propose deux contributions: (i) la formalisation et la résolution approchée du problème d'échantillonnage adaptatif optimal dans les champs de Markov et (ii) la modélisation du problème d’échantillonnage d’une espèce adventice au sein d’une parcelle cultivée et la conception de stratégies d’échantillonnage adaptatives de cette espèce. Pour le premier point, nous avons d’abord formulé le problème du choix d’une stratégie d’échantillonnage adaptative optimale comme un Processus Décisionnel de Markov (PDM) à horizon fini. Nous avons ensuite proposé un algorithme de résolution approchée de tout PDM à horizon fini dont le modèle est connu. Cet algorithme, nommé Least Square Dynamic Programming (LSDP), combine les concepts de programmation dynamique et d’apprentissage par renforcement. Il a ensuite été adapté pour la conception de stratégies d’échantillonnage adaptatives pour tout type de champ de Markov et tout type de coût d’observation. En pratique, l'algorithme LSDP permet une résolution approchée de problèmes d'échantillonnage de plus grande taille qu'avec la plupart des algorithmes classiques d’apprentissage par renforcement. Pour le deuxième point, nous avons d’abord modélisé la répartition spatiale d’une espèce adventice à l’aide des champs de Markov. Un modèle de coût d’échantillonnage d’une espèce adventice a également été proposé. Ces deux modèles ont ensuite été utilisés pour concevoir de nouvelles stratégies d’échantillonnage adaptatives d’une espèce. Une étude sur données réelles a démontré la supériorité des stratégies adaptatives sur des stratégies statiques, classiquement utilisées en échantillonnage adventice