Les problèmes de décision posés par l'optimisation stochastique en horizon fini en l'absence de modèle peuvent être traités par des méthodes adaptives. Différents algorithmes d'apprentissage par renforcement ont été proposés, tels le Q-Learning ou le R-Learning, mais ils sont définis pour des problèmes à horizon infini. On propose ici une modélisation en horizon fini avec une comparaison de deux algorithmes de type Q-Learning et R-Learning. On montre tout d'abord dans le cas fini l'équivalence des différents critères d'optimalité associés, puis, comme en horizon infini, une étude expérimentale permet de conclure à la supériorité des méthodes de type R-Learning.