The spontaneous theoreticians: How evaluators build and revise their knowledge of programs through experience
Les théoriciens spontanés : comment les évaluateurs construisent et révisent leurs connaissances des programmes par l'expérience
Résumé
What exactly do evaluators learn about programs through experience and how? We chose a constructivist framework to investigate the structure of evaluators’ program-related knowledge, namely the form, content, and origins of their expressed theories. In this context, we complemented a Piagetian theory of learning with new developments offered by “probabilistic” (or “Bayesian”) models of learning. We conducted “explicitation” interviews with nine experienced practitioners, some specializing in the education or agri-environment sectors and some generalists. After examining the form and content of their program-related knowledge, we examine its development through experience but also through contact with researchers and readings. In conclusion, we discuss our study’s strengths and limitations, as well as the implications of our results for evaluation training and teaching.
Qu'est-ce que les évaluateurs apprennent par l'expérience de l'évaluation de politiques publiques ? Nous avons choisi un cadre constructiviste pour étudier la structure des connaissances des évaluateurs liées au programme, à savoir la forme, le contenu et les origines des théories qu'ils mobilisent. Dans ce contexte, nous avons mobilisé l'approche Piagétienne de l'apprentissage avec de nouveaux développements offerts par les modèles « probabiliste » (ou « bayésien »). Nous avons mené des entretiens « d'explicitation » auprès de neuf praticiens expérimentés généralistes ou spécialisés dans les secteurs de l'éducation ou de l'agroenvironnement. Après avoir examiner la forme et le contenu des connaissances liées aux programmes évalués, nous avons étudié leur développement par la pratique de l'évaluation mais aussi par le contact avec les chercheurs. En conclusion,
nous discutons des forces et des limites de notre étude, ainsi que des implications de nos résultats pour la formation des évaluateurs.