Aggregation properties of relative impact and other classical indicators: Convexity issues and the Yule-Simpson paradox
Les propriétés d'agrégation des impacts relatifs et autres indicateurs classiques : questions de convexité et le paradoxe de Yule-Simpson
Résumé
Among classical bibliometric indicators, direct and relative impact measures for countries or other players in science are appealing and standard. Yet, as shown in this article, they may exhibit undesirable statistical properties, or at least ones that pose questions of interpretation in evaluation and benchmarking contexts. In this article, we address two such properties namely sensitivity to the Yule-Simpson effect, and a problem related to convexity. The Yule-Simpson effect can occur for direct impacts and, in a variant form, for relative impact, causing an apparent incoherence between field values and the aggregate (all-fields) value. For relative impacts, it may result in a severe form of 'out-range' of aggregate values, where a player's relative impact shifts from 'good' to 'bad', or conversely. Out-range and lack of convexity in general are typical of relative impact indicators. Using empirical data, we suggest that, for relative impact measures, 'out-range' due to lack of convexity is not exceptional. The Yule-Simpson effect is less frequent, and especially occurs for small players with particular specialisation profiles.
Dans les indicateurs bibliométriques classiques, les mesures d'impact direct et relatif, pour les pays ou autres acteurs scientifiques, figurent parmi les standards. Cependant, comme le montre cet article, ces mesures peuvent présenter des caractéristiques statistiques non désirées ou posant des problèmes d'interprétation dans des contextes d'évaluation et de positionnement comparatif. Cet article traite de deux de ces points, la sensibilité à l'effet Yule-Simpson, et un problème lié à la convexité. L'effet Yule-Simpson peut se manifester pour les impacts directs, et dans une variante, pour les impacts relatifs. Il en résulte une incohérence apparente entre les valeurs par champ et les valeurs agrégées "toutes sciences". Pour les impacts relatifs la déviation hors-intervalle des valeurs agrégées "toutes sciences" peut être sévère, avec des impacts relatifs passant d'au dessus de la moyenne à en dessous, ou inversement. Les déviations et plus généralement le manque de convexité sont typiques des indicateurs d'impact relatif. Les tests sur données empiriques suggèrent que ces phénomènes ne sont pas exceptionnels. L'effet Yule-Simpson est moins fréquent, et se rencontre surtout pour les petits acteurs avec des profils de spécialisation particuliers.