How significant are quadratic criteria? Part 1. How many years are necessary to ensure the data-independence of a quadratic criterion value?
Quelle signification accorder aux critères quadratiques ? Partie 1. Combien d'années sont nécessaires pour que la valeur d'un critère quadratique soit indépendante des données ?
Résumé
Quadratic criteria are widely used to assess the performance of hydrological models. However, the statistical nature of the errors makes the interpretation of these criteria tricky. In this paper, root mean square error(RMSE) values were computed for a hydrological model over a set of 178 varied catchments on two 5-year data series: the computed RMSE values can actually reflect the content of the data series with which they are calculated as much as the intrinsic skills of the model. The error model proposed by Yang et al. (2007) is used to assess a lower bound of the RMSE confidence interval width, depending on the length of the data series used for the assessment. Our analysis indicates that the data series would have to be longer than several decades to ensure that computed RMSEs are close to their statistical expectation. The practical consequences of this result are raised and discussed.
Les critères quadratiques (c'est-à-dire basés sur les carrés des résidus du modèle) sont largement utilisés pour évaluer les performances des modèles hydrologiques. Cependant, la nature statistique des erreurs rend l'interprétation de ces critères délicate. Dans cet article, les valeurs de la racine de l'erreur quadratique moyenne (RMSE) sont calculées pour un modèle hydrologique sur un échantillon de 178 bassins versants variés avec des séries de 5 ans : les valeurs calculées de RMSE peuvent en fait refléter le contenu de la série de données avec lesquelles elles ont été calculées autant que les qualités intrinsèques du modèle. Le modèle d'erreur proposé par Yang et al. (2007) est utilisé pour évaluer la limite inférieure de la largeur de l'intervalle de confiance de RMSE, en fonction de la longueur de la série utilisée pour l'évaluation. Notre analyse indique que la série de données devrait être plus longue que plusieurs décennies pour s'assurer que les RMSE calculées sont proches de leur espérance statistique. Les conséquences pratiques de ce résultat sont soulevées et discutées.