Estimating Fisher Information Matrix in Latent Variable Models - Archive ouverte HAL Access content directly
Reports (Technical Report) Year : 2017

Estimating Fisher Information Matrix in Latent Variable Models

(1) , (1)
1

Abstract

The Fisher information matrix (FIM) plays a key role in statistics. It is crucial in practice not only for evaluating the precision of parameter estimations, but also for example in statistical testing, for experimental designs or in post model selection inference. In latent variable models, the evaluation of the FIM is non-elementary due to the presence of unobserved variables. Therefore the observed FIM is usually considered. When it can not be evaluated analytically, several methods have been proposed to estimate it. Among the most frequently used approaches are Monte-Carlo methods or iterative algorithms derived from the missing information principle. These methods however focus on the moment estimate of minus the expectation of the Hessian matrix of the log-likelihood. Therefore they require to compute second derivatives of the log-likelihood which is not always possible and has some disadvantages from a computational point of view. In this work we consider the estimate of the FIM equal to the moment estimate of the covariance matrix of the score. It only requires to compute first derivatives of the log-likelihood. We derive a stochastic approximation algorithm for computing this estimator when its expression is not explicit. We study the asymptotic properties of the proposed estimator and of the corresponding stochastic approximation algorithm. Some numerical experiments are performed in mixed-effects models and mixture models to illustrate the finite sample size properties of the estimators and of the algorithm. We also fit a pharmacokinetic real dataset of Theophylline using a nonlinear mixed effects model and evaluate both FIM estimates.
La matrice d'information de Fisher joue un rôle fondamental en statistique. Elle est utile en pratique par exemple pour évaluer la précision des estimateurs, mais aussi pour certaines procédures de tests statistiques, pour la construction de designs expérimentaux et pour l'inférence post sélection de modèles. Dans les modèles à variables latentes, le calcul de l'information de Fisher est souvent difficile du fait de la présence de variables non observées. De fait, on évalue généralement la matrice d'information de Fisher observée. Lorsqu'il n'est pas possible de la calculer analytiquement, plusieurs méthodes ont été proposées pour l'approximer. Parmi les plus usuelles, on compte les méthodes de Monte Carlo et les algorithmes itératifs basés sur le "missing information principle". Cependant ces méthodes se fondent en général sur l'estimateur des moments de la matrice d'information de Fisher construit à partir de l'opposé de l'espérance de la Hessienne de la log-vraisemblance observée. Ainsi il est nécessaire de calculer les dérivées secondes de la log-vraisemblance, ce qui n'est pas toujours possible et peut être limitant d'un point de vue computationnel. Dans ce travail, nous considérons l'estimateur des moments construit à partir de la matrice de covariance du score. Celui-ci ne requiert que le calcul des dérivées premières de la log-vraisemblance. Nous proposons un algorithme d'approximation stochastique pour l'approcher numériquement lorsqu'il n'admet pas de forme explicite. Nous étudions ses propriétés asymptotiques, ainsi que celles de l'algorithme stochastique. Des simulations numériques réalisées dans un modèle à effets mixtes et dans un modèle de mélange illustrent ces propriétés à distance finie. Nous ajustons également un jeu de données réelles de pharmacocinétique de la Théophylline par un modèle non linéaire à effets mixtes et estimons la matrice d'information de Fisher correspondante.
Not file

Dates and versions

hal-02790629 , version 1 (05-06-2020)

Identifiers

  • HAL Id : hal-02790629 , version 1
  • PRODINRA : 410321

Cite

Estelle Kuhn, Maud Delattre. Estimating Fisher Information Matrix in Latent Variable Models. [Technical Report] 2017. ⟨hal-02790629⟩
25 View
0 Download

Share

Gmail Facebook Twitter LinkedIn More