Simulation-Based Finite and Large Sample Tests in Multivariate Regressions

Abstract

In the context of multivariate linear regression (MLR) models, it is well known that commonly employed asymptotic test criteria are seriously biased towards overrejection. In this paper, we propose a general method for constructing exact tests of possibly nonlinear hypotheses on the coefficients of MLR systems. For the case of uniform linear hypotheses, we present exact distributional invariance results concerning several standard test criteria. These include Wilks' likelihood ratio (LR) criterion as well as trace and maximum root criteria. The normality assumption is not necessary for most of the results to hold. Implications for inference are two-fold. First, invariance to nuisance parameters entails that the technique of Monte Carlo tests can be applied on all these statistics to obtain exact tests of uniform linear hypotheses. Second, the invariance property of the latter statistic is exploited to derive general nuisance-parameter-free bounds on the distribution of the LR statistic for arbitrary hypotheses. Even though it may be difficult to compute these bounds analytically, they can easily be simulated, hence yielding exact bounds Monte Carlo tests. Illustrative simulation experiments show that the bounds are sufficiently tight to provide conclusive results with a high probability. Our findings illustrate the value of the bounds as a tool to be used in conjunction with more traditional simulation-based test methods (e.g., the parametric bootstrap) which may be applied when the bounds are not conclusive.

Dans le contexte des modèles de régression multivariés (MLR), il est bien connu que les tests asymptotiques usuels tendent à rejeter trop souvent les hypothèses considérées. Dans cet article, nous proposons une méthode générale qui permet de construire des tests exacts pour des hypothèses possiblement non linéaires sur les coefficients de tels modèles. Pour le cas des hypothèses uniformes linéaires, nous présentons des résultats sur la distribution exacte de plusieurs statistiques de test usuelles. Ces dernières incluent le critère du quotient de vraisemblance (Wilks), de même que les critères de la trace et de la racine maximale. L'hypothèse de normalité des erreurs n'est pas requise pour la plupart des résultats présentés. Ceux-ci ont deux types de conséquences pour l'inférence statistique. Premièrement, l'invariance par rapport aux paramètres de nuisance signifie que l'on peut appliquer la technique des tests de Monte Carlo afin de construire des tests exacts pour les hypothèses uniformes linéaires. Deuxièmement, nous montrons comment exploiter cette propriété afin d'obtenir des bornes sans paramètres de nuisance sur la distribution des statistiques de quotient de vraisemblance pour des hypothèses générales. Même si les bornes ne sont pas faciles à calculer par des moyens analytiques, on peut les simuler aisément et ainsi effectuer des tests de Monte Carlo à bornes. Nous présentons une expérience de simulation qui montre que ces bornes sont suffisamment serrées pour fournir des résultats concluants avec une forte probabilité. Nos résultats démontre la valeur de ces bornes comme instrument à utiliser conjointement avec des méthodes d'inférence simulée plus traditionnelles (telles que le bootstrap paramétrique) que l'on peut appliquer lorsque le test à bornes n'est pas concluant.