Regularized Jackknife estimation with many instruments

Abstract

Dans cette thèse, je me suis intéressé aux modèles à variables instrumentales (VI) où les instruments sont nombreux et potentiellement faibles. La théorie asymptotique n’étant pas toujours une bonne approximation de la distribution d’échantillonnage des estimateurs et statistiques de tests, je considère la régularisation et la méthode Jackknife pour améliorer la précision des estimateurs. Dans le premier chapitre (co-écrit avec Marine Carrasco), nous étudions l’estimation efficace d’un paramètre de dimension finie dans un modèle linéaire où le nombre d’instruments peut être très grand. Cependant, en échantillons finis, l’utilisation d’un grand nombre de conditions de moments accroit le biais des estimateurs VI. Cette situation pourrait s’aggraver en présence d’instruments faibles. Nous proposons une version régularisée de l’estimateur Jackknife (RJIVE) basée sur trois méthodes de régularisations différentes, Tikhonov, Landweber Fridman et composantes principales, qui réduisent le biais. Nous montrons par la suite que les estimateurs RJIVE sont convergents et asymptotiquement normaux. Ces méthodes font chacune intervenir un paramètre d’ajustement, qui doit être sélectionné. Nous dérivons une méthode basée uniquement sur les données pour sélectionner le paramètre de régularisation, i.e. minimiser la perte espérée d’utilité. Des simulations Monte Carlo montrent que nos estimateurs proposés se comportent mieux en comparaison avec l’estimateur Jackknife sans régularisation. Dans le deuxième chapitre (co-écrit avec Marine Carrasco), nous proposons une version modifiée du test de suridentification dans un contexte où le nombre d’instruments peut être très grand. Notre test d’hypothèse combine deux techniques: la méthode de Jackknife et la technique de Tikhonov. Nous montrons théoriquement que ledit test atteint asymptotiquement le seuil de probabilité en dessous duquel on est prêt à rejeter l’hypothèse nulle. Les simulations montrent la dominance de notre test par rapport à d’autres J tests existants dans la littérature en terme de niveau et de puissance du test. Dans le dernier chapitre, je propose un nouveau estimateur basé sur la version Jackknife de l’estimateur du maximum de vraisemblance à information limitée régularisé (JLIML) dans un environnement riche en données où le nombre d’instruments (possiblement faibles) peut être aussi très grand. Je montre que l’estimateur JLIML régularisé est convergent et asymptotiquement normal. Les propriétés des estimateurs proposés sont évaluées à travers une étude Monte-Carlo, et une illustration empirique portant sur l’élasticité de substitution inter-temporelle.

In this thesis, I have been interested in the instrumental variables (IV) models with many instruments and possibly, many weak instruments. Since the asymptotic theory is often not a good approximation to the sampling distribution of estimators and test statistics, I consider the Jackknife and regularization methods to improve the precision of IV models. In the first chapter (co-authored with Marine Carrasco), we consider instrumental variables (IV) regression in a setting where the number of instruments is large. However, in finite samples, the inclusion of an excessive number of moments may increase the bias of IV estimators. Such a situation can arise in presence of many possibly weak instruments. We propose a Jackknife instrumental variables estimator (RJIVE) combined with regularization techniques based on Tikhonov, Principal Components and Landweber Fridman methods to stabilize the projection matrix. We prove that the RJIVE is consistent and asymptotically normally distributed. We derive the rate of the mean square error and propose a data-driven method for selecting the tuning parameter. Simulation results demonstrate that our proposed estimators perform well relative to the Jackknife estimator with no regularization. In the second chapter (co-authored with Marine Carrasco), we propose a new overidentifying restrictions test in a linear model when the number of instruments (possibly weak) may be smaller or larger than the sample size or even infinite in a heteroskedastic framework. The proposed J test combines two techniques: the Jackknife method and the Tikhonov technique. We theoretically show that our new test achieves the asymptotically correct size in the presence of many instruments. The simulations show that our modified J statistic test has better empirical properties in small samples than existing J tests in terms of the empirical size and the power of the test. In the last chapter, I consider instrumental variables regression in a setting where the number of instruments is large. However, in finite samples, the inclusion of an excessive number of moments may be harmful. We propose a Jackknife Limited Information Maximum Likelihood (JLIML) based on three different regularizations methods: Tikhonov, Landweber-Fridman, and Principal Components. We show that our proposed regularized Jackknife estimators JLIML are consistent and asymptotically normally distributed under heteroskedastic error. Finally, the proposed estimators are assessed through Monte Carlo study and illustrated using the elasticity of intertemporal substitution empirical example.