A consistent test of independence between random vectors

Abstract

Tester l’indépendance entre plusieurs vecteurs aléatoires est une question importante en statistique. Puisqu’il y a une infinité de manières par lesquelles une quantité aléatoire X peut dépendre d’une autre quantité aléatoire Y , ce n’est pas une question triviale, et plusieurs tests “classiques” comme Spearman [33], Wilks [40], Kendall [18] ou Puri and Sen [24] sont inefficaces pour détecter plusieurs formes de dépendance. De significatifs progrès dans ce domaine ont été réalisés récemment, par exemple dans Székely et al. [34], Gretton et al. [14] ou Heller et al. [15]. Cela dit, la majorité des tests disponibles détectent l’indépendance entre deux quantités aléatoires uniquement. L’indépendance par paires ne garantissant pas l’indépendance mutuelle, il est pertinent de développer des méthodes testant l’hypothèse d’indépendance mutuelle entre n’importe quel nombre de variables. Dans cette recherche nous proposons un test non-paramétrique et toujours convergent, applicable à un nombre quelconque de vecteurs aléatoires. Précisément, nous étendons la méthode décrite dans Heller et al. [15] de deux manières. Premièrement, nous proposons d’appliquer leur test aux rangs des observations, plutôt qu’aux observations elles-mêmes. Ensuite, nous étendons leur méthode pour qu’elle puisse tester l’indépendance entre un nombre quelconque de vecteurs. La distribution de notre statistique de test étant inconnue, nous utilisons une méthode de permutations pour calculer sa valeur-p. Des simulations sont menées pour obtenir la puissance du test, que nous comparons à celles d’autres test décrits dans Genest and Rémillard [10], Gretton et al. [14], Székely et al. [34], Beran et al. [3] et Heller et al. [15]. Nous investiguons divers exemples et dans plusieurs de ceux-ci la puissance de notre test est meilleure que celle des autres tests. En particulier, lorsque les variables aléatoires sont Cauchy notre test performe bien mieux que les autres. Pour le cas de vecteurs aléatoires strictement discrets, nous présentons une preuve que notre test est toujours convergent.

Testing for independence between random vectors is an important question in statistics. Because there is an infinite number of ways by which a random quantity X can be dependent of another random quantity Y , it is not a trivial question. It has been found that classical tests such has Spearman [33],Wilks [40], Kendall [18] or Puri and Sen [24] are ineffective to detect many forms of dependence. Recent, significant results on the topic include Székely et al. [35], Gretton et al. [14] or Heller et al. [15]. However, most of the available tests can only detect dependence between two random quantities. Because pairwise independence does not guarantee mutual independence, techniques testing the hypothesis of mutual independence between any number of random quantities are required. In this research we propose a non-parametric and universally consistent test of independence, applicable to any number of random vectors of any size. Precisely, we extend the procedure described in Heller et al. [15] in two ways. Firstly, we propose to use the ranks of the observations instead of the observations themselves. Secondly, we extend their method to test for independence between any number of random vectors. As the distribution of our test statistic is not known, a permutation method is used to compute p−values. Then, simulations are performed to obtain the power of the test. We compare the power of our new test to that of other tests, namely those in Genest and Rémillard [10], Gretton et al. [14], Székely et al. [34], Beran et al. [3] and Heller et al. [15]. Examples featuring random variables and random vectors are considered. For many examples investigated we find that our new test has similar or better power than that of the other tests. In particular, when the random variables are Cauchy, our new test outperforms the others. In the case of strictly discrete random vectors, we present a proof that our test is universally consistent.