A Uniformly Most Powerful Unbiased Test for Regression Parameters with Orthogonal Features, and Implications for Analyzing Correlated Data
In a multiple regression model where features (predictors) form an orthonormal basis, we find an uniformly most powerful unbiased (UMPU) test for one-sided testing of a coefficient of interest. We prove that this test is the same as the coefficient t-test of the feature in question, as computed by standard statistical software packages. This result suggests a strategy to increase power in single coefficient testing, by orthogonalizing features around the predictor of interest. We show in simulation studies that fitting a multiple regression based on the new set of orthogonal features shows significant power gains, increasing with the number of total features, and with the correlation among them. As such, this technique offers an attractive alternative to other methods for dealing with multicollinearity, such as ridge regression and variable selection. Finally, we illustrate the benefit of this approach on a classic dataset of the effects of air pollution on all-cause mortality.
Un test non biaisé ayant uniformément la plus grande puissance pour des paramètres de régression avec des prédicteurs orthogonaux, et ayant des implications pour l'analyse de données corrélées
Dans un modèle de régression multiple où les prédicteurs forment une base orthonormée, nous trouvons un test sans biais ayant uniformément la plus grande puissance (UMPU) pour tester unilatéralement un coefficient d'intérêt. Nous prouvons que ce test est identique au test de t du coefficient du prédicteur en question, tel qu'il est calculé par les logiciels statistiques standard. Ce résultat suggère une stratégie pour augmenter la puissance des tests à coefficient unique, en orthogonalisant les prédicteurs autour du prédicteur d'intérêt. Nous montrons dans des études de simulation que l'ajustement d'une régression multiple basée sur le nouvel ensemble de prédicteurs orthogonaux montre des gains de puissance importants, augmentant avec le nombre de prédicteurs total et avec la corrélation entre ceux-ci. Conséquemment, cette technique constitue une alternative intéressante aux autres méthodes de traitement de la multicolinéarité, telles que la régression ridge et la sélection de variables. Enfin, nous illustrons les avantages de cette approche sur un ensemble de données classiques concernant les effets de la pollution atmosphérique sur la mortalité toutes causes confondues.
Date and Time
-
Langue de la présentation orale
Anglais
Langue des supports visuels
Anglais