CHAPITRE 1 : RAPPELS SURLE MODELE LINEAIRE

• Brefs ra p p els su r les p ro p ri é t é s des est i m a t eu rs u su els (M C O , M C G ,est i m a t eu rs à v a ri a b les i n st ru m en t a les) da n s les m o dè les li n é a i res

• O n i n si st e p a rt i c u li è rem en t su r l’interprétation d es m od è l es et su r les

propriétés as y m ptotiq u es d es es tim ateu rs

1.Définition et propriétés• E c h a n t i llo n de t a i lle n d’o b serv a t i o n s i n di v i du elles, i n di c é es p a r

i = 1, . . . ,n, ré a li sa t i o n s de v a ri a b les a lé a t o i res y i,x i

▪ y i v a ri a b le c o n t i n u e p ren a n t ses v a leu rs da n s R

▪ x i v a ri a b les en n o m b re K, de t y p e q u elc o n q u e

1

• Notations:

▪ on c onf ond l e s v a r i a b l e s a l é a t oi r e s e t l e u r s r é a l i sa t i ons

▪ on r é se r v e l e s m a j u sc u l e s p ou r d e s v e c t e u r s

• E x e m p l e : Y = y1, . . . , yn ′

• H y p oth è se g é né r al e (sa u f m e nt i on c ont r a i r e ) : l e s v a r i a b l e s y i, x isont i nd é p e nd a m m e nt d i st r i b u é e s

1.1.Définitions• L a v a r i a b l e d é p e nd ante y i s’é c r i t c om m e :

y i = x iβ + u i

• β e st u n p a r a m è t r e v e c t or i e l d e d i m e nsi on K inc onnu , à e stim e r

• R e m ar q u e s:

1. Le modèle est linéaire en β

2. Les variables explicatives x i peuvent être des fonctionsnon linéaires connues des variables – par exemplex1i, l og x1i, x1i

2 , etc...

2

• Hypothèse pr i n c i pa l e:

Eu i ∣ x i = 0 (1)

q u i i m p li q u e l’a b sen c e d e c or r é l a ti on e nt r e la p e r t u r b a t i o n u i e t le sv a r i a b le s e x p li c a t i v e s x i:

Ex i′u i = 0 (2)

• H y p o t h è s e s u p p lé m e nt a i r e d’hom osc é d a sti c i té :

Eu i2 ∣ x i = σ

2 (3)

• C on sé q u en c es :

▪ L e s p e r t u r b a t i o ns u i,u j , j ≠ i, s o nt i ndé p e nda m m e nt di s t r i b u é e s

▪ L e m o dè le e s t u n m o dè le sem i -pa r a m é tr i q u e : la lo i c o m p lè t e dela p e r t u r b a t i o n u i n’e s t p a s s p é c i f i é e

3

• Interprétations d e l a pertu rb ation u i

1. erreur de mesure sur la variable y i (mais pas sur lesvariables explicatives x i)

2. hétérogénéité inobservable entre les agents i

▪ l’économétre n’observe qu’une partie des facteursexplicatifs de la variable dépendante y i – ouhétérogénéité observable – qui sont les variables x i

▪ les autres facteurs inobservables sont résumés par laperturbation u i

• E c ritu re m atric iel l e d u m od è l e: Y = Xβ + U

avec X =

x11 ⋯ x1K

⋮ ⋱ ⋮

xn1 ⋯ xnKn,K

4

1.2.Propriétés1. Théorème de Gauss-Markov : Sous les hypothèses (1) et (3),

l’estimateur des moindres carrés ordinaires défini comme:

β̂ = argβ

m i n ‖Y − Xβ‖2 =β

arg m i n

n

i=1

∑ y i − x iβ2

et donc, sous la condition d’identification rgX ′X = K, comme:

β̂ = X ′X−1X ′Y

est le meilleur estimateur linéaire en Y et sans biais (BLUE)2. Sous les hypothèses (1) et (3), et sous l’hypothèse que les

variables x i sont identiquement distribuées, la variance del’estimateur des moindres carrés ordinaires est égale à:

V β̂ = σ2n E xi

′x i−1

5

3. Convergence en probabilité : Sous l’hypothèse (1),l’estimateur des MCO converge en probabilité vers la vraievaleur du paramètre quand n → ∞ :

n→∞

p l i m β̂ = β

4. Loi asymptotique : Si les x i sont identiquement distribuées,alors, sous les hypothèses (1) et (3),

nβn − β

d

n→∞

ˆ N 0, σ2Ex i′x i

−1 (4)

Estimateur convergent de la variance asymptotique:

n→∞

p l i m X ′Xn = Ex i

′x i

Estimateur convergent de σ2 :

σ̂n2 =

Û ′Ûn

n→∞

p→ σ2

6

5. Si la loi conditionnelle des perturbations est normale:u i ∣ x i ˆ N0, σ2

alors pour toute valeur de n:β ˆ N β, V

β

6. Tests d’hypothèses linéaires Rβ = r

Soit R une matrice de taille G, K de rang G et r un vecteur detaille G.Un test de Fisher de l’hypothèse nulle H0 : Rβ = r peut êtredéduit de la loi asymptotique de l’estimateurStatistique de test :

Wn =1

σ̂n2

Rβ

n− r ′RX ′X−1R ′

−1R

β

n− r

Sous H0, on montre que

Wn

d,H0

n→∞

ˆ χ2G

7

7. Interprétation géométrique de l’estimateur MCO:Projection orthogonale du vecteur Y sur l’espace engendrépar les variables explicatives X

Soit PX la matrice de projection orthogonale sur l’espaceengendré par les variables X :

PX = XX ′X−1X′

Prédicteur de Y par les MCO :

Ŷ = PXY = Xβ̂

Résidus du modèle :

Û = I − PXY = MXY

MX matrice de projection orthogonale sur l’espace orthogonal àcelui engendré par les variables X

8

1.3.Identifiabilité• Condition d’e x is te nc e e t d’u nic ité de l’e s tim a te u r de s M CO :

r g X ′X = K

(a b s e nc e de m u ltic oliné a r ité e ntr e le s v a r ia b le s e x p lic a tiv e s )

• R a p p or t a v e c la c ondition dite d’ide ntif ic a tion du p a r a m è tr e β ?

• Rappel: D é f i n i t i o n d e l’i d en t i f i c at i o n d an s u n m o d è le

par am é t r i q u e

S oit Py i, x i; θ la loi du v e c te u r y i, x i p a r a m é tr é e p a r θ, é lé m e nt d’u n

s ou s e ns e m b le c om p a c t de RK

L e p a r a m è tr e θ e s t ide ntif ia b le s i

∀θ, θ ′ ∈ Θ, P. , . ; θ = P. , . ; θ ′ ⇒ θ = θ ′

∄ de u x v a le u r s de θ q u i r é s u m e nt la loi de y i, x i de m a niè r e ide ntiq u e

9

• Dans le c adr e du m o dè le li né ai r e , o n a:

y i = x iβ + u i

E n p r é m u lt i p li ant p ar xi

′, o n o b t i e nt :

Exi

′y i = Exi

′x iβ + Exi

′u i = Exi

′x iβ

L a C N S p o u r l’i de nt i f i c at i o n de β e st alo r s:

r g Exi

′x i = K

• E n e f f e t , si c e t t e c o ndi t i o n n’e st p as v é r i f i é e , l’é q u at i o n p r é c é de nt e ap lu si e u r s so lu t i o ns, e t β n’e st p as dé f i ni de m ani è r e u ni q u e

• O n r e m ar q u e r a q u e c e t t e c o ndi t i o n d’i de nt i f i c at i o n e st é t r o i t e m e nt li é eà la c o ndi t i o n de dé f i ni t i o n de l’e st i m at e u r de s M C O , p u i sq u e :

n→∞

p l i m X ′Xn = Ex

i

′x i

10

2. Modèle linéaire général etmodèle apparemment linéaire• Lorsque l’h y p ot h è se d’h om osc é da st i c i t é n’est p a s v é ri f i é e,

l’est i m a t eur des M C O rest e c onv erg ent

• M a i s sa loi a sy m p t ot i que et ses p rop ri é t é s d’op t i m a li t é da nsl’ensem b le des est i m a t eurs li né a i res (G a uss-M a rk ov ) sont a lt é ré es

• S olut i on: l’est i m a t eur des moindres c a rré s g é né ra l isé s

• L’a b a ndon de l’h y p ot h è se d’a b senc e de c orré la t i on ent re erreurs etré g resseurs a lt è re la p rop ri é t é de c onv erg enc e de l’est i m a t eur desM C O

• S olut i on: les est i m a t eurs à v a ria b l es inst ru ment a l es

11

2.1.Modèle linéaire général• On s u p p o s e q u e

Eu i

2 ∣ X = σ2ω i

• e t q u e

Eu iu i′ ∣ X = σ2ω ii′

• Notation: Ω = ω ii′ m a t r i c e c a r r é e d e t a i l l e n

• P r op r ié té s d e l’e s tim ate u r M C O :

1. L’estimateur des MCO reste sans biais et convergent2. Si Ω est connue, l’estimateur des MCG est le meilleur

estimateur linéaire sans biais (BLUE)β

M C G= X

′Ω−1X

−1X

′Ω−1Y

3. Cas particulier: quand Ω = In,β

M C O=

β

M C G

12

4. Si Ω est inconnue mais est une fonction d’un paramètre θ

appartenant à un sous ensemble compact de RG, alors laméthode des MCQG est convergentePrincipe : remplacer θ par un estimateur convergent θ̂n, et doncΩ par Ω̂ :

β M C Q G = X′Ω̂−1

X−1

X′Ω̂−1

Y

5. Remarque: les propriétés de ce dernier estimateur ne sontqu’asymptotiquesil est asymptotiquement équivalent à l’estimateur MCG

plim

β M C Q G = plim

β M C G

il est par conséquent convergent et asymptotiquement normalmais il est en général biaisé à distance finie

13

2.2. Régressions simultanées• Application du cadr e d’analy s e pr é cé de nt

• O n ob s e r v e G v ar iab le s dé pe ndante s y1i, . , yGi

e t le s v ar iab le s e x plicativ e s cor r e s pondante s x1i, . . . , xGi, e n nom b r eK1, . , KG

• le s y1i, . , yGi, x1i, . . . , xGi s ont indé pe ndam m e nt dis tr ib u é s

• O n é cr it G m odè le s liné air e s

ygi = xgiβg + ugi

• O n s u ppos e q u e

Eugi ∣ xgi = 0

• C ov ar iance s e ntr e pe r tu r b ations d’é q u ations dif f é r e nte s

Eugiug′i ∣ x1i, . , xGi = σgg′

14

• Notons Ω l a m a tr i c e d e s é l é m e nts ωgg′

e t p osons

Y =

Y1

⋮

YG

, X =

X1 0

⋱

0 XG

, U =

u1

⋮

uG

, β =

β1

⋮

βG

⇒ Y = Xβ + U

• D a ns c e c a s, on m ontr e f a c i l e m e nt q u e :

VU ∣ X̃ =

σ11IN ⋯ σ1GIN

∣ ⋮

σ1GIN ⋯ σGGIN

= Ω ⊗ IN

où l e si g ne ⊗ e st l e p r od u i t d e K r one c k e r

15

• Rappel: Soit A u n e m a tr ic e d e ta il l e m, p e t B u n e m a tr ic e d e ta il l e

s, t a l or s l e pr o d u i t d e K r o n ec k er A ⊗ B e s t d e ta il l e ms, pt e t e s té g a l à:

A =a11 ⋯

⋮ amp

, A ⊗ B =a11B ⋯

⋮ ampB

• P r o pr i é t é s :

i A ⊗ BC ⊗ D = AC ⊗ BD, si AC et BD sont définies

ii A ⊗ B ′= A ′ ⊗ B ′

iii A ⊗ B−1= A−1 ⊗ B−1 si inversibles.

• C o n s é q u en c e:

βmc g = X

′

Ω−1 ⊗ IN X−1

X′

Ω−1 ⊗ IN Y

16

• Cas p ar t i c u l i e r (p r o p r i é t é de Z e l l n e r ) :

L o r s q u e l e s v a r i a b l e s e x p l i c a t i v e s s o n t l e s m ê m e s da n s t o u t e s l e sé q u a t i o n s X1 =. . . = XG = X, a l o r s

X = IG ⊗ X

D a n s c e c a s , e n u t i l i s a n t l e s p r o p r i é t é s du p r o du i t de K r o n e c k e r :

β = IG ⊗ X

′ Ω−1 ⊗ IN IG ⊗ X−1

IG ⊗ X′ Ω−1 ⊗ IN Y

= Ω−1 ⊗ X′X

−1Ω−1 ⊗ X

′ Y

= IG ⊗ X′X

−1X

′Y

• L e s s o u s -v e c t e u r s deβ,

βg, s o n t do n c é g a u x a u x e s t i m a t e u r s de s M C O

o b t e n u s e n e s t i m a n t l e s é q u a t i o n s s é p a r é m e n t

• E s t i m e r l e s y s t è m e t o u t e n t i e r n e p e r m e t p a s , da n s c e c a s , d’a m é l i o r e rl e s e s t i m a t e u r s de s M C O

17

2.3.Modèles apparemment linéaires.• L’h y p o t h è s e p r i nc i p a l e d’a b s e nc e de c o r r é l a t i o n e nt r e r é g r e s s e u r s e t

e r r e u r s n’e s t p l u s v é r i f i é e :

y i = x iβ + u i mais Eu i ∣ x i ≠ 0

• E x e m p l e : Modèle à er r eu r de m es u r e

S o i t l e v r a i m o dè l e :

y i = xi

∗β + u i a v e c Eu i ∣ xi

∗ = 0 e t Eui

2= σu

2

M a i s xi

∗ e s t m e s u r é e a v e c e r r e u r p a r x i :

x i = xi

∗+ i a v e c E

i

2= σ

2 e t E i ∣ xi

∗ = 0

H y p .: l e s e r r e u r s de m e s u r e s o nt i ndé p e nda nt e s de l a p e r t u r b a t i o n u i:

E iu i = 0

18

On p e u t a lo r s r é é c r i r e le m o dè le e n f o nc t i o n de s o b s e r v a b le s c o m m e :

y i = x iβ + u i + xi

∗− x iβ = x iβ + u i − iβ

D a ns c e c a s , r é g r e s s e u r e t p e r t u r b a t i o n s o nt e n g é né r a l c o r r é lé s

Exi

∗+ iu i − iβ = −σ

2β ≠ 0

(s a u f s i β = 0)

• Limite en p r o b a b ilité d e l’es tima teu r d es M C O :

β = Ex ′x

−1Ex ′y = Ex ′x

−1Ex ′xβ + u − β

= β −βσ

2

E x∗′

x∗+ σ

2

• L a v a le u r a b s o lu e deβ e s t do nc né c e s s a i r e m e nt i nf é r i e u r e à la v a le u r

a b s o lu e du p a r a m è t r e β (b i a i s d’a t t é nu a t i o n)

• E n l’a b s e nc e d’i nf o r m a t i o ns c o m p lé m e nt a i r e s – p a r e x e m p le s u r σ2 –

o n ne p e u t g u è r e a lle r p lu s lo i n. L e p a r a m è t r e β n’e s t p a s i de nt i f i a b le

19

• Information c omp l é me ntaire : v a r i a b l e s z i e n n o m b r e H n o nc o r r é l é e s a v e c l a p e r t u r b a t i o n u i m a i s c o r r é l é e s a v e c l e s v a r i a b l e s x i :

Ez i

′u i = 0 (5)

r g Ez i

′x i = K (6)

• S o i t Z l a m a t r i c e d e s o b s e r v a t i o n s d e z i

• P l u s i e u r s c a s p o s s i b l e s :

1. si H = K, on définit l’estimateur à VI comme :

β̂ I V = Z ′X−1Z ′Y

2. si H > K, on peut sélectionner K instruments parmi les H

disponibles en posant

Z∗ = ZA

où A est une matrice déterministe donnée de dimension H, K

et telle que z i

∗ est un vecteur de K variables qui ne sont pascolinéaires entre elles

20

Pour chaque A, on peut donc définir un estimateur à VI

β̂VIA = Z∗′X−1Z∗′Y = A′

Z ′X−1

A ′Z ′Y

(les z i

∗ sont des instruments puisque Ez i

∗′u i = 0)

Matrice de sélection optimale :

A∗ = Ez i

′z i

−1Ez i

′x i

Estimateur convergent de A∗ :

A∗

= Z ′Z−1

Z ′X

(obtenu par régression de X sur Z)Estimateur des doubles moindres carrés:1. régression de X sur Z de manière à obtenir des valeursprédites X = Z ′Z−1Z ′X orthogonales aux u i

2. puis régression des Y sur les X

3. le cas H < K n’est pas compatible avec la condition de validité(6). Dans ce cas, le paramètre β n’est pas identifié

21

• Propriété prin c ipa le d e s e s tim a te u rs pa r V I : c on v e rg e n c e v e rs la v ra iev a le u r d u pa ra m è tre β (v oir c h a pitre 2 pou r a n a ly s e a pprof on d ie )

• L ors q u e H = K, l’e s tim a te u r I V e s t c on v e rg e n t e t a s y m ptotiq u e m e n tn orm a l (C A N ):

nβ

VI− β

n→∞

l o iˆ N 0, σ2EZ ′X

−1EZ ′ZEX ′Z

−1

• Corollaire: S i H > K, re m pla c e r Z pa r ZA∗ d a n s c e tte e x pre s s ion

• R em arq u e: L a c on v e rg e n c e d e s e s tim a te u rs I V im pliq u e q u e :

σ2

=1n ∑ i=1

n u i2A∗ , où

u iA∗ = y i − x i

β

VIA∗

e s t u n e s tim a te u r c on v e rg e n t d e σ2

•

β

VIA

∗

e s t C A N e t s a v a ria n c e a s y m ptotiq u e e s t e s tim ée pa r

V a s

β

VI= σ

2X ′ZZ ′Z

−1Z ′X

−1

22

• Exemple : er r eu r s de mes u r e

S u ppo s o n s q u e l’o n dis po s e d’u n e a u t r e mes u r e a v ec er r eu r z i de xi

∗:

z i = xi

∗+ η i Eη

i

2= ση

2Eη i ∣ x

i

∗ = 0

et q u e les er r eu r s de mes u r e s o n t n o n c o r r é lé es a v ec les er r eu r s demes u r e i pr é s en t es da n s x i et a v ec la per t u r b a t io n du v r a i mo dè le:

Eη iu i = 0 Eη i i = 0

D a n s c e c a s , il es t f a c ile de mo n t r er q u e la v a r ia b le z i es t u n e v a r ia b lein s t r u men t a le v a lide, i. e. q u i r es pec t e les c o n dit io n s (5) et (6):

Ezi

′u i = Ex

i

∗+ η iu i − iβ = 0

r g Ezi

′x i = r g Ex

i

∗+ η i ′x

i

∗+ i = r g Ex

i

∗ ′x

i

∗ = 1

23

Conclusion• Exemple de s pé c i f i c a ti o n d’u n mo dè le c a u s a l

• D o n n é es y i s u r la dé li n q u a n c e da n s les dé pa r temen ts , u n e a n n é edo n n é e, et n o mb r es n i de po li c i er s da n s les dé pa r temen ts

• C o r r é la ti o n po s i ti v e en tr e c es deu x v a r i a b les

• C o mmen t l’i n ter pr é te-t-o n ?

1. Doit-on écrire un modèle:

y i = αn i + u i

censé mesurer l’impact du nombre de policiers?Comme la corrélation est positive, l’estimation MCO ducoefficient α sera positive : un nombre accru de policiersserait contreproductif

24

2. Ou doit-on écrire :

n i = βy i + v i

en voulant mesurer la régle de décision du Ministère quantà l’allocation géographique des policiers?Dans ce cas, l’estimateur de β est aussi positif, mais celasemble logique:La régle de décision est d’affecter des policiers là où ladélinquance est plus forte

3. Finalement, on doit sans doute écrire que les deux modèlessont simultanément vrais: équations simultanées (lesestimateurs MCO dans les deux modèles sont biaisés)

25