Séance VI : Design expérimental, replicabilité et ...€¦ · test et designs Replicabilité et...
78
Séance VI : Design expérimental, replicabilité et variables ins- trumentales Arthur Heim Introduction Puissance de test et designs Replicabilité et transparence Présentation 10 000 Permis pour réussir Introduction aux variables instrumen- tales Présentation Chetty et al. (2016) Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Séance VI : Design expérimental, replicabilité et variables instrumentales Politiques publiques et Opinion Arthur Heim 28 Octobre 2019
Transcript of Séance VI : Design expérimental, replicabilité et ...€¦ · test et designs Replicabilité et...
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Séance VI : Design expérimental,replicabilité et variables instrumentales
Politiques publiques et Opinion
Arthur Heim
28 Octobre 2019
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
Rappels :
• L’évaluation d’impact repose généralement sur le modèlecausal de Rubin (1974) basé sur des résultats potentielscorrespondants aux états du monde possibles suivant laprésence ou non de la politique à évaluer.
• L’identification de l’effet causal nécessite le recours à unestratégie permettant d’approximer le contrefactuel
• L’expérimentation aléatoire est une stratégied’identification qui rend indépendant l’assignation autraitement des résultats potentiels
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Introduction
Rappels :
• La randomisation permet de mesurer l’impact sans biais desélection, mais d’autres sources d’imprécisions existent, enparticulier liées à l’échantillonage
• Les mesures d’impacts, même issues de protocolesrandomisées, sont associées à des distributions statistiqueset la précision des estimations va dépendre d’un ensemblede paramètres dont la taille de l’effet, la variance durésultat, la taille de l’échantillon et la proportion danschaque groupe.
⇒ Pour mettre en œuvre une évaluation d’impact, il faut êtresûr d’être capable de détecter des effets s’ils existent avecun niveau de précision suffisant
⇒ C’est la puissance des tests.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Théorie des tests et erreurs• Idée générale : Supposer qu’une hypothèse est vraie et
définir ex-ante la règle de décision conduisant à invalidercette hypothèse.
• Example super original : Lancer une pièce non truquéeplusieurs fois
• Hypothèse nulle : Ma pièce n’est pas truquée, elle tombesur pile une fois sur deux.
• Règle de décision : J’accepte que l’hypothèse nulle est vraiesi la proportion observée de lancées qui tombent sur ”pile”est dans un intervalle autour de 50%, sinon je rejette.
• Example plus à propos : Traitement D assigné au hasardà une population afin d’améliorer un résultat Y.
• Estimer le modèle Yi = α+ βDi + εi par OLS• Tester H0 : β = 0 Vs. HA : β = βA = 0
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Définitions• Risque de type I α : La probabilité de rejeter à tort
l’hypothèse nulle alors qu’elle est vraie⇒ Faux positif
• Risque de type II 1− κ : La probabilité de ne pas rejeterl’hypothèse nulle alors que l’hypothèse alternative est vraie
⇒ Faux negatif• Puissance du test κ : La probabilité de rejeter
l’hypothèse nulle quand c’est l’hypothèse alternative quiest vraie.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Définitions• Risque de type I α : La probabilité de rejeter à tort
l’hypothèse nulle alors qu’elle est vraie⇒ Faux positif• Risque de type II 1− κ : La probabilité de ne pas rejeter
l’hypothèse nulle alors que l’hypothèse alternative est vraie⇒ Faux negatif
• Puissance du test κ : La probabilité de rejeterl’hypothèse nulle quand c’est l’hypothèse alternative quiest vraie.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Définitions• Risque de type I α : La probabilité de rejeter à tort
l’hypothèse nulle alors qu’elle est vraie⇒ Faux positif• Risque de type II 1− κ : La probabilité de ne pas rejeter
l’hypothèse nulle alors que l’hypothèse alternative est vraie⇒ Faux negatif• Puissance du test κ : La probabilité de rejeter
l’hypothèse nulle quand c’est l’hypothèse alternative quiest vraie.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Pour bien comprendre :
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Pour bien comprendre :
RéalitéH0 vraie H0 est fausse
Conclusions Accepte H0 Pr = 1− α Erreur II Pr = 1− κ
Rejette H0 Erreur I : Pr = α Pr = κ
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Convergence en probabilitéL’estimation de la proportion de ”pile” tend vers 50%
0.00
0.25
0.50
0.75
1.00
0 250 500 750 1000Nombre de lancés
freq
tails
Figure – Répétition de lancés de pièces simulé sur R
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Convergence en probabilitéL’estimation de la proportion de ”pile” tend vers 50%
• On sait qu’un grand nombre n de répétitions d’un essai deBernoulli Xi ∼ B(p) produit l’estimateur de la probabilité p :
p =
n∑i=1
Xin ∼ N
(p, p(1− p)
n)
• Et donc la statistique Z = p−p√p(1−p)
n
∼ N(0, 1
)• On rejettra l’hypothèse nulle p = 1/2 avec un risque de
première espèce α si Z ≥ zα/2 ou Z ≤ −zα2 .• Avec α = 5 % pour un test symétrique, zα/2 ≈ 1.96
• Cette probabilité α signifie que si on reproduisait un grandnombre de fois l’expérience de lancer n fois une pièce, dans5 % des cas la proportion sera au dela des fractiles définisci-dessus.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Simulation de Monte Carlo
Proportions estimées
Fre
quen
cy
0.3 0.4 0.5 0.6 0.7
020
040
060
080
0
Figure – 10 000 replications de 100 lancés de pièces
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Simulation de Monte Carlo
0
5
10
15
20
25
0.3 0.4 0.5 0.6Proportion de 'lancés 'pile'
dens
ity
lancés
100
1000
200
Figure – 10 000 Répétitions de lancés de pièces en R
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
Pièce truquée : Pile 2 fois sur trois
• Cette fois, on lance une pièce achetée dans un magasin de”farces et attrapes” qui annonce tomber sur pile dans 2cas sur 3 (et on suppose que c’est vrai).
• On a donc cette fois l’hypothèse alternative vraie, i.e.HA : p = pA = 2
3 = 0.5
• On reproduit l’expérience des lancés de la même façon eton compare les distributions
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
PaP0 power= 0.960.0
2.5
5.0
7.5
0.3 0.4 0.5 0.6 0.7 0.8Proportion de lancés 'pile'
dens
ity
Figure – Distributions sous H0 et H1 avec 100 lancés
@
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Tests statistiques et erreurs
PaP0 power= 0.84
0
2
4
6
0.4 0.6 0.8Proportion de lancés 'pile'
dens
ity
Figure – Distributions sous H0 et H1 avec 60 lancés
@
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Taille d’effet trop faible
PaP0 power= 0.47
0
2
4
6
0.4 0.6 0.8Proportion de lancés 'pile'
dens
ity
Figure – Distributions sous H0 et H1 :p=.6 avec 60 lancés
@
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
La formule pour les lier tous
• La taille d’effet, la taille d’échantillon, la puissance et lerisque de première espèce sont intimement liées.
• Lorsqu’on connait 3 d’entre eux, on peut estimer le 4èmepar une formule analytique ou par simulation.
• En particulier, on peut calculer l’effet minimal que l’onpeut détecter pour une puissance, un risque de premièreespèce et une taille d’échantillon donnée.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
La formule pour les lier tous• Considérons la différence de moyenne d’une variable Y entre 2
groupes dont l’appartenance est codé par une variable D.• on note n1 et n0 le nombre d’individus dans les 2 groupes et
p = n1n1+n2 = n1
N• On peut estimer le modèle Yi = α+ βDi + εi par OLS• Tester H0 : β = 0 Vs. HA : β = βA = 0 Sous H0 : β = 0, la
statistique Z = βσβ= β
σε
√1
n0+ 1
n1∼ N (0, 1)
La formule de l’effet minimal détectable est :
MDE = (zκ + zα2)σε
√1
p(1− p)N
Preuve
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
La formule pour les lier tous• Considérons la différence de moyenne d’une variable Y entre 2
groupes dont l’appartenance est codé par une variable D.• on note n1 et n0 le nombre d’individus dans les 2 groupes et
p = n1n1+n2 = n1
N• On peut estimer le modèle Yi = α+ βDi + εi par OLS• Tester H0 : β = 0 Vs. HA : β = βA = 0 Sous H0 : β = 0, la
statistique Z = βσβ= β
σε
√1
n0+ 1
n1∼ N (0, 1)
La formule de l’effet minimal détectable est :
MDE = (zκ + zα2)σε
√1
p(1− p)N
Preuve
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
L’effet minimal détectable
MDE = (zκ + zα2)σε
√1
p(1− p)N
• Pour des valeurs standards de α = 5 % et κ = 80%,zκ = 0.84 et zα
2= 1.96
• Pour estimer le MDE ou calculer une taille d’échantillon, ilfaut ”deviner” la variance de l’erreur.
• On peut pour cela soit :• Raisonner en effet standardisé (exprimé en pourcentage de
variance)• Utiliser d’autres données (baseline par exemple) pour
approximer la variance de l’erreur.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
Comment garantir une bonne puissance ?
• La puissance du test dépend :• de la taille et la répartition de l’échantillon• de la taille de l’impact à identifier• de la variance• des variables de contrôle• du design (cluser, stratification etc.)• de la participation (compliance)
• Pour un design cluster, le MDE est :
MDEc =(zκ + zα
2)√
1 + (c − 1)ρσε
√1
p(1− p)N
avec ρ la corrélation intra-cluster et c le nombre d’obersvationmoyen par cluster.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
Autre approche pour la puissance : Simulation
• Les formules analytiques pour la puissance n’existent paspour tous les estimateurs et les méthodes d’estimation
• Certains designs de recherches compliqués rendent cescalculs très difficiles
• On peut simuler ce design de recherche en créant desdonnées ex-nihilo ou en simulant un traitement placébosur des données ex-ante.
Intuition : Un traitement placebo fonctionne comme lasimulation de la pièce : on sait que le vrai effet est nul, donc enestimant un grand nombre de fois l’estimation, on peut calculerles valeurs critiques.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
• Illustration avec les données simulées de la séance précédente.
LB −18.58 UB 18.9LB −32.88 UB 32.73
0.00
0.01
0.02
0.03
0.04
−40 0 40Coefficients placebo
dens
ity
Figure – MDE avec ou sans contrôle
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesignsTests statistiques eterreurs
Puissance et effetminimal détectable
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Puissance et effet minimaldétectable
MDE et puissance : des relations non-linéaires
Figure – Effet minimal détectable (standardisé) en fonction de lataille d’échantillon, pour différents niveau de puissance et de R2
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
à propos des P-values
Qu’est-ce que la P-Value ?
• Le risque que le résultat obtenu soit un faux positif.• À cause de cette définition, les p-values sont souvent
interprétées comme un seuil de détection d’un effet(p<5 % ⇒ Significatif !)
• Cette interprétation est fausse !
• Réaction discontinue à de l’erreur d’échantillonagedonnant l’impression d’une situation ”vrai/faux”.
• Ne reflète pas la précision de l’estimation• Privilégier les intervalles de confiance au lieu de la p-Value• Intervalles de confiances donnent une meilleur idée de la
probabilité d’avoir un impact.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
à propos des P-values
Qu’est-ce que la P-Value ?
• Le risque que le résultat obtenu soit un faux positif.• À cause de cette définition, les p-values sont souvent
interprétées comme un seuil de détection d’un effet(p<5 % ⇒ Significatif !)
• Cette interprétation est fausse !• Réaction discontinue à de l’erreur d’échantillonage
donnant l’impression d’une situation ”vrai/faux”.• Ne reflète pas la précision de l’estimation
• Privilégier les intervalles de confiance au lieu de la p-Value• Intervalles de confiances donnent une meilleur idée de la
probabilité d’avoir un impact.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Replication CrisisLe monde de la recherche est plein d’incitations perverses
• La carrière d’un chercheur dépend de combien et dansquelles revues il publie
• Les revues sont classées par prestige ;• Le prestige de ces revues les rend de plus en plus sélectives• Les résultats ”chiants” ne sont jamais publiés
• Des résultats empiriques prédit par un modèles sont jugésinintéressant
• les résultats ”nuls”, non significatifs etc. ne sont paspubliés
• Les études publiées ne reflettent pas toutes les recherchesmenées
⇒ Biais de publication⇒ Une part importante des recherches publiées ne peut être
repliquée.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Replication CrisisL’ampleur de la crise de crédibilité
• Camerer et al. (2016) reproduisent 18 recherches publiées dans les 5meilleures revues d’économie.
• Ils estiment qu’1/3 des expérimentations ne peuvent être reproduites.• Parmi celles qui sont répliquées, la taille d’effet répliquée n’est que
66 % de l’effet initialement reporté.• Le collectif ”open science” a repliqué 100 travaux en psychologie
publié dans les meilleures revues dans la discipline et, alors que 98 %de ces travaux étaient significatifs au départ, seul 36 % desreplications le sont.
Les comportement derrière la crise de replication
• publication bias• The file drawer problem• HARKING• P-hacking
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias - 1
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias - 2
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias - 2’
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias - 3
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias
File drawer problem”Quand on ne trouve pas de résultat, on essaie même pas depublier ses recherches”.→ restent dans le tiroir !• Parce qu’ils savent qu’ils n’ont aucune chance d’être
publiés, ils ne s’embêtent pas à écrire un article ou àsoumettre les idées à des revues. Ils passent à autre chose.
• Ils sélectionnent les résultats qui les arrangent ⇒ (cherrypicking)
• Pourquoi est-ce un problème ?
• Personne ne sait que ces hypothèses ont été testées ;• Agrave le biais de publication.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias
File drawer problem”Quand on ne trouve pas de résultat, on essaie même pas depublier ses recherches”.→ restent dans le tiroir !• Parce qu’ils savent qu’ils n’ont aucune chance d’être
publiés, ils ne s’embêtent pas à écrire un article ou àsoumettre les idées à des revues. Ils passent à autre chose.
• Ils sélectionnent les résultats qui les arrangent ⇒ (cherrypicking)
• Pourquoi est-ce un problème ?• Personne ne sait que ces hypothèses ont été testées ;• Agrave le biais de publication.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication BiasP-hacking
• En présence de résultats non-significatifs, on peut êtretenté d’atteindre la significativité en changeant laspécification du modèle ou des données jusqu’à ce que cesoit significatif.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias
P-hacking
• En présence de résultats non-significatifs, on peut êtretenté d’atteindre la significativité en changeant laspécification du modèle ou des données jusqu’à ce que cesoit significatif.
• Les chercheurs peuvent aussi tester un grand nombred’hypothèse mais ne faire figurer que les résultats qui lesarrangent
• Parfois, c’est inconscient : on choisi de garder le modèlequi ”marche le mieux” et les tests de robustesse qui nechangent rien.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias
HarkingHypothesizing After the Results are Known
• Harking consiste à formaliser une théorie, un modèle aprèsavoir analysé les données et prétendre que ”les donnéesvalident la théorie”.
• Sujet très controversé en économie• Faut il faire un modèle qui colle aux données ou utiliser les
données por bâtir une théorie ?• On peut vouloir construire une théorie après avoir mesuré
certains résultats, non ?
• Et pourtant, parce qu’on connait les résultats, il estrelativement aisé d’ajuster un modèle pour qu’il colle auxdonnées.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Publication Bias
HarkingHypothesizing After the Results are Known
• Harking consiste à formaliser une théorie, un modèle aprèsavoir analysé les données et prétendre que ”les donnéesvalident la théorie”.
• Sujet très controversé en économie• Faut il faire un modèle qui colle aux données ou utiliser les
données por bâtir une théorie ?• On peut vouloir construire une théorie après avoir mesuré
certains résultats, non ?• Et pourtant, parce qu’on connait les résultats, il est
relativement aisé d’ajuster un modèle pour qu’il colle auxdonnées.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
”Professeur ? Y-a-t-il despreuves de ce que vous dites ?”
Absolument...
Figure – Densité des statistiques de tests issues de publications dansles meilleures revuesen économie, par méthode d’évaluation d’impact,d’après Broder et al. (2018)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
”Mais du coup, qu’est-cequ’on peut faire ?”
Solutions existantes pour réduire ces risques• Rendre les données et les codes publics : Laisser les autres
chercheurs et analystes refaire le travail, éplucher la méthodologieemployée etc.
• Pre-registration : Lorsque vous débuter une évaluation d’impact, enparticulier une évaluation randomisée, déposer le projet sur unregistre public de sorte à ce que les autres chercheurs soient aucourant (ex : site de ttps ://www.socialscienceregistry.org)
• Pre-analysis plan : Avant d’avoir les données, écrire un rapportdécrivant toutes les étapes de l’analyse que vous allez mener, chaquehypothèse, chaque variable et la façon dont elles sont codées, chaquemodèle etc. et déposer ce rapport en ligne. Certaines revuesacceptent les plans de pré-analyses et s’engagent à publier les travauxpeut importe les résultats.
• Meta-analyse : méthode statistique pour agreger des résultatsd’études indépendante et de tester le biais de publication
• d’autres choses à inventer...
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
”Et ça marche ?”Quand les médecins se sont mis à enregistrer leursvariables d’intérêts
Figure – Résultats d’expériences aléatoires contrôlées financées parle National Heart Lung and Blood Institute (NHLBI) aux États-Unisentre 1974 et 2012. D’après Kaplan et Irvin (2015)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
”Et ça marche ?”Funnel plots et Meta-analyses
Figure – Test de biais de publication d’après Wilson et al. (2011)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparenceà propos desP-values
Replication Crisis
Publication Bias
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Replicabilité et transparence
En conclusion• Prendre les calculs de puissance au serieux et proposer des
design de recherches avec suffisamment de puissance• N’ayez pas une confiance aveugle dans les travaux publiés,
ne rejetez pas un papier par-ce qu’il n’est pas (encore)publié.
• Si vous êtes impliqués dans des travaux d’évaluation, ouplus généralement de recherche, garder un ”log-file” devos analyses, et considérez la pre-registration ou les plansde pré-analyse si applicable
• Evitez d’utiliser les p-values, préférez les intervalles deconfiance.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Endogénéité, sélection, etvariable omise
Modèle de régression standard
Yi = α+ βTi + µi (1)
• L’estimation de β par les moindres carrés (OLS= MCO) estvalide si Ti est exogène, i.e. si E(µ|Ti) = 0 ou cov(Ti, µ) = 0.
Figure – DAG : modèle où T est exogène
T
Y
µ
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Endogénéité, sélection, etvariable omise
Modèle de régression standard
Yi = α+ βTi + µi (2)
• Dans la plupart des cas, T n’est pas exogène en raison d’effet desélection ou de variable omise de sorte que le vrai graphiquecausal a plutôt la forme.
Figure – DAG : modèle où T est endogène
TYµ
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Endogénéité, sélection, etvariable omise
Définition d’un instrument
• Un instrument Z (ou variable instrumentale) est une variablequi détermine la variable endogène T mais n’est pasdirectement liée à la variable d’intérêt Y.
Figure – DAG : modèle de variable instrumentale
TY
µ
Z
• Z est associé à T mais pas à µ ;• Z et Y sont corrélée mais uniquement en raison de la relation
indirecte via T
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLS
Condition de validité d’un instrument
• First Stage : l’instrument Z doit prédire suffisamment lavariable endogène T, i.e. cov(Ti,Zi) = 0
• exogénéité : L’instrument Z doit être exogène i.e.cov(Zi, µi) = 0
⇔ Exclusion : l’instrument peut être exclu du modèle causald’intérêt
L’exclusion est une version de l’indépendance conditionnelle vu à laséance précédente sauf que cette fois les résulats potentiels sontindépendants de l’instrument et non du traitement.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLS
Pour bien comprendreLa séance dernière, on avait imaginé un modèle structurel pourl’éducation de la forme : Yi = α+ δSi + γAi + µi
• Si Ai est inobservable et qu’on estime par OLSYi = α+ δSi + µi :
• On avait montré qu’alors δ = δ + γ Cov(Ai,Si)σ2
S
• Supposons qu’on dispose d’un instrument Z valide qui prédit ladurée de la scolarité S
• Si Z est un instrument valide, alors Zi ⊥ Ai, µi
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLS
Pour bien comprendre
• On écrit l’équation de First stage : Si = η + πZi + ϵi
• Le coefficient π correspond à la part de variation de S causé parZ.
• On peut également écrire la forme réduite : Yi = c + βZi + ξi
• Souvent, la forme réduite est intéressante en soit (par exemple,l’instrument peut être l’éligibilité à une politique publique etc.).
• Remplaçons Si dans l’équation structurelle par la first stage :
Yi = α+ δ(η + πZi + ϵi) + γAi + µi
⇔ Yi = α+ δη︸ ︷︷ ︸c
+ δπ︸︷︷︸β
Zi + δϵi + γAi + µi︸ ︷︷ ︸ξ
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLS
Pour bien comprendre
Yi = α+ δη︸ ︷︷ ︸c
+ δπ︸︷︷︸β
Zi + δϵi + γAi + µi︸ ︷︷ ︸ξ
• Le paramètre structurel δ est identifié en divisant le coefficientde la forme réduite par le coefficient de la first stage.
δ =β
π=
Cov(Yi,Zi)/σ2Zi
Cov(Si,Zi)/σ2Zi
=Cov(Yi,Zi)
Cov(Si,Zi)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLS
Pour bien comprendre• On peut donc procéder en 2 étapes :
1 Estimer la first stage et prédire Si2 Estimer le modèle structurel en remplaçant S par la
prédiction de la first stage Si = Second stage
• C’est le modèle 2 stages least square♭ En procédant en 2 étapes séparées, les erreurs standards
de l’équation 2 ne sont pas bonnes (car elles ne tiennentpas compte du fait que Si était estimé).
• Il faut utiliser les commandes spécifiques des logiciels destatistiques (Ivregress en Stata, ivreg de la library AERdans R)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLSRemarques importantes
• L’illustration précédente n’est pas une preuve• L’estimation d’un modèle IV par 2SLS suppose un effet
constant ⇒ pas d’effet hétérogène (programme de laséance prochaine)
• Si le pouvoir prédictif de Z sur la variable endogène estfaible, les estimations sont encore plus biaisées qu’avec unmodèle OLS simple.
• Comme pour la CIA, l’hypothèse d’exogénéité d’uninstrument ne peut pas être testée statistiquement.
• Si la méthode parait simple, les bons instruments sontrares et les critiques nombreuses.
• Cas particulier : variable instrumentale issue d’uneexpérimentation aléatoire.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Variable instrumentale et 2SLSCas où le traitement et l’instrument sont binaires
• Si Zi est une variable dummy (0,1) et Di dénote le statut dutraitement
• En repartant d’un modèle de regression standard : Yi = α+ δDi + εi
• On peut écrire les espérances conditionnelles aux valeurs del’instrument :
E[Yi|Zi = 1] = E[α|Zi = 1]︸ ︷︷ ︸=α
+E[Di|Zi = 1]δ + E[ε|Zi = 1]
E[Yi|Zi = 0] = E[α|Zi = 0]︸ ︷︷ ︸=α
+E[Di|Zi = 0]δ + E[ε|Zi = 0]
Si Z exogène, E[ε|Zi = 1] = E[ε|Zi = 0] = 0
⇒ δ =E[Yi|Zi = 1]− E[Yi|Zi = 0]
E[Di|Zi = 1]− E[Di|Zi = 0]=
reduced form1st stage =
ITTtake-up
• C’est l’estimateur de Wald
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)
Contexte et question de recherche• La fécondité a fortement et durablement baissé aux Etats-Unis
en même temps que la participation des femmes sur le marchédu travail s’est accrue.
• Les femmes qui ont des enfants ont un revenu plus faible, untaux d’emploi plus faible etc.
⋆ Est-ce qu’avoir un enfant affecte négativement l’emploi et lesrevenus des mères (effet causal d’avoir un enfant ) ? Ouest-ce que ce sont des femmes aux perspective d’emploi moinsbonnes qui préfèrent avoir des enfants effet de sélection ?
Stratégie d’identification
• Utiliser le sexe des 2 premiers enfants comme instrumentd’avoir au moins un autre enfant
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)
Contexte et question de recherche• La fécondité a fortement et durablement baissé aux Etats-Unis
en même temps que la participation des femmes sur le marchédu travail s’est accrue.
• Les femmes qui ont des enfants ont un revenu plus faible, untaux d’emploi plus faible etc.
⋆ Est-ce qu’avoir un enfant affecte négativement l’emploi et lesrevenus des mères (effet causal d’avoir un enfant ) ? Ouest-ce que ce sont des femmes aux perspective d’emploi moinsbonnes qui préfèrent avoir des enfants effet de sélection ?
Stratégie d’identification
• Utiliser le sexe des 2 premiers enfants comme instrumentd’avoir au moins un autre enfant
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)
Instrument utilisé• Intuition : les parents ont une préférence pour la mixité• Dans les données : Les parents dont les 2 premiers
enfants sont de même sexe ont plus une probabilité plusfort d’avoir eu un 3ème enfant.
Est-ce un bon instrument ?
• Prédit la probabilité d’avoir un 3ème enfant ⇒ Firststage √
• N’est pas lié aux conditions du marché du travailautrement qu’à travers le fait d’avoir un 3ème enfant ⇒Exogénéité √
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)
Instrument utilisé• Intuition : les parents ont une préférence pour la mixité• Dans les données : Les parents dont les 2 premiers
enfants sont de même sexe ont plus une probabilité plusfort d’avoir eu un 3ème enfant.
Est-ce un bon instrument ?• Prédit la probabilité d’avoir un 3ème enfant ⇒ First
stage √
• N’est pas lié aux conditions du marché du travailautrement qu’à travers le fait d’avoir un 3ème enfant ⇒Exogénéité √
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)Données et estimation
• Modèle linéaire standard : Yi = α+ βCi + X′iγ + εi
• Y est tantôt le revenu de la mère, le taux d’emploi etc., etC une variable binaire qui vaut 1 si la famille a 3 enfantsou plus, 0 sinon.
• l’instrument Z vaut 1 si les 2 premiers enfants sont demême sexe, 0 sinon.
• Ils utilisent les données de recensement de 1980 et 1990 etne gardent qu’un échantillon de femme de 21 à 35 ans(mariée ou non) qui a au moins 2 enfants.
• 27 % des femmes de 21 à 27 ans ont au moins 2 enfantset 50 % des femmes de 27 à 35 ans.
• Ils excluent les femmes plus âgés car leurs enfants peuventêtre grands et avoir quitté le foyer.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)
First Stage
Figure – Statistiques descriptives d’après Angrist et Evans (1998)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)
Wald estimates
Figure – Estimateurs de Wald
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)Modèles de regression
Figure – Estimations OLS et 2SLS
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Angrist et Evans (1998)Modèles de regression
• Avoir plus que 2 enfants réduit (de façon causale) laparticipation au marché du travail de 10 points (baseline 56 %)
• Les estimations ”naives” OLS donnent 15 points.♭ Ces estimations ne disent rien sur l’effet d’avoir un premier
enfant.♭ Données et contexte un peu ancien, mais des travaux ont
utilisés cette méthode sur d’autres pays avec plusieurs dates. (egen France, estimation à 15pp en 1999. voir Bisbee et al. (2017))
• Le nombre de femme ayant plus de 2 enfants a baissé de 16.5points entre 1970 et 1990 ;
• Ces estimations impliquent que la baisse de la natalité explique.10× .165 = .016 (i.e. 1.6 points)
• La participation des femmes a augmenté de 26 points sur lapériode.
• La baisse de la natalité n’est pas la seule cause à l’expansion dela participation des femmes.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Où trouver de bonsinstruments ?
• Des événements vraiment aléatoires• Angrist (1990) Conscription pour le Vietnam aléatoirement décidée à
partir de la date de naissance pour mesurer l’effet d’être vétéran• Cullen et al. (2003) Lotteries pour accéder aux lycées prisés
américains affecte la probabilité d’aller au lycée
• Aléas naturels• Angrist & Krueger (1991) la date de naissance affecte la durée de la
scolarité• Angrist & Evans (1998) sexe des enfants prédit le fait d’en avoir un
3ème• Lundbörg et al. (2017) Le succès d’une fécondation in Vitro affecte la
probabilité d’avoir un enfant.
• Règle institutionnelle qui ne doit pas être liée aux résultats• Levitt (1997) Résultat d’élections locales (sheriff) pour mesurer
l’effet de la police sur la criminalité• Duflo (2001) Programme de construction d’école pour mesurer le
rendement de l’éducation
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-talesEndogénéité,sélection, et variableomise
Variableinstrumentale et2SLS
Angrist et Evans(1998)
”as good asrandom”, vraiment ?
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
”as good as random”,vraiment ?
Force et faiblesse des sources d’instruments• Aléa naturel
• Exogénéité souvent crédible et explicite♭ Les instruments peuvent être très anecdotique, ne pas
avoir de lien avec des modèles, souvent peu reproductibledans d’autres contextes
• Règles institutionnelles• Sont souvent liées à d’autres facteurs qui peuvent affecter
les résultats
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
1 Introduction
2 Puissance de test et designs
3 Replicabilité et transparence
4 Présentation 10 000 Permis pour réussir
5 Introduction aux variables instrumentales
6 Présentation Chetty et al. (2016)
7 Bibliographie
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
Introduction
Puissance detest etdesigns
Replicabilitéettransparence
Présentation10 000 Permispour réussir
Introductionaux variablesinstrumen-tales
PrésentationChetty et al.(2016)
Bibliographie
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Bibliographie
• Angrist, J. D. ; Evans, W. N (1998) Children and Their Parents’ Labor Supply : Evidence fromExogenous Variation in Family Size, American Economic Review, Vol. 88, No. 3, pp. 450-477
• Bisbee, J. ; Dehejia, R. ; Pop-Eleches, C. ; Samii, C. (2017) Local instruments, global extrapolation :External validity of the labor supply fertility local average treatment effect, Journal of LaborEconomics, V. 35, N°S1, PP 99-147
• Brodeur, A. ; Cook, N. ; Heyes, A. (2018) Methods Matter : P-Hacking and Causal Inference in IZADP (2018)
• Camerer, Colin F. ; Dreber, Anna ; Forsell, Eskil ; Ho, Teck-Hua ; Huber, Jürgen ; Johannesson,Magnus ; Kirchler, Michael ; Almenberg, Johan ; Altmejd, Adam (2016). ”Evaluating replicability oflaboratory experiments in economics”. Science. 351 (6280) : 1433–1436.
• Collaboration, Open Science (2015). ”Estimating the reproducibility of psychological science”.Science. 349 (6251)
• Gurevitch, J., Koricheva, J., Nakagawa, S. et Stewart, G. (2018), “Meta-analysis and the science ofresearch synthesis”, Nature, Vol. 555, Mars, p. 175-182.
• Kaplan, R. M. ; Irvin, V. L (2015) Likelihood of Null Effects of Large NHLBI Clinical Trials HasIncreased over Time, Plos One
• Ioannidis, John P. A. ; Stanley, T. D. ; Doucouliagos, Hristos (2017). ”The Power of Bias inEconomics Research”. The Economic Journal. 127 (605) : F236–F265
• Olken, B. (2015) Promises and perils of Pre-analysis plans, Journal of Economic Perspectives, V. 29,N°3, p 61–80
• Wilson, S. J. ; Tanner-Smith, E. ; Lipsey, M. ; Steinka-Fry K. ; Morrison, J. (2011), “Dropoutprevention and intervention programs : Effects on school completion and dropout among school-aged children and youth”, Campbell Systematic Reviews 2011 :8.
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
AnnexePreuve : formule duMDE
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Outline
8 Annexe
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
AnnexePreuve : formule duMDE
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Preuve : formule du MDE
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
AnnexePreuve : formule duMDE
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Preuve : formule du MDE
• On part du modèe modèle Yi = α+ βDi + εi par OLS• On teste H0 : β = 0 Vs. HA : β = βA = 0
Sous H0 : β = 0, la statistique Z = βσβ= β
σε
√1
N0+ 1
N1
∼ N (0, 1)
→ P(−tα2≤ Z ≤ tα
2) = 1− α
<=> 2P(Z ≤ tα2) = 1− α
<=> Φ(tα2) =
1− α
2
Sous H1 : β > 0, on peut écrire la puissance du test :
κ = Pr(Z ≥ tα
2|H1) = Pr
( β
σε
√1
N0+ 1
N1
≥ tα2|H1
)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
AnnexePreuve : formule duMDE
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Preuve : formule du MDESi on appelle δ la moyenne théorique sous H1, on peut écrire :
β − δ
σε
√1
N0+ 1
N1
∼ N (0, 1)
κ = Pr( β − δ + δ
σε
√1
N0+ 1
N1
≥ tα2|H1
)
<=> κ = Pr( β − δ
σε
√1
N0+ 1
N1
≥ tα2− δ
σε
√1
N0+ 1
N1
|H1
)
<=> 1− κ = Pr( β − δ
σε
√1
N0+ 1
N1
≤ tα2− δ
σε
√1
N0+ 1
N1
|H1
)et alors :
1− κ = Φ(
tα2− δ
σε
√1
N0+ 1
N1
)
Séance VI :Design
expérimental,replicabilité etvariables ins-trumentales
Arthur Heim
AnnexePreuve : formule duMDE
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
...
.
Preuve : formule du MDE
Il vient dans ce conditions :
tα2− δ
σε
√1
N0+ 1
N1
= Φ−1(1− κ)
<=> tκ + tα2=
δ
σε
√1
N0+ 1
N1
= Φ−1(1− κ)
Pour κ = 80 %, Φ−1(1− κ) = 0.84 et avec α = 5 %, > tκ + tα2= 2.8. En
manipulant l’égalité précédente on identifie l’effet minimal détectable δpour une puissance κ et un risque α :
δ =(tκ + tα
2
)σε
√1
N0+
1
N1(3)
Retour
