/k

12

1/28

Kansrekening en stochastischeprocessen 2S610

Docent : Jacques ResingE-mail: j.a.c.resing@tue.nl

http://www.win.tue.nl/wsk/onderwijs/2S610

/k

12

2/28

Schatten van de verwachting

We hebben een stochast X en we doen n trekkingen van die stochast. Detrekkingen Xi zijn onafhankelijk en identiek verdeeld.

1

n(X1 + X2 + · · · + Xn)

is een schatter voor E[X].

1

n(x1 + x2 + · · · + xn)

is een schatting van E[X].

/k

12

3/28

Mn =1

n(X1 + X2 + · · · + Xn)

is een zuivere (unbiased) schatter voor E[X].Dit wil zeggen:

E [Mn] = E[X]

We hebben:

Var[Mn] =Var[X]

n

/k

12

4/28

Vn =1

n − 1

n∑k=1

(Xi − Mn)2

is een zuivere (unbiased) schatter voor Var[X].Dit wil zeggen:

E [Vn] = Var[X]

/k

12

5/28

Cn =1

n − 1

n∑k=1

(Xi − Mn(X))(Yi − Mn(Y))

met

Mn(X) =1

n(X1 + X2 + · · · + Xn)

Mn(Y) =1

n(Y1 + Y2 + · · · + Yn)

is een zuivere (unbiased) schatter voor Cov[X, Y].Dit wil zeggen:

E [Cn] = Cov[X, Y]

/k

12

6/28

Voor een verzameling stochastische variabelen X1, . . . , Xn, de verwachtingvan

Wn = X1 + · · · + Xn

isE[Wn] = E[X1] + E[X2] + · · · + E[Xn]

/k

12

7/28

De variantie van Wn = X1 + · · · + Xn is

Var[Wn] =

n∑i =1

Var[Xi ] + 2n−1∑i =1

n∑j =i +1

Cov[Xi , X j ]

Als X1, . . . , Xn ongecorreleerd zijn dan geldt:

Var[Wn] =

n∑i =1

Var[Xi ]

/k

12

8/28

Voorbeeld

X0, X1, X2, . . . is een rij stochastische variabelen met verwachting E[Xi ] =

0 en covarianties Cov[Xi , X j ] = 0.8|i − j |.Zoek de verwachting en variantie van een stochast Yi gedefinieerd als desom van drie opeenvolgende waarden van de stochastische rij:

Yi = Xi + Xi −1 + Xi −2

/k

12

9/28

Voorbeeld

Op een partij van n ≥ 2 personen, gooit elke persoon een hoed in een ge-meenschappelijke doos. De doos wordt geschud en iedere persoon trektblind een hoed uit de doos (zonder teruglegging). We zeggen dat we eenkoppel hebben als iemand zijn eigen hoed uit de doos haalt. Wat is de ver-wachting en de variantie van Vn: het aantal koppels.

/k

12

10/28

De kansdichtheid van W = X + Y wordt gegeven door:

fW(w) =

∫∞

−∞

fX,Y(x, w − x)dx

Als X en Y onafhankelijke stochastische variabelen zijn dan wordt de kans-dichtheid van W = X + Y gegeven door:

fW(w) =

∫∞

−∞

fX(x) fY(w − x)dx

/k

12

11/28

Vind de kansdichtheid van W = X + Y als X en Y een gezamenlijke kans-dichtheid hebben gegeven door:

fX,Y(x, y) =

{2 0 ≤ y ≤ 1, 0 ≤ x ≤ 1, x + y ≤ 1

0 anders

/k

12

12/28

Voor een stochastische variabele X wordt de momentgenererende functie(moment generating function (MGF)) van X wordt gedefinieerd door:

8X(s) = E[esX

]

/k

12

13/28

Stochast Kansverdeling MGF 8X(s)

Bernouilli(p) PX(x) =

1 − p x = 0p x = 10 anders

1 − p + pes

Binomiaal(n, p) PX(x) =

{(nx

)px(1 − p)n−x x = 0, . . . , n

0 anders(1 − p + pes)n

Geometrisch(p) PX(x) =

{p(1 − p)x−1 x = 1, 2, . . .

0 anderspes

1−(1−p)es

Pascal(k, p) PX(x) =

{(x−1k−1

)pk(1 − p)x−k x = k, . . .

0 anders

(pes

1−(1−p)es

)k

/k

12

14/28

Stochast Kansverdeling MGF 8X(s)

Poisson(α) PX(x) =

{αxe−α

x!x = 0, 1, . . .

0 anderseα(es

−1)

Uniform(k, `) PX(x) =

{1

`−k+1 x = k, k + 1, . . . , `

0 andersesk

−es(`+1)

(`−k+1)(1−es)

/k

12

15/28

Stochast Kansdichtheid MGF 8X(s)Constant(a) fX(x) = δ(x − a) eas

Uniform(a, b) fX(x) =

{1

b−a a < x < b0 anders

ebs−eas

s(b−a)

Exponentieel(λ) fX(x) =

{λe−λx x ≥ 00 anders

λλ−s

Erlang(n, λ) fX(x) =

{λnxn−1e−λx

(n−1)!x ≥ 0

0 anders

(λ

λ−s

)n

Gaussisch(µ, σ ) fX(x) =1

√

2πσ2e−(x−µ)2/(2σ2) esµ+s2σ2/2

/k

12

16/28

Een stochastische variabele X met momentgenererende functie 8X(s) heeftnde moment:

E[Xn] =

dn8X(s)

dsn

∣∣∣∣s=0

/k

12

17/28

Zij X een stochastische variabele X metmomentgenererende functie8X(s).Dan is de momentgenererende functie van

Y = aX + b

gelijk aan8Y(s) = esb8X(as)

/k

12

18/28

Voorbeeld

Zij X een exponentieel verdeelde stochast met moment genererende functie

φX(s) =λ

λ − s

Wat zijn de eerste en tweedemoment van X? Bepaal een algemene expressievoor het nde moment.

/k

12

19/28

Voor een verzameling onafhankelijke stochastische variabelen X1, . . . , Xn

de momentgenererende functie van

W = X1 + · · · + Xn

is gelijk aan8W(s) = 8X1(s)8X2(s) · · · 8Xn(s)

/k

12

20/28

Zij K1, . . . , Kn onafhankelijke Poisson stochastische variabelen. Dan isW = K1 + · · · + Kn een Poisson stochastische variabele

De som van n onafhankelijke Gaussische stochastische variabelen W =

X1 + · · · + Xn is een Gaussische stochastische variabele

Als X1, . . . , Xn onafhankelijke, identiek verdeelde exponentieel(λ) verdeeldestochastische variabelen zijn dan heeft W = X1 + · · · + Xn de Erlang(n, λ)verdeling.

/k

12

21/28

Voorbeeld

J en K zijn onafhankelijke stochasten met kansverdeling:

PJ( j ) =

0.2 j = 1

0.6 j = 2

0.2 j = 3

0 anders

PK (k) =

0.5 k = −1

0.5 k = 1

0 anders

Bepaal de momentgenerende functie van M = J + K . Wat zijn E[M3] en

PM(m)?

/k

12

22/28

Stochastische sommen

Vaak hebben we in toepassingen te maken met sommen van stochastischevariabelen waarbij het aantal termen in de som ook stochastisch is:

R = X1 + · · · + XN

met

• X1, X2, . . . onafhankelijk, identiek verdeelde stochastische variabelen;

• N een discrete stochastische variabele die onafhankelijk is van de Xi ’s(SN = {0, 1, 2, 3, . . .}).

/k

12

23/28

Als

8X(s) de moment genererende functie van de stochastische variabelenX1, X2, . . .,

8N(s) de moment genererende functie van de stochastische variabeleN,

dan geldt dat de moment genererende functie 8R(s) van de stochastischevariabele R gegeven wordt door

8R(s) = 8N(ln 8X(s))

In het bijzonder geldtE[R] = E[N]E[X]

Var[R] = E[N] Var[X] + Var[N] (E[X])2

/k

12

24/28

Zij X1, X2, . . . een rij onderling onafhankelijke en identiek verdeelde sto-chastische variabelen met verwachting µX en variante σ 2

X. De cumulatieveverdelingsfunctie van

Zn =

∑ni =1 Xi − nµX√

nσ 2X

heeft de eigenschap:lim

n→∞FZn(z) = 8(z)

8(z) = erf(z) :=1

√2π

∫ z

−∞

e−u2/2du.

/k

12

25/28

Zij Wn = X1+· · ·+Xn een som van n onderlinge onafhankelijke en identiekverdeelde stochastische variabelen elk met

E[X] = µX Var[X] = σ 2X

De approximatie volgens de centrale limiet stelling van de cumulatieve kans-verdeling van Wn is:

FWn(w) ≈ 8

w − nµX√nσ 2

X

/k

12

26/28

Een approximatie die uit het bovenstaande volgt is de Moivre-Laplace for-mule:Voor een binomiale(n, p) stochastische variabele K

P[k1 ≤ K ≤ k2] ≈ 8

(k2 + 0.5 − np√

np(1 − p)

)− 8

(k1 − 0.5 − np√

np(1 − p)

)

/k

12

27/28

Voorbeeld

Stel dat Wn = X1 + · · · + Xn een som is van onafhankelijke Bernouilli(p)

stochastische variabelen. We weten dat Wn dan een binomiale kansverdelingheeft:

PWn(w) =

(n

w

)pw(1 − p)n−w

Voor n ≥ 32 lijkt de Gaussische benadering zeer veel op de oorspronkelijkeverdeling.

/k

12

28/28

Voor een willekeurige stochastische variabele X en een constante c hebbenwe:

P[X ≥ c] ≤ mins≥0

e−sc8X(s)

Dit wordt de Chernoff grens genoemd.