Vrije Universiteit Brussel Faculteit Toegepaste...
139
Vrije Universiteit Brussel Faculteit Toegepaste Wetenschappen Waarschijnlijkheidsrekening en Statistiek S. Caenepeel en P. de Groen Syllabus bij de cursus “Waarschijnlijkheidsrekening en Statistiek” Tweede Kandidatuur Burgerlijk Ingenieur Tweede Kandidatuur Burgerlijk Ingenieur-Architect 1991-2002
Transcript of Vrije Universiteit Brussel Faculteit Toegepaste...
Vrije Universiteit BrusselFaculteit Toegepaste Wetenschappen
Waarschijnlijkheidsrekening en Statistiek
S. Caenepeel en P. de Groen
Syllabus bij de cursus “Waarschijnlijkheidsrekening en Statistiek”Tweede Kandidatuur Burgerlijk IngenieurTweede Kandidatuur Burgerlijk Ingenieur-Architect 1991-2002
Inhoudsopgave
1 Inleiding 41.1 Waarschijnlijkheidsrekening versus statistiek . . . . . . . . . . . . . . . . . . . . 41.2 Beschrijvende statistiek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.1 Histogrammen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.2.2 Percentielen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Inleiding tot de Kanstheorie 112.1 Rekenen met kansen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1 Inleiding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112.1.2 Het verzamelingsmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.1.3 Voorwaardelijke waarschijnlijkheid . . . . . . . . . . . . . . . . . . . . . 132.1.4 De formule van Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152.1.5 Aanvullingen: Een oneindige uitslagenruimte en σ-additiviteit . . . . . . . 16
2.2 Stochastische variabelen en hun kansverdeling . . . . . . . . . . . . . . . . . . . . 192.2.1 Stochastische variabelen . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.2.2 Eigenschappen van een verdelingsfunctie . . . . . . . . . . . . . . . . . . 212.2.3 Continue en discrete verdelingen . . . . . . . . . . . . . . . . . . . . . . . 232.2.4 Percentielen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.3 Kansvectoren en onafhankelijke stochastische variabelen . . . . . . . . . . . . . . 252.4 Verwachtingswaarde en standaardafwijking . . . . . . . . . . . . . . . . . . . . . 312.5 Kentallen van lokatie, schaal en vorm . . . . . . . . . . . . . . . . . . . . . . . . 36
2.5.1 Kentallen van lokatie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.5.2 Kentallen van schaal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382.5.3 Kentallen van vorm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.6 Covariantie en correlatiecoefficient . . . . . . . . . . . . . . . . . . . . . . . . . . 422.7 De karakteristieke functie van een stochastische variabele . . . . . . . . . . . . . . 44
2.7.1 De complexe exponentiele functie . . . . . . . . . . . . . . . . . . . . . . 442.7.2 De karakteristieke functie . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3 Belangrijke Verdelingen 473.1 De Binomiaalverdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.1.1 Bernoulli-experimenten . . . . . . . . . . . . . . . . . . . . . . . . . . . 473.1.2 Permutaties en de formule van Stirling . . . . . . . . . . . . . . . . . . . . 483.1.3 Combinaties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1
3.1.4 De Binomiaalverdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513.1.5 De wet van de grote getallen (de Moivre 1718) . . . . . . . . . . . . . . . 53
3.2 De hypergeometrische verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . 543.3 De Geometrische verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573.4 De Poissonverdeling en Poissonincidentenstromen . . . . . . . . . . . . . . . . . . 59
3.4.1 De Poissonverdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593.4.2 Poissonincidentenstromen . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5 De exponentiele verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.5.1 De exponentiele verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . 643.5.2 De risico verhouding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663.5.3 De Gamma-verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.6 Uniforme verdelingen en random getallen . . . . . . . . . . . . . . . . . . . . . . 683.6.1 De discrete uniforme verdeling . . . . . . . . . . . . . . . . . . . . . . . . 683.6.2 De continue uniforme verdeling . . . . . . . . . . . . . . . . . . . . . . . 693.6.3 Random getallen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.7 De Normale Verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713.7.1 Inleiding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 713.7.2 De standaard-normale verdeling N(0,1) . . . . . . . . . . . . . . . . . . . 723.7.3 De algemene normale verdeling N(µ,σ) . . . . . . . . . . . . . . . . . . . 733.7.4 Benaderingen met de normale verdeling . . . . . . . . . . . . . . . . . . . 743.7.5 Transformatie van de dichtheidsfunctie van een kansvector . . . . . . . . . 793.7.6 Normaal verdeelde random getallen . . . . . . . . . . . . . . . . . . . . . 803.7.7 De normale verdeling in verscheidene dimensies . . . . . . . . . . . . . . 82
3.8 De Chi-kwadraat, Student-t en Fisher-Snedecor Verdelingen . . . . . . . . . . . . 863.8.1 De Chi-kwadraat verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . 863.8.2 De t-verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 893.8.3 De Fm,n-verdeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4 Inleiding tot de Statistiek 964.1 Parameterschattingen en betrouwbaarheidsintervallen . . . . . . . . . . . . . . . . 96
4.1.1 Het schatten van de verwachtingswaarde van een normale verdeling als σbekend is . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
4.1.2 Het schatten van de variantie van een normale verdeling . . . . . . . . . . 994.1.3 Het schatten van het gemiddelde van een normale verdeling . . . . . . . . 1034.1.4 Het schatten van een percentage . . . . . . . . . . . . . . . . . . . . . . . 105
4.2 Hypothesetoetsen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1064.2.1 De t-toets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1064.2.2 De χ2-toets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1104.2.3 De F-toets, het vergelijken van varianties . . . . . . . . . . . . . . . . . . 1114.2.4 De t-toets voor het vergelijken van gemiddelden . . . . . . . . . . . . . . 1134.2.5 Verbonden steekproeven . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.3 De macht van een toets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1184.3.1 voorbeeld 1: de tweezijdige t-toets . . . . . . . . . . . . . . . . . . . . . . 1184.3.2 Voorbeeld 2: paranormale begaafdheid . . . . . . . . . . . . . . . . . . . 121
2
4.4 De Chi-kwadraattoets op een kansverdeling en kruistabellen . . . . . . . . . . . . 1234.4.1 De Chi-kwadraattoets op een kansverdeling . . . . . . . . . . . . . . . . . 1234.4.2 Toets op een verdeling met geschatte parameters . . . . . . . . . . . . . . 1264.4.3 Kruistabellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.5 Correlatie- en regressieanalyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
3
Hoofdstuk 1
Inleiding
1.1 Waarschijnlijkheidsrekening versus statistiekWaarschijnlijkheidsrekening is een wiskundige discipline, ontwikkeld als abstract model en geba-seerd op axioma’s; conclusies worden deductief afgeleid uit de basisprincipes. In de statistiek gaanwe inductief na of een zeker kanstheoretisch model toepasbaar is op onze waarnemingen; absolu-te zekerheid hierbij kunnen we nooit bereiken. Als we bijvoorbeeld onze winstkansen berekenenvoor een dobbelspel met “eerlijke” stenen (iedere uitkomst heeft kans 1
6 ) zijn we bezig met waar-schijnlijkheidsrekening. Als we echter tijdens het spel merken dat de zes te vaak uitkomt en gaantwijfelen aan de eerlijkheid van een dobbelsteen, behandelen we een statistisch probleem.Kansrekening geeft antwoorden op vragen als:
• wat is de kans dat ik een zes gooi bij het dobbelen?• wat is de kans dat ik met een munt de elfde maal “kop” gooi als ik al tien maal “kop” gegooid
heb?• wat is de kans dat ik slaag voor mijn examen statistiek (=1 als ik goed studeer)?
De volgende vragen zijn van meer statistische aard:
• ik heb 100 maal met een munt gegooid en vond 60 maal “kop”. Is die munt “eerlijk” (kansop “kop” of “munt” is 1
2 )?• een met kunstmest behandelde akker brengt 5.8 ton per hectare op en een zonder maar 4.9
ton/ha. Is dit verschil significant?• zijn de geconstateerde leukemiegevallen in de dorpen rond Sellafield (GB) en La Hague
(F) te wijten aan toevallige (overal voorkomende) oorzaken of is er daar sprake van eenstatistisch significant groter risico op deze ziekte?
Voor een degelijk antwoord op een statistische vraag is het noodzakelijk een goed kanstheoretischmodel ter beschikking te hebben voor het berekenen van een antwoord en voor het inschatten vande mate van relevantie ervan, zoals blijkt uit het volgende voorbeeld. Twee docenten, Stef enPieter, beoordelen beide onafhankelijk van elkaar hetzelfde statistiekexamen van twaalf studentenmet het volgende resultaat:
4
Pieter Stef Pieter StefJan 7 8 Rudger 16 18Veerle 10 9 Eva 14 16Wim 16 18 Herwig 12 11Monique 12 13 Ivo 11 13Kees 14 13 Fred 10 12Tanja 12 13 Dirk 14 16
Bij het zien van deze uitslagen komt de vraag op of Pieter (gemiddeld) even hoge cijfers geeft alsStef. We kunnen niet verwachten dat de beoordeling van ieder examen apart een gelijk resultaat zalopleveren als beiden even streng zijn. We kunnen wel verwachten dat (in dat geval) de kansen opeen positief of negatief verschil gelijk zullen zijn. M.a.w. het experiment, “Laat Pieter en Stef iederhet examen van een student beoordelen en kijk of het verschil ≥ 0 dan wel < 0 is”, is te modellerenmet het werpen van een “eerlijke” munt met kans 1
2 op “kop”. De kans op de gebeurtenis “Pietergeeft bij 12 examens driemaal of minder een cijfer groter of gelijk aan dat van Stef” is dan gelijkaan de kans op het gooien van drie of minder maal “kop” bij twaalf worpen met een munt. De kanshierop is (zoals we later zullen zien):
2−12(
1+121
+12.11
2+
12.11.102.3
)=
2994096
= 7.3%
We concluderen dat kennelijk de kans, dat Pieter examens even streng als of milder dan Stef be-oordeelt, 7.3% is. Met vrij grote zekerheid (92.7%) geeft hij dus lagere cijfers.In dit voorbeeld hebben we alleen gekeken naar de keren dat het cijfer groter of gelijk dan welkleiner was en daarop ons model gebouwd zonder te letten op de grootte van de verschillen; wehebben een zogenaamde “verdelingsvrije” statistiek gebruikt. We zouden ook kunnen kijken naarde grootte van de verschillen en een uitspraak proberen te doen over het “gemiddelde verschil”maar dan moeten we veronderstellingen gaan maken over de kansen op alle mogelijke verschillen.De statistische uitspraken kunnen dan veel preciezer worden, maar misschien zijn ze gebouwd oplos zand doordat de veronderstellingen niet kloppen!Dit voorbeeld laat zien dat een statistische uitspraak gedaan wordt aan de hand van een (abstract)model uit de waarschijnlijkheidsrekening. De geldigheid van van de uitspraak staat of valt metde toepasbaarheid van het model, maar zonder model zijn er helemaal geen uitspraken te doen.Het gevolg is dat een groot deel van deze syllabus (tweederde) gewijd is aan modellen uit dekansrekening die we nodig hebben in statistische toepassingen uit het laatste deel.
5
1.2 Beschrijvende statistiek
1.2.1 HistogrammenStel, we hebben de lengten van 100 personen gemeten en de resultaten, afgerond tot op hele centi-meters, afgedrukt in Tabel 1.1. We hebben dus een steekproef uit de verzameling van lengten (b.v.van volwassen mannelijke inwoners van Belgie) met een steekproefomvang n = 100.
1.74 1.70 1.77 1.68 1.65 1.80 1.77 1.57 1.77 1.501.74 1.70 1.77 1.68 1.65 1.80 1.77 1.57 1.77 1.501.75 1.75 1.52 1.90 1.88 1.67 1.68 1.77 1.88 1.911.65 1.72 1.53 1.58 1.79 1.89 1.81 1.81 1.57 1.571.77 1.85 1.70 1.82 1.78 1.96 1.47 1.45 1.79 1.521.84 1.81 1.84 1.84 1.75 1.94 1.62 1.57 1.76 1.781.50 1.80 1.63 1.47 1.87 1.67 1.62 2.00 1.57 1.901.86 1.90 1.67 1.62 1.83 1.99 1.86 1.69 1.66 1.531.45 1.59 1.86 1.72 1.87 1.73 1.62 1.91 1.71 1.562.01 1.97 1.63 1.62 1.55 1.74 1.86 1.61 1.75 2.151.62 1.42 1.58 1.73 1.67 1.49 1.79 1.79 1.68 1.64
Tabel 1.1: Honderd lengtemetingen
Erg veel informatie geeft zo’n tabel van ruwe gegevens niet; met name is het uit deze tabel moeilijkaf te lezen wat de meest voorkomende lengte is en waar de uitersten liggen. Dezelfde gegevens,maar nu gesorteerd op grootte zoals in Tabel 1.2, geeft veel meer informatie. We zien onmiddellijkdat alle metingen in het interval [1.42,2.15] liggen en dat waarden in de buurt van 1.75 het meestvoorkomen.
1.42 1.53 1.58 1.63 1.68 1.74 1.77 1.81 1.86 1.901.45 1.53 1.59 1.64 1.68 1.74 1.77 1.81 1.86 1.911.45 1.55 1.61 1.65 1.69 1.75 1.78 1.81 1.86 1.911.47 1.56 1.62 1.65 1.70 1.75 1.78 1.82 1.87 1.941.47 1.57 1.62 1.66 1.70 1.75 1.79 1.83 1.87 1.961.49 1.57 1.62 1.67 1.71 1.75 1.79 1.84 1.88 1.971.50 1.57 1.62 1.67 1.72 1.76 1.79 1.84 1.88 1.991.50 1.57 1.62 1.67 1.72 1.77 1.79 1.84 1.89 2.001.52 1.57 1.62 1.67 1.73 1.77 1.80 1.85 1.90 2.011.52 1.58 1.63 1.68 1.73 1.77 1.80 1.86 1.90 2.15
Tabel 1.2: Dezelfde honderd lengtemetingen gesorteerd
Voor een overzicht is het beter de gegevens in een aantal klassen (meestal 5 tot 30) in te delen.Hiertoe kiezen we een klassebreedte, b.v. 0.1, we verdelen het relevante interval in halfopen deel-intervallen van deze lengte, b.v. [1.40,1.50) ; [1.50,1.60) ; ... en we tellen de frequenties, d.w.z.het aantal keren dat een meting in een bepaald deelinterval valt, zie Tabel 1.3.
6
Klasse Ondergrens (≤) Bovengrens (<) Frequentie Percentage1 1.4 1.5 6 6%2 1.5 1.6 16 16%3 1.6 1.7 21 21%4 1.7 1.8 25 25% modale klasse5 1.8 1.9 20 20%6 1.9 2.0 9 9%7 2.0 2.1 2 2%8 2.1 2.2 1 1%
Tabel 1.3: 100 lengtemetingen verdeeld in 8 klassen, klassebreedte 0.1
Grafisch kunnen we deze klassenindeling weergeven in een histogram. Op ieder deelinterval rich-ten we een rechthoek op waarvan het oppervlak evenredig is met de frequentie van de betreffendeklasse. In fig. 1 en 2 zijn histogrammen afgebeeld, behorend bij de data van tabel 1. In fig. 1 isklassebreedte 0.1 gekozen en in fig. 2 is de klassebreedte 0.05. Zoals U ziet kan de vorm van hethistogram vrij sterk van de keuze van de klassebreedte afhangen.
0
10
20
30
1.5 2* * * * * * * * *
Fig. 1: histogram van 100 lengtemetingen
klassebreedte 0.1
0
5
10
15
1.5 2* * * * * * * * * * * * * * * * *
Fig. 2: histogram van 100 lengtemetingen
klassebreedte 0.05
Voor de gegeven dataset van Tabel 1.1 kunnen we ook de empirische verdelingsfunctie tekenen.Bij gegeven dataset x1,x2, ...,xn van n metingen wordt deze gedefinieerd door
Fn(x) :=#xi |xi ≤ x
n(1.1)
in woorden : het aantal metingen ≤ x gedeeld door het totale aantal. In fig. 3 is deze weergegevenvoor de data van Tabel 1.1. Deze functie is een “trapfunctie” die in de punten xi een sprong maakt.Als we alle metingen op een briefje schrijven, alle briefjes in een hoed stoppen en er (ongezien)een uit trekken, dan is Fn(x) de kans dat het briefje een getal bevat ≤ x.
7
0
0.2
0.4
0.6
0.8
1
1.4 1.6 1.8 2 2.2
Fig. 3: De empirische verdelingsfunktie voor de 100 lengtemetingen
1.2.2 PercentielenIn de praktijk willen we vaak een antwoord op de omgekeerde vraag: “voor welke waarde van xis 25% (of 50% of 90%) van de metingen kleiner dan of gelijk aan x”. We maken bijvoorbeelddeuren zo hoog dat (minstens) 99.9% van de mensen zijn hoofd niet zal stoten en we moeten dusweten waar die grens ligt. Bij gegeven α zouden we het α%-percentiel met 0 < α < 100 willendefinieren als het punt ξα waarbeneden α% van de metingen liggen; we zoeken dus de inversefunktie van de funktie Fn uit (1.1).Omdat we maar een eindig aantal metingen hebben en Fn constant is tussen ieder tweetal opeen-volgende metingen, bestaat zo’n inverse funktie echter niet (of minstens niet overal). Als webijvoorbeeld de mediaan (dit is het 50%-percentiel) van de 100 metingen van Tabel 1.2 willenbepalen, dan vinden we x50 = 1.73 en x51 = 1.74, zodat voor iedere x tussen deze twee waardenhet percentage metingen ter linker zijde gelijk is aan 50%. Voor een eenduidige waarde kiezenwe in dit geval het midden tussen deze twee punten als mediaan. Als we echter in deze dataset delaatste meting x100 = 2.15 schrappen, omdat deze lengte zeer uitzonderlijk is en het getal in dezetabel dus waarschijnlijk een meet- of typefout is, dan houden we 99 metingen over; 50% ervangeeft aanleiding tot het beschouwen van schimmige “halve” metingen. Bovendien is er geen puntξ te vinden zo, dat precies 50% van de metingen kleiner dan of gelijk aan ξ is en ook 50% groterdan ξ. In dit geval definieren we de mediaan dan als het punt waar de sprong van kleiner dan 50%naar groter gemaakt wordt: Dus, als x1 ≤ x2 ≤ ... ≤ xn dan definieren we
med :=
x 12 n+ 1
2als n oneven
12
(x 1
2 n + x 12 n+1
)als n even
(1.2)
De mediaan is dus in feite de “middelste” waarneming, waarbij we dit begrip middelste interpre-teren als het gemiddelde van de twee middelsten als het aantal waarnemingen even is.Voor een definitie van het (empirische) α%-percentiel ξα doen we in feite hetzelfde. We definierendit als de α
100(n+1)-de waarneming. Als p := α100(n+1) geheel is, is dit dus xp. Als dit getal niet
geheel is kunnen we er het gehele deel p := b α100(n+1)c en het “overschot” ρ := α
100(n+1)− p vanbepalen. Het punt ξα zal dan ergens tussen xp en xp+1 in liggen en wel zo dat de afstand tussen deze
8
punten “eerlijk” verdeeld wordt naar rato van het overschot ρ. We definieren het α%-percentiel ξαdus als
ξα := xp +ρ(xp+1 − xp) , met p := b α100(n+1)c en ρ := α
100(n+1)− p .
merk op, dat het geen zin heeft om te spreken van een α%-percentiel met α ≤ 100n+1 of α ≥ 100n
n+1 .De meest gebruikte empirische percentielen zijn die op 50% (de mediaan), 25% en 75% (het linker-resp. rechter kwartiel). Grafisch kunnen we deze tesamen met het totale bereik van de metingensamenvatten in een “box-plot”. Hierbij wordt (horizontaal of vertikaal) een as getekend gaande vande kleinste meting naar de grootste (dit is de totale variatiebreedte), op deze as worden de mediaanen de 25%- en 75%-percentielen aangegeven met een dwarse streep en van het stuk tussen de 25%-en 75%-percentiel wordt een doosje gemaakt, zie fig. 4. Hiermee geven we op zeer compactewijze visueel weer wat de totale variatiebreedte is tegenover de breedte van de middelste 50% (hetempirische interkwartiel). Vooral als we verscheidene datasets met elkaar willen vergelijken, kandit een goed visueel hulpmiddel zijn voor het weergeven van plaats en schaal van de verschillendedatasets.
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
1.4 1.6 1.8 2 2.2
1.42 1.62 1.735 1.838 2.15
Fig. 4: Boxplot voor de data van tabel 2.
Mediaan en interkwartiel geven dus compacte informatie over de ligging van de data en de schaalervan. Andere veelgebruikte kentallen zijn het gemiddelde en de modus voor de ligging en despreiding (of standaarddeviatie) voor de schaal. Naderhand zullen we zien dat de meest gebruikteverdeling, de “normale verdeling” volledig gekarakteriseerd is door gemiddelde en spreiding.Het gemiddelde (steekproefgemiddelde) van de gegevens x1,x2, ...,xn is
x :=1n
n
∑i=1
xi (1.3)
De modus van een steekproef is de meest voorkomende waarneming.In het voorbeeld van Tabel 1.2 is de modus 1.62, de mediaan 1.735 en het gemiddelde 1.724. Demodus behoeft niet eenduidig te zijn; het kan voorkomen dat verscheidene waarden even vaakvoorkomen. Het gemiddelde is het gemakkelijkst te berekenen maar erg gevoelig voor foutenof uitschieters. Voor het bepalen van de mediaan moeten we onze gegevens sorteren, maar dezegrootheid is wel het meest robuust. Als we bijvoorbeeld in Tabel 1.2 een fout maken en de decimalepunt in de laatste waarneming vergeten, dan verschuift het gemiddelde onmiddelijk naar 3.853terwijl de mediaan niet verandert.
9
Om de schaal van de gegevens (of de grootte van de “puntenwolk” rond gemiddelde of mediaan)weer te geven gebruiken we meestal de variantie (of de wortel daarvan, de standaardafwijking).De (empirische) variantie van een steekproef x1,x2, ...,xn is
s2 :=1
n−1
n
∑i=1
(xi − x)2 , x =1n
n
∑i=1
xi (1.4)
waarbij x het steekproefgemiddelde is zoals gedefinieerd in (1.3). Om een grootheid te hebben,die een gelijke dimensie heeft als de gegevens zelf gebruiken we vaak de spreiding of standaard-afwijking s, welke de wortel is uit de variantie s2. Als bijvoorbeeld onze gegevens lengten zijn,uitgedrukt in “inch”, dan wordt s (de standaardafwijking) een lengte eveneens uitgedrukt in “inch”terwijl de variantie dan een oppervlak is; als we de gegevens vervolgens herschalen naar “cm”door ze te vermenigvuldigen met 2.54 moeten we s met dezelfde factor vermenigvuldigen, terwijlde variantie met het kwadraat van 2.54 vermenigvuldigd moet worden.Een ander kental van schaal is de mediane absolute afwijking (“Median Absolute Deviation” ofMad). Dit is de mediaan van de (absolute) afwijkingen t.o.v. de steekproefmediaan:
MAD := mediaan|xi −med|ni=1. (1.5)
Ga na dat de helft van de waarnemingen tussen med−MAD en med+Mad ligt en dat ook de Maddezelfde dimensies heeft als de data.
10
Hoofdstuk 2
Inleiding tot de Kanstheorie
2.1 Rekenen met kansen
2.1.1 InleidingU heeft een intuıtief idee van het begrip “kans”. De weerman zegt dat de kans dat het morgen regent25% is; de sportjournalist zegt dat “wij”(of “onselftal) 40% kans hebben om van de Hollanders tewinnen; u gooit met een dobbelsteen en zegt dat de kans op een ”6”gelijk is aan 1/6; u trekt eenknikker uit een hoed met vijf witte en 11 zwarte knikkers en zegt dat de kans op een witte 5/16 is.In de hoed van het laatste voorbeeld kunnen we knikkers toevoegen tot we er nW witte, nR rode, nZzwarte, etc... hebben. Als N = nW + nR + nZ dan kunnen we uitrekenen dat de kans om een witteknikker te trekken gelijk is aan nW /N en de kans op een rode nR/N. Het trekken van een rodeknikker is een “gebeurtenis”die plaats grijpt met kans nR/N en evenzo voor zwart en wit met resp.kansen nZ/N en nW /N. De kans op een “witte of zwarte”knikker is kennelijk
nW +nZ
N=
nW
N+
nZ
N(2.1)
en dus gelijk aan de som van de kansen afzonderlijk.Het optellen van kansen mag niet altijd: in een groep van 50 studenten, waarvan er 15 biologie en35 scheikunde studeren, zijn er 20 meisjes; wat is de kans dat een (willekeurig gekozen) studentuit deze groep vrouwelijk is of biologie studeert? Het enige wat we kunnen zeggen is, dat dezekans minstens 2/5 en hoogstens 7/10 is; zomaar optellen van de kans op een biologiestudent ende kans op een meisje is er niet meer bij omdat vrouwelijke biologiestudenten (de doorsnede vanbeide groepen) dan dubbel geteld zouden worden.We kunnen hier de terminologie van de verzamelingenleer toepassen. Als Ω de betreffende groepstudenten is met M en V de verzamelingen van mannelijke en vrouwelijke studenten en met S enB resp. de scheikunde- en biologiestudenten, dan geldt
S∪B = M∪V = Ω
Als x ∈ Ω een willekeurig gekozen student is, dan is de kans, dat x een scheikunde student is, gelijkaan 35/50; we noteren de kans dat x ∈ S (dus, dat x een scheikunde student is) met:
P(S) = 0.7
11
en evenzo:P(M) = 0.6, P(V ) = 0.4, P(B) = 0.3
De kans uit Ω een student te trekken is kennelijk 1 en de kans op een niet-student nul (wat is dekans dat x ∈ Ω niet studeert?), zodat
P(Ω) = 1, P( /0) = 0 (2.2)
De deelverzamelingen M en V zijn elkaars complement (evenals S en B) en we zien
P(M) = 1−P(V ) (2.3)
Om de kans P(x ∈ V ∪ B) uit te rekenen moeten we het aantal studenten in deze verzamelingkunnen bepalen: dit hangt af van het aantal vrouwelijke biologiestudenten NV∩B:
NV∪B = NV +NB −NV∩B .
Hieruit volgt de algemene optelregel
P(x ∈V ∪B) = P(x ∈V )+P(x ∈ B)−P(x ∈V ∩B) (2.4)
In het bijzondere geval (2.1) hebben W en Z een lege doorsnede.
2.1.2 Het verzamelingsmodelZoals boven gesuggereerd kunnen we het rekenen met kansen modelleren met verzamelingen waar-op een kansfunctie P is gedefinieerd. Laat Ω de verzameling van uitkomsten of elementaire gebeur-tenissen zijn van een experiment (b.v. bij het werpen met een dobbelsteen: Ω = 1,2,3,4,5,6),dan is een “gebeurtenis”A een deelverzameling van Ω, A ⊂ Ω. Voor iedere gebeurtenis A is er eenkans(functie) P(A) gedefinieerd met waarden tussen 0 en 1. We hebben de volgende eigenschappen(axioma’s) nodig:
1. Er is een collectie gebeurtenissen A (een collectie deelverzamelingen van Ω) zo, dat
a. /0 en Ω zijn gebeurtenissen: /0 ∈ A en Ω ∈ A ,
b. als A een gebeurtenis is, dan is ook zijn complement een gebeurtenis,
A ∈ A ⇒ Ac = Ω\A ∈ A
c. A en B gebeurtenissen, dan is ook A∪B een gebeurtenis,
A,B ∈ A ⇒ A∪B ∈ A
2. Er is een kansfunctie P op A gedefinieerd met de eigenschappen:
a. 0 ≤ P(A) ≤ 1 voor alle A ∈ A ,
b. P( /0) = 0 en P(Ω) = 1,
c. A,B ∈ A en A∩B = /0 ⇒ P(A∪B) = P(A)+P(B).
12
Voorbeeld 2.1.1 Bij een worp met een dobbelsteen is de verzameling uitkomsten Ω = 1,2,3,4,5,6en de kans op een elementaire gebeurtenis, b.v. P(3), gelijk aan 1/6. Ga zelf na dat dit modelvoldoet aan de boven gegeven regels.
Opmerking 2.1.2 Als Ω oneindig veel elementen bevat zal de collectie A in het algemeen niet allemogelijke deelverzamelingen van Ω bevatten (zie § 2.1.5). We moeten dan uitbreiden tot aftelbareverenigingen:
1c′. Ai ∈ A (i = 1,2,3, ...)⇒ ∞∪i=1
Ai ∈ A ,
2c′. Ai ∈ A en Ai ∩A j = /0 (i, j = 1,2, ..., i 6= j) ⇒ P(
∞∪i=1
Ai
)=
∞
∑i=1
P(Ai).
Uit genoemde eigenschappen of axioma’s volgt:
1. Als A en B gebeurtenissen zijn, dan ook A∩B = (Ac ∪Bc)c,2. Een bewijs van de optelregel gaat als volgt:
A = (A∩B)∪ (A\B) met (A∩B)∩ (A\B) = /0A∪B = (A\B)∪B met (A\B)∩B = /0
zodatP(A∪B) = P(A\B)+P(B) = P(A)+P(B)−P(A∩B)
3. Een bewijs van de complementregel gaat als volgt:Ω = A∪Ac en A∩Ac = /0 zodat 1 = P(Ω) = P(A)+P(Ac)
Voorbeelden 2.1.3 1) Een kaart trekken uit een kaartspel:P(aas) = 4
52 = 113 ,
P(harten of boer) = P(harten)+P(boer)−P(hartenboer) = 1352 + 4
52 − 152 = 4
13 .2) Werpen met twee dobbelstenen:Ω = (1,1),(1,2),(2,1), ...,(6,6) en bevat 36 elementen.
P(som der ogen = 6) = P((1,5),(2,4),(3,3),(4,2),(5,1))= 536 .
P(som der ogen is even of een drievoud) = ?
2.1.3 Voorwaardelijke waarschijnlijkheidHoe groot is de kans dat een student uit de reeds vermelde groep van 50 biologie- en scheikunde-studenten een meisje is als ik al weet dat ze biologie studeert? Kennelijk moet ik mijn telwerk nubeperken tot de (deel-)groep van 15 biologiestudenten. Om de kans te weten moet ik het aantalvrouwelijke biologiestudenten delen door het totale aantal; we noteren:
P(V |B) :=P(V ∩B)
P(B)=
aantal vrouwelijke biologiestudententotale aantal biologiestudenten
(2.5)
We noemen dit de voorwaardelijke kans op het optreden van gebeurtenis V als de gebeurtenis Bplaats heeft gevonden (en P(B) 6= 0).
13
Voorbeeld 2.1.4 We werpen met twee dobbelstenen; wat is de kans op een even aantal ogen alseen van beide dobbelstenen een 1 toont?
Antwoord:
P(een van beide dobbelstenen toont een 1) = 11/36P(een steen toont een 1 en de som is even) = P((1,1),(1,3),(3,1),(1,5),(5,1))= 5/36
zodatP(aantal ogen even | een steen toont 1) = 5/11
Bij een voorwaardelijke kans P(A|B) = P(A∩B)/P(B) beperken we de verzameling van gebeurte-nissen in feite tot de deelverzameling B. Aangezien weer moet gelden P(B|B) = 1 moeten we allekansen hernormaliseren door te delen door P(B).
Definitie 2.1.5 Twee gebeurtenissen A en B heten (stochastisch) onafhankelijk als het voor de kansop A niet uitmaakt of B al dan niet gebeurd is:
A en B onafhankelijk ⇐⇒ P(A∩B) = P(A) P(B) (2.6)
Bewijs zelf dat A en B onafhankelijk zijn als en alleen als
P(A) = P(A|B) = P(A|Bc) (2.7)
Let wel, dat afhankelijkheid in principe geen oorzakelijk verband impliceert: b.v.
- In het begin van deze eeuw (toen er nog veel ooievaars waren in de Lage Landen) nesteldende meeste ooievaars op het platteland, waar ook de gemiddelde gezinsgrootte het grootstwas.
- De kans dat een willekeurig gekozen getal uit 1,2, ...,100 deelbaar is door 4 is 14 ; de kans
dat het deelbaar is door 10 is 110 . De kans dat het deelbaar is door 4 en 10 is 1
20 ; er is dusafhankelijkheid, waarom?
Voorbeeld 2.1.6 In een hoed stop ik drie identiek gevormde kaarten, waarvan de eerste aan beidezijden rood is, de tweede aan beide zijden wit en de derde aan een zijde rood en aan de andere witis. Vervolgens trekken we er een willekeurige kaart uit en leggen deze op tafel. Als de bovenkantrood is, wat is dan de kans dat de onderkant ook rood is?Antwoord 1: De kans op het trekken van de witte (ww), de wit-rode (wr) of de rode kaart (rr) is 1
3 .De kans dat rood boven ligt is 1
2 . Volgens (2.5) vinden we de voorwaardelijke kans
P(rr | rood boven) =P(rr en rood boven)
P(rood boven)=
1/31/2
=23
(2.8)
Antwoord 2: Een alternatieve manier is de volgende beschouwingswijze: we trekken uit de hoedniet alleen een kaart maar ook een zijde die boven komt te liggen. Als we dus de voor- en ach-terzijde van iedere kaart nummeren met 1 en 2 moeten we willekeurig trekken uit de volgendeverzameling:
14
bovenonder
r1r2
r2r1
rw
wr
w1w2
w2w1
Als er een rode zijde boven ligt, beperken we ons tot de eerste drie elementen en we zien dat ermet kans 2
3 ook rood onder ligt.Opmerking: Een intuıtief acceptabele maar misleidende redenering is de volgende: omdat roodboven ligt, ligt de rode of de roodwitte kaart op tafel, ieder met kans 1
2 en dus is de kans dat deachterzijde rood is, slechts 1
2 ! Waar zit de fout?
Voorbeeld 2.1.7 Wat is de kans dat twee of meer personen in een groep van N dezelfde verjaardaghebben?Antwoord: Draai de vraagstelling om en definieer pn als de kans dat geen twee personen in eengroep van n dezelfde verjaardag hebben. Kennelijk geldt p1 = 1; de eerste heeft alle dagen vanhet jaar tot zijn beschikking voor zijn verjaardag. De tweede heeft alle dagen min een tot zijnbeschikking en dus p2 = 364
365 . Voegen we een derde aan de groep toe, dan heeft deze alle dagenmin twee tot zijn beschikking zodat p3 = 363
365 p2. Voegen we aan een groep van n personen, metonderling verschillende verjaardagen (n < 365), er een toe, dan zijn er nog 365−n dagen onbezet,zodat
pn+1 = pn365−n
365en dus p23 =
364365
· 363365
· · · 343365
= 0.4927 (2.9)
De kans dat er in een groep van 23 personen minstens twee dezelfde verjaardag hebben is dus1− p23 = 0.5073 en is groter dan een half!
2.1.4 De formule van BayesMet het toenemen van de medische diagnose-technieken keert herhaaldelijk de discussie terug ofhet houden van een globaal bevolkingsonderzoek, b.v. naar baarmoederhalskanker, naar seroposi-tiviteit, ..., nuttig, kosteffectief en/of sociaal aanvaardbaar is. De gebruikelijke HIV-testen zijn zeerbetrouwbaar met
P(positief | geınfecteerd) = 0.999P(positief | niet geınfecteerd) = 0.01 (2.10)
Naar schatting is 1/ van de Belgische bevolking geınfecteerd.Bij een bevolkingsonderzoek is het van belang te weten hoe vaak een vals positieve diagnosegesteld wordt; immers een persoon, bij wie een vals positieve diagnose wordt gesteld, wordt zonderreden opgezadeld met een immens sociaal probleem. We willen dus berekenen P(niet geınfecteerd| positief). Uit (2.10) kunnen we berekenen:
P(positief en geınfecteerd) = P(positief | geınfecteerd)P(geınfecteerd) = 0.000999 . (2.11)
Analoog rekenend voor de andere drie mogelijkheden geeft dit de tabel:
positief negatiefgeınfecteerd 0.000999 0.000001
niet geınfecteerd 0.00999 0.99×0.999
15
We leiden hieruit af: P(positief) = 0.000999 + 0.00999 = 0.010989, zodat
P(niet geınfecteerd | positief) =0.00999
0.010989≈ 91%
We kunnen dit resultaat ook afleiden door herhaald gebruik te maken van (2.5):
P(A | B) =P(B∩A)
P(B)=
P(B | A)P(A)
P(B∩A)+P(B∩Ac)
=P(B | A)P(A)
P(B | A)P(A)+P(B | Ac)P(Ac)(2.12)
Dit resultaat heet “de regel van Bayes”. Voor een generalisatie gebruiken we het “theorema vande totale waarschijnlijkheid”:laat A1,A2, ... een partitie van Ω zijn, d.w.z.
Ai ∩A j = /0 voor i 6= j en∞∪
i=1Ai = Ω (2.13)
Dan geldt voor iedere gebeurtenis B ⊂ Ω dat
P(B) = P(
∞∪i=1
(B∩Ai)
)=
∞
∑i=1
P(B∩Ai) =∞
∑i=1
P(B | Ai)P(Ai) (2.14)
Als Ω opgesplitst wordt in een aantal disjunkte delen, dan is de totale kans op B gelijk aan de somvan de kansen op B binnen zo’n deel vermenigvuldigd met de kans op zo’n deel. Nu kunnen weook eenvoudig de generalisatie van (2.12) neerschrijven:
P(Ai | B) =P(Ai∩B)
P(B)=
P(Ai)P(B | Ai)
∑∞j=1 P(A j)P(B | A j)
(2.15)
2.1.5 Aanvullingen: Een oneindige uitslagenruimte en σ-additiviteitIn het voorgaande hebben we gesproken over een uitslagenruimte Ω en een kansfunctie P op dedeelverzamelingen van Ω. Zolang Ω eindig veel elementen bevat heeft Ω ook eindig veel deel-verzamelingen en is er geen probleem met het definieren van P. Als Ω aftelbaar oneindig is, isook het aantal deelverzamelingen van Ω oneindig en moeten we in onze axioma’s iets zeggenover aftelbare verenigingen, maar ook dan nog is er geen probleem om P te definieren voor alledeelverzamelingen van Ω. Als Ω nog groter is, bv. (een deel van) de reele rechte, dan is het nietmeer mogelijk een zinvolle “kansmaat” te definieren op de collectie van alle deelverzamelingenvan Ω (deze is te groot!) en moeten we ons beperken tot een deelcollectie, de zogenaamde Bo-relstam. In deze meer wiskundige gerichte paragraaf zullen we de nodige definities geven en eentegenvoorbeeld.
Definitie 2.1.8 Een collectie deelverzamelingen A van Ω heet een σ-algebra als
1. /0 ∈ A
16
2. A ∈ A ⇒ Ac = Ω\A ∈ A
3. Ai ∈ A (i = 1,2, ...) ⇒ ∞∪i=1
Ai ∈ A
Opmerking: 1 en 2 impliceren Ω ∈ A en met 3 erbij volgt ook∞∩
i=1Ai ∈ A .
Definitie 2.1.9 P is een σ-additieve kansmaat op een σ-algebra A als
1. P( /0) = 0, P(Ω) = 1 .
2. 0 ≤ P(A) ≤ 1, ∀A ∈ A .
3. Ai ∈ A en Ai ∩A j = /0 ∀i, j = 1,2, ... ⇒ P(
∞∪i=1
Ai
)=
∞∑
i=1P(Ai).
Opmerking: De toevoeging σ- duidt op een eigenschap voor aftelbare rijen.Uit de volgende stelling blijkt dat de voorwaarde van sigma-additiviteit een natuurlijke voorwaardeis:
Stelling 2.1.10 Als A een σ-algebra is, en P : A → [0,1] een kansverdeling, dan zijn volgendeeigenschappen equivalent:
1. P is σ-additief;
2. A1 ⊂ A2 ⊂ A3 ⊂ ·· · in A ⇒ limn→∞
P(An) = P(
∞∪n=1
An
)(2.16)
3. A1 ⊃ A2 ⊃ A3 ⊃ ·· · in A ⇒ limn→∞
P(An) = P(
∞∩
n=1An
)(2.17)
4. A1 ⊃ A2 ⊃ A3 ⊃ ·· · in A en∞∩
n=1An = /0 ⇒ lim
n→∞P(An) = 0 (2.18)
Bewijs. (1)⇒ (2): Stel A0 = /0, Bn = An \An−1. Dan zijn de Bn paarsgewijze disjunct en dus geldt:
P(∞∪
n=1An) = P(
∞∪n=1
Bn) =∞
∑n=1
P(Bn) .
Hieruit volgt:
∀ε > 0,∃N : ∀m ≥ N : |P(∞∪
n=1An)−
m
∑i=1
P(Bi)| < ε .
Nu ism
∑i=1
P(Bi) = P(
m∪i=1
Bi
)= P(Am) ,
en dus geldt∀ε > 0,∃N : ∀m ≥ N : |P(
∞∪n=1
An)−P(Am)| < ε
en het gestelde volgt.
17
(2) ⇒ (3): Pas (2) toe op Acn
(3) ⇒ (4): (4) is een speciaal geval van (3).(4) ⇒ (1): Veronderstel A1,A2, · · · paarsgewijze disjunct. Stel
A′m =
m∪
n=1An , A′ =
∞∪
n=1An en Bm = A′ \A′
m .
dan is∞∩
m=1Bm =
∞∩m=1
(A′ \A′
m)
=∞∩
m=1
(A′∩ (A′
m)c)= A′∩(
∞∩m=1
(A′m)c)
= A′∩(
∞∪m=1
A′m
)c
= /0 .
Dus vinden we
limm→∞
P(Bm) = 0 , zodat limm→∞
(P(A′)−P(A′
m))
= 0 .
Bijgevolg geldt:
P(
∞∪
n=1An
)= lim
m→∞P(
m∪
n=1An
)= lim
m→∞
m
∑n=1
P(An) =∞
∑n=1
P(An)
We besluiten deze paragraaf met een voorbeeld dat vooral van theoretisch belang is. Het wordtvooral voor de volledigheid vermeld, en om te illustreren welke problemen er optreden als weeen wiskundig streng onderbouwde behandeling van de kanstheorie wensen te geven. Het hierna-volgende voorbeeld behoort dan ook niet tot de leerstof, en is enkel bestemd voor de leergierigestudent.
Voorbeeld 2.1.11 Beschouw een experiment met uitslagruimte Ω. Men is geneigd om voor de ge-beurtenissenverzameling A = 2Ω te nemen (d.w.z. alle deelverzamelingen van Ω). Dit is niet altijdmogelijk! Als voorbeeld beschouwen we het volgende experiment: men neemt een willekeurigreeel getal gelegen in [0,2]. Klaarblijkelijk is Ω = [0,2]. Duidelijk geldt:
P([α,β]) =β−α
2, als 0 ≤ α ≤ β ≤ 2 (2.19)
en ook:P(A) = P(x+A) , als A en x+A ⊂ [0,2] (2.20)
Stelling 2.1.12 Er bestaat geen σ-additieve kansverdeling P op 2[0,2] (dit is de collectie van alledeelverzamelingen van [0,2]), die aan de eisen (2.19) en (2.20) voldoet.
Bewijs. Onderstel dat P bestaat. We zullen aantonen dat dit tot een tegenstrijdigheid leidt. Be-schouw op R de volgende equivalentierelatie ∼ :
x ∼ y ⇔ x− y ∈ Q .
Een equivalentieklasse is steeds van de vorm x + Q, waarbij x ∈ R. In elke equivalentieklassekunnen we een element vinden dat gelegen is tussen 0 en 1
2 . Inderdaad, voor elke x ∈ R is x− [x]of −x+[x] ∈ (x+Q)∩ [0,1]. Dus ligt x− [x]− 1
2 of −x+[x]− 12 tussen 0 en 1
2 . Kies nu voor elkeequivalentieklasse een enkele representant a tussen 0 en 1
2 , en neem de verzameling A van al dezerepresentanten, dan geldt:
18
1. x ∈ Q, y ∈ Q en x 6= y ⇒ (x+A)∩ (y+A) = /0 ,
immers, veronderstel dat a1,a2 ∈ A en x + a1 = y + a2, dan is a1 − a2 = y− x ∈ Q, zodata1 ∼ a2.
Dus geldt a1 = a2 en dus ook x = y, hetgeen strijdig is met de aanname.
2. P(A) = P(x+A) .
3. ∪x∈Q∩[0,1](x+A) ⊂ [0,2], immers, x ∈ [0,1], a ∈ A ⊂[0, 1
2
]⇒ x+a ∈ [0,2] .
4.[1
2 ,1]⊂ ∪x∈Q∩[0,1](x+A) ,
immers, kies y ∈[1
2 ,1]
en laat a de representant zijn van de equivalentieklasse waartoe ybehoort. Dan is y = x+a met x ∈ Q. Dus x = y−a ∈ [0,1], daar 1
2 ≤ y ≤ 1, en 0 ≤ a ≤ 12 .
Vanwege 3. en 4. geldt14≤ P(∪x∈Q∩[0,1] x+A) ≤ 1.
Nu is
P(∪x∈Q∩[0,1] x+A) = ∑x∈Q∩[0,1]
P(x+A) = ∑x∈Q∩[0,1]
P(A) =
0 als P(A) = 0
+∞ als P(A) > 0
Deze twee uitkomsten zijn strijdig, zodat de aannamen, dat er zo’n P bestaat niet waar kan zijn.
Men kan aantonen dat er op R een σ-algebra bestaat, die alle intervallen en eindige delen van R
bevat, en waarop men een σ-additieve functie kan definieren zodat
µ([a,b]) = b−a
Deze σ-algebra wordt de Borelstam op R genoemd. De elementen van deze σ-algebra noemt menmeetbare verzamelingen. De verzameling A, die we in bovenstaande stelling construeerden, is dusniet meetbaar.
2.2 Stochastische variabelen en hun kansverdeling
2.2.1 Stochastische variabelenMen kan aan elk element van de steekproefruimte Ω een (reele) getalwaarde toekennen, bv.
- bij het werpen met een dobbelsteen het aantal ogen dat we gooien,
- bij het werpen van een munt, 0 voor kop en 1 voor munt,
- bij een onderzoek van de inwoners van Belgie, de lengte of het gewicht of het jaarinkomenenz... van iedere persoon.
19
Zo’n getalwaarde is een reele functie op Ω en we noemen zo’n functie X van Ω naar R een sto-chastiek (of een stochastische variabele of toevalsveranderlijke) als deze afbeelding compatibel ismet de struktuur van de collectie A van deelverzamelingen in Ω: voor ieder reeel getal a is deverzameling
ω ∈ Ω | X(ω) ≤ a ∈ A (2.21)
een deelverzameling van Ω. Voor de genoemde compatibiliteit wordt geeist dat dit een deelverza-meling is van de collectie A . Als Ω eindig is en A de collectie van alle deelverzamelingen is, ishieraan automatisch voldaan. Een stochastiek X op Ω projecteert de klasse A dus op een klassevan deelverzamelingen van R.De kansen, gedefinieerd op de elementen van A projecteren gewoon mee:
P(X ≤ a) = P(ω ∈ Ω | X(ω) ≤ a) (2.22)
Meestal interesseren we ons meer voor de getalwaarde X(ω) dan voor de elementen ω van deonderliggende verzameling Ω. Als ik schoenen wil verkopen in dit land, is de “verdeling” vanvoetlengten (en breedten) het enige wat ik van zijn inwoners wil weten om de goede hoeveelhedenvan de verschillende maten te kunnen inkopen; ik wil dus iets weten over de getallen X(ω) vooriedere inwoner ω ∈ Ω.
Definitie 2.2.1 Als X een stochastische variabele is, dan heet de functie FX ,
FX(a) = P(X ≤ a) (2.23)
de verdelingsfunctie van x (ook wel cumulatieve verdelingsfunctie genoemd).
Voorbeeld 2.2.2 : de dobbelsteen
Ω =
•
,
•
• ,
••
• ,
• •
• • ,
• ••
• • ,
• •• •• •
X
•
= 1 , X
•
•
= 2 , etc...
P
•
= 1
6 , etc...
Voor de kansen P(X ≤ a) vinden we
P(X < 1) = 0P(X ≤ 1) = 1/6 = P(X < 2)
P(X ≤ 2) = 2/6 = P(X < 3) etc...
en we vinden een verdelingsfunctie FX zoals geschetst in Figuur 2.1. Dit is een trapfunctie die inde punten 1, 2, 3, 4, 5 en 6 een sprong van 1/6 maakt. Deze verdeling is duidelijk “discreet”.
20
0
0.5
1
0 5
0
0.5
1
150 200
Figuur 2.1: De verdelingsfunctie van een dobbelsteen, en de verdelingsfunctie van de lengteverde-ling van mannen
Voorbeeld 2.2.3 De verdeling van lichaamslengten van volwassen mannelijke inwoners van Bel-gie is geschetst in Figuur 2.1. Neem een willekeurige volwassen mannelijke inwoner X en lees inde tabel de kans af dat deze kleiner is dan 190 cm. In theorie is ook deze verdeling discreet, maarde groep mannen (en dus Ω) is zo groot dat we doen alsof deze continu is.
2.2.2 Eigenschappen van een verdelingsfunctieVooreerst merken we op dat
0 ≤ FX(a) ≤ 1 (2.24)
Alle kansen liggen immers tussen nul en een. Bovendien is FX monotoon niet dalend:
a ≤ b ⇒ FX(a) ≤ FX(b) (2.25)
Immers, bij vergroting van de verzameling gebeurtenissen kan de kans niet afnemen.De kans op een half-open interval wordt gegeven door
P(a < X ≤ b) = P(X ≤ b)−P(X ≤ a) = FX(b)−FX(a) (2.26)P(X > a) = 1−P(X ≤ a) = 1−FX(a) (2.27)
De volgende eigenschappen verdienen wel een serieus bewijs. Eerst onderzoeken we de conti-nuıteit van FX .
Stelling 2.2.4 FX is rechts continu: limε0
FX(a+ ε) = FX(a)
Bewijs. Kies een rij εn die naar nul daalt. Dan is
(−∞,a] =∞∩
n=1(−∞,a+ εn],
zodat, vanwege de σ-additiviteit :
FX(a) = P(X ∈ (−∞,a]) = limn→∞
P(X ∈ (−∞,a+ εn]) = limn→∞
FX(a+ εn)
21
Stelling 2.2.5 FX is niet noodzakelijk overal linkscontinu: bij nadering van links kunnen we tegeneen sprong oplopen. Als P(X = a) = 0, dan is FX wel continu in a. Algemeen hebben we
limε0
FX(a− ε)+P(X = a) = FX(a) (2.28)
Bewijs. Neem (εn) een naar nul dalende rij zoals in het vorige bewijs. Dan is
(−∞,a) =∞∪
n=1(−∞,a− εn] ,
zodat
FX(a)−P(X = a) = P(X ∈ (−∞,a)
)= lim
n→∞P(X ∈ (−∞,a− εn]) = lim
n→∞FX(a− εn)
Stelling 2.2.6 De limieten naar +∞ en −∞ zijn:
limx→+∞
FX(x) = 1 en limx→−∞
FX(x) = 0 (2.29)
Bewijs. Neem een stijgende rij Mn zodanig dat limn→∞
Mn = +∞, dan is
R =∞∪
n=1(−∞,Mn] , zodat lim
x→+∞FX(x) = P(R) = 1 .
De andere bewering wordt op analoge manier bewezen.
Stelling 2.2.7 Als we een lineaire (eigenlijk affiene) transformatie uitvoeren op een stochastiek X,dan transformeert de verdelingsfunctie mee: als Y = aX +b, dan geldt met a > 0:
FY (y) = P(Y ≤ y) = P(aX +b ≤ y) = P(
X ≤ y−ba
)= FX
(y−b
a
)(2.30)
Als a < 0, dan draait de ongelijkheid om:
FY (y) = P(
X ≥ y−ba
)= 1−P
(X <
y−ba
)= 1−FX
(y−b
a
)+P
(X =
y−ba
)(2.31)
Opmerking: Voor het vervolg van deze syllabus zullen we bij het gebruik van het begrip “stochasti-sche variabele” abstraheren van de onderliggende verzameling gebeurtenissen Ω. Een stochastiekX staat voor een reele variabele (zoals x in de definitie f (x) := xsinx); als we in een experimentvoor X een willekeurige waarde x trekken, is de kans, dat de getrokken waarde kleiner dan of gelijkaan a is, gegeven door FX(a).
22
2.2.3 Continue en discrete verdelingenBij een diepgaande mathematische behandeling van verdelingsfuncties zouden we geen verschilhoeven te maken tussen diskrete en continue verdelingsfuncties, voor de eenvoud zullen we dit weldoen.
Definitie 2.2.8 We noemen een stochastiek X discreet als X slechts een eindig of aftelbaar onein-dig aantal verschillende waarden kan aannemen. Dat wil zeggen dat er een verzameling (reele)getallen xi|i = 1,2, ... is, zo dat
P(X = xi) = pi en∞
∑i=1
pi = 1 (2.32)
We kunnen de kansen dan grafisch weergeven door een staafdiagram; op het punt xi richten weeen staafje op van lengte pi . De verdelingsfunctie FX is dan stuksgewijs constant met sprongen inde punten xi (i = 1,2, ...) van grootte pi. Als voorbeeld is in fig. 3 een staafdiagram op 10 puntengeschetst met de bijbehorende verdeling in fig. 4:
0
0.05
0.1
0.15
0 1
0
0.5
1
0 1
Figuur 2.2: Een staafdiagram op 10 punten en de bijhorende verdelingsfunctie
Definitie 2.2.9 We noemen een stochastische variabele X continu als de verdelingsfunctie FX eenoveral1 differentieerbare functie is (behalve eventueel in een eindig aantal punten). Dit is eenvrij zware eis, maar zij maakt het ons wel mogelijk om de kansdichtheid fX te definieren als deafgeleide van FX ,
fX(x) :=ddx
FX(x) en dus ook FX(x) =
Z x
−∞fX(t)dt (2.33)
Omdat FX monotoon is, moet gelden fX(x) ≥ 0 ∀x en moet het oppervlak onder de staarten vanfX naar nul gaan:
limA→−∞
Z A
−∞fX(t)dt = 0 en lim
B→+∞
Z +∞
BfX(t)dt = 0 (2.34)
Voorbeeld van een continue verdeling: zie Figuur 2.3.1Dit is een vrij sterke beperking, maar verdelingen die hieraan niet voldoen en ook niet diskreet zijn, zijn voorna-
melijk van wiskundig belang.
23
-0.2
0
0.2
0.4
0.6
0.8
1
1.2
0 1 2 3 4 5 6
Figuur 2.3: Grafiek van een vrij kunstmatige continue verdeling —— met haar kansdichtheid - - --
Opmerking: fX kan een vrij wild gedrag hebben, maar door de eis van differentieerbaarheid (endus continuıteit) van FX voor continue verdelingen sluiten we de sprongen in FX expliciet uit, zodatP(X ≤ a) = P(X < a) voor alle beschouwde continue verdelingen.functies van stochastieken en hun verdelingsfunctie kunnen we definieren analoog aan (2.22). Alsg een reele continue functie is en X een stochastiek (continu of diskreet), dan is g(X) de stochastiekmet de verdelingsfunctie
Fg(X)(a) := P(g(X)≤ a) = P(ω ∈ Ω | g(X(ω))≤ a) (2.35)
Ga zelf na, wat de kansdichtheid van Fg(X) is, als X continu en g monotoon stijgend en differenti-eerbaar is.
2.2.4 PercentielenIn de praktijk willen we voor een stochastiek X vaak een antwoord op de omgekeerde vraag: “voorwelke waarde van x is 25% (of 50% of 90%) van de uitkomsten kleiner dan of gelijk aan x?” (zieook § 1.2).De algemene vraag luidt dus: “gegeven een percentage α (0 ≤ α ≤ 100) of een kans p := α
100 ,voor welke x geldt FX(x) = P(X ≤ x) = p?”. In de figuur betekent dit dat we grafiek van FX op zijnkant moeten zetten, d.w.z. dat we abcis en ordinaat moeten verwisselen, oftewel het plaatje moetenspiegelen om de lijn y = x, zoals in Figuur 2.4, waar de percentielen (d.i. de inverse functie) vande (vrij kunstmatige) continue kansverdeling van Figuur 2.1 wordt geschetst. De intervallen waarde verdeling constant is, geven een sprong in de inverse funktie.Als in een punt x met p := FX(x) geldt p > FX(y) als x > y en p < FX(y) als x < y, d.w.z. datFX strikt stijgend is in x, dan is x het enige punt met FX(x) = p en dan definieren we x als het100 p%-percentiel van X . Dit percentiel is dus gewoon de waarde van de inverse funktie F−1
X (p)in p.Als er geen punt x is waarvoor FX(x) = p, dan is FX discontinu en maakt deze ergens een sprongvan een waarder kleiner dan p naar een waarde groter dan p. Het 100 p%-percentiel van X is danhet punt waarin FX deze sprong maakt.
24
0
1
2
3
4
5
6
0 0.2 0.4 0.6 0.8 1
.
..........................................
..........................................
..........................................
..........................................
...............................
..........................................
..........................................
..........................................................................................................................
..........................................
..........................................
..........................................
..........................................
..........................................
......................................................................................
Figuur 2.4: Percentielen
Als echter FX(x) = p constant is voor alle x in een interval [a,b], dan zouden we ieder element vandat interval het p-de percentiel van X kunnen noemen. Voor en eenduidige definitie maken we dande volgende afspraak:
1o. Als FX(x) = 0 voor alle x ≤ a en FX(x) > 0 voor alle x > a, dan heet a het 0%-percentiel vanX ; a is dus het punt vanaf waar FX niet triviaal is.
2o. Als FX(x) = 1 voor alle x ≥ b en FX(x) < 1 voor alle x < b, dan heet b het 100%-percentielvan X ; b is dus het punt vanaf waar FX weer triviaal is.
3o. Als FX(x) = p voor alle x ∈ [c,d], FX(x) < p voor alle x < c en FX(x) > p voor alle x > d,dan kiezen we het midden 1
2(c+d) als het 100 p%-percentiel van X .
Deze definitie lijkt niet consistent met die van empirische percentielen in § 1.2. Dit is echter maarschijn, omdat de empirische percentielen gebaseerd zijn op slechts eindig veel waarnemingen. Opgrond van de wet van de grote getallen kunnen we het volgende laten zien: Als x1 , x2 , · · · , xnonafhankelijke waarnemingen zijn van een stochastiek X , dan convergeert de empirische verde-lingsfunktie van deze waarnemingen naar FX voor n → ∞ en convergeren de empirische percentie-len naar de hierboven gedefinieerde percentielen van X .
2.3 Kansvectoren en onafhankelijke stochastische variabelenIn vele gevallen kan men aan een element van een steekproefruimte Ω meer dan een reele ge-talwaarde toekennen. Bijvoorbeeld, bij een onderzoek van de inwoners van Belgie is men zowelgeınteresseerd in de lengte als het gewicht van elke inwoner.Als we n eigenschappen gelijktijdig beschouwen, hebben we een vectorfunctie ~Z : Ω →Rn. Indiende componenten X1,X2, ...,Xn van deze vectorfunctie stochastische variabelen zijn, dan noemen we~Z een n-dimensionale stochastische variabele, of kansvector. Voor de eenvoud zullen we ons inwat volgt beperken tot het geval n = 2.
25
De verdelingsfunctie F~Z van een tweedimensionale kansvector ~Z = (X ,Y ) wordt gedefinieerd alsvolgt:
F~Z(a,b) = P(X ≤ a en Y ≤ b)
= Pω ∈ Ω : X(ω) ≤ a en Y (ω) ≤ b (2.36)
Net zoals in het voorgaande hoofdstuk zullen we onderscheid maken tussen continue en diskretekansvectoren. We noemen ~Z diskreet, indien er een eindig of aftelbaar aantal punten~z1 = (x1,y1),~z2 = (x2,y2), ~z3 = (x3,y3), · · · in R2 bestaat, zodat P(~Z =~zi) = pi, voor zekere pi ∈ [0,1], met∑i pi = 1 en P(~Z =~z) = 0 voor alle andere punten ~z = (x,y) ∈ R2. Aan continue kansvectorenzullen we in deze syllabus steeds de extra eis opleggen, dat alle tweede (n-de in n dimensies)gemengde partiele afgeleiden van de verdelingsfunctie continu moeten zijn. De dichtheidsfunctief~Z wordt dan gegeven door de tweede partiele afgeleide:
f~Z =∂2F~Z∂x ∂y
(2.37)
Indien f~Z bekend is, kunnen we de verdelingsfunctie F~Z terugvinden door integratie:
F~Z(x,y) =Z x
−∞du
Z y
−∞f~Z(u,v) dv;
bijgevolg kunnen we voor iedere (meetbare) deelverzameling A ⊂ R2 de kans bepalen, dat ~Z ∈ A:
P(~Z ∈ A) =Z Z
Af~Z(x,y) dx dy (2.38)
Veronderstel nu dat ~Z = (X ,Y) een kansvector is, en dat de verdelingsfunctie F~Z bekend is. Dankunnen we voor a ∈ R de kans op X ≤ a ongeacht de waarde van Y uitrekenen als de limiet:
FX(a) = P(X ≤ a) = P(X ≤ a en Y < +∞) = limy→+∞
F~Z(a,y) (2.39)
De verkregen verdeling heet de marginale kansverdeling van X . Analoog vinden we voor b ∈ R
de marginale kansverdeling van Y :
FY (b) = limx→+∞
F~Z(x,b)
Voor een continue verdeling kunnen we de dichtheidsfuncties van de marginale verdeling gemak-kelijk terugvinden:
FX(x) = limy→+∞
F~Z(x,y) =Z x
−∞du
Z +∞
−∞f~Z(u,v) dv
en dus isfX(x) =
ddx
FX(x) =Z +∞
−∞f~Z(x,v) dv (2.40)
26
Voorbeeld 2.3.1 We werpen met twee dobbelstenen en beschouwen de volgende stochastischevariabelen:X : het aantal enen dat gegooid wordt;Y : het aantal zessen dat gegooid wordt.~Z = (X ,Y ) is dan een kansvector, die enkel paren gehele waarden (i, j) met 0 ≤ i + j ≤ 2 kanaannemen. Verifieer, dat
P(0,0) =42
62 =1636
P(1,0) = P(0,1) = 2 · 16· 4
6=
836
P(1,1) =2
36
P(2,0) = P(0,2) =1
36De grafiek van de verdelingsfunctie wordt gegeven in Figuur 2.5
-1
0
1
2
3
4
0 2 4
F = 0
16/36
24/36
25/36
24/36
34/36
35/36
F = 25/36
F = 35/36
F = 1
Figuur 2.5: Driedimensionale tekening en hoogtelijnen van de kansverdeling
Voorbeeld 2.3.2 We hernemen voorbeeld 1, maar we werpen nu met drie dobbelstenen in plaatsvan twee. ~Z = (X ,Y) is nu een kansvector, die enkel paren gehele waarden (i, j) met 0 ≤ i+ j ≤ 3kan aannemen. Verifieer dat
P(0,0) =43
63
P(1,0) = P(0,1)= 3 · 16· 4
6· 4
6=
4863
P(1,1) =2463
P(2,0) = P(0,2)= 3 · 16· 1
6· 4
6=
1263
P(2,1) = P(1,2)= 3 · 16· 1
6· 1
6=
363
P(3,0) = P(0,3)=163
27
Aanwijzing: het aantal mogelijke gevallen is steeds 63; zoek met behulp van kombinatieleer steedshet aantal gunstige gevallen geven.
Voorbeeld 2.3.3 Men kiest willekeurig en onafhankelijk van elkaar twee getallen tussen 0 en 2.Laat X het eerste getal, Y het tweede en ~Z de kansvector (X ,Y ) zijn. Dan is duidelijk
f~Z(x,y) =
14 als 0 ≤ x,y ≤ 2
0 anders
De verdelingsfunctie wordt gegeven door de formules
F~Z(x,y) =
0 als x ≤ 0 of y ≤ 0xy4 als 0 ≤ x, y ≤ 2x2 als 0 ≤ x ≤ 2 en y ≥ 2y2 als 0 ≤ y ≤ 2 en x ≥ 2
1 als x ≥ 2 en y ≥ 2
Figuur 2.6: Dichtheidsfunctie en verdelingsfunctie van de uniforme verdeling
In bovenstaand voorbeeld lieten we het woord “onafhankelijk” vallen. In formule (2.6) definieer-den we onafhankelijkheid van gebeurtenissen. Wat betekent het, dat twee stochastische variabelenonafhankelijk zijn?
Definitie 2.3.4 Twee stochastische variabelen X en Y heten onafhankelijk als de gebeurtenissen
(a1 < X ≤ b1) en (a2 < Y ≤ b2)
onafhankelijk zijn voor alle ai,bi ∈ R, of, equivalent, als
P((a1 < X ≤ b1)∩ (a2 < Y ≤ b2)) = P(a1 < X ≤ b1)P(a2 < Y ≤ b2) (2.41)
De stochastische variabelen uit voorbeeld 2.3.3 hierboven zijn onafhankelijk. Die uit voorbeeld 2.3.2niet! Immers,
P(X = 1) =7563 , P(Y = 2) =
1563 maar P(X = 1 en Y = 2) =
363
28
Stelling 2.3.5 De componenten van een tweedimensionale kansvector ~Z = (X ,Y) zijn onafhanke-lijk als en slechts als de verdelingsfunctie van ~Z het product is van de marginale verdelingsfuncties.
Bewijs. Veronderstel dat X en Y onafhankelijk zijn. Door in de definitie (2.41) de limiet te nemenvoor a1 →−∞ en a2 →−∞ volgt dat
F~Z(b1,b2) = FX(b1)FY (b2)
Omgekeerd, veronderstel dat voor alle b1,b2 ∈ R,
F~Z(b1,b2) = FX(b1)FY (b2)
dan geldt (maak zelf een tekening om dit te zien)
P(a1 < X ≤ b1 , a2 < Y ≤ b2) = P(X ≤ b1 ,Y ≤ b2)−P(X ≤ b1 ,Y ≤ a2)
−P(X ≤ a1 ,Y ≤ b2)+P(X ≤ a1 ,Y ≤ a2)
= F~Z(b1,b2)−F~Z(b1,a2)−F~Z(a1,b2)+F~Z(a1,a2)
= FX(b1)FY (b2)−FX(b1)FY (a2)−FX(a1)FY (b2)+FX(a1)FY (a2)
= (FX(b1)−FX(a1))(FY (b2)−FY (a2)) = P(a1 < X ≤ b1)P(a2 < Y ≤ b2)
en X en Y zijn dus inderdaad onafhankelijk.
In het continue geval hebben we een gelijkaardige eigenschap van de dichtheidsfuncties.
Stelling 2.3.6 De componenten van een tweedimensionale continue kansvector zijn onafhankelijkals en slechts als de dichtheidsfunctie het product is van de marginale dichtheidsfuncties.
Bewijs. Oefening.
Toepassing: De som van twee onafhankelijke stochastische variabelen
Bij een tramhalte passeert om de tien minuten een tram. U neemt elke dag deze tram op een wille-keurig tijdstip. De wachttijd T op de eerstvolgende tram bezit dan de volgende dichtheidsfunctie:
fT (t) =
110 als 0 ≤ t ≤ 10
0 anders
We noemen zo’n T uniform verdeeld over [0,10], zie § 3.6. Als U nu tweemaal de tram neemt,hoelang moet U dan in het totaal wachten; m.a.w. wat is de dichtheidsfunctie fT1+T2 van de somT1 +T2, als T1 en T2 de eerste resp. tweede wachttijd aan de halte zijn.Dit probleem is een speciaal geval van het volgende: veronderstel dat X en Y twee onafhankelijkecontinue stochastische variabelen zijn, met dichtheidsfuncties fX en fY . Hoe vinden we fX+Y ? Ditgebeurt als volgt; we bepalen eerst de verdelingsfunctie FX+Y van de som:
FX+Y (x) = P(X +Y ≤ x) =
Z Z
u+v≤xf~Z(u,v) du dv =
Z +∞
−∞du
Z x−u
−∞f~Z(u,v) dv
=Z +∞
−∞fX(u) du
Z x−u
−∞fY (v) dv
29
(maak een tekening van het integratiegebied). Afleiden naar x geeft (in de veronderstelling dat wedifferentiatie en integratie mogen verwisselen):
fX+Y (x) =ddx
(Z +∞
−∞fX(u) du
Z x−u
−∞fY (v) dv
)=
Z +∞
−∞fX(u) fY (x−u) du
= ( fX ? fY )(x) (2.42)
In deze formule is fX ? fY de gebruikelijke notatie voor het convolutieproduct.Hieruit kunnen we besluiten:
Stelling 2.3.7 Als X en Y twee onafhankelijke stochastische variabelen zijn met continue verde-ling, dan is de dichtheidsfunctie van X +Y de convolutie van de dichtheden van X en Y ,
fX+Y = fX ? fY (2.43)
Keren we nu terug naar de toepassing hierboven. Met behulp van bovenstaande stelling 2.3.7kunnen we de dichtheidsfunctie van T1 +T2 bepalen:
fT1+T2(t) =Z +∞
−∞fT1(u) fT2(t −u)du =
110
Z 10
0fT2(t −u)du
We onderscheiden nu vier gevallen:
1) t < 0. Voor 0 ≤ u ≤ 10 geldt dan dat fT2(t −u) = 0, zodat
fT1+T2(t) = 0 .
Dit is uiteraard wat we verwachten: een negatieve wachttijd kan nooit optreden.
2) 0 ≤ t ≤ 10. Dan is t − u ≤ 10. Voor u gelegen tussen 0 en t hebben we bovendien datt −u ≥ 0, zodat
fT1+T2(t) =1
10
Z t
0
110
du =t
100.
3) 10 ≤ t ≤ 20. Nu is t − u ≥ 0, en bovendien geldt voor u gelegen tussen t − 10 en 10 datt −u ≤ 10, zodat
fT1+T2(t) =1
10
Z 10
t−10
110
du =20− t100
.
4) t > 20. Dan is t − u > 10, zodat fT2(t − u) = 0 voor u tussen 0 en 10 zodat, net als in heteerste geval
fT1+T2(t) = 0 .
Inderdaad is het onmogelijk dat we een totale wachttijd hebben die langer duurt dan 20 mi-nuten. De grafiek van fT1+T2 wordt gegeven in Figuur 2.7. Bepaal zelf de verdelingsfunctieFT1+T2 en teken de grafiek.
30
-0.02
0
0.02
0.04
0.06
0.08
0.1
0.12
0 5 10 15 20
Figuur 2.7:
2.4 Verwachtingswaarde en standaardafwijkingBij een loterij zijn er 1000 loten van 10 frank. Het winnende nummer is goed voor 4000 frank ener zijn 5 troostprijzen van 200 frank. Wat is de waarde die U aan zo’n lot kunt toekennen? Opvoorhand weten we natuurlijk niet op welk lot de hoofdprijs gaat vallen en dus welk lot een grotewaarde heeft. We kunnen wel een soort ”gemiddelde”waarde van een lot bepalen. Stel, dat wealle loten zouden kopen, dan zijn we 10.000 Frank kwijt en we winnen 5.000 Frank aan prijzen;het verlies is dus gemiddeld 5 Frank per lot. Aan ieder lot kunnen we dus een ”waarde”toekennenvan −5 Frank. We noemen dit de verwachtingswaarde van een lot uit de betreffende loterij. Ditvoorbeeld suggereert de definitie:
Definitie 2.4.1 Voor een gegeven stochastische variabele X definieren we de verwachtingswaardeE[X ] (Eng.: expectation) door
E[X ] =
∑ j x j p j indien X discreet verdeeldR +∞−∞ x fX(x) dx indien X continu verdeeld
(2.44)
Merk op dat E[X ] niet altijd bestaat; het is inderdaad mogelijk dat de reeks of oneigenlijke integraaldivergeert.
Voorbeelden 2.4.2 1) Bij de boven vermelde loterij is Ω de verzameling van de 1000 loten enX(ω) is de winst die U maakt bij het kopen van een ervan:
X(ω) =
4000−10 voor het winnende lot
200−10 voor de troostprijzen
−10 voor de andere loten
Bijgevolg is
E[X ] = ∑j=1
x j p j = (4000−10)1
1000+(200−10)
51000
−10994
1000= −5
31
en vinden we een negatieve verwachtingswaarde.
2) Men werpt een dobbelsteen. X is het aantal ogen dat bovenaan komt te liggen. Dan is
E[X ] =6
∑j=1
j6
=216
= 3.5
Neem nu een (continue) functie g : R → R, dan kunnen we een nieuwe stochastische variabeleg(X) definieren voor een gegeven stochastiek X als de stochastiek met de verdelingsfunctie
Fg(X)(z) := P(g(X)≤ z),
zie formule (2.35). Voor X diskreet vindt men gemakkelijk dat
E[g(X)] = ∑j
g(x j) p j (2.45)
Inderdaad, voor y ∈ R heeft men
P(g(X) = y) = ∑jp j : g(x j) = y
Sommatie over alle verschillende g(x j) geeft het resultaat.
Voor een continu verdeelde stochastische variabele X heeft men, op analoge manier
E[g(X)] =
Z +∞
−∞g(x) fX(x) dx (2.46)
Opgave: Bewijs zelf de volgende eigenschappen:
1. E[aX ] = a E[X ], voor elke a ∈ R met a 6= 0;
2. E[X +b] = E[X ]+b, voor elke b ∈ R;
3. E[b] = b, voor elke b ∈ R;
4. |E[X ]| ≤ E[|X |].Veronderstel dat we E[X ] en E[Y ] kennen van twee stochastische variabelen X en Y . Wat is danE[X +Y ]? Om hier een antwoord op te kunnen geven hebben we een veralgemening van de eigen-schappen (2.45) en (2.46) nodig. Veronderstel dat X en Y twee stochastische variabelen zijn en datg : R2 → R een (continue) functie is. Dan is
E[g(X ,Y)] =
Z +∞
−∞
Z +∞
−∞g(x,y) f(X ,Y)(x,y) dx dy
E[g(X ,Y)] = ∑i
∑j
g(xi,y j) P(X = xi,Y = y j) (2.47)
in het continue respectievelijk het discrete geval. Net zoals voor (2.45) en (2.46) is het bewijseenvoudig in het discrete geval. Het bewijs in het continue geval laten we hier achterwege.Met deze formule (2.47) kunnen we eenvoudig laten zien, dat de verwachtingswaarde van de somvan twee stochastieken altijd de som van de verwachtingswaarden is:
32
Stelling 2.4.3E[X +Y ] = E[X ]+E[Y ] (2.48)
Bewijs.
E[X +Y ] =Z +∞
−∞
Z +∞
−∞(x+ y) f(X ,Y )(x,y) dx dy
E[X ] =
Z +∞
−∞x fX(x) dx =
Z +∞
−∞
Z +∞
−∞x f(X ,Y )(x,y) dx dy
E[Y ] =
Z +∞
−∞y fY (y) dy =
Z +∞
−∞
Z +∞
−∞y f(X ,Y)(x,y) dx dy
Optellen van de laatste twee vergelijkingen geeft de eerste.
Voor onafhankelijke veranderlijken X en Y geldt een analoge gelijkheid voor het produkt, zie(2.51),
E[XY ] = E[X ]E[Y ]
Definitie 2.4.4 De variantie van X is de verwachtingswaarde van het kwadraat van de afwijkingt.o.v. het gemiddelde E[X ]
Var[X ] = E[(X −E[X ])2] (2.49)
Zij bestaat alleen, als de bijbehorende integraal of oneindige som (zie (2.44)) niet divergeert,Z +∞
−∞(x−E[X ])2 fX(x)dx < ∞ of
∞
∑k=0
pk (xk −E[X ])2 < ∞ .
De standaardafwijking van X is de vierkantswortel van de variantie:
σX =√
Var[X ] (2.50)
De variantie geeft aan hoe snel X varieert rond zijn verwachtingswaarde. Hoe groter de kans is,dat X(ω) dicht bij E[X ] ligt, hoe kleiner Var[X ] is. Merk ook op dat σX en X dezelfde dimensieshebben.In voorbeeld 2.4.2 (de loterij) hebben we
Var[X ] =39952 +1952 ·5+52 ·994
1000= 16175 en σX = 127.2
Opgave: Bewijs zelf de volgende eigenschappen:
1) Var[aX ] = a2Var[X ] (voor a 6= 0)
2) Var[X +b] = Var[X ]
3) Var[b] = 0
Analoog aan (2.48) kunnen we variantie van een som en van een produkt van twee stochastiekenin verband proberen te brengen met het produkt van de varianties. Dit is echter alleen mogelijkonder de extra voorwaarde, dat beide stochastieken onafhankelijk zijn.
33
Stelling 2.4.5 Als X en Y onafhankelijke stochastische variabelen zijn, dan geldt:
1. E[XY ] = E[X ]E[Y ] (2.51)2. Var[X +Y ] = Var[X ]+Var[Y ] (2.52)3. Var[XY ] = Var[X ]Var[Y ]+E[X ]2Var[Y ]+Var[X ]E[Y ]2 (2.53)
Bewijs. Veronderstel dat X en Y continu verdeeld zijn. Het discrete geval laten we als oefening.
E[XY ] =Z +∞
−∞
Z +∞
−∞xy f(X ,Y )(x,y) dx dy =
Z +∞
−∞
Z +∞
−∞xy fX(x) fY (y) dx dy
=Z +∞
−∞x fX(x) dx
Z +∞
−∞y fY (y) dy = E[X ]E[Y ]
Var[X +Y ] = E[(X +Y −E[X +Y ])2] = E[((X −E[X ])+(Y −E[Y ])
)2]
= E[(X −E[X ])2]+E[(Y −E[Y ])2]+2E[(X −E[X ])(Y −E[Y ])]
= Var[X ]+Var[Y ]
wantE[(X −E[X ])(Y −E[Y ])] = E[X −E[X ]]E[Y −E[Y ]] = 0
als X en Y onafhankelijk zijn.De derde eigenschap bewijzen we op analoge manier.
Opmerking: De variantie kunnen we ook met de volgende formule berekenen:
Var[X ] = E[X2]−E[X ]2 (2.54)
wantE[(X −E[X ])2] = E[X2]−2E[X E[X ]]+E[X ]2 = E[X2]−E[X ]2 .
Voor praktische berekeningen is de laatste formule echter niet geschikt: de afrondfouten kunnenzich opstapelen in beide kwadratische termen en komen dan tevoorschijn bij de aftrekking. Ditgebeurt met name als E[X ]2 en E[X2] groot zijn t.o.v. hun verschil; er treedt dan z.g. cijferverliesop bij de aftrekking. Formule (2.54) is dus numeriek instabiel.
Voorbeelden 2.4.6 1) Werp met een dobbelsteen en beschouw volgende stochastische variabelen
X = aantal ogen dat geworpen wordt
Y =
1 als het aantal ogen even is
0 als het aantal ogen oneven is
Dan zijn X en Y afhankelijk:
P(X = 3 en Y = 1) = 0 terwijl P(X = 3) P(Y = 1) =16· 1
2=
112
34
Voor de verwachtingswaarde van de som geldt inderdaad
E[X +Y ] = E[X ]+E[Y ] = 4
(verifieer door beide leden uit te rekenen). Voor de verwachtingswaarde van het produkt en voorde variantie van de som hebben we echter
E[XY ] = 2 6= E[X ] ·E[Y ] = 3.5×0.5
enVar[X +Y ] =
226
6= Var[X ]+Var[Y ] =3512
+14
=196
.
2) We werpen met twee dobbelstenen en kiezen de stochastieken X en Y als volgt:
X = aantal ogen van de eerste dobbelsteen
Y =
1 als het aantal ogen van dobbelsteen 2 oneven is
0 als het aantal ogen van dobbelsteen 2 even is
X en Y zijn nu onafhankelijk. Verifieer dat
E[X +Y ] = E[X ]+E[Y ] = 4 , E[XY ] = E[X ] ·E[Y ] = 1.75
Var[X +Y ] = Var[X ]+Var[Y ] =3812
Momenten
In de mechanica worden bij een gegeven object bestaande uit massapunten xi met gewichtenpi de begrippen totale massa, zwaartepunt en traagheidsmoment (t.o.v. het zwaartepunt) gede-finieerd als
m = ∑ pi , g = ∑ pixi en ∑(xi −g)2 pi .
Deze begrippen zijn volledig analoog met de definities van totale kans (=1), verwachtingswaardeen variantie in de waarschijnlijkheidsrekening. Algemeen kunnen we (zoals in de mechanica) hetruwe moment en het centrale moment van orde k definieren alsvolgt:
Definitie 2.4.7 Voor elke k ∈N (= 0, 1, 2, · · ·) definieren we het ruwe moment αk en het centralemoment µk van orde k door
αk(X) = E[X k] en µk(X) = E[(X −E[X ])k] (2.55)
Opgave: Bewijs zelf de volgende eigenschappen:
1) α1(X) = E[X ] (2.56)2) µ1(X) = 0 (2.57)3) µ2(X) = Var[X ] = α2(X)−α1(X)2 (2.58)4) µ3(X) = α3(X)−3α1(X)α2(X)+2α1(X)3 (2.59)
De momenten van orde drie en vier worden verder behandeld in § 2.5.De variantie geeft een maat voor de grootte van het gebied, waar we het grootste deel van de“kansmassa”kunnen verwachten. Dit wordt geıllustreerd door het volgende belangrijke resultaat:
35
Stelling 2.4.8 (formule van Chebyshev)Als X een stochastische variabele is met gemiddelde α1 en variantie µ2 = σ2, dan geldt voor elkeλ > 0:
P(|X −α1| ≥ λ) ≤ σ2
λ2 (2.60)
Bewijs. We bewijzen enkel het geval waarin X continu verdeeld is. Het geval waarin X discreetverdeeld is laten we als oefening.
σ2 =
Z +∞
−∞(x−α1)
2 fX(x) dx ≥Z α1 −λ
−∞(x−α1)
2 fX(x) dx+
Z ∞
α1 +λ(x−α1)
2 fX(x) dx.
Voor x ≤ α1 − λ zowel als voor x ≥ α1 + λ geldt |x −α1|2 ≥ λ2. Bovendien is fX(x) nergensnegatief. Dus:
σ2 ≥ λ2Z α1 −λ
−∞fX(x) dx+λ2
Z ∞
α1 +λfX(x) dx
= λ2P(X ≤ α1 −λ)+λ2P(X ≥ α1 +λ)
= λ2P(|X −α1| ≥ λ)
2.5 Kentallen van lokatie, schaal en vormDe verwachtingswaarde van een stochastische variabele geeft ons informatie over de lokatie ofligging van de kansverdeling; de variantie vertelt ons iets over de spreiding, of schaal van de ver-deling. In dit hoofdstuk bespreken we deze en enige andere grootheden die informatie geven overde locatie, de schaal en de vorm van de kansverdeling: de mediaan, de modus, het interkwartiel,de mediane absolute afwijking (Mad of median absolute deviation), de scheefheidscoefficient ende kurtosis.
2.5.1 Kentallen van lokatiea. Het rekenkundig gemiddelde
Dit is niets anders dan de verwachtingswaarde. Deze grootheid bezit prettige eigenschappen vooreen wiskundige analyse, zoals lineariteit2, maar heeft verder enkele nadelen: het is mogelijk datE[X ] niet bestaat. Zo heeft de Cauchy-verdeling FX ,
FX(x) :=12
+1π
arctan(x) met kansdichtheid fX(x) :=1
π+πx2 (2.61)
geen verwachtingswaarde, omdat de volgende integraal divergeert:
lima→−∞, b→+∞
Z b
a
x dx1+ x2 bestaat niet.
2de verwachtingswaarde van een som is de som van de verwachtingswaarden, zie (2.48).
36
Verder kan de waarde van E[X ] sterk beınvloed worden door een relatief kleine hoeveelheid kans-massa die op grote afstand ligt van het centrum van de kansmassa. Men zegt dat het gemiddeldeniet “robuust” is en gevoelig is voor uitschieters (Eng: outlyers), vergelijk de opmerking in para-graaf 2 over het steekproefgemiddelde.
b. De mediaan
De mediaan is het 50%-percentiel (zie § 2.2.4). Dit is (ruwweg) het punt op de x-as dat zo gelegenis, dat er aan weerszijden een even grote kansmassa ligt (vergelijk met de empirische mediaan(1.2)). Om precies te zijn onderscheiden we drie gevallen:
1o. Er is precies een punt m zodat FX(m) = 12 , zoals geschetst in Figuur 2.8. In dat geval defi-
nieren we:med(X) := F−1
X (12) (2.62)
2o. Er is geen punt m zodat FX(m) = 12 , zoals geschetst in Figuur 2.9 (linker grafiek). In dat
geval is FX discontinu en maakt deze ergens een sprong van een waarde kleiner dan 12 naar
een waarde groter dan 12 . We definieren med(X) dan als het punt, waar FX die sprong maakt.
3o. De verzameling punten x|FX(x) = 12, ook wel aangeduid met F−1
X (12), bevat meer dan
een punt. Omdat FX stijgend (niet dalend) is, is F−1X (1
2) dan een interval. De mediaan isdan niet eenduidig bepaald volgens bovenstaande definitie en we definieren hem dan als hetmiddelpunt van het interval F−1
X (12), zie Figuur 2.9 (rechter grafiek).
-5 0 50
0.1
0.2
0.3
50% 50%
-5 0 5
0
0.2
0.4
0.6
0.8
1
mediaan=0
Figuur 2.8: Dichtheidsfunctie en mediaan van de Cauchy-verdeling.
De mediaan bezit niet de aangename eigenschappen van het gemiddelde, zoals de lineariteit, en hetberekenen ervan kost i.h.a. veel meer werk. Hij is wel veel robuuster: de aanwezigheid van kleinekansmassas op een grote afstand beınvloedt de mediaan niet al te veel. In het voorbeeld 1 van§2 (de loterij) is de verwachtingswaarde gelijk aan −5 en de mediaan −10; als we de hoofdprijsverhogen tot 8000 Frank, stijgt de verwachtingswaarde naar −1, terwijl de mediaan onveranderdop −10 blijft staan (reflecterend dat de meeste deelnemers aan de loterij inderdaad 10 F verliezen).
37
-1 0 1 2 3
0
0.5
1
mediaan=1
0 2 4
0
0.5
1
mediaan=1.5
Figuur 2.9: Mediaan van B(2,0.5) en B(3,0.5).
Voorbeelden 2.5.1 1) Neem de uniforme discrete verdeling op 1,2,3,4,5, d.w.z. P(X = i) = 15
voor i = 1,2,3,4,5. Dan is med(X) = 3, immers, met FX(3) = 35 , en lim
x→3FX(x) =
25
maakt FX in
x = 3 een sprong van 25 naar 3
5 . Teken zelf de verdelingsfunctie van X . We zijn hier in het tweedegeval.2) Neem nu de uniforme discrete verdeling op 1,2,3,4,5,6 met P(X = i) = 1
6 . Ditmaal isF−1
X (12) = [3,4), zodat med(X) = 3 1
2 . Dit is het derde geval.
Opmerking: Indien de verdeling van X symmetrisch is, d.w.z. indien er een c is zodat
fX(c+ x) = fX(c− x) (als X continu)P(X = c+ x) = P(X = c− x) (als X discreet) (2.63)
dan is med(X) = c. Bovendien geldt dan in dat geval E[X ] = c, indien E[X ] bestaat. Als g eenmonotone continue functie is, dan is g(med(X)) = med(g(X)) (ga na).
c. De modus
Dit is de “meest voorkomende waarde”. Voor X discreet is dit de x j waarvoor p j = P(X = x j)maximaal is. Voor X continu is mod(X) het punt waarbij fX zijn absolute maximum bereikt.De modus is niet steeds eenduidig! fX kan meerdere absolute maxima hebben en p j kan zijnmaximum aannemen voor verscheidene waarden van j (zoals bijvoorbeeld bij de dobbelsteen).Indien de modus uniek is, dan zeggen we dat de verdeling unimodaal is. De Cauchy-verdeling infig. 7.1 is duidelijk unimodaal evenals de verdeling B(2, 0.5) in fig. 7.2a. De verdeling B(3, 0.5)in fig. 7.2b is bimodaal en de dobbelsteen (fig. 4.1) is multimodaal.
2.5.2 Kentallen van schaala. De variantie en de standaardafwijking
Deze werden ingevoerd in § 2.4. Ze hebben dezelfde voor- en nadelen als het rekenkundig ge-middelde: wiskundig het eenvoudigst, maar weinig robuust. Als de verwachtingswaarde van eenkansverdeling niet bestaat, zal de variantie zeker niet bestaan. Het is echter wel mogelijk, dat
38
het gemiddelde bestaat, maar de standaardafwijking niet; b.v. de t2-verdeling met kansdichtheidf2(x) := 1
2(1+x2)−3/2 heeft verwachtingswaarde 0 maar de integraal voor de variantie divergeert.
b. Het interkwartiel
-0.2
0
0.2
0.4
0.6
0.8
1
1.2
0 1 2 3 4 5 6
mediaan: 4.098 MAD: 0.804
interkwartiel: 4.548 - 2.52 = 2.028
verwachtingswaarde: 3.408
Figuur 2.10: Mediaan, interkwartiel en MAD van een verdeling met bijhorende dichtheid
Dit is het verschil tussen het 75%-percentiel en het 25%-percentiel (zie § 2.2.4). Als de verdelings-functie continu en strikt stijgend (en dus bijectief) is, dan vinden we voor het interkwartiel
interkwartiel := F−1X(3
4)−F−1
X(1
4)
(2.64)
Een voorbeeld is geschetst in Figuur 2.10 (zie ook Figuur 2.3):
c. De mediane absolute afwijking
(Eng: median absolute deviation of Mad) Dit is de mediaan van de absolute afwijking ten opzichtevan de mediaan van de verdeling (zie fig. 7.3):
MAD(X) = med |X −med(X)| (2.65)
Uit de definitie volgt, dat 50 % van de kansmassa zich bevindt tussen med−MAD en med+MAD,of
FX(med+MAD)−FX(med−MAD) = 1/2. (2.66)
Voor een verdeling met bijectieve verdelingsfunctie kan (2.66) bewezen worden als volgt. StelY = |X −med(X)|, dan is MAD(X) = F−1
Y (1/2), zodat
12
= FY (MAD(X))
39
= P(|X −med(X)| ≤ MAD(X)
)
= P(−MAD(X) ≤ X −med(X) ≤ MAD(X)
)
= P(med(X)−MAD(X) ≤ X ≤ med(X)+MAD(X)
)
= FX(med(X)+MAD(X)
)−FX
(med(X)−MAD(X)
)
Merk op dat de MAD nog robuuster is dan het interkwartiel. Voor symmetrische kansverdelingenzijn 2×MAD en interkwartiel aan elkaar gelijk.
2.5.3 Kentallen van vorma. De scheefheid
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
-3 -2 -1 0 1 2 3
verwachtingswaarde: 1
variantie: 1/3
standaardafwijking: 0.5774
scheefheidscoefficient: -1.155
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
-1 0 1 2 3 4 5
verwachtingswaarde: 1
variantie: 1/3
standaardafwijking: 0.5774
scheefheidscoefficient: 1.155
Figuur 2.11: Voorbeelden van verdelingen met negatieve (links) en positieve(rechts) scheefheids-coefficient
Veronderstel dat de verdeling van de stochastische variabele X symmetrisch is t.o.v. E[X ], d.w.z.
fX(E[X ]− x) = fX(E[X ]+ x) (voor een continue verdeling)P(X = E[X ]− x) = P(X = E[X ]+ x) (voor een discrete verdeling)
(2.67)
dan is het centrale moment van orde 3 gelijk aan nul (als het bestaat):
µ3(X) = E[(X −E[X ])3] = 0
(bewijs zelf als oefening). Deze eigenschap geldt voor een symmetrische verdeling trouwens voorelk centraal moment van oneven orde. Indien de dichtheidsfunctie niet symmetrisch is en eenbrede lange staart naar rechts heeft, dan zullen de positieve afwijkingen in (X −E[X ])3 overwegenen zal µ3 positief zijn. Omgekeerd, indien de grafiek van de dichtheidsfunctie een langere enbredere staart naar links vertoont, dan zal µ3(X) negatief zijn. Als voorbeeld zijn in Figuur 2.11verdelingen geschetst met de kansdichtheden:
flinks(x) :=272
(x−2)2e3(x−2) voor x < 2, voortgezet met nul elders
frechts(x) :=272
x2e−3x voor x > 0, voortgezet met nul elders
40
Beide hebben ze verwachtingswaarde 1 en variantie 13 .
We kunnen het derde centrale moment µ3(X) dus als een maat voor de scheefheid beschouwen.Omdat deze grootheid µ3(X) de dimensie van X 3 heeft en omdat we de voorkeur geven aan eendimensieloze grootheden voor dit soort maten, herschalen we µ3 door deze te delen door de derdemacht van de standaarddeviatie. (Ga na, dat dit hetzelfde is als het derde centrale moment vande genormaliseerde verdeling X/σX berekenen). We definieren de scheefheidscoefficient (Eng.coefficient of skewness) γ1 dus door:
γ1(X) :=µ3(X)
σ3X
(2.68)
Voorbeeld 2.5.2 In het loterijvoorbeeld (no 1) uit § 2.4 hebben we de volgende kentallen:
X j Pj-10 0.994190 0.005
3990 0.001
E[X ] = −5
Var[X ] =3
∑j=1
(x j +5)2Pj = 16 175
σ = 127.2
µ3(X) =3
∑j=1
(x j +5)3Pj = 63 797 250
γ1 = 31.01
b. De kurtosis
In het vierde centrale moment is de bijdrage van de staarten (vanwege de vermenigvuldigingsfactor(x−E[X ])4 in de integraal) veel groter dan in de lagere momenten als de variantie. Als de staart“dik” is, zoals b.v. bij de eerste verdeling in Figuur 2.12, zal µ4 relatief groot zijn, en als de staart“dun” is, zoals bij verdeling 3 in dezelfde figuur, zal ze relatief klein zijn. De “ideale” staartdikteis die van de normale verdeling, geschetst in verdeling 2.Om evenals bij de scheefheid hierboven een dimensieloze grootheid te krijgen, delen we µ4 doorde vierde macht van de standaardafwijking. De parameter om dit verschijnsel te meten wordt b2genoemd:
b2(X) :=µ4(X)
σ4X
(2.69)
Deze grootheid is uiteraard altijd positief. De coefficient van kurtosis3 γ2(X) voor de verdeling vanX verkrijgen we dan door van dit quotient het overeenkomstige quotient voor de normale verdelingaf te trekken. Aangezien dit laatste altijd 3 is vinden we:
γ2(X) =µ4(X)
σ4X
−3 (2.70)
Een verdeling met positieve γ2 heeft “dikke” staarten en wordt ook wel “platycurtic” genoemd;een verdeling met negatieve γ2 heeft “dunne” staarten en wordt ook wel “leptocurtic” genoemd:
γ2 < 0 : leptocurticγ2 = 0 : mesocurticγ2 > 0 : platycurtic
3Kurtosis is Grieks voor “welving”.
41
0
0.2
0.4
0.6
0.8
1
1.2
-3 -2 -1 0 1 2 3
Figuur 2.12: Drie kansverdelingen en hun dichtheid met coefficienten van kurtosis positief, nul ennegatief. Alle drie zijn geschaald, zodat de varianties gelijk zijn aan 1.
2.6 Covariantie en correlatiecoefficientNeem twee stochastische variabelen X en Y . Als X en Y onafhankelijk zijn, dan geldt, zoals wegezien hebben, dat σ2
X+Y = σ2X + σ2
Y . In het algemeen (voor afhankelijke stochastieken) hebbenwe:
σ2X+Y = E[(X +Y −αX −αY )2]
= E[(X −αX)2 +(Y −αY )2 +2(X −αX)(Y −αY )]
= σ2X +σ2
Y +2E[(X −αX)(Y −αY )] (2.71)
Het verschil, de term 2E[(X −αX)(Y −αY )], geeft dus een idee van de mate van onderlinge afhan-kelijkheid van X en Y . Dit leidt tot de begrippen covariantie en correlatie:
Definitie 2.6.1 De covariantie van X en Y wordt gegeven door
cov(X ,Y ) = E[(X −αX)(Y −αY )] (2.72)
de correlatiecoefficient definieren we door
ρ =cov(X ,Y)
σX σY(2.73)
Stelling 2.6.2 De correlatiecoefficient ρ is begrensd:
−1 ≤ ρ ≤ 1 (2.74)
42
Bewijs. Beschouw de volgende semidefiniet positieve kwadratische vorm in a en b:
∀a,b ∈ R : 0 ≤ E[(a(X −αX)+b(Y −αY ))2] = a2σ2X +b2σ2
Y +2 ab cov(X ,Y) .
De discriminant van deze kwadratische vorm moet dus negatief zijn :
cov(X ,Y )2 −σ2X σ2
Y ≤ 0 oftewel ρ2 ≤ 1
Opmerking. Analoog aan formule (2.54) kunnen we de covariantie op een alternatieve (en poten-tieel numeriek instabiele) manier berekenen door de formule
cov(X ,Y) = E[XY ]−E[X ]E[Y ] (2.75)
want
cov(X ,Y ) = E[(X −αX)(Y −αY )] = E[XY ]−E[X ]αY −E[Y ]αX +αX αY
= E[XY ]−E[X ]E[Y ]
Definitie 2.6.3 Twee stochastische variabelen X en Y heten niet gecorreleerd als
cov(X ,Y) = 0 of E[XY ] = E[X ]E[Y ] of σ2X+Y = σ2
X +σ2Y (2.76)
Merk op dat twee onafhankelijke stochastische variabelen niet gecorreleerd zijn. Het omgekeerdegeldt echter niet, zoals blijkt uit het volgende voorbeeld:
Voorbeeld 2.6.4 cov(X ,Y) = 0 impliceert niet dat X en Y onafhankelijk zijn. Neem voor ~Z =(X ,Y ) de tweedimensionale uniforme verdeling over de cirkel, d.w.z.
f~Z(x,y) =
1π als x2 + y2 ≤ 1
0 als x2 + y2 > 1
X en Y zijn niet gecorreleerd want E[X ] = E[Y ] = 0 en:
E[XY ] =1π
Z Z
xydxdy =1π
Z 2π
0cosϑsinϑdϑ
Z 1
0r3dr = 0
Anderzijds zijn X en Y niet onafhankelijk, want
P
(X >
√2
2, Y >
√2
2
)= 0 en P
(X >
√2
2
)P
(Y >
√2
2
)6= 0
43
x
y z=x+iy
O
Figuur 2.13: Grafische voorstelling van een complex getal z = x+ iy in het platte vlak
2.7 De karakteristieke functie van een stochastische variabele
2.7.1 De complexe exponentiele functieWe herhalen dat we de complexe getallen kunnen definieren door aan de reele getallen de imagi-naire grootheid i :=
√−1 toe te voegen. Door twee reele getallen x en y met i te combineren in
z = x + iy krijgen we een complex getal dat we grafisch voor kunnen stellen als een punt in hetplatte vlak, zie Figuur 2.13:Uit het plaatje volgt, dat het voor de hand ligt om de absolute waarde (= grootte) van z = x+ iy tedefinieren als |z| :=
√x2 + y2. Zo vinden we de verzameling C van complexe getallen:
C = x+ iy | x,y ∈ R, (2.77)
De exponentiele functie exp : R → R+ kunnen we uitbreiden tot een functie op de complexe getal-len en met complexe waarden door de definitie
exp(x+ iy) = ex+iy = ex(cosy+ isiny) (2.78)
Deze functie heeft de eigenschappen die we verwachten van een exponentiele functie, bijvoorbeeld
exp(z+ z′) = exp(z)exp(z′) enddz
ez = ez (2.79)
voor elke z ∈ C. Consistent hiermee is de representatie van z = x + iy ∈ C door z = reiϕ als (r,ϕ)de poolcoordinaten in het vlak zijn met x = r cosϕ, y = r sinϕ, waar r = |z| de absolute waarde enϕ het argument van z is.Aangezien we ieder complex getal kunnen schrijven als een reeel deel plus i maal een imaginairdeel, kunnen we een complexwaardige functie g : R → C ontbinden in haar reele en imaginairedelen,
g(x) = g1(x)+ ig2(x)
en op ieder van de delen de bekende regels voor differentiatie en integratie toepassen
g′(x) = g′1(x)+ ig′2(x) enZ b
ag(x)dx =
Z b
ag1(x)dx+ i
Z b
ag2(x)dx
indien deze afgeleiden, resp. integralen bestaan. In deze laatste definitie mogen a en b de waarden−∞ en +∞ aannemen. We kunnen op zulke complexwaardige functies dus alle bekende “calculus-regels toepassen.
44
2.7.2 De karakteristieke functieIn de formules (2.35), (2.45) en (2.46) hebben we functies van een stochastische variabele X in-gevoerd en de verwachtingswaarde ervan gedefinieerd. Met gebruik van het bovenstaande kunnenwe ook de complexe functie ϕX definieren:
ϕX(t) = E[eitX ]. (2.80)
Deze functie heet de karakteristieke functie van X .Indien X continu verdeeld is met kansdichtheid fX , dan hebben we
ϕX(t) =
Z +∞
−∞fX(x)eitxdx;
m.a.w. ϕX is de Fouriergetransformeerde van de dichtheidsfunctie. Voor X discreet geldt:
ϕX(t) = ∑j
p jeitx j als P(X = x j) = p j, ( j = 0,1, ...).
We merken op, dat deze integraal resp. som altijd bestaan, aangezien fX en pi niet-negatief zijn eneen eindige integraal resp. som hebben. De belangrijkste eigenschappen van deze karakteristiekefunctie zijn de volgende:
Stelling 2.7.1 1) UniciteitϕX = ϕY ⇐⇒ FX = FY (2.81)
2) Lineaire transformatie: voor elke α,β ∈ R geldt:
ϕαX+β(t) = E[eit(αX+β)] = eiβtϕX(αt) (2.82)
3) Als het k-de moment αk van X bestaat, dan geldt:
αk =
(1i
ddt
)k
ϕX(t)|t=0 (2.83)
4) Als X en Y onafhankelijk zijn, dan geldt:
ϕX+Y = ϕX ·ϕY (2.84)
Bewijs. Het bewijs van de uniciteit in 1) gaat buiten het kader van deze syllabus; het is nauwverwant met de uniciteit van de verdelingsfunctie en de uniciteit van de Fouriergetransformeerde.2) volgt uit de eigenschappen van de verwachtingswaarde. Voor 3) geldt (aangenomen, dat we devolgorde van integratie en differentiatie mogen verwisselen!)
dk
dtk ϕX(t)|t = 0 =dk
dtk
Z ∞
−∞fX(x) eitx dx |t = 0 = ik
Z ∞
−∞fX(x) xk eitx
|t = 0 dx
= ikZ ∞
−∞fX(x) xk dx = ik E[X k] = ik αk
In het discrete geval kan men een analoog bewijs geven.Op grond van formule (2.51) geldt voor 4) onder de voorwaarde van onafhankelijkheid van X enY :
ϕX+Y (t) = E[eitX+itY ] = E[eitX eitY ] = E[eitX ] E[eitY ] = ϕX(t) ϕY (t)
45
Voorbeelden 2.7.2 1) Als X het resultaat is van een worp met een munt met P(“kop”) = P(X =1) = p, dan vinden we de karakteristieke functie:
ϕX(t) = E[eitX ] = eit0 · (1− p)+ eit · p = 1− p+ peit . (2.85)
Als Y het aantal keren “kopıs bij n onafhankelijke worpen, dan is de bijbehorende karakteristiekefunctie:
ϕY (t) =(1− p+ peit)n
. (2.86)
2) Als X normaal verdeeld is met kansdichtheid fX(x) = exp(−12x2)/
√2π, dan is de karakteristieke
functie
ϕX(t) =1√2π
Z ∞
−∞exp(−1
2x2) eitx dx
=1√2π
Z ∞
−∞exp(
12[−x2 +2ixt + t2]− t2
2
)dx (2.87)
= exp(− t2
2)
1√2π
Z ∞
−∞exp(−1
2(x− it)2)dx = exp(− t2
2) (2.88)
aangenomen dat we in de laatste integraal s = x− it met ds = dx mogen substitueren.
46
Hoofdstuk 3
Belangrijke Verdelingen
3.1 De Binomiaalverdeling
3.1.1 Bernoulli-experimentenBij ieder binair kenmerk, zoals kop/munt – geslaagd/gezakt – roker/niet-roker – man/vrouw –wit/zwart – nul/een – winst/verlies kunnen we de kans bestuderen, dat het ene dan wel het an-dere alternatief optreedt. We noemen de bijbehorende kansruimte een Bernoulli-experiment; ditis een kansruimte met slechts twee uitkomsten, d.w.z. Ω bevat slechts twee elementen, die wemeestal aangeven met de codes 0 en 1: Ω = 0, 1. Wanneer 1 optreedt met kans p, dan treedt hetalternatief 0 op met kans q := 1− p. We hebben zo dus een (discrete) stochastische variabele X opΩ, die alleen de waarden 0 of 1 kan aannemen:
Ω = 0, 1, P(X = 1) = P(1) = p en P(X = 0) = P(0) = q = 1− p (3.1)
We zeggen dat X een Bernoulli-verdeling heeft met kans op “succes”p en we noteren dit door
X ∼ B(1, p) (3.2)
De grafiek van de verdelingsfunctie en het staafdiagram is getekend in Figuur 3.1:
-0.5 0 0.5 1 1.5
0
0.5
1
-0.5 0 0.5 1 1.5-0.2
0
0.2
0.4
0.6
0.8
Figuur 3.1: De Bernoulli verdeling met p = 2/3 en het bijhorende staafdiagram
47
Opgave: Verifieer de volgende formules voor de Bernoulli-stochastiek X ∼ B(1, p):
1. E[X ] = p en Var[X ] = p(1− p) (3.3)
2. als p <12
: med(X) = 0 en mod(X) = 0
als p =12
: med(X) =12
en mod(X) = 0, 1 niet eenduidig
als p >12
: med(X) = 1 en mod(X) = 1
3. ϕX(t) = q+ peit (3.4)
Opmerking 3.1.1 In iedere kansruimte (Ω,A ,P) kan men een Bernoulli-experiment creeren dooreen gebeurtenis A ∈ A te nemen en het optreden van deze gebeurtenis als een “succes” te beschou-wen. Voor ω ∈ Ω heeft men dus:
X(ω) =
1 als ω ∈ A,
0 als ω /∈ A.
Voor X geldt dus: p := P(X = 1) = P(A) en P(X = 0) = P(Ac) = 1− p, zodat X ∼ B(1, p).Voorbeelden:
1. Ω = verzameling van stemgerechtigden in een land en A = ja-stemmers bij een referendum.
2. Ω = de groep van 12 studenten uit het voorbeeld van hoofdstuk 1 en A is de deelgroep dievan Pieter een hoger cijfer kreeg dan van Stef.
3.1.2 Permutaties en de formule van StirlingOp hoeveel manieren kan je n voorwerpen op een rij zetten? Antwoord: n! (zeg n-faculteit), waarbijn! gedefinieerd is als het product:
n! := n · (n−1) · (n−2)... ·2 ·1 oftewel : n! = n · (n−1)! met 0! = 1! = 1 . (3.5)
We bewijzen dit met volledige inductie: 1o: Een voorwerp kun je op een manier op een rij zet-ten. 2o: Als we een rij van n− 1 voorwerpen hebben, dan kunnen we het n-de voorwerp ervoor,erachter of op n− 2 plaatsen ertussen zetten; voor n voorwerpen vinden we dus n maal zoveelmogelijkheden als voor n−1 voorwerpen.In plaats van het aantal mogelijke volgordes spreken we ook wel van het aantal permutaties. Om n!uit te rekenen bestaat er de formule van Stirling die een zeer goede benadering geeft voor n > 10:
n! ≈√
2nπ nn e−n of beter :√
2nπ nn e−n < n! <√
2nπ nn e−n (1+1
4n). (3.6)
Voor een idee van de orde van grootte van n! kijken we naar de grafiek van f (x) = lnx:Het oppervlak onder de kromme is kleiner dan het oppervlak van alle rechthoeken die boven dekromme uitsteken en groter dan de som van de rechthoeken onder de kromme:
n
∑k=2
lnn = ln(n!) >
Z n−1
1lnx dx = [x lnx− x]n−1
1 = (n−1) ln(n−1)−n+2
48
1 2 n-1 n
Figuur 3.2: Grafiek van lnx met een boven- en een ondersom voor de integraal
enn
∑k=2
lnn <Z n+1
1lnx dx = [x lnx− x]n2 = n ln(n)−n+2
en als we de e-macht hiervan nemen vinden we
e2−n(n−1)n−1 < n! < e2−nnn
waaruit we de orde van n! kunnen schatten; met een analoge maar nauwkeuriger analyse vindenwe (3.6).
3.1.3 CombinatiesOp hoeveel manieren kunnen we k voorwerpen kiezen uit een collectie van n (k ≤ n) voorwerpen?Antwoord: We kunnen de n voorwerpen op n! manieren op een rij zetten en de eerste k elementenvan deze rij nemen. Als we de eerste k echter onderling van plaats wisselen (dit kan op k! manie-ren), blijven we dezelfde verzameling van k objecten houden; evenzo kunnen we de laatste n− kobjecten op (n− k)! manieren onderling verwisselen. Het aantal mogelijk verschillende manierenom k uit n te kiezen vinden we dus door het totale aantal permutaties te delen door alle mogelijkeinterne permutaties in de deelgroepen van k en n− k elementen:
(nk
):= Ck
n :=n!
k!(n− k)!(3.7)
Het getal(n
k
)(spreek uit: n over k) noemt men het aantal combinaties van k elementen uit n. Voor
dit getal vond Pascal de volgende recursie:(
n+1k +1
)=
(nk
)+
(n
k +1
)als 0 < k ≤ n. (3.8)
Met formules (3.5) en (3.7) kunnen we de juistheid van (3.8) eenvoudig uitrekenen. Een alterna-tieve manier is de volgende. Een greep van k+1 elementen uit n+1 kunnen we op twee manieren
49
samenstellen, nl. door k uit n te kiezen en het n+1-ste element aan de eerste groep toe toe voegen,of door k +1 uit n te kiezen en het n+1-ste element aan de rest toe te voegen. Hieruit volgt
(n+1k +1
)=
(nk
)+
(n
k +1
)
De zo verkregen getallen heten de binomiaalcoefficienten. Ze kunnen geordend worden in dewelbekende driehoek van Pascal, waarin ieder element de som is van de twee elementen uit de rijerboven, die er links en rechts boven staan:
1
1 1
1 2 1
1 3 3 1
1 4 6 4 1
1 5 10 10 5 1
· · etc. · ·
Figuur 3.3: De driehoek van Pascal
Deze Binomiaalcoefficienten komen ook voor bij de berekening van de machten van een som, hetzogenaamde Binomium van Newton:
(a+b)2 = a2 +2ab+b2
(a+b)3 = a3 +3a2b+3ab2 +b3
(a+b)4 = a4 +4a3b+6a2b2 +4ab3 +b4
. . . = . . .
(a+b)n =n
∑k=0
(nk
)akbn−k (3.9)
Voor het bewijs (met inductie) schrijven we (a + b)n+1 = (a + b)(a + b)n en passen we formule(3.9) toe op de n-de macht. We zien, dat de coefficient van ak+1bn−k de som is van de coefficientenvan ak+1bn−k−1 en akbn−k in de ontwikkeling van de n-de macht. De coefficienten voldoen dusprecies aan de recursie (3.9) voor de binomiaalcoefficienten.Opgave. Ga de volgende gelijkheden na:
a.(
nk
)=
(n
n− k
)voor elke k.
b.(
n0
)=
(nn
)= 1 en
(n1
)=
(n
n−1
)= n.
50
3.1.4 De BinomiaalverdelingWe kunnen het Bernoulli-experiment, b.v. het gooien van een munt, n maal herhalen en ons danafvragen, wat de kans is op k maal kop in die serie van n worpen. Als we na n− 1 worpen k− 1maal kop gegooid hebben, kunnen we k maal kop uit n worpen krijgen door in de n-de beurt nogeens kop te gooien; als we in n− 1 beurten reeds k maal kop hadden gegooid, kunnen we k maalkop uit n worpen krijgen door in de n-de beurt munt te gooien. De kans op k maal kop uit nworpen is dus gelijk aan de kans op kop maal de kans op k− 1 maal kop uit n− 1 worpen plusde kans op munt maal de kans op k maal kop uit n− 1 worpen. We zien dus ook hier weer debinomiaalcoefficienten terug.
o o o o o o o o o o o
o o o o o o o o o o
o o o o o o o o o
o o o o o o o o
o o o o o o o
o o o o o o
o o o o o
o o o o
o o o
o o
o
ooooooooooooooooooooooooo
Figuur 3.4: Het bord van Galton
Een bekend experiment is het ”bord van Galton”, zie Figuur 3.4. Op een vertikaal geplaatst bordzijn in een gelijkbenige driehoek pinnen geplaatst in horizontale rijen van 1, 2, 3, ... lang, zodat eenpin in rij n precies in het midden boven twee pinnen in rij n + 1 staat. Aan de bovenzijde kunnenballetjes door een trechter geworpen worden, zodat ze precies midden op de bovenste pin vallen.Vandaar vallen ze naar links of rechts precies midden op een pin van een rij lager, enzovoorts, totze in een van de opvangbakken aan de onderzijde terechtkomen. Als de kans om naar links ofrechts te vallen even groot is (en dus gelijk aan 1
2 ), is de kans om op pin k op niveau n te vallengelijk aan 1
2 maal de kans om vanaf niveau n−1 op een van de pinnen k−1 of k te vallen. Als er nniveaus zijn, is de kans dat een balletje in het k-de bakje valt dus gelijk aan
(nk
)(1
2)n. Zo’n vallendballetje voert dus een rij Bernoulli-experimenten uit, door bij iedere volgende pin weer te kiezenvoor rechts of links met kans p = 1
2 .Als we n onafhankelijke Bernoulli-experimenten (met uitkomsten 0 of 1) met kans p doen ende uitkomsten optellen krijgen we een som Y van n Bernoulli-stochastieken X1, X2, · · ·, Xn, alleverdeeld volgens dezelfde theoretische verdeling B(1, p). Deze som-stochastiek geeft het aantal“successenın n pogingen. Zij neemt dus gehele waarden aan tussen 0 en n. We noemen dezestochastiek binomiaal of B(n, p) verdeeld:
Y = X1 +X2 + · · ·+Xn en Y ∼ B(n, p). (3.10)
51
Voor deze discrete stochastiek geldt dus:
1. P(Y = k) =
(nk
)pk(1− p)n−k, k = 0, 1, 2 · · · , n (3.11)
2. E[Y ] = E[X1 +X2 + · · ·+Xn] = E[X1]+E[X2]+ · · ·+E[Xn] = np (3.12)3. Var[Y ] = Var[X1 +X2 + · · ·+Xn] = Var[X1]+ · · ·+Var[Xn] = npq (3.13)4. ϕY (t) = (peit +q)n (3.14)
In tabel 1 achteraan vinden we tabellen voor de kansen
P(Y = k) =
(nk
)pk(1− p)n−k
Met behulp van de karakteristieke functie kunnen we de scheefheid en de kurtosis eenvoudig uit-rekenen. We vinden:
1. γ1 =q− p√
npq(scheefheid) (3.15)
2. µ4 = E[(Y −α1)4] = npq(1+3npq−6pq) (3.16)
3. b2 =µ4
σ4 = 3+1−6pq
npq(3.17)
4. γ2 =1−6pq
npq, (kurtosis) (3.18)
Merk op, dat zowel de scheefheid als de kurtosis verdwijnen (naar nul gaan), als n groot wordt.
0 5 10
0
0.05
0.1
0.15
0.2
0.25
0 5 10
0
0.5
1
Figuur 3.5: Staafdiagram en verdelingsfunctie van B(10,0.5)
De modus (de getallen j met grootste p j) kunnen we vinden door naar de quotienten p j/p j−1 tekijken:
p j
p j−1=
n!j!(n− j)!
· ( j−1)!(n− j +1)!n!
· p j(1− p)n− j
p j−1(1− p)n− j+1 =p
1− p· n− j +1
j
Hieruit volgt, dat p j > p j−1 als j < (n + 1)p. We zien dus, dat p j de grootste is, als np + p nietgeheel is en j het grootste gehele getal kleiner dan np+ p is (notatie: j = bnp+ pc). Als j = np+ p
52
geheel is, dan zijn p j en p j−1 gelijk en zijn ze beiden modi. Dus
mod(Y ) =
bnp+ pc als np+ p niet geheel is,
j−1, j als j : np+ p geheel is.(3.19)
In de figuren 3.5 en 3.6 zijn voorbeelden van een binomiale verdeling geschetst. In Figuur 3.5 metp = 1
2 zien we een verdeling die symmetrisch is rond de verwachtingswaarde terwijl Figuur 3.6met p = 1
5 nogal scheef is.
0 5 10
0
0.1
0.2
0.3
0 5 10
0
0.5
1
Figuur 3.6: Staafdiagram en verdelingsfunctie van B(10,0.2)
3.1.5 De wet van de grote getallen (de Moivre 1718)Als er een referendum wordt uitgeschreven over een brandende politieke kwestie, dan zullen opi-niepeilers vooraf in een steekproef onder de bevolking het percentage ja-stemmers (= de kansp op een ja-stem) proberen te bepalen. In zo’n peiling zal niet iedereen ondervraagd (kunnen)worden, maar we hebben het idee, dat we een goed beeld kunnen krijgen van de waarde van pals we voldoende veel personen ondervragen. Ieder antwoord in de peiling kunnen we opvattenals een onafhankelijk Bernoulli-experiment X met kans p op ja, dus X ∼ B(1, p). Een peilingY = X1 +X2 + · · ·+Xn onder n personen is dan binomiaal B(n, p)-verdeeld en Y/n geeft de fractievan ja-stemmen met verwachtingswaarde p. Wat is de kans dat de werkelijke uitkomst van eensteekproef onder n personen hiervan sterk afwijkt? De wet van de grote getallen zegt dat deze kanswillekeurig klein is als n voldoende groot is.
Stelling 3.1.2 Als de stochastische variabelen X1, X2, ... , Xn onafhankelijk en B(1, p)-verdeeldzijn en als Yn = X1 +X2 + · · ·+Xn, dan geldt
limn→∞
P( ∣∣Yn
n− p
∣∣ ≥ ε)
= 0 (3.20)
Bewijs. Uit de formule (2.60) van Chebyshev volgt:
P( ∣∣Yn
n− p
∣∣ ≥ ε)≤ Var[Yn
n ]
ε2 =p(1− p)
nε2 (3.21)
voor alle n en voor alle (vaste) ε > 0. Voor n → ∞ gaat het rechterlid naar nul.
53
3.2 De hypergeometrische verdelingWe nemen een vaas met N knikkers, waarvan P rode en Q := N −P witte. Wanneer we hieruitn maal een willekeurige knikker trekken, de kleur ervan noteren en de knikker vervolgens weerterug leggen, doen we n opeenvolgende Bernoulli-experimenten. Het aantal rode knikkers na ntrekkingen zal dus B(n, p)-verdeeld zijn, met p := P/N.Als we echter in een greep n knikkers trekken, of (wat hetzelfde is) n knikkers achtereen trekkenzonder teruglegging, zal de uitkomst anders zijn. Bij het trekken van de tweede en volgendeknikkers zal de verhouding rood/wit in de vaas zich steeds wijzigen, naar gelang de de vorigeuitkomsten. Noem de uitkomst van de trekking van de j-de knikker X j met X j = 1 als de knikkerrood is en X j = 0 als de knikker wit is. Het aantal rode knikkers noemen we Y := X1 +X2 + · · ·+Xn.Als P ≥ n en Q ≥ n, dan kan Y alle waarden 0, 1, · · · , n aannemen. Om de kans P(Y = j) uit terekenen verdelen we de P rode knikkers uit de vaas in een groep van j en een restgroep van P− j;dit kan op
(Pj
)manieren, zie (3.7). Evenzo kunnen we de Q witte knikkers in groepen van n− j en
Q− (n− j) knikkers verdelen op( Q
n− j
)manieren en kunnen we uit de gehele verzameling van N
knikkers op(
Nn
)manieren n knikkers afzonderen. De gevraagde kans is dus:
P(Y = j) =
(Pj
)(Q
n− j
)
(Nn
) (3.22)
Als we de binomiaalcoefficient(
mj
)de waarde 0 geven voor j < 0 en j > m, blijkt deze formule
ook geldig voor de gevallen P < n en Q < n; immers, als P < n, dan is P(Y = j) = 0 voor j > P.Een alternatieve manier om P(Y = j) te berekenen gaat als volgt: de kans om eerst j rode knikkerste trekken, en vervolgens n− j witte is:
PN
P−1N −1
· · · P− j +1N − j +1
QN − j
Q−1N − j−1
· · · Q−n+ j +1N −n+1
hetgeen kan herschreven worden als
(N −n)!N!
P!(P− j)!
Q!(Q−n+ j)!
=
(N −nP− j
)
(NP
)
Als we de volgorde van trekken veranderen (bijvoorbeeld eerst n− j witte knikkers en dan j rode),
dan verandert de kans niet. Er zijn(
nj
)volgordes van trekken die resulteren in n− j witte knikkers
en j rode, en we kunnen dus concluderen dat
P(Y = j) =
(nj
)(N −nP− j
)
(NP
) (3.23)
54
Als we in (3.23) N naar oneindig laten gaan, waarbij p = P/N constant blijft, dan vinden we debinomiaalverdeling B(n, p) terug, zoals te verwachten viel.
Definitie 3.2.1 De kansverdeling van Y , die voldoet aan (3.22), noemen we de hypergeometrischeverdeling, notatie:
Y ∼ H(N, p,n), met p :=PN
. (3.24)
Stelling 3.2.2 De verwachtingswaarde en variantie van Y ∼ H(N, p,n) worden gegeven door:
E[Y ] = np , Var[Y ] = npqN −nN −1
. (3.25)
Bewijs. Het bewijs voor de verwachtingswaarde is eenvoudig:
E[Y ] = E[X1 +X2 + · · ·+Xn] = E[X1]+E[X2]+ · · ·+E[Xn] = np
omdat de verwachtingswaarde van een som gelijk is aan de som van de verwachtingswaarden, ookals er afhankelijkheid is, zie formule (2.48).Het bewijs voor de variantie gaat als volgt: als X ∼ H(N, p,n), en q := 1− p dan geldt
E[X ] =n
∑k=0
k ·(N p
k
)·( Nq
n−k
)(N
n
) =n
∑k=1
k ·N pk ·(N p−1
k−1
)·( Nq
n−k
)
Nn ·(N−1
n−1
)
=nN p
N
n−1
∑m=0
(N p−1m
)·( Nq
n−1−m
)(N−1
n−1
) = npn−1
∑m=0
P(Y = m) = np,
waar Y een stochastische variabele is die H(N −1, N p−1N−1 ,n−1)-verdeeld is.
Om de variantie te berekenen herleiden we op analoge wijze:
E[X(X −1)] =n
∑k=0
k · (k−1)
(N pk
)·( Nq
n−k
)(N
n
)
=n
∑k=2
k · (k−1) ·N pk · N p−1
k−1 ·(N p−2
k−2
)·( Nq
n−k
)
Nn · N−1
n−1 ·(N−2
n−2
)
= nN pN · (n−1)(N p−1)
N−1 ·n−2
∑m=0
(N p−2m
)·( Nq
n−2−m
)(N−2
n−2
)
= nN pN · (n−1)(N p−1)
N−1 ·n−2
∑m=0
P(Y = m) = (n−1)np · N p−1N −1
waar Y een stochastische variabele is die H(N −2, N p−2N−2 ,n−2)-verdeeld is.
Uit de gelijkheid E[X(X −1)] = E[X 2]−E[X ] vinden we
Var[X ] = E[X2]−E[X ]2 = E[X(X −1)]+E[X ]−E[X ]2
= (n−1)np · N p−1N −1
+np−n2 p2
55
=np
N −1((N p−1)(n−1)+(1−np)(N −1))
=np
N −1(N(p(n−1)+(1−np))− (n−1+1−np))
=np
N −1(N(1− p)−n(1− p)) =
N −nN −1
npq
Voorbeeld 3.2.3 Een lampenwinkel koopt bij groothandel dozen van 100 lampen. Bij leveringworden uit iedere doos 5 willekeurig gekozen lampen getest. Stel dat er in een gegeven doos 5kapotte exemplaren zijn, wat is de kans dat er minstens een van gevonden wordt. Antwoord:
P(Y = 1) =
(51
)·(
954
)
(100
5
) =
51·(
92 ·93 ·94 ·951 ·2 ·3 ·4
)
(96 ·97 ·98 ·99 ·100
1 ·2 ·3 ·4 ·5
) =5 ·5 ·92 ·93 ·94 ·9596 ·97 ·98 ·99 ·100
≈ 21.14%
P(Y = 2) =5 ·5 ·8 ·93 ·94 ·9596 ·97 ·98 ·99 ·100
≈ 1.84%, P(Y ≥ 3) ≈ 0.1%
zodat P(Y ≥ 1) ≈ 23%. Eenvoudiger is het uit te rekenen:
P(Y ≥ 1) = 1−P(Y = 0) met P(Y = 0) =91 ·92 ·93 ·94 ·95
96 ·97 ·98 ·99 ·100
Dit vindt zijn toepassing bij kwaliteitscontrole van massaprodukten. In het bovengenoemde voor-beeld is het ondoenlijk om iedere lamp in iedere doos afzonderlijk te testen. We nemen een steek-proef van n lampen uit een doos; als er geen defekte lamp in zit accepteren we deze doos. InFiguur 3.7 is de kans op acceptatie uitgezet tegen het percentage defekte lampen.
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
0 10 20 30 40 50 60
aantal defekte exemplaren in een partij van 100 lampen
kans
dat
ste
ekpr
oef g
een
defe
kte
lam
pen
beva
t
test van 5 exemplaren per partij van 100
test van 10 exemplaren per partij van 100
Figuur 3.7: Percentage defekte lampen in een doos vs. de kans op geen defekten in een steekproef.
56
Voorbeeld 3.2.4 Een ecoloog wordt nogal eens geconfronteerd met het probleem, het aantal dierente schatten in een habitat, b.v. het aantal vissen in een vijver. Hierbij kan gebruikt gemaakt wordenvan de zogenaamde “capture/recapture” techniek. Laat de vijver N vissen bevatten. We vangenn vissen, merken ze en zetten ze weer uit in de vijver. Enige dagen later vangen we m vissenwaarvan er k gemerkt zijn. Op voorwaarde dat de tweede vangst willekeurig is, is het aantalgemerkte vissen bij de tweede vangst hypergeometrisch verdeeld met verwachtingswaarde mp,waar p de verhouding n/N van gemerkte vissen t.o.v. het totaal is. We kunnen mp schatten met dewaargenomen waarde k, zodat mp = mn/N ≈ k. Hieruit vinden we N ≈ nm/k.
Opmerking 3.2.5 De kansen, gegeven in formule (3.22), zijn coefficienten in een “hypergeome-trische” reeks. Hieraan dankt de verdeling zijn naam.
3.3 De Geometrische verdelingOp een atol in de Stille Oceaan is de leefruimte en de hoeveelheid voedsel beperkt. Om overbevol-king te voorkomen wil de stammoeder het aantal kinderen beperken. Om de andere vrouwen, dieallen graag dochters zouden hebben, niet de mogelijkheid te ontnemen om een dochter te baren,bepaalt zij, dat een vrouw na het baren van een dochter niet meer zwanger mag worden. Zal zij inhaar opzet slagen en hiermee het totale aantal geboorten beperkt houden?Laten we voor het beantwoorden van deze vraag veronderstellen, dat de kans op het baren van eenzoon of een dochter even groot is en laten we kindersterfte e.d. verwaarlozen. De kans dat eenvrouw als eerste kind een dochter baart, is een half. De kans dat zij een tweede kind mag baren endat dit een dochter is, is dus een kwart. De kans dat zij een derde kind mag baren en dat dit eendochter is, is een achtste, etc. In het algemeen vinden we dus:
P(k-de kind is een dochter en eerste k−1 kinderen zijn zonen) =
(12
)k
. (3.26)
Het gemiddelde aantal kinderen per vrouw (= verwachtingswaarde) komt dus uit op
m = 1 · 12
+2 · 14
+3 · 18
+4 · 116
+5 · 132
+ · · · = 2 (3.27)
De maatregel werkt dus perfekt (onder de gegeven vereenvoudigingen).Een kansverdeling zoals gegeven in (3.26) waarvan de kansen afnemen als een meetkundige rijheet een geometrische verdeling. Bij een gegeven oneindige rij Bernoulli-experimenten X1, X2,X3, · · ·, die alle onafhankelijk en B(1, p)-verdeeld zijn (met dezelfde p), kijken we naar het eerste“succes” na k keer falen. Aangezien de kans op k keer falen gelijk is aan qk met q := 1− p, zal ervroeg of laat een “succes” optreden. De kans hierop noemen we pk (k = 0,1,2, · · ·),
P(Y = k) = pk := P(Xk+1 = 1 en X1 = 0, X2 = 0, · · · , Xk = 0) = pqk . (3.28)
Deze kansen vormen een meetkundige rij en hun som voldoet aan de voorwaarde
∞
∑k=0
qk p = p1
1−q= 1
57
0
0.5
1
0 10
0
0.1
0.2
0.3
0 10
Figuur 3.8: Kansverdeling en staafdiagram van een geometrische verdeling met p = 0.3.
In Figuur 3.8 is een voorbeeld van een geometrische verdeling geschetst.De kansverdeling FY is een trapfunctie met
FY ( j) =j
∑k=0
qk p = p1−q j+1
1−q= 1−q j+1 ( j = 0, 1, 2, · · ·) (3.29)
De verwachtingswaarde kan bijvoorbeeld alsvolgt bepaald worden. Als we de meetkundige reeks
∞
∑k=0
xk =1
1− x
term per term afleiden, dan vinden we
∞
∑k=1
kxk−1 =1
(1− x)2
Deze formule geldt zeker voor |x| < 1. We verkrijgen voor de verwachtingswaarde
E[Y ] =∞
∑k=0
kqk p (3.30)
= qp∞
∑k=1
kqk−1 =qp
(1−q)2 =qp
(3.31)
We kunnen ook werken met de karakteristieke functie. Deze is eenvoudig te bepalen:
ϕY (t) =∞
∑k=0
qk p eikt =p
1−qeit (3.32)
Door differentiatie vinden we hieruit met formule (2.83):
ϕ′Y (t) =
ipqeit
(1−qeit)2 zodat α1 = −iϕ′Y (0) =
qp
(3.33)
ϕ′′Y (t) =
−pqeit(1+qeit)
(1−qeit)3 , zodat α2 = −ϕ′′Y (0) =
q(1+q)
p2 (3.34)
58
Hieruit kunnen we de variantie eenvoudig berekenen:
var[Y ] = α2 −α21 =
q+q2
p2 − q2
p2 =qp2 (3.35)
Uit de Figuur 3.8 zien we onmiddelijk in, dat mod(Y ) = 0. Bepaal zelf de mediaan van Y !
3.4 De Poissonverdeling en Poissonincidentenstromen
3.4.1 De PoissonverdelingPer dag worden er in Belgie N (≈ 400?) kinderen geboren. Laten we aannemen dat de kans omop een bepaalde dag geboren te worden niet afhangt van het seizoen en voor iedere dag hetzelfdeis. Kunnen we dan iets zeggen over de fluctuaties in de dagelijkse aantallen? D.w.z., als Y destochastische variabele is, die het aantal geboorten op een dag geeft met E[Y ] = N, kunnen wedan de spreiding σY bepalen? Op het eerste gezicht lijkt dit een gekke vraag, immers als wealleen het gemiddelde van een grootheid zoals de lengte van alle inwoners kennen, kunnen weonmogelijk iets zeggen over de spreiding erin. Voor het aantal geboorten per dag is de situatieechter anders. Het tijdstip van iedere geboorte is een onafhankelijke stochastische gebeurtenis,waarvan we weten, dat er per dag gemiddeld N gebeuren, per week dus gemiddeld 7N en per uurN/24; m.a.w. het gemiddelde aantal is evenredig met de lengte van de observatietijd. Laat τ eenfractie van de dag zijn, dan is de stochastiek Xτ het aantal geboorten dat in zo’n fractie plaats vindten er geldt: E[Xτ] = τN. Kies nu de observatietijd τ zo klein, dat er in die periode hoogstens eengeboorte plaats vindt, dan neemt Xτ alleen de waarden 0 en 1 aan en is dus (ongeveer) binomiaalB(1, p)-verdeeld met p = E[Xτ] ≈ τN en Var[Xτ] ≈ τN(1−τN). Als Y het aantal geboorten op eendag is en een dag is opgedeeld in n stukjes van lengte τ = 1
n dag, dan geldt:
Y =n
∑k=1
Xτ,k als nτ = 1 .
Hierbij is Xτ,k het aantal geboorten in het k-de tijdsinterval met lengte τ. De stochastieken Xτ,1,Xτ,2,· · · ,Xτ,n zijn onafhankelijk, en hebben allen dezelfde verdeling. Bijgevolg geldt:
E[Y ] = nE[Xτ] ≈ nτN = N en Var[Y ] = nVar[Xτ] ≈ nτN(1− τN) = N(1− τN) .
Nemen we nu de limiet voor τ → 0 en dus (tegelijk) voor n → ∞, dan wordt de gelijkheid exact envinden we Var[Y ] = N. De gezochte spreiding is dus
√N. Er is nog meer: we kunnen alleen op
grond van de aannamen, dat de verwachtingswaarde per tijdsinterval constant in de tijd is en dat deaantallen gebeurtenissen in twee tijdsintervallen met lege doorsnede onafhankelijke stochastiekenzijn, de kansverdeling volledig karakteriseren.Deze kansverdeling heet de Poissonverdeling naar Simon Poisson, 1781-1840, hoewel deze verde-ling waarschijnlijk al bekend was aan De Moivre een eeuw eerder.De Poissonverdeling P(λ) kunnen we dus vinden uit B(n,λ/n) door de limiet voor n→∞ te nemen;dus als Y ∼ P(λ), dan
P(Y = k) = limn→∞
(nk
) (λn
)k (1− λn
)n−k= lim
n→∞
λk
k!n!
nk(n− k)!(1− λ
n
)n (1− λn
)−k
59
Als we nu de volgende limieten (geldig voor vaste k) gebruiken:
limn→∞
(1− λ
n
)n= e−λ en lim
n→∞
n!nk(n− k)!
(1− λ
n
)−k= 1
dan vinden we de kansen voor de Poissonverdeling:
P(Y = k) =λk
k!e−λ . (3.36)
Hun som is inderdaad gelijk aan 1:∞
∑k=0
P(Y = k) = e−λ∞
∑k=0
λk
k!= e−λ · eλ = 1 .
De verdelingsfunctie van de Poissonverdeling wordt gegeven in tabel 2 achteraan.De verwachtingswaarde is (zoals we al weten)
E[Y ] =∞
∑k=0
kP(Y = k) = e−λ∞
∑k=1
λk
(k−1)!= e−λ ·λ · eλ = λ . (3.37)
Om de variantie uit (3.36) af te leiden gebruiken we:
E[Y (Y −1)] =∞
∑k=0
k(k−1)P(Y = k) = e−λ∞
∑k=2
λk
(k−2)!= e−λ ·λ2 · eλ = λ2 ,
zodatVar[Y ] = E[Y 2]−E[Y ]2 = E[Y (Y −1)]+E[Y ]−E[Y ]2 = λ . (3.38)
De karakteristieke functie vinden we alsvolgt:
ϕY (t) = E[eitY ] =∞
∑k=0
eikt e−λ λk
k!=
∞
∑k=0
e−λ (λeit)k
k!= exp(λeit −λ) . (3.39)
Een belangrijke eigenschap van de Poissonverdeling is:
Stelling 3.4.1 Als X en Y onafhankelijk en Poissonverdeeld zijn met parameters λ resp. µ, dan ishun som opnieuw Poissonverdeeld met parameter λ+µ:
X ∼ P(λ) en Y ∼ P(µ) onafhankelijk ⇒ X +Y ∼ P(λ+µ) . (3.40)
Bewijs.
P(X +Y = n) =n
∑k=0
P(X = k)P(Y = n− k)
=n
∑k=0
λk
k!e−λ µn−k
(n− k)!e−µ
=n
∑k=0
(nk
)λkµn−k e−(λ+µ)
n!
=(λ+µ)n
n!e−(λ+µ)
waaruit het gestelde volgt.
60
0
0.5
1
0 10
0
0.1
0.2
0.3
0 10
Figuur 3.9: Kansverdeling en staafdiagram van een Poissonverdeling met λ=2.5.
aantal alfa-deeltjes per waargenomen aantal verwachte aantal op grondtijdsinterval van 8 minuten tijdsintervallen van de Poissonverdeling
0 57 541 203 2112 383 4073 525 5264 532 5085 408 3946 273 2547 139 1408 45 689 27 29
10 10 1111 en meer 6 6
Tabel 3.1: Het Rutherford-Geiger experiment en de best-bijpassende Poissonverdeling met λ =3.87.
Voorbeeld 3.4.2 In Figuur 3.9 is een Poissonverdeling geschetst.
Voorbeeld 3.4.3 Het Rutherford-Geiger-Marsden experiment (1910) Dit is een beroemd expe-riment uit de begindagen van de studie van de radioactiviteit waarbij gedurende 2608 tijdsinterval-len van 8 minuten aantallen alfa-deeltjes uit een stukje (radioactief) polonium werden waargeno-men. De data zijn verzameld in tabel Tabel 3.1 en in een histogram in Figuur 3.10:Verderop in deze syllabus zullen we zien hoe we met een χ2-toets de mate van overeenstemmingtussen theorie en experiment kunnen beoordelen.
3.4.2 PoissonincidentenstromenWe zullen nu de Poisson-verdeling op een andere manier invoeren. Veronderstel dat een bepaaldincident zich in de loop der tijd een aantal keer voordoet :
- een huis, verzekerd door een verzekeringsmaatschappij met zeer veel polissen, brandt af;
61
0
200
400
600
-5 0 5 10 150
200
400
600
-5 0 5 10 15
Figuur 3.10: Histogram van de waarnemingen van Rutherford-Geiger (links) en de best bijpassen-de Poissonverdeling met λ = 3.87 (rechts).
- een radioaktief deeltje valt in een Geigerteller;
- in een gegeven winkel komt een klant binnen;
- een wagen rijdt voorbij een bepaald punt op een autosnelweg;
- etc. . . .
Met elk tijdsinterval [s, t] kunnen we dan een stochastische variabele Xs,t laten overeenstemmen.Laat Xs,t het aantal incidenten zijn dat zich voordoet tijdens het tijdsinterval [s, t]. We definierenvoor n ∈ N de kans gn(s, t), dat zich tijdens het interval [s, t] juist n incidenten voordoen:
gn(s, t) = P(Xs,t = n).
Veronderstel nu dat we de volgende hypothesen kunnen maken, die plausibel zijn voor bovenstaan-de voorbeelden:
1. Als (s, t)∩ (u,v) = /0, dan zijn Xs,t en Xu,v onafhankelijke stochastische variabelen.
2. Als t − s = v−u, dan zijn de verdelingsfuncties van Xs,t en Xu,v dezelfde.
3. limh→0
P(Xs,s+h > 1)
h= 0. Ruwweg betekent deze veronderstelling dat de tijdsduur tussen twee
opeenvolgende incidenten strikt groter dan nul is.
Hypothese 2 heeft als gevolg:
∂gn(s, t)∂t
∣∣s=tis constant (onafhankelijk van t),
want
∂gn(s, t)∂t
∣∣s=t= lim
h→0
1h
(P(Xs,t+h = n)−P(Xs,t = n)
)∣∣s=t
= limh→0
1h
(P(Xu,v+h = n)−P(Xu,v = n)
)∣∣u=v=
∂gn(u,v)∂v
∣∣u=v
62
Voor n = 1 zullen we deze constante λ noemen,
λ :=∂g1(s, t)
∂t∣∣s=t
. (3.41)
Ruwweg betekent dit, dat de kans dat er zich tussen t en t + h een incident voordoet gelijk is aanhλ voor voldoend kleine h. Hypothese 3 heeft als gevolg:
∂gn(s, t)∂t
∣∣s=t= 0 voor n > 1 en
∂g0(s, t)∂t
∣∣s=t= −λ (3.42)
Dit laatste volgt door de identiteit ∑k gk(s, t) = 1 naar t te differentieren en vervolgens s = t testellen.
Definitie 3.4.4 Een incidentenstroom die voldoet aan hypothesen 1, 2 en 3 noemen we een Pois-sonincidentenstroom.
We zullen nu het verband aantonen met de Poissonverdeling. Om de verdeling van de stochastischevariabelen Xs,t te kennen, volstaat het vanwege hypothese 2 om de functies
pn(t) := gn(0, t) = P(X0,t = n)
te kennen. We zullen er een differentiaalvergelijking voor afleiden. De pn voldoen aan de begin-voorwaarden
p0(0) = 1 en pn(0) = 0 voor n > 0 , (3.43)
want de kans dat zich op het tijdstip 0 minstens een incident voordoet is 0. We zullen eerst p0bepalen. Vanwege hypothese 1 geldt voor t < u:
g0(0,u) = g0(0, t)g0(t,u) of p0(u) = p0(t)g0(t,u) .
Neem in beide leden de afgeleide naar u en stel dan t = u, dan vinden we:
dp0
dt(t) = −λp0(t) (3.44)
Rekening houdend met de beginvoorwaarden p0(0) = 1 vinden we de oplossing:
p0(t) = e−λt (3.45)
Om pn te bepalen gaan we op analoge manier te werk:
pn(u) =n
∑i=0
pn−i(t)gi(t,u) ;
afleiden naar u en u gelijkstellen aan t geeft:
dpn
dt(t) = −λpn(t)+λpn−1(t) (3.46)
63
De vergelijkingen (3.44) en (3.46) vormen een oneindig stelsel differentiaalvergelijkingen, dateenvoudig recursief is op te lossen. Voor n = 1 krijgen we:
dp1
dt+λp1 = λe−λt
en rekening houdend met de beginvoorwaarde geeft dit:
p1 = λte−λt (3.47)
Voor n = 2 vinden we vervolgens:
dp2
dt+λp2 = λ2te−λt met als oplossing p2 =
12
λ2t2e−λt
Algemeen geldt:
pn =(λt)n
n!e−λt (3.48)
Bewijs per inductie: Voor n = 0, 1, 2 is de formule al bewezen. Veronderstel dat ze geldt voorn−1, dan voldoet pn aan
dpn
dt+λpn =
λntn−1
(n−1)!e−λt
De oplossing van de homogene vergelijking is pn,hom(t) = Ce−λt en er bestaat een partikuliereoplossing van de vorm: pn = Atne−λt . substitutie in de vergelijking geeft:
nAtn−1e−λt =λntn−1
(n−1)!e−λt
dus A = λn
n! , en pn = (λt)n
n! e−λt . Invullen van de beginvoorwaarden geeft nu het gewenste resultaat.Besluit: De stochastische variabelen Xt,u behorende bij een Poisson-incidentenstroom zijn Poissonverdeeld met parameter λ(u− t). Hierbij is λ het gemiddelde aantal incidenten per tijdseenheid.
3.5 De exponentiele verdeling
3.5.1 De exponentiele verdelingIn een winkel komen gemiddeld 20 klanten per uur binnen. Veronderstel, dat dit een z.g. Pois-sonincidentenstroom is. het aantal klanten dat per τ minuten binnenkomt is dan Poisson verdeeldmet parameter λ := τ/3. Wat is nu de kans, dat de winkel 5 min. leeg blijft, nadat de vorige klantvertrokken is? Algemener, wat is de kans dat de winkelier T minuten moet wachten op de vol-gende klant? Deze grootheid T , de wachttijd, is weer een stochastische variabele, die (in principe)alle reele waarden tussen 0 en ∞ kan aannemen. Om de bijbehorende kansen te vinden, kijken wenaar het aantal klanten Xt,t+τ dat gedurende een periode van [t, t + τ] binnenkomt. De duur van dittijdsinterval is τ minuten, zodat Xt,t+τ P(λτ)-verdeeld is. De kans, dat er in een tijdsinterval vanlengte τ minuten k klanten binnen komen is dus gelijk aan
P(Xt,t+τ = k) = λkτke−λτ/k!
64
In het bijzonder is de kans dat er geen klanten binnenkomen dus P(Xt,t+τ = 0) = e−λτ. Voor dekans P(T > τ), dat er geen klanten binnenkomen gedurende een periode van [t, t + τ], vinden wedus:
P(T > τ) = P(Xt,t+τ = 0) = e−λτ
zodatP(T ≤ τ) = 1−P(T > τ) = 1− e−λτ voor τ > 0 (3.49)
T is dus continue met verdelingsfunctie FT en kansdichtheid fT :
FT (T ) =
1− e−λt voor t > 0,
0 voor t ≤ 0,fT (t) =
λe−λt voor t > 0,
0 voor t ≤ 0,(3.50)
We noemen T exponentieel verdeeld met parameter λ. De argumenten hierboven tonen aan dat detussentijd tussen twee opeenvolgende incidenten van een Poissonincidentenstroom exponentieelverdeeld is. Merk op dat er een schijnbare paradox is: het is hierboven niet van belang, wanneer hetlaatste incident voor het begintijdstip t zich heeft voorgedaan: de verdeling van T blijft dezelfde.M.a.w. op een tijdstip t is de tijdsduur tot aan het volgende incident onafhankelijk van de tijdsduurtussen het paatsvinden van het vorige incident en het begin van het beschouwde tijdsinterval t.Men noemt deze eigenschap de “vergeetachtigheid” van de exponentiele verdeling; in formule,voor s > 0 en t > 0 geldt:
P(T > s+ t | T > t) =P(T > s+ t en T > t)
P(T > t)=
e−λ(s+t)
e−λt= e−λs = P(T > s) (3.51)
Uit het voorbeeld zal het duidelijk zijn, dat de bestudering van de Poisson-verdeling, de expo-nentiele verdeling en verwante verdelingen (zoals de Gamma-verdeling) een grote vlucht heeftgenomen in de “wachtrij-theorie” (Eng. queueing theory) voor de bestudering van capaciteitspro-blemen van telefooncentrales, wegennetten, computeronderdelen, loketdiensten, etc. Een andervoorbeeld van een stochastische variabele die exponentieel verdeeld is, is de levensduur van eenradioactief atoom.Als T exponentieel verdeeld is met parameter λ, dan worden verwachtingswaarde en variantie alsvolgt gevonden:
E[T ] =
Z ∞
0λte−λt dt = −te−λt
∣∣∣∣∞
0+
Z ∞
0e−λt dt =
1λ
, (3.52)
E[T 2] =
Z ∞
0λt2e−λt dt = −t2e−λt
∣∣∣∣∞
0+
Z ∞
02te−λt dt =
2λ2 ,
Var[T ] = E[T 2]−E[T ]2 =1λ2 . (3.53)
Voor de karakteristieke functie vinden we:
ϕT (s) =Z ∞
0λeiste−λt dt = lim
M→∞λ
Z M
0e(is−λ)t dt = lim
M→∞
λe(is−λ)t
is−λ
∣∣∣∣M
0=
λλ− is
(3.54)
65
Opmerking. In (3.51) is de “vergeetachtigheid” of “geheugenloosheid” van de exponentiele verde-ling gedefinieerd. De enige continue verdeling waarvoor deze eigenschap geldt is de exponentieleverdeling, want
f continu en f (x+ y) = f (x) f (y) ∀x,y ∈ R ⇐⇒ f (x) = eµx voor zekere µ ∈ C .
3.5.2 De risico verhoudingBeschouw een hoeveelheid radioactief materiaal. Zoals we al gezien hebben is de levensduur T vanelk atoom in het materiaal exponentieel verdeeld met parameter λ. Als N = N(t) de hoeveelheidradioactief materiaal op tijdstip t voorstelt, dan hebben we dus
N(t) = N(0)e−λt (3.55)
Immers, de kans dat een deeltje vervalt voor het tijdstip t is FT (t) = 1− e−λt , en hieruit volgtonmiddellijk dat N(t) = (1− (1− e−λt))N(0) = N(0)e−λt . Hieruit volgt onmiddellijk dat
dNdt
= −λN (3.56)
Integratie van (3.56) levert ons opnieuw (3.55). Merk op dat de mediaan in dit geval een bijzonderebetekenis krijgt: dit is het getal m waarvoor
FT (m) = P(T ≤ m) =N(m)
N(0)=
12
,
met andere woorden, de mediaan is de tijd die nodig is om de hoeveelheid materiaal tot de helft teherleiden. In dit geval noemen we de mediaan daarom de halfwaardetijd. Reken zelf uit dat
m =ln2λ
Laten we nu een ander voorbeeld bekijken: in plaats van de levensduur van een atoom, beschouwenwe de levensduur van een mens. Er is nu een belangrijk verschil. De levensverwachting van eenradioactief atoom onafhankelijk is van de ouderdom van het atoom (dit is de vergeetachtigheidvan de exponentiele verdeling). Deze eigenschap geldt niet voor de levensduur van een mens: delevensverwachting van een mens van 70 jaar oud is kleiner dan die van een mens van 18 jaar oud!We kunnen ons model nu als volgt aanpassen: neem opnieuw (3.56), maar vervang hierin λ dooreen functie van de tijd, zeg r(t):
dNdt
= −r(t)N (3.57)
Integratie van (3.57) geeft nu
N(t) = N(0)exp−Z t
0r(s)ds (3.58)
66
Op tijdstip t is de verhouding van het aantal overgebleven deeltjes (of het aantal overlevende men-sen) ten opzichte van het oorspronkelijke aantal
exp−Z t
0r(s)ds
Als T de levensduur is van een deeltje, dan is dus
FT (t) = P(T ≤ t) = 1− exp−Z t
0r(s)ds (3.59)
en dus isfT (t) = r(t)exp−
Z t
0r(s)ds (3.60)
r(t) noemen we de risicoverhouding (Eng. hazard rate of failure rate). Als FT gegeven is, dankunnen we r(t) gemakkelijk bepalen met behulp van de formule
r(t) =fT (t)
1−FT (t)(3.61)
De risicoverhouding r(t) is heel belangrijk voor verzekeringsmaatschappijen die leveringsverze-keringen afsluiten. Immers, hoe kleiner r(t), hoe groter de levensverwachting van de klant, en hoekleiner de verzekeringspremie die zal aangerekend worden. Er bestaan tabellen met de risicover-houding afhankelijk van de leeftijd.
3.5.3 De Gamma-verdelingBij de afleiding van de exponentiele verdeling gingen we uit van een Poisson-verdeling P(λ) enkeken we naar de wachttijd voor de eerste gebeurtenis. Algemener, kunnen we kijken naar dewachttijd Tk voor de k-de gebeurtenis. Analoog aan (3.49) vinden we:
1−FTk(τ) = P(Tk > τ) = P(Xt,t+τ < k) =k−1
∑j=0
λ jτ j
j!e−λτ (3.62)
Door differentiatie vinden we de kansdichtheid:
− fTk(τ) =ddτ
(1−FTk(τ))
=k−1
∑j=1
λ jτ j−1
( j−1)!e−λτ −
k−1
∑j=0
λ j+1τ j
j!e−λτ
=k−2
∑j=0
λ j+1τ j
j!e−λτ −
k−1
∑j=0
λ j+1τ j
j!e−λτ
= − λkτk−1
(k−1)!e−λτ
67
zodat
fTk(τ) =λkτk−1
(k−1)!e−λτ (3.63)
Hieruit zien we, dat de kansverdeling voor t > 0 precies gegeven wordt door de incomplete Gam-mafunctie:
FTk(t) =λk
Γ(k)
Z t
0τk−1e−λτdτ (3.64)
waar Γ(x) de Gammafunctie is, met Γ(k +1) = k! .
3.6 Uniforme verdelingen en random getallen
3.6.1 De discrete uniforme verdelingHierbij is de uitslagenruimte eindig en hebben alle uitkomsten dezelfde kans:
Ω = 1, 2, · · · , n en P(X = k) =1n, (k = 1, 2, · · · , n en n ∈ N) (3.65)
Voorbeelden (voor de spelers onder ons):n = 2: muntworp, n = 6: dobbelsteen, n = 37: roulette, n = 52: kaartspel.
De verdelingsfunctie en staafdiagram van een discrete uniforme verdeling op 9 punten is geschetstin Figuur 3.11.
0
0.5
1
0 5 10
0
0.05
0.1
0.15
0 5 10
1 2 3 4 5 6 7 8 9
Figuur 3.11: Kansverdeling en staafdiagram van een discrete uniforme verdeling op 9 punten.
Voor de verwachtingswaarde vinden we:
E[X ] =n
∑j=1
jn
=n+1
2. (3.66)
Gebruik makend van de som (ga na!)
n
∑j=1
j2 =n(n+1)(2n+1)
6vinden we E[X2] =
n
∑j=1
j2
n=
(n+1)(2n+1)
6.
De variantie is dus:
Var[X ] = E[X2]−E[X ]2 =(n+1)(2n+1)
6− (n+1)2
4=
n2 −112
(3.67)
68
Tenslotte is de karakteristieke functie gegeven door:
ϕX(t) = E[eitX ] =n
∑j=1
ei jt
n=
eit
n1− eint
1− eit (3.68)
Opgave: Bepaal mediaan en modus van een discrete uniforme verdeling.
3.6.2 De continue uniforme verdelingBij deze verdeling is de kansdichtheid constant over een zeker reeel interval [a, b] en nul daarbui-ten. Aangezien de totale kansmassa een is, zijn de kansdichtheid en de verdelingsfunctie alsvolgt:
fX(x) =
1b−a als a ≤ x ≤ b,
0 elders.(3.69)
FX(x) =
0 als x ≤ a,x−ab−a als a ≤ x ≤ b,
1 als b ≤ x.
(3.70)
Verwachtingswaarde, variantie en karakteristieke functie vinden we eenvoudig door integratie:
E[X ] =
Z b
a
xdxb−a
=a+b
2en Var[X ] =
Z b
a
(x− a+b
2)2 dx
b−a=
(b−a)2
12(3.71)
ϕX(t) = E[eitX ] =
Z b
a
eitxdxb−a
=eitb − eita
itb− ita(3.72)
In Figuur 3.12 is deze verdeling geschetst voor het interval [0, 4].
-0.1
0
0.1
0.2
0.3
0 2 4
0
0.5
1
0 2 4
Figuur 3.12: Kansverdeling en kansdichtheid van een continue uniforme verdeling op het interval[0, 4].
Opgave: Bepaal mediaan, modus, scheefheid en kurtosis van een continue uniforme verdeling.
69
3.6.3 Random getallenAls we 20 maal achtereen een (eerlijke) munt werpen en de uitkomsten 0 of 1 op een rij zetten,vinden we een rij “willekeurige” of “random” bits, b.v.
0 0 1 1 1 0 1 1 0 0 1 1 0 0 1 0 1 0 1 1Omdat de kans op 0 of 1 even groot is, vormt de rij random getallen een serie uniform verdeeldeen onafhankelijke trekkingen van een stochastische variabele op de verzameling 0, 1. Hetzelfdekunnen we doen met een LOTTO-machine die balletjes met de cijfers 0 t/m 99 bevat; het getrokkenballetje leggen we na iedere trekking onmiddellijk terug. We zouden dan als uitkomst kunnenkrijgen:
53 - 9 - 65 - 42 - 70 - 91 - 76 - 26 - 5 - 74 - 33 - 63 - 76 - 99 - 37 - 25 - 98 - 72 - 75 - 65Deze tweede rij bevat cijfers, die onafhankelijke trekkingen zijn uit de verzameling 0, 1, · · · , 99;de kans op ieder van die getallen is even groot en dus is ook deze rij (discreet) uniform verdeeld,maar nu op 0, 1, · · · , 99. Als we tijd genoeg hebben, kunnen zulke rijen van willekeurige lengteproduceren.Voor vele statistische toepassingen (Monte-Carlomethoden) en simulaties hebben we zeer langerijen van zulke getallen nodig, soms wel van een miljard lang en willen we ze met de computergenereren. Het produceren van willekeurige getallen met de deterministische machine bij uitsteklijkt een onmogelijke opgave, immers ieder algoritme zal met dezelfde beginvoorwaarden steedshetzelfde resultaat moeten opleveren (tenzij hardware en/of programmatuur fouten bevat). Tochwordt bij statistische simulaties op grote schaal gebruik gemaakt van random getallen en noemenwe de computercode, waarmee we ze maken een “pseudo-randomgetallen generator”. Het meestgebruikt is de lineair congruentiele methode. Deze werkt alsvolgt:
- aan het begin van het programma wordt een integer variabele seed geınitialiseerd,
- voor iedere keer dat het programma een nieuw getal uit de random rij vraagt, worden (bijvoorbeeld) de volgende statements uitgevoerd:
seed := (25173∗seed+13849) mod 65536
random := seed/65536
In dit algoritme is seed een positief geheel getal tussen 0 en 65535 (= 216 − 1); in iedere slagwordt dit vermenigvuldigd met een multiplier (25173 in dit voorbeeld) en wordt er een shift (13849in dit voorbeeld) bij opgeteld. Vervolgens wordt het geheel gereduceerd modulo 216. Afgeleverdwordt het reele getal random∈ [0, 1). Bij geschikt gekozen multiplier en shift (een kunst op zich)gedraagt een hiermee geproduceerde rij pseudo-randomgetallen zich inderdaad alsof het willekeu-rige resultaten zijn van een rij onafhankelijke loterijen uit telkens 216 (in dit voorbeeld) getallen.Daar de resultaten gedeeld zijn door 216 en dus tussen 0 en 1 liggen, zijn de getallen (bij goedebenadering) te beschouwen als onafhankelijke trekkingen uit een uniform op [0, 1] verdeelde sto-chastische variabele. De hierboven gegeven generator heeft een periode van 216, d.w.z. na 216
trekkingen herhaalt de rij zichzelf. Dit is niet bijzonder goed. In de meeste rekenprogramma’szijn veel betere generatoren beschikbaar, sommige met een periode groter dan 264. Het is vrij-wel standaard, dat de afgeleverde rij pseudo-randomgetallen uniform verdeeld is op het interval[0, 1]. Als we een rij met een andere verdeling (b.v. de normale) willen hebben zullen we zelf detransformatie moeten doen.
70
0
20
40
60
80
100
0 0.5 1* * * * * * * * * * * * * * * * * * * *
gemiddelde: 0.4871variantie : 0.08448
0
20
40
60
80
100
0 0.5 1* * * * * * * * * * * * * * * * * * * *
gemiddelde: 0.5073variantie : 0.07923
Figuur 3.13: Histogrammen van twee verschillende rijen van 1000 random getallen.
In Figuur 3.13 zijn histogrammen van twee van zulke rijen random getallen getekend. Het gemid-delde aantal per klasse is 50, maar t.g.v. statistische fluctuaties bevat niet iedere klasse evenveelelementen. De verwachtingswaarde en variantie van een uniforme verdeling op [0, 1] zijn 0.5resp. 1/12=0.0833. De werkelijke waarden van beide steekproeven wijken enigszins af. In hoofd-stuk 20 zullen we laten zien hoe je met een χ2-toets aannemelijk kunt maken, dat de geproduceerdegetallen inderdaad onafhankelijke trekkingen zijn uit een uniforme verdeling op [0, 1].
3.7 De Normale Verdeling
3.7.1 InleidingAls X1, X2, · · · , Xn onafhankelijke B(1, p)-verdeelde Bernoulli-experimenten zijn, dan is hun somYn := X1 +X2 + · · ·+Xn binomiaal B(n, p)-verdeeld met gemiddelde np en spreiding
√np(1− p).
De genormaliseerde verdeling Zn := (Yn − np)/√
np(1− p) heeft dus gemiddelde 0 en spreiding1. Als we het staafdiagram van Zn voor een aantal waarden van n tekenen, zoals in Figuur 3.14, danzien we convergentie naar een mooie symmetrische klokvormige kromme voor n → ∞, ondanks deasymmetrie van Xi.
0
0.2
0.4
0 5
n= 40 p= 0.2
0
0.2
0.4
-5 0 5
n= 80 p= 0.2
Figuur 3.14: Staafdiagrammen van Zn voor n = 10,20,40 en 80.
Dit was al opgemerkt door de Moivre (1718), die (als uitbreiding van de wet van de grote getallen,zie 10.14) bewees, dat de limiet de vorm heeft van de functie exp(− 1
2x2). Laplace (1812) liet zien
71
dat deze limieteigenschap geldt voor een veel grotere klasse verdelingen. Deze limieteigenschapheeft de naam centrale-limietstelling gekregen en de limietverdeling heet de normale verdeling.Omdat ook Gauss er veel over geschreven heeft en zelfs de ontdekking ervan geclaimd heeft,wordt deze verdeling ook vaak naar hem genoemd.
3.7.2 De standaard-normale verdeling N(0,1)
De dichtheidsfunctie ϕ en de verdelingsfunctie Φ van de standaard normale verdeling wordengedefinieerd door:
ϕ(x) :=1√2π
e−12 x2
en Φ(x) :=1√2π
Z x
−∞e−
12 t2
dt (3.73)
We kunnen alsvolgt controleren, dat de totale kansmassa 1 is. Als I :=R ∞−∞ e−
12 x2
dx, dan kunnenwe het kwadraat als een integraal over het gehele platte vlak beschouwen en dan overgaan oppoolcoordinaten (x = r cosϕ, y = r sinϕ, dxdy = rdrdϕ):
I2 =Z ∞
−∞
Z ∞
−∞e−
12 (x2+y2)dxdy =
Z 2π
0
Z ∞
0e−
12 r2
rdrdϕ = 2π
0
0.1
0.2
0.3
0.4
0.5
-4 -2 0 2 4
68 %
0
0.5
1
-4 -2 0 2 4
Figuur 3.15: De kansdichtheid en de verdelingsfunctie van de normale verdeling N(0,1).
De grafieken zijn geschetst in Figuur 3.15. De integraal in Φ is niet exact uit te drukken in ter-men van elementaire functies en de waarde van Φ(x) voor een gegeven x zal dan ook uitgerekendmoeten worden via numerieke integratie of opgezocht moeten worden in een tabel (zie tabel 3achteraan). In de meeste statistische handboeken is hiervoor een tabel opgenomen. In compu-terprogramma’s is voor Φ of voor de z.g. Errorfunctie Er f (x) meestal een standaard procedurebeschikbaar:
Er f (x) :=2√π
Z x
0e−t2
dt zodat Φ(x) =12(1+Er f ( x√
2)). (3.74)
De kansen op de kwantielen |X | < 1, |X |< 2 en |X |< 3 zijn:
P(−1 < X < 1) ≈ 0.683 P(−2 < X < 2) ≈ 0.955 P(−3 < X < 3) ≈ 0.997
72
Vrijwel alle kansmassa ligt dus tussen -3 en 3. Als de stochastische variabele X standaard-normaalverdeeld is, dan noteren we
X ∼ N(0,1).
Vanwege de symmetrie van ϕ zijn de verwachtingswaarde en alle andere oneven momenten nul:
E[X ] =1√2π
Z ∞
−∞xe−
12 x2
dx = 0 (3.75)
De variantie kunnen we uitrekenen met partiele integratie:Z ∞
−∞x2e−
12 x2
dx = −Z ∞
−∞x de−
12 x2
= −xe−12 x2∣∣∣∣∞
−∞+
Z ∞
−∞e−
12 x2
dx =√
2π.
zodatVar[X ] =
1√2π
Z ∞
−∞x2e−
12 x2
dx = 1 (3.76)
Analoog geldtZ ∞
−∞x4e−
12 x2
dx = −Z ∞
−∞x3 de−
12 x2
= −x3e−12 x2∣∣∣∣∞
−∞+3
Z ∞
−∞x2e−
12 x2
dx = 3√
2π
zodat het vierde moment µ4 en de kurtosis γ2 gegeven worden door (zie (2.70)):
µ4[X ] =1√2π
Z ∞
−∞x4e−
12 x2
dx = 3 en γ2 =µ4
σ4 −3 = 0 (3.77)
Zoals we in (2.87) reeds uitgerekend hebben, wordt de karakteristieke functie gegeven door:
ϕX(t) = e−12 t2
(3.78)
3.7.3 De algemene normale verdeling N(µ,σ)
We zeggen dat een stochastische variabele X algemeen normaal verdeeld is en we noteren
X ∼ N(µ,σ) alsX −µ
σ∼ N(0,1). (3.79)
Uit de definitie volgt onmiddelijk, dat X gemiddelde µ en standaardafwijking σ heeft. Voor deverdelingsfunctie vinden we de formule
FX(x) = P(X ≤ x) = P(X −µ
σ≤ x−µ
σ)
= Φ(x−µ
σ)
(3.80)
zodat de percentielen van X eenvoudig uit een tabel voor Φ berekend kunnen worden. De dicht-heidsfunctie wordt gegeven door de formule
fX(x) =ddx
Φ(x−µ
σ)
=1
σ√
2πe− (x−µ)2
2σ2 (3.81)
Uit (3.78) volgt, dat X de volgende karakteristieke functie heeft:
ϕX(t) = E[eitX ] = E[eit(σY+µ)] = ϕY (σt)eitµ = eiµt− 12 σ2t2
(3.82)
Deze formule kunnen we gebruiken voor de volgende belangrijke stelling:
73
Stelling 3.7.1 Als X ∼ N(µ1,σ1) en Y ∼ N(µ2,σ2) onafhankelijk en normaal verdeeld zijn, dan is
hun som opnieuw normaal verdeeld met gemiddelde µ1 +µ2 en standaardafwijking√
σ21 +σ2
2:
X ∼ N(µ1,σ1)Y ∼ N(µ2,σ2)
onafhankelijk ⇒ X +Y ∼ N
(µ1 +µ2,
√σ2
1 +σ22)
(3.83)
Bewijs. Voor de karakteristieke functies geldt volgens (3.82):
ϕX+Y = eiµ1t− 12 σ2
1t2eiµ2t− 1
2 σ22t2
= ei(µ1+µ2)t− 12 (σ2
1+σ22)t
2
waaruit het gestelde volgt.
3.7.4 Benaderingen met de normale verdelingAan het begin van dit hoofdstuk hebben we een resultaat van de Moivre vermeld, dat B(n, p)naar een normale verdeling convergeert voor n → ∞. We willen dit nu iets preciezer formuleren.Bekijk een rij stochastische variabelen (Xn). We zeggen dat (Xn) in verdeling naar de stochastischevariabele X convergeert indien
limn→∞
FXn(x) = FX(x)
in elk punt x waarin de verdelingsfunctie FX continu is. De volgende stelling is in vele gevalleneen belangrijk hulpmiddel om na te gaan of een rij stochastieken in verdeling convergeert.
Stelling 3.7.2 (Levy-Cramer)Een rij stochastische variabelen (Xn) convergeert in verdeling naar de stochastische variabele Xals en alleen als de corresponderende rij karakteristieke functies ϕXn(t) puntsgewijs convergeertnaar ϕX(t).
Het bewijs van de Stelling van Levy-Cramer gaat ver buiten het bestek van deze syllabus, en welaten het dan ook wijselijk achterwege. Wel kunnen we nu eenvoudig aantonen dat de binomiaal-verdeling voor grote waarden van n naar een normale verdeling convergeert.
Stelling 3.7.3 (de Moivre, 1718)Als Yn ∼ B(n, p) binomiaal verdeeld is en
Zn :=Yn −np√
npqmet q = 1− p,
dan convergeert de rij Zn en de limiet is standaard-normaal verdeeld; hiermee bedoelen we dat
limn→∞
FZn(x) = FX(x) met X ∼ N(0,1). (3.84)
voor elke x ∈ R.
Bewijs. We geven eerst een ruwe schets van het bewijs. Vanwege stelling 3.7.2 vostaat het tebewijzen dat, voor elke t ∈ R,
limn→∞
ϕZn(t) = e−t2/2,
74
de karakteristieke functie van de standaard normale verdeling. Aangezien
ϕYn(t) = (q+ peit)n
(zie (3.14)) vinden we, gebruik makend van (2.82)
ϕZn(t) = E[eitZn] = E[
ei tYn√npq e−i npt√
npq
]
= e−i npt√npq ϕYn
(t√npq
)
= e−i npt√npq(
q+ peit√npq)n
=
(qe−
ipt√npq + pe
iqt√npq
)n
We schrijven de Taylorreeks neer voor de exponentiele functie, en verwaarlozen de termen vanorde drie en hoger:
e−ipt√npq = 1− ipt√
npq− p2t2
2npq+ · · · (3.85)
eiqt√npq = 1+
iqt√
npq− q2t2
2npq+ · · · (3.86)
zodat
ϕZn(t) ≈ (q− pt2
2n+ p− qt2
2n)n =
(1− t2
2n
)n
en de limiet hiervan is inderdaad e−t2/2.Voor een meer nauwkeurige analyse moeten we naar de resttermen in (3.85-3.86) kijken. Hiermoeten we goed opletten, omdat we te doen hebben met complexe functies. Als we de Taylor-ontwikkelingen van sinus en cosinus opschrijven, met restterm van Lagrange van orde 3, danvinden we
cosx = 1− x2
2+ sin(ϑx)
x3
6
sinx = x− cos(ϑ′x)x3
6
waarbij ϑ,ϑ′ ∈ (0,1). Daarom is
eix = cosx+ isinx
= 1+ ix− x2
2+(sin(ϑx)− icos(ϑ′x))
x3
6
= 1+ ix− x2
2+A(x)x3
75
waarbij A(x) ∈ C, en
|A(x)| = 16
√sin2(ϑx)+ cos2(ϑ′x) ≤ 1
3√
2(3.85-3.86) kunnen nu als volgt herschreven worden
e−ipt√npq = 1− ipt√
npq− p2t2
2npq−A(x)
p3t3
npq√
npq(3.87)
eiqt√npq = 1+
iqt√
npq− q2t2
2npq+B(x)
q3t3
npq√
npq(3.88)
en
ϕZn(t) =
(1− t2
2n+
(Bq2 −Ap2)t3
n√
npq
)n
waarbij |A|, |B| ≤ 1/3√
2. Voor n voldoende groot hebben we dat∣∣∣∣1−
t2
2n
∣∣∣∣≤ 1 en∣∣∣∣1−
t2
2n+
(Bq2 −Ap2)t3
n√
npq
∣∣∣∣≤ 1
We kunnen dan lemma 3.7.4 toepassen, en vinden∣∣∣∣ϕZn(t)−
(1− t2
2n
)n∣∣∣∣ ≤ n|Bq2 −Ap2| t3
n√
npq
≤ (q2 + p2)t3
3√
2npqn→∞−→0
en dus is
limn→∞
ϕZn(t) = limn→∞
(1− t2
2n
)n
= e−t22
We maakten gebruik van het volgende eenvoudige resultaat:
Lemma 3.7.4 Voor elke a,b ∈ C, met |a|, |b| ≤ 1 geldt
|an −bn| ≤ n|a−b|
Bewijs. |an −bn| = |a−b||an−1 +an−2b+an−3b2 + . . .+abn−2 +bn−1| ≤ n|a−b|.
We zien dat de verdeling van een som van n Bernoulli-experimenten convergeert naar een normaleverdeling ongeacht de waarde van p. De ervaring heeft reeds lang uitgewezen, dat de kansverdelingvan fouten in het gemiddelde van een groot aantal onafhankelijke metingen van eenzelfde (fysi-sche) grootheid bij benadering normaal verdeeld zijn en dat deze benadering beter wordt, naarmatehet aantal metingen groter is ongeacht de kansverdeling van de individuele fouten. Het resultaat(3.84) is dan ook uit te breiden tot een veel grotere klasse van kansverdelingen en is een van debasisresultaten uit de kansrekening. Het idee bij het bewijs is hetzelfde als dat bij het bewijs vande voorgaande stelling van de Moivre. Omdat de technische details heel wat ingewikkelder zijn,gaan we er verder niet op in, en beperken we ons tot het formuleren van de centrale-limietstelling.
76
Stelling 3.7.5 (De Centrale-Limietstelling)Als X1, X2, · · · , Xn, · · · onafhankelijke stochastische variabelen zijn, die (willekeurige) kansverde-lingen bezitten waarvoor verwachtingswaarde en variantie bestaan en uniform begrensd zijn,
µn := E[Xn] met |µn| ≤ M,
σ2n := Var[Xn] met σn ≤V,
∀n ∈ N,
als Yn hun som is met verwachtingswaarde µn en variantie σ2n,
Yn :=n
∑j=1
X j, µn :=n
∑j=1
µ j, σ2n :=
n
∑j=1
σ2j ,
dan convergeert Zn := (Yn −µn)/σn en de limiet is standaard-normaal verdeeld:
limn→∞
Zn = limn→∞
Yn −µnσn
= W met W ∼ N(0,1) (3.89)
Het resultaat (3.84) kunnen we gebruiken om de tamelijk moeilijk berekenbare percentielen van debinomiale verdeling voor voldoend grote n te benaderen met de normale verdeling. In de praktijkblijkt dit meestal reeds voor n ≥ 30 voldoend goed te zijn, mits p niet te klein is. Voor de eenvoudgebruiken we meestal niet (3.84), maar de variant
B(n, p) ≈ N(np,√
np(1− p))
(3.90)
Omdat B een discrete verdeling is en N een continue is het niet onmiddellijk duidelijk hoe wein een concreet geval de benadering zouden moeten uitrekenen. We kunnen bijvoorbeeld voorX ∼ B(36,0.2) de benadering Y ∼ N(7.2,2.4) gebruiken volgens (3.90). Als we echter de comple-mentaire kansen
P(X ≤ 6) = 0.4007 en P(X ≥ 7) = P(X > 6) = 0.5993
benaderen met de kansen
P(Y ≤ 6) = Φ(6−7.2
2.4) = Φ(−0.5) = 0.3085
P(Y ≥ 7) = Φ(−7.2−72.4
) = Φ(0.0833) = 0.5332
hebben we een grote fout gemaakt. De som van beide benaderingen is niet gelijk aan een! Bijde discrete binomiale verdeling X is de kans P(6 < X < 7) gelijk aan nul, maar bij de continuebenadering Y is de kans P(6 < Y < 7) = 0.1582 niet nul. We kunnen dit probleem oplossen doorhet gewraakte interval eerlijk te verdelen tussen beide zijden en dus door de volgende benaderingente gebruiken:
P(X ≤ 6) ≈ P(Y ≤ 6.5) = Φ(6.5−7.2
2.4) = 0.3853
P(X ≥ 7) ≈ P(Y ≥ 6.5) = Φ(−6.5−7.22.4
) = 0.6147
77
We noemen dit de continuıteitscorrectie.Analoog, het heeft geen zin om de kans P(X = 6) = 0.1543 te benaderen met de kans P(Y = 6),omdat de kans op een gegeven uitkomst bij een continue verdeling altijd nul is. Voor een correctebenadering zullen we de discrete kans op X = 6 moeten benaderen met een continue kans voor Yop een interval rond de waarde 6. Omdat X discreet is en alleen de waarden · · · , 5, 6, 7, · · · kanaannemen, ligt het opnieuw voor de hand om de intervallen [5, 6] en [6, 7] eerlijk te verdelen enP(X = 6) te benaderen met
P(5.5 < Y < 6.5) = Φ(6.5−7.2
2.4)−Φ(
5.5−7.22.4
) = 0.3085−0.2394 = 0.1459
In het algemeen moeten we dus voor X ∼ B(n, p) en Y ∼ N(np,√
np(1− p) ) de volgende bena-dering gebruiken:
P( j ≤ X ≤ k) ≈ P( j−0.5 < Y < k +0.5)
P(X ≤ 0) ≈ P(Y ≤ 0.5) en P(X ≥ n) ≈ P(Y ≥ n−0.5) (3.91)
0
0.05
0.1
0.15
0 10
0
0.5
1
0 10
Figuur 3.16: Staafdiagram van B(36,0.2) en kansdichtheid van de benaderende N(7.2,2.4) en hunkansverdelingen.
0
0.05
0.1
0.15
4 6 8
0
0.5
4 6 8
Figuur 3.17: Detail rond de kans P(X=6).
In Figuur 3.16 en Figuur 3.17 zien we grafieken van X ∼ B(36,0.2) en Y ∼ N(7.2,2.4). Uit delinkerfiguur zien we, dat
P(X = 6) = oppervlak van de gestippelde rechthoek rond de staaf op x = 6
78
goed benaderd wordt door het oppervlak onder de continue kromme tussen 5.5 en 6.5. Uit derechterfiguur zien we, dat we de continue verdeling 0.5 naar links moeten schuiven om in degehele punten 0,1,2, . . . een goede benadering te krijgen van P(X < k).De benadering (3.91) is natuurlijk niet perfect, maar zij wordt beter naarmate n groter is en zijheeft de eigenschap dat de som van de benaderingen van complementaire kansen steeds gelijk isaan een.Bij de benadering van B(n, p) moeten we er wel op letten, dat B(n,λ/n) naar de PoissonverdelingP(λ) convergeert voor n→∞ en dus, dat de benadering (3.90) slechter wordt, naarmate het produktnp (of het complement n(1− p)) kleiner wordt. Als np te klein is, is een benadering van B(n, p)door P(np) beter. Als vuistregel nemen we, dat we B(n, p) voor n > 30 en np ≤ 3 voldoend goedkunnen benaderen met P(np):
als n > 30, X ∼ B(n, p), Y ∼ P(np) en Z ∼ P(n(1− p)) dannp < 3 =⇒ P(X = k) ≈ P(Y = k) (3.92)n(1− p) < 3, =⇒ P(X = n− k) ≈ P(Z = k)
Omdat de Poissonverdeling eveneens diskreet is, hebben we hierbij natuurlijk geen problemen metde bovenvermelde continuıteitscorrectie.Op grond van de centrale-limietstelling en de eigenschap P(λ + µ) = P(λ)+ P(µ) voor onafhan-kelijke Poissonverdelingen (zie (3.40)), weten we, dat we de Poissonverdeling zelf voor grotewaarden van λ naar de normale verdeling convergeert. Als Xλ ∼ P(λ), dan geldt E[Xλ] = λ enVar[Xλ] = λ (zie (3.37-3.38)), zodat
limλ→∞
Xλ−λ√λ
∼ N(0,1) oftewel P(λ) ≈ N(λ,√
λ) als λ voldoend groot. (3.93)
Als vuistregel nemen we opnieuw, dat we P(λ) in een tabel opzoeken voor λ ≤ 30 en andersbenaderen met formule (3.93). Aangezien de Poissonverdeling diskreet en de normale continu is,moeten we ook hier aan de continuıteitscorrectie denken, dus:
P(Xλ ≤ k) ≈ Φ(k +0.5−λ√
λ
)
P(Xλ = k) ≈ Φ(k +0.5−λ√
λ
)−Φ
(k−0.5−λ√λ
)(3.94)
3.7.5 Transformatie van de dichtheidsfunctie van een kansvectorIn deze korte paragraaf geven we een algemeen resultaat dat van belang zal zijn in de twee hier-navolgende paragrafen. Onderstel dat (U,V ) een kansvector is met een continue verdeling diewaarden aanneemt in een gebied g ⊂ R2 gelegen in het uv-vlak. Onderstel verder dat G ⊂ R2 eengebied is in het xy-vlak, en
T = (ϕ,ψ) : g ⊂ R2 → G ⊂ R2
een transformatie.T is gegeven door de formules
x = ϕ(u,v)
y = ψ(u,v)
79
We veronderstellen verder dat T bijectief is, en dat de functies ϕ en ψ en hun partiele afgeleidencontinu zijn over g. We onderstellen ook dat de Jacobiaanse determinant
∂(ϕ,ψ)
∂(u,v)6= 0
verschillend van nul is over het inwendige van het gebied g. Stel nu
X = ϕ(U,V )
Y = ψ(U,V )
Als de dichtheidsfunctie f(U,V ) gekend is, wat is dan de dichtheidsfunctie f(X ,Y )? Neem een (meet-baar) deel A ⊂ g, en laat B = T (A) het corresponderende deel van G zijn. Dan hebben we enerzijds
P((X ,Y ) ∈ B) =Z Z
Bf(X ,Y)(x,y)dxdy
=Z Z
Af(X ,Y)(ϕ(u,v),ψ(u,v))
∣∣∣∣∂(ϕ,ψ)
∂(u,v)
∣∣∣∣dudv
en anderzijds
P((X ,Y) ∈ B) = P((U,V ) ∈ A)
=Z Z
Af(U,V )(u,v)dudv
en we kunnen besluiten dat
f(X ,Y )(x,y) =
∣∣∣∣∂(u,v)∂(x,y)
∣∣∣∣ f(U,V )(u,v) (3.95)
Uiteraard kan (3.95) uitgebreid worden tot n-dimensionale kansvectoren.
3.7.6 Normaal verdeelde random getallenIn § 3.6.3 hebben we laten zien, hoe we een rij uniform verdeelde random getallen kunnen maken.In statistische simulaties hebben we echter vaak een standaard-normaal verdeelde rij nodig. Omzulk een rij te genereren gebruiken we de zogenaamde Box-Muller transformatie. Deze zet heteenheidsvierkant om in het vlak. We kunnen deze als volgt opstellen: neem eerst de transformatie
(ρ, ϑ) = (√−2lnu , 2πv)
waarbij (u,v) varieert over het eenheidsvierkant [0,1]× [0,1]. Het eenheidsvierkant wordt afge-beeld op de strook
(ρ,ϑ) ∈ R2 |ρ ≥ 0 en 0 ≤ ϑ ≤ 2π .
Deze strook wordt gemakkelijk getransformeerd op het volledige vlak (via poolcooordinaten) alsvolgt:
(x, y) = (ρcosϑ ,ρsinϑ) = (√−2lnu cos2πv ,
√−2lnu sin2πv) .
80
De samengestelde transformatie is de Box-Muller transformatie.Veronderstel nu dat de rij u0,u1,u2, · · · ,un, · · · uniform verdeeld is over het interval [0,1], dan isde rij koppels
(u0,u1),(u2,u3), · · · ,(u2n,u2n+1), · · ·
uniform verdeeld over het eenheidsvierkant. We passen op deze rij koppels de Box-Muller trans-formatie toe:
w2 j :=√−2ln(u2 j) cos(2πu2 j+1) en w2 j+1 :=
√−2ln(u2 j) sin(2πu2 j+1). (3.96)
We zullen aantonen dat de rij (w1,w2, · · · ,wn, · · ·) standaard normaal verdeeld is. Noteer de Box-Muller transformatie door T : [0,1]2 → R2. Veronderstel dat (U,V) een kansvektor is die uniformverdeeld is over het eenheidsvierkant, en transformeer deze met T , (X ,Y) = T (U,V ). Om f(X ,Y )
te bepalen gebruiken we formule (3.95). Voor het berekenen van de Jacobi-determinant gebruikenwe de partiele afgeleiden:
∂x∂u
= − cos2πvu√−2lnu
=x
2u lnu∂y∂u
= − sin2πvu√−2lnu
=y
2u lnu∂x∂v
= −2π√−2lnusin(2πv) = −2πy
∂y∂v
= 2π√−2lnucos(2πv) = 2πx
zodat
∂(x,y)∂(u,v)
= 2π
∣∣∣∣∣∣
x2u lnu
−y
y2u lnu
x
∣∣∣∣∣∣= 2π
x2 + y2
2u lnu= −2π
u= −2πe
x2+y2
2 ,
waarbij we gebruikten dat x2 + y2 = −2lnu . Zo vinden we de absolute waarde van de Jacobi-determinant ∣∣∣∣
∂(u,v)∂(x,y)
∣∣∣∣=1
2πe−
x2+y2
2 .
en de kansdichtheid wordt gegeven door
f(X ,Y )(x,y) =e−
x22
√2π
e−y2
2√
2π
Voor de marginale dichtheden geldt:
fX(x) = fY (x) =e−
x22
√2π
.
X en Y zijn dus onafhankelijk en standaard normaal verdeeld.
81
Conclusie
Indien de rij getallen (u1,u2, · · ·) uniform verdeeld is over het interval [0,1], dan is de Box-Mullergetransformeerde rij (w1,w2, · · ·) met
w2 j :=√−2ln(u2 j) cos(2πu2 j+1) en w2 j+1 :=
√−2ln(u2 j) sin(2πu2 j+1)
standaard normaal verdeeld.
0
50
100
0 0.5 1
* * * * * * * * * * * * * * * * * * * * 0
50
100
150
-4 -2 0 2 4
* * * * * * * * * * * * * * * * * * * *
Figuur 3.18: Histogrammen van 1000 uniform verdeelde (pseudo-)randomgetallen in 20 klassen(links) en de Box-Muller transformatie ervan naar een normale verdeling.
3.7.7 De normale verdeling in verscheidene dimensiesWe noemen een kansvector Z = (Z1,Z2, · · · ,Zn) standaard normaal verdeeld is, als de compo-nenten Z1,Z2, · · · ,Zn onafhankelijk en standaard normaal verdeeld zijn. We hebben onmiddellijkdat de dichtheidsfunctie van de n-dimensionale standaardnormaalverdeling gegeven wordt door deformule
fZ(z1, · · · ,zn) =1√
(2π)ne−
12 ∑n
i=1 z2i (3.97)
of, matricieel genoteerd,
fZ(z) =1√
(2π)ne−
12
tzz (3.98)
We zeggen dat de kansvector X = (X1,X2, · · · ,Xn) normaalverdeeld is, als er een vector m ∈ Rn eneen reguliere n×n-matrix A bestaat zodat Z = A−1(X−m) standaard normaalverdeeld is.De dichtheidsfunctie van X bepalen we met behulp van formule (3.95). X wordt gevonden uit Zmet behulp van de transformatie
x = Az+m z = A−1(x−m)
Er is duidelijk aan de voorwaarden uit § 3.7.5 voldaan. Bovendien is
∂(x1,x2, · · · ,xn)
∂(z1,z2, · · · ,zn)= det(A)
82
Figuur 3.19: dichtheidsfunctie van de tweedimensionale standaard normale verdeling.
zodat
fX(x1,x2, · · · ,xn) =1
|det(A)| fZ(z1,z2, · · · ,zn)
=1
|det(A)|√
(2π)nexp(−1
2t(x−m)t(A−1)A−1(x−m)
)
We stellen nu B = t(A−1)A−1, en vinden
fX(x) =
√det(B)
(2π)n exp(−1
2t(x−m)B(x−m)
)(3.99)
Het is duidelijk datE[X] = m (3.100)
Merk ook op dat B een symmetrische, positief definiete matrix is. Immers,
tB = t(t(A−1)A−1) = t(A−1)A−1 = B
en voor elke x ∈ Rn geldttxBx = t(A−1x)A−1x ≥ 0
entxBx = 0 ⇒ A−1x = 0 ⇒ x = 0
Herleiden tot de diagonaalvorm
Onderstel nu dat X een normaal verdeelde kansvector is. Per definitie weten we dat X standaardnormaal verdeeld wordt na toepassing van een gepaste affiene transformatie. Hoe eenvoudig wordtde verdeling als we in plaats van affiene slechts isometrische transformaties toelaten? Herhaal dat
83
een isometrie steeds kan geschreven worden als de samenstelling van een orthogonale transforma-tie en een verschuiving. Door een verschuiving toe te passen kunnen we er steeds voor zorgen datE[X] = 0, en dus
fX(x) =
√det(B)
(2π)n exp(−1
2txBx
)
Herhaal uit de cursus “Algebra en Meetkunde”dat er een orthogonale matrix U bestaat zodat
UBtU = B
een diagonaalmatrix is. Herhaal ook dat een matrix orthogonaal is als zijn inverse gelijk is aan zijngetransponeerde, of, met andere woorden, als de rijen (of de kolommen) van U een orthonormalebasis van Rn vormen. De determinant van een orthogonale matrix is steeds ±1.De elementen op de diagonaal van B zijn de eigenwaarden van B, en die zijn strikt positief omdatB positief definiet is. Schrijf daarom
B =
1σ2
10 · · · 0
0 1σ2
2· · · 0
......
...
0 0 · · · 1σ2
n
enX = UX
Gebruik makend van (3.95) vinden we dat
fX(x1, · · · , xn) =1
|det(U)|
√det(B)
(2π)n exp(−1
2t xtUBUx
)
=1
σ1 · · · σn√
(2π)nexp(−
n
∑i=1
x2i
2σ2i
)
In Figuur 3.20 wordt de dichtheidsfunctie van de tweedimensionale normale verdeling geschetstin het geval dat σ1 = 1 en σ2 =
√3.
De covariantiematrix
We zullen nu de varianties Var[Xi] en de covarianties cov(Xi,X j) uitrekenen. Voor elke i, j =1,2, · · · ,n hebben we
E[(Xi−mi)(X j −m j)] =√
det(B)
(2π)n
Z Z
· · ·Z
Rn(xi−mi)(x j −m j)exp
(−1
2(x−m)t(A−1)tA−1(x−m)
)dx1dx2 · · ·dxn
Om deze integraal te berekenen voeren we weer een lineaire substitutie uit, namelijk
z = A−1(x−m)
84
Figuur 3.20: dichtheidsfunctie van een tweedimensionale normale verdeling.
We vinden
xi −mi =n
∑k=1
aikzk
x j −m j =n
∑l=1
a jlzl
en
E[(Xi−mi)(X j −m j)]
=1√
(2π)n
Z Z
· · ·Z
Rn
n
∑k=1
n
∑l=1
aika jlzkzl exp(−1
2(z2
1 + · · ·+ z2n))
dz1dz2 · · ·dzn
=n
∑k=1
n
∑l=1
aika jlE[ZkZl ]
Omdat de Zi onafhankelijk en standaard normaalverdeeld zijn, is E[ZkZl] = δkl , en dus is
E[(Xi−mi)(X j −m j)] =n
∑k=1
aika jk
en dit is juist de (i, j)-component van de matrix AAt = B−1.Besluit
AAt = B−1 =
Var[X1] cov(X1,X2) · · · cov(X1,Xn)
cov(X2,X1) Var[X2] · · · cov(X2,Xn)
......
...
cov(Xn,X1) cov(Xn,X2) · · · Var[Xn]
In § 2.6 hebben we gezien dat twee onafhankelijke stochastieken niet gecorreleerd zijn. Voor de
85
componenten van een meerdimensionale normaalverdeling geldt de omgekeerde eigenschap: alsde covarianties nul zijn, dan zijn de componenten ook onafhankelijk.
3.8 De Chi-kwadraat, Student-t en Fisher-Snedecor Verdelin-gen
Het is algemeen gebruikelijk om bij het meten van een grootheid, b.v. de lading van een electronof de concentratie PCB’s in vetweefsel, de procedure een aantal malen te herhalen en de meetre-sultaten te middelen. Dit is zinvol op grond van de “wet van de grote getallen”, die zegt dat hetgemiddelde convergeert naar de verwachtingswaarde (= gewenste resultaat als de meetfouten eenwillekeurig karakter vertonen en geen systematische component bevatten). Hiermee zijn we echterniet tevreden. We willen ook de kwaliteit van de meting kennen en deze kunnen vergelijken metdie van de concurrentie. Aangezien de verdeling van het gemiddelde convergeert naar een normaleis het voor de kwaliteit voldoende om de variantie te kennen of om deze te schatten met een somvan kwadraten van de afwijkingen. Hiertoe worden de volgende verdelingen ingevoerd: De Chi-kwadraat, Student-t en Fisher-Snedecor verdeling. In deze eerder technische paragraaf besprekenwe de eigenschappen van deze drie verdelingen.
3.8.1 De Chi-kwadraat verdelingDefinitie 3.8.1 (K. Pearson)Als Z1, Z2, · · ·, Zn onafhankelijk en standaard-normaal verdeeld zijn, dan heeft de som van kwa-draten X,
X := Z21 +Z2
2 + · · ·+Z2n , Zk ∼ N(0,1) ∀ k ∈ N (3.101)
een chi-kwadraat verdeling met n vrijheidsgraden en we noteren:
X ∼ χ2n (3.102)
Voorbeeld: Een schutter mikt op een roos en treft het punt (x,y). Als de kans op afwijkingen t.o.v.het midden (0,0) van de roos zowel in x-richting als in y-richting (standaard-) normaal verdeeldzijn (en onafhankelijk), dan heeft d := x2 + y2 een χ2
2-verdeling met twee vrijheidsgraden. Alseen tweede (even goede) schutter het punt (ξ,η) treft, dan is δ := ξ2 + η2 eveneens χ2
2-verdeeld.Het quotient d/δ is dan F2,2 verdeeld met twee vrijheidsgraden in teller en noemer; zoals we laterzullen zien, is de verwachtingswaarde voor dit quotient ongedefinieerd. Als de schutters ieder tweekeer schieten en de punten (xi,yi), resp. (ξi,ηi) (i = 1,2) raken, dan heeft d := x2
1 + y21 + x2
2 + y22
een χ24-verdeling en het overeenkomstige quotient d/δ een F4,4-verdeling. Kennelijk kun je de
χ2n-verdeling gebruiken bij sommen van kwadraten van afwijkingen van een serie metingen en de
Fm,n-verdeling voor het vergelijken van twee series metingen.
Stelling 3.8.2 De χ2n-verdeling heeft de volgende eigenschappen. Onderstel dat X ∼ χ2
n en Y ∼ χ2m
onafhankelijk zijn. Dan geldt
1. E[X ] = n (3.103)
86
o
o
+
+
X-as
Y-as
d=x*x+y*y
x
y
Figuur 3.21: de chi-kwadraat verdeling.
2. Var[X ] = 2n (3.104)3. X +Y ∼ χ2
n+m (3.105)
4. voor grote n geldt : χ2n ≈ N(n,
√2n ) (3.106)
5. De kansdichtheid en de verdeling van X zijn nul voor x ≤ 0 en worden gegeven door
fχ2n(x) = Cnx
12 n−1e−
12 x en Fχ2
n(x) = Cn
Z x
0t
12 n−1e−
12 tdt, (3.107)
voor x ≥ 0, waar Cn := 2−12 n/Γ(1
2n) een constante is die de limiet op oneindig van de integraal 1maakt.
Bewijs. 1. E[X ] =n∑
i=1E[Z2
i ] = n .
2. Var[X ] =n∑
i=1Var[Z2
i ] =n∑
i=1E[Z4
i ]−E[Z2i ]
2 = n(3−1) = 2n .
3. Als X = Z21 + · · ·Z2
n en Y = Z2n+1 + · · ·Z2
n+m, dan ook X +Y = Z21 + · · ·+Z2
n+1 + · · ·Z2n+m ∼ χ2
n+m .4. X is een som van n stochastieken, ieder met verwachtingswaarde 1 en variantie 2. Op grond vande centrale-limietstelling convergeert de verdeling van (X −n)/
√2n naar een standaard-normale.
5. wordt aan het einde van deze paragraaf bewezen.
0
0.2
0.4
0.6
0 5 10
n = 1, 2, 3, 4, 5
0
0.5
1
0 5 10
n = 1, 2, 3, 4, 5
Figuur 3.22: Grafieken van χ2n verdelingen (rechts) en dichtheden (links) voor n = 1, 2, 3, 4 en 5.
Grafieken van de verdeling en bijbehorende kansdichtheid voor n =1, 2, 3, 4 en 5 zijn gegeven inFiguur 3.22. We zien, dat de dichtheden monotoon dalend zijn voor n = 1 en n = 2 en dat ze een
87
uniek maximum (de modus) hebben voor grotere n. Door differentieren van fχ2n
vinden we dat deplaats van dit maximum het punt x = n−2 (= mod(X)) is voor n > 2.Voor het handmatig berekenen van deze verdeling doen we meestal beroep op een tabel. Deze staatvrijwel altijd in inverse vorm, d.w.z. in plaats van de waarde van Fχ2
n(x) te geven bij gegeven x,
wordt bij gegeven α de waarde van x gegeven, waarvoor P(X ≤ x) = α. De tabel geeft dus bij eenaantal waarden van α (meestal 0.01, 0.05, 0.10, 0.90, 0.95 en 0.99) de kwantielen
χ2n,α := F−1
χ2n
(α) zodat P(X ≤ χ2n,α) = α (3.108)
In de volgende tabel vinden we bijvoorbeeld χ24,0.95 = 9.488, zodat de kans P(T ≤ 9.488) gelijk is
aan 95% als T ∼ χ24 (zie ook tabel 4 achteraan).
n∖
α 0.010 0.050 0.100 0.900 0.950 0.9902 0.020 0.103 0.211 4.605 5.991 9.2103 0.115 0.352 0.584 6.251 7.815 11.3454 0.297 0.711 1.064 7.779 9.488 13.2775 etc. · · · · · · · · · · · · · · ·
Tabel 3.2: Stukje van een χ2n-tabel, waarin voor gegeven aantal vrijheidsgraden n en kans α het
kwantiel x gegeven is, zodat P(X ≤ x) = α.
Bewijs. van (3.107)We bewijzen de formule met behulp van volledige inductie op n. Voor n = 1 en x ≥ 0 is (volgens(3.101)) de verdelingsfunctie gegeven door
Fχ21(x) = P(Z2
1 ≤ x) = P(−√
x ≤ Z1 ≤√
x) = 1−2P(Z1 ≤−√
x) = 1−2FZ1(−√
x)
Afleiden naar x geeft de dichtheid:
fχ21(x) = 2 fZ1(−
√x)
d√
xdx
=1√2π
e−x2 x
12−1
Veronderstel nu dat de formule waar is voor n-1 :
fχ2n−1
(x) = Cn−1e−x2 x
n−12 −1
Aangezien χ21 en χ2
n−1 onafhankelijk zijn en χ2n = χ2
n−1 +χ21, hebben we :
fχ2n(x) =
Z +∞
−∞fχ2
n−1(x− y) fχ2
1(y)dy =
Cn−1√2π
Z x
0(x− y)
n−12 −1e−
x−y2 y
12−1e−
y2 dy
Voeren we nu de substitutie y = xu, met dy = xdu uit, dan krijgen we
fχ2n(x) =
Cn−1√2π
e−x2 x
n−12 −1− 1
2 xZ 1
0(1−u)
n−12 −1u−
12 du = Cnx
n2−1e−
x2
88
zodat de constante Cn gevonden kan worden uit de recursieve formule
Cn =Cn−1√
2π
Z 1
0(1−u)
n−12 −1u−
12 du
Het is echter eenvoudiger om Cn rechtstreeks te bepalen door de integraal van de dichtheid 1 temaken,
Z +∞
−∞fχ2
n(x)dx =
Z +∞
−∞Cnx
n2−1e−
x2 dx = 1 (3.109)
Voor de volledigheid herhalen we de definitie en enkele eigenschappen van de Γ-functie :
Γ(t) =
Z +∞
0xt−1e−xdx (3.110)
Γ(t +1) = tΓ(t) (3.111)Γ(n+1) = n! voor n ∈ N (3.112)
Γ(12) =
√π (3.113)
Γ(n
2
)=
(n2 −1
)! als n even
(n2 −1
)(n2 −3
)· · ·(1
2
)√π als n oneven
(3.114)
Als we in (3.109) de substitutie y = x/2 doen, vinden we met de definitie (3.110):
1 =
Z +∞
0Cnx
n2−1e−
x2 dx = Cn2
n2
Z +∞
0e−yy
n2−1dy = Cn2
n2 Γ( n
2)
waaruit de gezochte waarde van Cn volgt.
3.8.2 De t-verdelingDefinitie 3.8.3 (W. Gosset, pseudoniem: Student)Als X chi-kwadraat verdeeld is met n vrijheidsgraden en als Z standaard-normaal verdeeld enonafhankelijk van X is, dan heeft het quotient T ,
T :=Z√X/n
, Z ∼ N(0,1) en X ∼ χ2n (3.115)
een t-verdeling met n vrijheidsgraden en we noteren:
T ∼ tn (3.116)
Stelling 3.8.4 De tn-verdeling heeft de volgende eigenschappen. Onderstel dat T ∼ tn.
1. De kansverdeling van T is symmetrisch;
89
2. De kansdichtheid wordt gegeven door de formule
ftn(x) = Cn(1+
x2
n
)− 12 (n+1)
, Cn =Γ(1
2n+ 12)
√nπ Γ(1
2n))(3.117)
Omdat xk ftn(x)≈Cnxk−n−1 voor |x| groot, zien we onmiddellijk in, dat alleen de eerste n−1momenten van T gedefinieerd zijn.
3. De verwachtingswaarde E[T ] bestaat niet voor n = 1. Voor n ≥ 2 geldt
E[T ] = 0 (3.118)
4. De variantie Var[T ] bestaat niet voor n = 1 of n = 2. Voor n ≥ 3 geldt
Var[T ] =n
n−2(3.119)
5. Voor grote waarden van n geldt de benadering
tn ≈ N(0,1) (3.120)
Bewijs. 1. Met Z is ook −Z normaal verdeeld en onafhankelijk van X , zodat Z/√
X/n en−Z/
√X/n eenzelfde verdeling moeten hebben, die dus symmetrisch moet zijn.
2. wordt bewezen aan het einde van deze paragraaf.3. volgt onmiddellijk uit 1. en 2.4. gaat buiten het bestek van deze syllabus.
5. de factor(1+
12 x2
12 n
)− 12 n− 1
2 in (3.117) convergeert naar e−12 x2
voor n → ∞.
Grafieken van de kansdichtheid en van de verdelingsfunctie voor n = 1, 2, 3, 4 en 5 zijn getekendin Figuur 3.23. We zien, dat de dichtheid geprononceerder wordt rond 0 en dat de staarten dunnerworden, als n groter wordt.Voor het berekenen van kwantielen van een tn-verdeling gebruiken we meestal een tabel (zie tabel5 achteraan). Evenals de χ2
n-verdeling wordt de tn-verdeling in het algemeen invers getabelleerden lezen we bij gegeven α het kwantiel tn,α af,
tn,α := F−1tn (α), zodat P(T ≤ tn,α) = α (3.121)
dit is dus die waarde van x, waarvoor de kans P(T ≤ x) = α. Vanwege de symmetrie hoeven wetn,α alleen te tabelleren voor α > 1
2 .Een bijzonder geval is de t1-verdeling, ook wel bekend als de Cauchy-verdeling. Deze heeft devolgende verdeling en dichtheid:
ft1(x) :=1π
11+ x2 , Ft1 =
1π
Z x
−∞
dt1+ t2 =
12
+1π
arctan(x) (3.122)
90
0
0.1
0.2
0.3
0.4
-4 -2 0 2 4
123inf
0
0.2
0.4
0.6
0.8
1
-4 -2 0 2 4
1 23 inf
Figuur 3.23: Grafieken van tn verdelingen (rechts) en dichtheden (links) voor n = 1, 2 en 3. Tervergelijking zijn verdeling resp. dichtheid van de normale verdeling ingetekend en aangeduid met“inf”.
Voor deze verdeling bestaat er geen enkel moment omdatx
1+ x2
(≈ 1
xvoor x → ∞
)niet integreer-
baar is op oneindig.We willen nu een bewijs geven van (3.117). Omdat de t-verdeling gedefinieerd is als een quo-tient, hebben we, analoog aan (2.43) eerst het verband nodig tussen de kansdichtheid van tweeonafhankelijke verdelingen en hun quotient.
Stelling 3.8.5 Als X en Y twee onafhankelijke continue stochastieken zijn, en Z = YX , dan wordt de
dichtheidsfunctie van Z gegeven door de formule
fZ(z) =
Z +∞
−∞| x | fX(x) fY (xz)dx (3.123)
Bewijs. De kans FZ(z) = P(Y/X ≤ z) vinden we door fX(x) fY (y) te integreren over het gebied
(x,y) ∈ R2 ∣∣ yx≤ z
In Figuur 3.24 zien we, dat dit gebied bestaat uit twee componenten,
(x,y)∣∣x ≥ 0 en y ≤ zx en (x,y)
∣∣x ≤ 0 en y ≥ zx
We vinden dus,
FZ(z) = P(YX
≤ z) =
Z Z
(x,y)∈R2 | yx≤z
fX(x) fY (y)dxdy
=
Z 0
−∞
Z +∞
xzfX(x) fY (y)dxdy+
Z +∞
0
Z xz
−∞fX(x) fY (y)dxdy
Als we deze formule afleiden naar de parameter z, dan verkrijgen we de gewenste dichtheid:
fZ(z) = −Z 0
−∞fX(x) fY (xz)xdx+
Z +∞
0fX(x) fY (xz)xdx =
Z +∞
−∞| x | fX(x) fY (xz)dx
91
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
y
x
y=zx
Figuur 3.24: Het integratiegebied y/x ≤ z voor z = 0.5.
Bewijs. van (3.117)Als T ∼ tn, dan is T = Z
√n√
X, met Z en X onafhankelijk. De dichtheidsfunctie van Z
√n wordt
gegeven door
fZ√
n(x) =e−
x22n
√2πn
Deze dichtheid f√X bepalen we als volgt:
F√X(x) = P(√
X ≤ x) = P(X ≤ x2) =Z x2
0fX(t)dt
zodat, voor x ≥ 0 geldt:
f√X(x) = 2x fX(x2) = 2Cnxn−1e−x22
Toepassing van stelling 3.8.5 geeft :
fT (t) =1√2πn
Z ∞
02xCnxn−1e−
x22 e−
t2x22n dx =
2Cn√2πn
Z ∞
0xne−
x22 (1+ t2
n )dx .
We voeren nu volgende substitutie uit:
w =x2
2(1+
t2
n) , x =
√2w√
1+ t2
n
en dx =dw√
2w(1+ t2
n )
We krijgen nu :
fT (t) =Cn2
n2
√πn(1+ t2
n )n+1
2
Z ∞
0w
n−12 e−w dw
AangezienZ ∞
0w
n−12 e−wdw = Γ(
n+12
)
92
vinden we zo de dichtheid van de t-verdeling
ftn(x) = Kn(1+
x2
n
)− 12 (n+1) met Kn =
2n2 Γ(n+1
2 )√
πn2n2 Γ(n
2)=
Γ(n+12 )√
πnΓ(n2)
3.8.3 De Fm,n-verdelingDefinitie 3.8.6 (R. Fisher & G. Snedecor)De Fm,n-verdeling Als X en Y onafhankelijk en chi-kwadraat verdeeld zijn met m respectievelijk nvrijheidsgraden, dan heeft het quotient F,
F :=1mX1nY
, X ∼ χ2m en Y ∼ χ2
n (3.124)
een Fm,n-verdeling met m vrijheidsgraden in de teller en n in de noemer en we noteren:
F ∼ Fm,n (3.125)
Stelling 3.8.7 De F-verdeling heeft de volgende eigenschappen. Onderstel dat X ∼ Fm,n.
1. De kansdichtheid is nul voor x ≤ 0 en wordt voor x > 0 gegeven door
fm,n(x) := Cm,nx12 m−1(n+mx)−
12 m− 1
2 n, Cm,n := m12 mn
12 n Γ( 1
2 m+ 12 n)
Γ( 12 m)Γ( 1
2 n)(3.126)
2. E[X k] bestaat alleen maar voor k < n/2.
3. Voor n ≥ 3 bestaat de verwachtingswaarde, en is gegeven door
E[X ] =n
n−2(3.127)
4. Voor n ≥ 5 bestaat de variantie, en is gegeven door
Var[X ] =2n2(m+n−2)
m(n−4)(n−2)2 (3.128)
5. De verdelingsfunctie voldoet aan de symmetrie
Fm,n(x) = 1−Fn,m(1x) (3.129)
6. Voor m = 1 is er de relatie met tn
T ∼ tn ⇐⇒ T 2 ∼ F1,n (3.130)
93
7. Voor n → ∞ convergeert F naar X/m zodat Fm,n(x) −→ χ2m(mx).
Bewijs. 1. wordt bewezen op het einde van deze paragraaf.2. Omdat fm,n(x) = Cm,nx−
12 n−1(1+O(1
x )) voor x → ∞, is xk fm,n(x) alleen integreerbaar op ∞ alsk < 1
2 n en bestaan er alleen momenten voor die waarden van k.3. en 4. vallen buiten het bestek van deze syllabus.5.
Fm,n(x) = P(F ≤ x) = P(nXmY
≤ x) = P(mYnX
≥ 1x)
= 1−P(mYnX
≤ 1x) = 1−Fn,m(
1x)
6. T = Z/√
X/n, zodat T 2 = Y/(X/n) met Y = Z2 ∼ χ2
1.7. X ∼ χ2
m en Y ∼ χ2n en dus E[Y/n] = 1 en Var[Y/n] = 2n/n2 = 2/n. Als gevolg van de ongelijk-
heid van Chebyshev geldt P(| 1nY − 1| ≥ ε) ≤ ε−2Var[Y/n] = 2ε−2n−1, hetgeen naar nul gaat voor
n → ∞ voor alle ε > 0 (vast). Bijgevolg convergeert Y/n naar 1 en vinden we
Fm,n(x) = P(X/m
Y/n≤ x)−→ P(X/m ≤ x) = χ2
m(mx) voor n → ∞
0
0.5
1
1.5
0 1 2 3
m = 1, 2, 3, 4, 5n = 1
0
0.5
1
1.5
0 1 2 3
m = 1, 2, 3, 4, 5n = 2
0
0.5
1
1.5
0 1 2 3
m = 1, 2, 3, 4, 5n = 3
0
0.5
1
1.5
0 1 2 3
m = 1, 2, 3, 4, 5n = 4
Figuur 3.25: Kansdichtheden van Fm,n-verdelingen voor een aantal waarden van n en m.
In Figuur 3.25 zijn grafieken van de kansdichtheid geschetst voor een aantal waarden van m en n.We zien dat deze monotoon dalend zijn voor m = 1 en m = 2 dat deze naar oneindig gaan voor
94
x → 0 als m = 1. Voor m > 2 is er een (uniek) maximum (voor x = mod(F)). Door differentiatievinden we:
mod(F) =m−2
mn
n+2als m > 2 (3.131)
Voor het handmatig berekenen van kwantielen van de Fm,n-verdeling gebruiken we in het algemeeneen tabel (zie tabel 6 achteraan), waarin Fm,n evenals tn en χ2
n invers getabelleerd is. We noterenhet α-kwantiel als Fm,n,α,
Fm,n,α := F−1m,n(α), zodat P(F ≤ Fm,n,α) = α (3.132)
De tabel bevat 3 variabelen: n, m en α. Om de omvang enigszins beperkt te houden kunnen wewegens (3.129) volstaan met het bereik α ≥ 1
2 , immers uit (3.129) volgt (ga na!):
Fm,n,α =1
Fn,m,1−α. (3.133)
Voorbeeld: Bepaal F3,2,0.05, d.w.z. bepaal het kwantiel x, waarvoor P(F ≤ x) = 0.05 als F ∼ F3,2.Antwoord: uit de tabel vinden we F2,3,0.95 = 9.55, zodat F3,2,0.05 = 1/9.55 = 0.105.Bewijs. van (3.126)Stel Z =
X1/mX2/n , waarbij X1 en X2 onafhankelijke stochastieken zijn met respectievelijk χ2
m- en χ2n-
verdeling. Dan hebben we
fX1/m(x) = m fX1(mx) = mm2 Cme−
mx2 x
m2 −1
enfX2/n(x) = n fX2(nx) = n
n2 Cne−
nx2 x
n2−1 .
We krijgen dus :
fZ(z) = mm2 n
n2 CnCmz
m2 −1
Z ∞
0xe−
nx2 x
n2−1e−
mxz2 x
m2 −1 dx
= mm2 n
n2 CnCmz
m2 −1
Z ∞
0e−
x2 (n+mz)x
m+n2 −1 dx
Substitueer w = x2(n+mz). Onze formule wordt nu :
fZ(z) = mm2 n
n2CnCmz
m2 −1( 2
n+mz
)m+n2
Z ∞
0e−ww
m+n2 −1 dw .
Na invulling van de formules voor Cn en Cm volgt:
fZ(z) =m
m2 n
n2 Γ(m+n
2
)
2m2 2
n2 Γ(n
2
)Γ(m
2
) zm2 −1
(n+mz
)m+n2
2m+n
2 .
Tenslotte vinden we na vereenvoudiging de gewenste formule:
fZ(z) =m
m2 n
n2 Γ(m+n
2
)
Γ(n
2
)Γ(m
2
) zm2 −1
(n+mz
)m+n2
95
Hoofdstuk 4
Inleiding tot de Statistiek
4.1 Parameterschattingen en betrouwbaarheidsintervallenEen veel voorkomend probleem in de experimentele wetenschappen is het volgende. We willen dewaarde van een grootheid X , b.v. de pH van een oplossing, door metingen bepalen. Hiertoe doenwe een aantal (zeg 20) onafhankelijke metingen x1, x2, · · · en we bepalen er met formule (2.4) hetsteekproefgemiddelde xn en de standaardafwijking s voor. We vragen ons nu af: “Wat betekenendeze getallen?” en “Hoe betrouwbaar is het gemiddelde xn als benadering van de echte waarde?”
5.68 5.32 5.16 5.30 5.365.59 5.07 5.03 5.15 5.465.23 5.23 5.52 5.17 5.515.52 5.39 5.20 5.34 5.84
Tabel 4.1: Voorbeeld van 20 onafhankelijke metingen van de pH van een oplossingmet steekproefgemiddelde xn = 5.35 en de standaardafwijking s = 0.21.
Hiertoe moeten we een aanname maken over de meetgegevens xini=1, nl. dat het onafhankelijke
trekkingen zijn uit een stochastische variabele X met verwachtingswaarde µ en spreiding σ en datµ de exacte waarde van de te meten (beter: te schatten) grootheid is. Een meting is de uitkomst vaneen “kansspel”, waarvan de uitkomst een zekere kansverdeling heeft. We zullen aannemen, dat deverdeling van X de normale N(µ,σ) is en dat µ onbekend is; voorlopig zullen we aannemen dat σwel bekend is.Onze n experimenten vormen een steekproef X1, X2, · · · , Xn van n onafhankelijke stochastieken,allen met verdeling volgens N(µ,σ), en de metingen x1, · · · ,xn vormen een trekking hieruit (ofrealisatie; Xi is het meetproces en xi het toevallige resultaat, de meting). In het vervolg zullen westeeds de stochastiek aanduiden met een hoofdletter en de verkregen getalwaarde of realisatie meteen kleine letter. Als xi een trekking is uit Xi, dan is het gemiddelde xn kennelijk een trekkinguit Xn := (X1 + · · ·+ Xn)/n en zal een uitspraak over de betrouwbaarheid van xn afhangen van dekansverdeling van Xn, die een functie is van de steekproef.
96
Definitie 4.1.1 Een statistiek is een stochastische variabele, die alleen een functie is van de steek-proef X1, X2, · · · , Xn en niet van onbekende parameters (zoals µ en σ).
Voorbeeld 4.1.2 De grootheden ∑i Xi en ∑i(Xi−Xn)2 zijn statistieken, maar ∑i(Xi−µ)2 niet.
Definitie 4.1.3 Een schatter is een statistiek, die gebruikt wordt om een onbekende parameter tebenaderen. Een schatting is de getalwaarde van de schatter in een concreet experiment.
Voorbeeld 4.1.4 Het steekproefgemiddelde
Xn :=1n
n
∑i=1
Xi
is een schatter voor µ, immers E(Xn) = 1n ∑i E[Xi] = µ. De getalwaarde xn = 5.35 is een schatting
voor de exacte waarde µ van de pH in bovengenoemd experiment.
Voorbeeld 4.1.5 Ook W :=2
n(n+1)
n
∑k=1
kXk is een schatter voor µ (maar minder goed). De bijbe-
horende schatting van de pH in Tabel 4.1 levert de getalwaarde 5.37 op.
Definitie 4.1.6 Een schatter T van de parameter µ heet zuiver, als E[T ] = µ, dus als de verwach-tingswaarde van de schatter gelijk is aan de (gezochte) parameter.
Voorbeeld 4.1.7 Het steekproefgemiddelde X n en het gewogen gemiddelde W ,
Xn :=1n
n
∑i=1
Xi en W :=2
n(n+1)
n
∑k=1
kXk
zijn beide zuivere schatters van µ, immers voor beide geldt
E[Xn] =1n
n
∑i=1
E[Xi] = µ, E[W ] =2
n(n+1)
n
∑k=1
kE[Xk] =2
n(n+1)
n
∑k=1
kµ = µ ,
maar de eerste is beter omdat de tweede een grotere variantie heeft:
Var[Xn] =n
∑i=1
Var[Xi
n
]=
σ2
n(4.1)
Var[W ] =n
∑k=1
Var[ 2kXk
n(n+1)
]=
n
∑k=1
( 2kσn(n+1)
)2>
1n
σ2
97
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
-3 -2 -1 0 1 2 3
n=10
n=40
n=160
Figuur 4.1: Kansdichtheden van het steekproefgemiddelde X n −µ voor n = 10, 40 en 160.
4.1.1 Het schatten van de verwachtingswaarde van een normale verdelingals σ bekend is
We zien, dat Xn weer een stochastiek is. Omdat het een som van normalen is, is deze zelf ooknormaal verdeeld. Uit (4.1) zien we, dat
Xn ∼ N(µ,σ√n) oftewel
Xn −µσ/
√n∼ N(0,1) (4.2)
De variantie neemt af met groeiende n. Dit betekent, dat de verdeling van X n zich met groeiende nsteeds meer concentreert rond µ, zoals we ook kunnen zien uit Figuur 4.1:Formule (4.2) kunnen we ook lezen als
P(Xn −µ ≤ rσ√n) = Φ(r) ,
of meer symmetrisch,
P(|Xn −µ| ≤ rσ√n) = Φ(r)−Φ(−r) = 2Φ(r)−1 (r > 0). (4.3)
Als we deze kans gelijk aan 90% willen hebben, zie Figuur 4.2, moeten we r zo kiezen, dat2Φ(r)−1 = 0.90 en dus met gebruik van de inverse functie, r = Φ−1(0.95) = 1.645. De kans datde schatting xn ten hoogste 1.645σ√
n afwijkt van de echte waarde µ is dus 90% en dit is natuurlijk
gelijk aan de kans dat de onbekende µ ten hoogste 1.645σ√n afwijkt van de gemeten waarde:
P(µ ∈
[xn −
1.645σ√n
, xn +1.645σ√
n
])= 0.9 .
Dit interval heet het 90%-betrouwbaarheidsinterval van de schatting xn voor de onbekende para-meter µ; in 90% van de gevallen zal dit interval de werkelijke waarde van µ bevatten.We kunnen natuurlijk ook een andere betrouwbaarheid(sdrempel) dan 90% kiezen. In het alge-meen kiezen we een (onzekerheids-) niveau α of een betrouwbaarheid(sdrempel) 1−α. Als we de
98
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
-4 -3 -2 -1 0 1 2 3 4
5% 5%
90%
Figuur 4.2: Kansdichtheid voor de standaard normale verdeling en het gebied tussen de 5% en95% percentielen. Het gearceerde gebied bevat 90% van de kansmassa.
kans in het rechterlid van (4.3) gelijk aan 1−α willen hebben, moeten we r = Φ−1(1− 12α) kiezen
(ga na!).
Definitie 4.1.8 Het betrouwbaarheidsinterval (BTI) voor µ op het niveau α of het betrouwbaar-heidsinterval met betrouwbaarheid 1−α (Eng. confidence interval) is het interval
I :=[xn −Φ−1(1− 1
2α)
σ√n
, xn +Φ−1(1− 12
α)σ√n
](4.4)
Dit is een symmetrisch interval rond de schatting xn. Het geeft de betrouwbaarheid van onzemetingen aan en is direkt te berekenen als we σ kennen. Dit laatste is echter vrijwel nooit hetgeval. We zullen het dus eveneens met een schatting van σ moeten doen, zoals gegeven in (1.4).
Voorbeeld 4.1.9 De gegevens uit Tabel 4.1 zijn metingen van een pH met xn = 5.35 en sn = 0.2.Het 95%-betrouwbaarheidsinterval is dus
[5.35−1.96×0.2/√
20 , 5.35+1.96×0.2/√
20] = [5.26,5.44] (4.5)
Met Φ(2.58) = 0.995 vinden we voor het 99%-betrouwbaarheidsinterval
[5.35−2.58×0.2/√
20 , 5.35+2.58×0.2/√
20] = [5.24,5.46] . (4.6)
4.1.2 Het schatten van de variantie van een normale verdelingZoals in de vorige paragraaf vertrekken we weer van een steekproef X1, X2, · · · , Xn van n onaf-hankelijke stochastieken, allen verdeeld volgens N(µ,σ). Ditmaal zullen we echter veronderstellendat de beide parameters, zowel µ als σ, onbekend zijn. We zullen een betrouwbaarheidsintervalopstellen voor de parameter σ. Een voor de hand liggende schatter is 1
n ∑ni=1(Xi−Xn)
2, maar dezeschatter is niet zuiver. Voor n = 1 geeft deze formule zelfs nul als antwoord, terwijl we in dat geval(van een enkele meting) juist helemaal geen idee hebben van mogelijke fluctuaties in de uitkomst
99
en we dus juist een onbepaalde uitkomst zouden verwachten. Het blijkt dat we niet door n maardoor n− 1 moeten delen om een zuivere schatter te vinden. We berekenen E
[∑n
i=1(Xi−Xn)2]
alsvolgt. Er geldt:E[X2
i ] = µ2 +σ2 en E[XiX j] = µ2 voor i 6= j ,
en bijgevolg geldt ook
E[XiXn] =1n
n
∑i=1
E[XiX j] = µ2 +σ2
nen E[X2
n] =1n
n
∑i=1
E[XiXn] = µ2 +σ2
n
zodat
E[ n
∑i=1
(Xi−Xn)2] = E
[ n
∑i=1
(X2
i −2XiXn +X2n)]
=n
∑i=1
(E[X2
i ]−2E[XiXn]+E[X2n])
=n
∑i=1
(µ2 +σ2 −2µ2 − 2σ2
n+µ2 +
σ2
n) = (n−1)σ2
Hieruit volgt, dat de schatter
S2n =
1n−1
n
∑i=1
(Xi−Xn)2 (4.7)
wel zuiver is. Men noemt S2n de steekproefvariantie (of de empirische variantie van de steekproef
X1, X2, · · · , Xn. De noemer n−1 in het quotient is afkomstig van het feit dat we µ = E[Xi] nietkennen en dat we deze schatten met X n.Omdat de steekproef X1, X2, · · · , Xn bestaat uit n onafhankelijke copieen van X ∼ N(µ,σ), isde som van kwadraten T = ∑n
i=1(Xi − µ)2 een som van kwadraten van onafhankelijke N(0,σ)-verdeelde stochastieken en dus is T/σ2 chikwadraat-verdeeld met n vrijheidsgraden volgens de-finitie (3.101). We kunnen T/n echter niet als schatter voor σ gebruiken omdat deze grootheidafhangt van de parameter µ. In plaats daarvan gebruiken we de schatter S2
n, waarvan boven dezuiverheid is aangetoond. Ook deze is chikwadraat-verdeeld, maar heeft slechts n−1 i.p.v. n vrij-heidsgraden; door het schatten van µ met X n introduceren we in de termen (Xi −Xn)
2 van de somS2
n een afhankelijkheid, die het aantal vrijheidsgraden met 1 doet afnemen.
Stelling 4.1.10 Als X1, X2, · · · , Xn een steekproef is van n onafhankelijke copieen van X ∼N(µ,σ), dan is de stochastiek (n−1)S2
n/σ2 chikwadraat-verdeeld met n−1 vrijheidsgraden :
(n−1)S2n
σ2 ∼ χ2n−1 (4.8)
Bovendien zijn de statistieken S2n en Xn onafhankelijk.
Bewijs. In het geval n = 2 hebben we
S22
σ2 =1
σ2
((X1 −
X1 +X2
2)2
+(X2 −
X1 +X2
2)2)
=(X1−X2√
2σ)2
Omdat X1−X2√2σ
standaard normaal verdeeld is het kwadraat ervan χ21-verdeeld met een vrijheids-
graad.
100
Om het algemeen geval te bewijzen maken we gebruik van de resultaten uit § 3.7.7 over de hoger-dimensionale normaalverdeling. Onderstel even dat Z = (Z1, · · · ,Zn) standaard normaal verdeeldis, en dat U een willekeurige orthogonale matrix is. Uit formule (3.99) volgt dan onmiddellijkdat ook Y = UZ standaard normaal verdeeld is; in het bijzonder zijn de stochastische variabelenY1,Y2, · · ·Yn standaard normaal verdeeld en onafhankelijk.Neem nu (X1,X2, · · · ,Xn) zoals in de opgave van de stelling, en stel
Zi =Xi−µ
σ(4.9)
Z = (Z1, · · · ,Zn) is standaard normaal verdeeld, en
Zn =1n
n
∑i=1
Xi−µσ
=1σ
(Xn −µ) (4.10)
Neem nu een willekeurige orthogonale matrix U waarvan de eerste rij
1√n
(1 1 · · · 1)
is. Met behulp van het orthogonalisatieprocede van Gram-Schmidt kan men steeds zulk een matrixconstrueren. Stel
Y = UZ
Dan is
Y1 =1√n(Z1 +Z2 + · · ·+Zn) =
√nZn =
√n
σ(Xn −µ)
en
(n−1)S2n
σ2 =1
σ2
n
∑i=1
(Xi−Xn)2
=n
∑i=1
(Zi −Zn)2
=n
∑i=1
Z2i −
2n
n
∑i=1
Zi
n
∑j=1
Z j +n(Zn)2
=n
∑i=1
Z2i −2n(Zn)
2 +n(Zn)2
=n
∑i=1
Z2i −n(Zn)
2
=n
∑i=1
Z2i −Y 2
1
=n
∑i=1
Y 2i −Y 2
1
= Y 22 + · · ·+Y 2
n ∼ χ2n−1 (4.11)
101
Omdat Y1 en Y 22 + · · ·+Y 2
n onafhankelijk zijn, zijn ook Xn en S2n onafhankelijk. Merk tenslotte op
dat uit (4.11) nogmaals volgt dat
E[S2n] =
σ2
n−1E[Y 2
2 + · · ·+Y 2n ] = σ2
Met behulp van bovenstaande stelling kunnen we een betrouwbaarheidsinterval (BTI) met be-trouwbaarheid 1 − α voor σ2 construeren. Sluiten we aan beide uiteinden van de verdeling α
2kansmassa buiten, dan hebben we als totale kans voor de resterende interval, zie Figuur 4.3,
P(
χ2n−1, α
2≤ (n−1)S2
nσ2 ≤ χ2
n−1,1−α2
)= 1−α .
We kunnen deze formule als volgt herschrijven:
P(
(n−1)S2n
χ2n−1,1−α
2
≤ σ2 ≤ (n−1)S2n
χ2n−1, α
2
)= 1−α .
Definitie 4.1.11 Het betrouwbaarheidsinterval voor σ2 met betrouwbaarheid 1−α is het interval[(n−1)s2
n
χ2n−1,1−α
2
,(n−1)s2
n
χ2n−1, α
2
](4.12)
Merk op dat dit betrouwbaarheidsinterval niet symmetrisch is rond s2n omdat de χ2-verdeling niet
symmetrisch is. Een (1−α)-BTI voor σ zelf vinden we door in (4.12) de wortel te nemen:
[√√√√(n−1)s2n
χ2n−1,1−α
2
,
√√√√(n−1)s2n
χ2n−1, α
2
](4.13)
Voorbeeld 4.1.12 De steekproefvariantie van de lengte van 16 willekeurig gekozen soldaten vande lichting 1992 is 51.8cm2. We construeren een 90%-betrouwbaarheidsinterval voor σ.
n−1 = 15 α = 0.1
χ215,0.05 = 7.261 χ2
15,0.95 = 24.996
BTI =
[√15×51.8
24.996;
√15×51.8
7.261
]= [5.58 , 10.35]
102
0
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
0 2 4 6 8 10 12 14 16 18 20
5% 95%
Figuur 4.3: Kansdichtheid voor de χ25-verdeling en het gebied tussen de 5% en 95% percentielen.
Het gearceerde gebied bevat 90% van de kansmassa.
4.1.3 Het schatten van het gemiddelde van een normale verdelingWe beschouwen nu opnieuw de situatie van § 4.1.1; we willen nu een betrouwbaarheidsintervalvoor het gemiddelde µ construeren terwijl σ onbekend is en geschat wordt met sn.
Stelling 4.1.13 De stochastiek T = Xn−µSn/
√n is Student-t verdeeld met n−1 vrijheidsgraden,
T =Xn −µSn/
√n∼ tn−1 (4.14)
Bewijs. Uit (4.2) en (4.8) weten we
Z =Xn −µσ/
√n∼ N(0,1) en Y =
(n−1)S2n
σ2 ∼ χ2n−1 ,
Bovendien zijn Sn en Xn, en dus ook Y en Z onafhankelijk, zodat uit de definitie van de Student-tverdeling (3.115) volgt:
Z√Y
n−1
=Xn −µσ/
√n
σSn
=Xn −µSn/
√n
= T ∼ tn−1
Zoals in de vorige paragraaf hebben we de kans
P(∣∣∣∣
Xn −µSn√
n
∣∣∣∣≤ tn−1,1−α/2
)= 1−α
zodatP(Xn −
Sn√n
tn−1,1−α/2 ≤ µ ≤ Xn +Sn√
ntn−1,1−α/2
)= 1−α
103
Definitie 4.1.14 Het betrouwbaarheidsinterval voor µ met betrouwbaarheid 1−α is het interval
[xn −
sn√n
tn−1,1−α/2 , xn +sn√
ntn−1,1−α/2
](4.15)
Het is duidelijk, dat dit interval breder is dan het overeenkomstige interval (4.4) voor het geval σwel bekend is. Het verschil neemt echter af met toenemende n (en het verdwijnt geheel in de limietvoor n → ∞).
0
5
10
-2 0 2
Betrouwbaarheidsheidsintervallen op het 10%-niveau.
gemiddelde
0
5
10
0 1 2 3
6 metingen per experiment, N(0,1)-verdeeld
standaardafwijking
0
5
10
-1 0 1
Betrouwbaarheidsheidsintervallen op het 10%-niveau.
gemiddelde
0
5
10
0 1 2
20 metingen per experiment, N(0,1)-verdeeld
standaardafwijking
Figuur 4.4: Betrouwbaarheidsintervallen van tweemaal 10 experimenten met N(0,1)-verdeelderandom getallen.
Voorbeeld 4.1.15 In Figuur 4.4 zien we de betrouwbaarheidsintervallen op het 10%-niveau voorµ en σ voor tweemaal tien experimenten met N(0,1)-verdeelde random getallen. De intervallenzijn weergegeven door horizontale lijnstukken. De vertikale lijn representeert de plaats van dewerkelijke µ en σ. Door de keuze van het niveau α = 10% zijn de BTI’s zijn zo groot, dat de kans,dat µ of σ er buiten ligt, gelijk is aan 10%. Het verwachte aantal keer in deze 40 experimenten, datµ of σ buiten het BTI ligt, is dus 4; in het voorbeeld van Figuur 4.4 is dit 3.
Voorbeeld 4.1.16 We voeren twaalf metingen uit van het gewicht van een bol en vinden de vol-gende waarden (in gram)
170 183 185 175 177 173 172 181 183 177 176 180 .
We zullen de 90%-BTI’s voor µ en σ opstellen. We hebben achtereenvolgens
x12 =1232
12= 177.66g en s2
12 =1
11
12
∑i=1
(xi − x12
)2= 22.787g2,
zodats12 = 4.774g en
s12√12
t11,0.95 =4.774√
121.796 = 2.4751 .
104
Een 90%-betrouwbaarheidsinterval voor µ is dus [175 , 180]. Verder hebben we√
11s212
χ11,0.95=
√11×22.787
19.675= 3.5693 en
√11s2
12χ11,0.05
=
√11×22.787
4.575= 7.4019 .
Een 90%-betrouwbaarheidsinterval voor σ is dus [3.6 , 7.4].
4.1.4 Het schatten van een percentageWe beschouwen een binair kenmerk, bijvoorbeeld:
man / vrouw , roker / niet-roker , wit / zwart , kruis / munt .Hiermee is een Bernoulli-experiment geassocieerd, een stochastiek X , die de waarden 0 en 1 aan-neemt met P(X = 1) = p en P(X = 0) = 1− p = q. Aan de hand van een steekproef X1,X2, · · · ,Xnwensen we p te schatten. Het is duidelijk dat X n = 1
n ∑ni=0 Xi een zuivere schatter voor p is. Voor
n > 30 en 0.1 ≤ p ≤ 0.9 mogen we B(n, p) benaderen door een normale verdeling, zie (3.84),
nXn ∼ B(n, p) ∼= N(np,
√npq)
en dus Xn ∼= N(
p,
√pqn
)
Voor n voldoend groot is√
pqn
∼=
√Xn(1−Xn)
n
en dus hebben we bij benadering,
Z =Xn − p√Xn(1−Xn)
n
∼= N(0,1) en dus ook P(| Z |≤ Φ−1(1− α
2))∼= 1−α
Voor Xn − p leiden we hieruit de (benaderde) kans af,
P
(| Xn − p |≤ Φ−1(1− α
2)√
Xn(1−Xn)
n
)= 1−α
of
P
(Xn −Φ−1(1− α
2)√
Xn(1−Xn)
n≤ p ≤ Xn +Φ−1(1− α
2)√
Xn(1−Xn)
n
)= 1−α
Conclusie: Het interval[
xn −Φ−1(1− α2)√
xn(1− xn)
n, xn +Φ−1(1− α
2)√
xn(1− xn)
n
](4.16)
is een (benaderd) BTI voor p met betrouwbaarheid 1−α.
105
Voorbeeld 4.1.17 Enkele dagen voor een landelijke verkiezing tussen de twee kandidaten A enB wordt door een populair magazine een opiniepeiling georganiseerd. Hierbij vraagt men 200willekeurig gekozen en willekeurig over het land verspreide personen naar hun mening. In desteekproef waren 110 personen voor kandidaat A. Gevraagd wordt een 95% BTI voor het globalepercentage kiezers, dat op kandidaat A zal stemmen.We hebben achtereenvolgens:
xn =110200
= 0.55 ,
√xn(1− xn)
n= 0.0352 en Φ−1(1− α
2) = Φ−1(0.975) = 1.96
zodat het 95% BTI gegeven wordt door
BTI = [0.55− (1.96)× (0.0352) , 0.55+(1.96)× (0.0352)] = [0.48 , 0.62]
Op dezelfde manier vinden we [0.46 , 0.64] voor het 99%-BTI.
4.2 HypothesetoetsenEen firma produceert batterijen voor draagbare radios, en beweert in haar advertenties dat elkebatterij goed is voor 30 uur muziek. Een consumentenorganisatie wil deze bewering nagaan, entest 40 batterijen die op diverse plaatsen in het land gekocht werden. De gemiddelde speelduurover deze 40 batterijen is 28 uur met een spreiding van 2 uur. Kunnen we hieruit besluiten dat dereclame van de firma overdreven is?In een contra-expertise laat de batterijenproducent het experiment herhalen met 50 batterijen envindt een speelduur van 29.5 uur met een spreiding van 2.5 uur. Op grond hiervan concludeertde firma, dat de consumentenorganisatie teveel belegen exemplaren gebruikte bij de test. Is dezebewering gerechtvaardigd?Dit is het type problemen dat we in dit hoofdstuk bestuderen. In het eerste vergelijken we hetresultaat van een steekproef met een gepostuleerde waarde en in het tweede vergelijken we deresultaten van twee verschillende steekproeven. Uiteraard kunnen we hier nooit zekere uitsprakenverwachten; we zullen enkel uitspraken kunnen doen die een zekere kans van waarheid bevatten.Met een toets zullen we nooit een bewijs van een bewering kunnen leveren; we zullen er alleen eenbewering mee kunnen verwerpen als deze op grond van de waarnemingen te onwaarschijnlijk isom waar te zijn.
4.2.1 De t-toetsWe hebben n (onafhankelijke) metingen x1, · · · ,xn van een (normaal verdeelde) grootheid X metverwachtingswaarde µ. Beweerd wordt dat deze verwachtingswaarde gelijk is aan een bepaaldeconcrete waarde µ0, zoals in het voorbeeld hierboven µ = 30 uur. We willen de waarheid vandeze bewering toetsen aan de hand van de metingen. We veronderstellen, dat de metingen onaf-hankelijke trekkingen zijn uit een normaal verdeelde stochastiek X ∼ N(µ,σ). Zoals in het vorigehoofdstuk kunnen we nu rond het gemiddelde xn een betrouwbaarheidsinterval op het niveau αconstrueren, zie formule (4.15), en zien of de vooropgestelde waarde µ0 in dit interval ligt. Zo ja,
106
dan accepteren we de bewering (op het niveau α); zo nee, dan is de kans, dat de bewering waar is,kleiner dan α en verwerpen we de bewering.We kunnen dit ook op een andere (equivalente) manier formuleren. De metingen zijn trekkingen uitn onafhankelijke stochastieken X1, · · · ,Xn ∼ N(µ,σ), waarbij zowel µ als σ onbekend zijn. Als debewering waar is, dan zijn het steekproefgemiddelde X n en de standaarddeviatie Sn zuivere schat-ters voor µ en σ en heeft het quotient een t-verdeling, zie (4.14). Aan de hand van de steekproefX1, · · · ,Xn wensen we te beslissen of we de hypothese µ = µ0 aanvaarden of verwerpen.De tweezijdige t-toets (Eng. one-group two-tail t-test): De veronderstelling µ = µ0 noemen we denulhypothese, gewoonlijk met H0 genoteerd. Het alternatief is natuurlijk dat µ 6= µ0, de alternatievehypothese genaamd. We noteren deze met H1. Er zijn dus twee mogelijkheden:
H0 : µ = µ0 (nulhypothese) ,
H1 : µ 6= µ0 (alternatieve hypothese) .(4.17)
De alternatieve hypothese omvat hier zowel de gevallen µ < µ0 als µ > µ0 en daarom spreken wehier van de tweezijdige t-toets. Indien de nulhypothese waar is, dan hebben we, met de notatiesvan (4.14):
T =Xn −µ0
Sn/√
n∼ tn−1 |H0 . (4.18)
Met |H0 bedoelen we: “in de veronderstelling dat de nulhypothese waar is”. In dit geval is het dusonwaarschijnlijk dat |T | zeer groot is. Kiezen we een signifikantieniveau α, dan geldt:
P(|T | ≤ tn−1,1− 12 α) = 1−α |H0 . (4.19)
Uit de waarnemingen of metingen volgt een schatting t voor de waarde van T :
t :=xn −µ0
sn/√
n. (4.20)
De kans op een serie metingen met | t | > tn−1,1− 12 α is α; het voorkomen van een dergelijke serie
metingen is dus des te onwaarschijnlijker naarmate α kleiner is: we noemen α het significantieni-veau.Dit leidt tot de volgende beslissingsregel:
- Als t ligt in het interval [−tn−1,1− 12 α, tn−1,1− 1
2 α], dan aanvaarden we de H0 op niveau α;
- Als t buiten dit interval ligt, dan verwerpen we H0 op niveau α.
Het interval [−tn−1,1− 12 α, tn−1,1− 1
2 α] noemen we het aanvaardingsgebied, het complement van ditinterval noemen we de kritieke zone en α noemen we het signifikantieniveau. Als we de nulhypo-these H0 verwerpen, dan zeggen we dat het verschil tussen xn en µ0 signifikant is. Anders zeggenwe dat het verschil niet signifikant is. Gebruikelijke waarden voor α zijn 5% en 1%.Opmerking: We merken op, dat het aanvaarden van de nulhypothese, precies hetzelfde is als hetfeit, dat µ0 in het betrouwbaarheidsinterval (4.15) ligt.De eenzijdige t-toets (Eng. one-group one-tail t-test): We bekijken opnieuw het voorbeeld uithet begin van dit hoofdstuk. We zullen ons hierbij vooral zorgen maken over de kwaliteit van
107
de batterijen, indien de gemiddelde speelduur beduidend minder dan 30 uur is; indien we eengemiddelde speelduur van meer dan 30 uur vinden, des te beter. Daarom krijgen we nu de volgendesituatie: H0 : µ = µ0 (nulhypothese)
H1 : µ < µ0 (alternatieve hypothese)(4.21)
In de veronderstelling dat H0 waar is geldt formule (4.19) natuurlijk nog steeds, zodat we hebben:
P(T ≥−tn−1,1−α) = 1−α |H0 ,
en we krijgen dus volgende beslissingsregel: indien t ≥ −tn−1,1−α, dan wordt H0 aanvaard; an-ders wordt H0 verworpen. Het aanvaardingsgebied is dus [−tn−1,1−α,+∞) en de kritieke zone(−∞,−tn−1,1−α).Op volledig analoge manier kunnen we natuurlijk de volgende situatie bekijken:
H0 : µ = µ0 (nulhypothese)
H1 : µ > µ0 (alternatieve hypothese)(4.22)
Het aanvaardingsgebied voor H0 wordt nu (−∞,+tn−1,1−α].
Overschrijdingskansen
Een alternatieve manier van toetsen (die nogal eens gebruikt wordt in statistische software) ishet berekenen van de overschrijdingskans bij de t-waarde van de metingen. Dit is de grootste αwaarvoor de toets significant is, d.w.z. waarvoor de nulhypothese wordt verworpen.Bij de tweezijdige t-toets wordt de overschrijdingskans gegeven door de formule P(|T | ≥ | t |),waarbij t de t-waarde (4.20) is van de metingen de kans P(|T | ≥ | t |).Als we een eenzijdige toets doen met µ > µ0 als alternatief, dan berekenen we de kans P(T ≥ t)en anders P(T ≤ t). Als deze overschrijdingskans kleiner is dan het niveau α, verwerpen wede nulhypothese, t ligt dan immers buiten het aanvaardingsgebied. Als deze kans groter dan αis ligt t erbinnen en aanvaarden we de nulhypothese. Het aanvaardingsgebied hoeven we dannatuurlijk niet meer op te zoeken. Overigens is deze methode met de gebruikelijke tabellen voorde t-verdeling niet te gebruiken; in software is het echter handiger, omdat een routine voor hetberekenen van tn(x) eenvoudig te schrijven is en omdat dan aan de gebruiker niet bij iedere toetsopnieuw het gewenste niveau moet worden gevraagd.
Voorbeeld 4.2.1 Een machine maakt staalplaat die een gemiddelde dikte van 0.5 mm zou moetenhebben. Men wil toetsen of de machine goed afgeregeld is op basis van een steekproef van 10metingen en vindt x10 = 0.53 mm en s10 = 0.03 mm. We hebben dus:
H0 : µ = 0.5 mm ,
H1 : µ 6= 0.5 mm .
Een eenvoudige berekening levert de t-waarde van de steekproef:
t =x10 −0.5 mm
s10/√
10= 3.162 .
108
Bij een signifikantieniveau α = 5% vinden we t9,0.975 = 2.262 zodat het aanvaardingsgebied hetinterval [−2.262,2.262] is. Op het niveau 5% wordt H0 dus verworpen.Voor α = 1% krijgen we (aangezien t9,0.995 = 3.250) als aanvaardingsgebied [−3.250,3.250]. Ophet niveau 1% wordt H0 wel aanvaard.De overschrijdingskans is P(|T | ≥ t) = P(|T | ≥ 3.162) = 1.16%, zodat de nulhypothese op het5%-niveau wordt verworpen en op het 1%-niveau (nipt) wordt aanvaard.
Voorbeeld 4.2.2 Een fabrikant produceert touwen voor bergbeklimmers en beweert dat zijn tou-wen een breekpunt van 8000 kg hebben. Een sportvereniging bepaalt het breekpunt van zes touwenen vindt
x6 = 7750 kg en s6 = 145 kg zodat t =x6 −8000kg
s6/√
6= −4.223 .
Aangezien het touw best sterker mag zijn dan opgegeven, voeren we een eenzijdige t-toets uit methypothesen: H0 : µ = 8000 kg ,
H1 : µ < 8000 kg .
Bij de keuze α = 5% vinden we t5,0.95 = 2.015; het aanvaardingsgebied is dus [−2.015,+∞), zodatde nulhypothese wordt verworpen; het verschil tussen de opgegeven en de gemeten waarde voorhet breekpunt is signifikant.Voor α = 1% is het aanvaardingsgebied [−3.365,+∞). Zelfs op niveau α = 1% is het verschil dussignifikant.De overschrijdingskans is P(T ≤ t) = P(T ≤ −4.223) = 0.42%, zodat de nulhypothese zowel ophet 5%-niveau als op het 1%-niveau wordt verworpen.
Opmerking 4.2.3 Het aanvaardingsgebied voor de tweezijdige t-toets (4.17) is [tn−1,α/2, tn−1,1−α/2]en dat voor de eenzijdige toets (4.22) is (−∞,+tn−1,1−α]. Omdat tn−1,1−α < tn−1,1−α/2, kan hetvoorkomen, dat we met de eenzijdige toets de nulhypothese verwerpen (d.w.z. we stellen vast datµ groter is dan gesteld), terwijl we met de tweezijdige toets de nulhypothese aanvaarden (d.w.z. wekunnen niet vaststellen of µ veranderd is).
Opmerking 4.2.4 Als n groot is, dan kunnen we een benaderde toets opstellen. We hebben dan dats2
n∼= σ2, zodat we, net zoals in § 4.1.1, kunnen onderstellen dat σ bekend is. Als de nulhypothese
waar is, dan hebben we datXn −µ0
σ/√
n∼ N(0,1)
(zie (4.2)). Het aanvaardingsgebied voorXn −µ0
σ/√
nis dus
[−Φ−1(1− α
2),Φ−1(1− α
2)]
in het geval van een tweezijdige toets. Vergelijk dit ook met (3.120).
109
4.2.2 De χ2-toetsWe hebben opnieuw n (onafhankelijke) metingen x1, · · · ,xn van een (normaal verdeelde) groot-heid X met verwachtingswaarde µ en variantie σ. Beweerd wordt dat deze variantie gelijk is aaneen bepaalde concrete waarde σ0. We willen de waarheid van deze bewering toetsen aan de handvan de metingen. We veronderstellen weer, dat de metingen trekkingen zijn uit n onafhankelijkestochastieken X1, · · · ,Xn ∼ N(µ,σ), waarbij zowel µ als σ onbekend zijn. Voor de standaardafwij-king stellen we nu een waarde σ0 voorop en we willen aan de hand van de metingen toetsen ofσ = σ0; we kiezen dit dus als nulhypothese. Uit het vorig hoofdstuk, formule (4.8), weten we datonder de nulhypothese geldt:
Y :=(n−1)S2
n
σ20
∼ χ2n−1 |H0 zodat P(Y < χ2
n−1,α) = α (4.23)
Het is dus onwaarschijlijk, dat Y (zeer) groot of (zeer) klein is (Y is altijd positief). Uit de metingenberekenen we de schatting χ van Y ,
χ :=(n−1)s2
n
σ20
(4.24)
De beslissingsregel, of we de nulhypothese aanvaarden of verwerpen, hangt af van het alternatief.We onderscheiden twee gevallen. Als we gelijkheid σ2 = σ2
0 toetsen tegen het alternatief onge-lijkheid σ2 6= σ2
0 en dus zowel grote als kleine waarden van Y niet acceptabel vinden onder denulhypothese, spreken we van een tweezijdige toets. Als we gelijkheid σ2 = σ2
0 toetsen tegen hetalternatief dat σ2 groter dan wel kleiner is dan gesteld en dus alleen grote of alleen kleine waardenvan Y onverenigbaar vinden met de nulhypothese, spreken we van een eenzijdige toets.De tweezijdige χ2-toets: We kiezen de hypothesen
H0 : σ2 = σ2
0 (nulhypothese) ,
H1 : σ2 6= σ20 (alternatieve hypothese) .
(4.25)
We aanvaarden de nulhypothese op het niveau α, als de χ-waarde (4.24) van de metingen in hetaanvaardingsgebied
[χ2
n−1, 12 α,χ2
n−1,1− 12 α
]ligt en we verwerpen H0 als χ erbuiten ligt.
De eenzijdige χ2-toets: In het geval toetsen tegen het alternatief dat σ groter is, kiezen we:
H0 : σ2 = σ20 (nulhypothese) ,
H1 : σ2 > σ20 (alternatieve hypothese) .
(4.26)
Het aanvaardingsgebied is nu[0,χ2
n−1,1−α]
en we verwerpen de nulhypothese als χ > χ2n−1,1−α.
Analoog, als we toetsen tegen het alternatief dat σ kleiner is, kiezen we:
H0 : σ2 = σ20 (nulhypothese) ,
H1 : σ2 < σ20 (alternatieve hypothese) .
(4.27)
Het aanvaardingsgebied is nu[χ2
n−1,α,+∞)
en we verwerpen de nulhypothese als χ < χ2n−1,α.
110
Overschrijdingskansen
Ook hier kunnen we met overschrijdingskansen i.p.v. aanvaardingsgebieden werken. Bij een twee-zijdige toets berekenen we de kans p := 2minP(Y ≥ χ) , P(Y ≤ χ) . Als χ ≤ χ2
n−1, 12 α dan is
P(Y ≤ χ) de kleinste van de twee en geldt P(Y ≤ χ) ≤ P(Y ≤ χ2n−1, 1
2 α) ≤ 1
2α en ligt χ dus ter
linkerzijde buiten het aanvaardingsgebied. Als de ander de kleinste is, ligt χ ter rechterzijde buitenhet aanvaardingsgebied. Bij een eenzijdige toets berekenen we p := P(Y ≥ χ) bij het alternatiefσ2 > σ2
0 en p := P(Y ≤ χ) bij het alternatief σ2 < σ20. Als de zo berekende p groter is dan het
gewenste niveau aanvaarden we de nulhypothese en anders verwerpen we deze.
Voorbeeld 4.2.5 De standaardafwijking van het gewicht van blikjes groenten van 500 g is altijd2.5 g geweest, maar men vreest dat de variabiliteit groter zou kunnen zijn geworden, omdat demachines oud zijn. Een steekproef van 20 blikjes levert s20 = 3.20 g. Is deze stijging signifikantop niveau α = 5%? En op niveau α = 1%?De hypothesen zijn nu de volgenden:
H0 : σ2 = (2.5 g)2 ,
H1 : σ2 > (2.5 g)2 .
Uit de metingen volgt de χ-waarde:
χ =(n−1)s2
n
σ20
= 31.13 .
Aangezien χ219,0.95 = 30.144 < 31.13 wordt H0 verworpen op het 5%-niveau. Anderzijds geldt
χ219,0.99 = 36.199 > 31.13, zodat H0 aanvaard wordt op het 1%-niveau.
De overschrijdingskans is P(Y > χ) = 1−χ219(31.13) = 3.9%, zodat de nulhypothese wordt aan-
vaard op het 1%-niveau en verworpen op het 5%-niveau.
Opmerking 4.2.6 Als we in dit voorbeeld een tweezijdige toets hadden uitgevoerd en ons alleende vraag hadden gesteld of de variabiliteit veranderd was, dan hadden met het aanvaardingsgebied
[χ19,0.025 , χ19,0.975] = [8.907,32.852]
de nulhypothese wel aanvaard!
4.2.3 De F-toets, het vergelijken van variantiesIn het tweede voorbeeld van de aanhef van dit hoofdstuk (de contra-expertise) worden twee steek-proeven met elkaar vergeleken. Neem twee onafhankelijke steekproeven X1, · · · ,Xm en Y1, · · · ,Yn,beiden normaal verdeeld met onbekende parameters. We hebben dus nu m+n onafhankelijke nor-maal verdeelde stochastieken X1, · · · ,Xm,Y1, · · · ,Yn met
Xi ∼ N(µ1,σ1) (i = 1, · · · ,m) en Y j ∼ N(µ2,σ2) ( j = 1, · · · ,n)
111
De parameters µ1, µ2, σ1 en σ2 hierin zijn onbekend. We willen nu toetsen of σ1 = σ2. We schattendaartoe eerst σ2
1 en σ22 met behulp van de steekproefvarianties :
S21 =
1m−1
m
∑i=1
(Xi−Xm
)2en S2
2 =1
n−1
n
∑j=1
(Yj −Y n
)2.
Hun quotient heeft een F-verdeling:
Stelling 4.2.7 Met notaties zoals hierboven geldt:
S21
σ21
σ22
S22∼ Fm−1,n−1 (4.28)
Bewijs. Uit (4.8) weten we, dat
(m−1)S21
σ21
∼ χ2m−1 en
(n−1)S22
σ22
∼ χ2n−1
Het resultaat volgt nu onmiddellijk uit de definitie (3.124) van de F-verdeling.
Voor de toets op gelijkheid van σ21 en σ2
2 nemen we nu als nulhypothese H0 : σ21 = σ2
2 , dan geldt(onder deze nulhypothese)
F =S2
1S2
2∼ Fm−1,n−1 |H0 zodat P(F ≤ Fm−1,n−1,α) = α .
Hierop kunnen we dus de F-toets voor de vergelijking van varianties baseren:De tweezijdige F-toets: Kies de hypothesen
H0 : σ2
1 = σ22 ,
H1 : σ21 6= σ2
2 ,(4.29)
en bereken de f -waarde van de steekproef,
f :=s2
1
s22. (4.30)
Het aanvaardingsgebied op niveau α voor f is dan het interval[Fm−1,n−1, 1
2 α , Fm−1,n−1,1− 12 α]
; (4.31)
we aanvaarden de nulhypothese als f in dit interval ligt en verwerpen hem als f erbuiten ligt.De eenzijdige F-toets: Bereken de f -waarde van de steekproef,
f :=s2
1
s22,
112
kies een niveau α en kies een van beide mogelijkheden:
Hypothesen :
H0 : σ2
1 = σ22 ,
H1 : σ21 > σ2
2 ,met aanvaardingsgebied :
[0 , Fm−1,n−1,1−α
](4.32)
of
Hypothesen :
H0 : σ2
1 = σ22 ,
H1 : σ21 < σ2
2 ,met aanvaardingsgebied :
[Fm−1,n−1,α , +∞
). (4.33)
We aanvaarden de nulhypothese als f in dit interval ligt en verwerpen hem als f erbuiten ligt.
Voorbeeld 4.2.8 We willen nagaan of twee voltmeters dezelfde nauwkeurigheid bezitten. De va-riantie is hier een maat voor de nauwkeurigheid. Met elk toestel wordt een bepaalde meting eenaantal malen uitgevoerd met resultaat:
toestel 1 : s1 = 4 µV m = 16
toestel 2 : s2 = 3 µV n = 21en f -waarde: f =
s21
s22
=(4
3
)2= 1.777 .
De hypothesen zijn H0 : σ2
1 = σ22 ,
H1 : σ21 6= σ2
2 .
Laten we toetsen op niveau α = 5%. Uit de tabellen halen we dat
Fm−1,n−1, 12 α =
12.76
= 0.362 en Fm−1,n−1,1− 12 α = 2.57 .
Het aanvaardingsgebied is dus [0.362,2.57]; op het 5%-niveau wordt de nulhypothese aanvaard.Er is dus geen signifikant verschil tussen beide voltmeters.
4.2.4 De t-toets voor het vergelijken van gemiddelden(Eng. two-group t-test) Zoals in de vorige paragraaf nemen we twee onafhankelijke steekproevenX1, · · · ,Xm en Y1, · · · ,Yn. We zullen nu echter veronderstellen dat we mogen aannemen datde variantie voor beide steekproeven dezelfde is (eventueel na het toepassen van de F-toets), dusσ1 = σ2 = σ en
Xi ∼ N(µ1,σ1) (i = 1, · · · ,m) en Y j ∼ N(µ2,σ2) ( j = 1, · · · ,n) .
Net zoals in vorige paragraaf zijn µ1, µ2 en σ onbekend. Ditmaal wensen we na te gaan of µ1 = µ2.Hiertoe zoeken we eerst een zuivere schatter voor σ2. We weten reeds dat S2
1 en S22 zuivere schatters
zijn voor σ2. Elk gewogen gemiddelde αS21 +βS2
2, met α,β ∈ [0,1] en α+β = 1 is dus een zuivereschatter voor σ2. In het bijzonder is
S2 =(m−1)S2
1 +(n−1)S22
m+n−2(4.34)
een zuivere schatter (met minimale variantie) voor σ2. Deze schatter S2 wordt ook de gemengdevariantie genoemd. Analoog aan (4.14) geldt nu het volgende.
113
Stelling 4.2.9 Onder de nulhypothese geldt:
T =Xm −Y n
S√
1m + 1
n
∼ t(m−1)+(n−1) |H0 (4.35)
Bewijs. We weten datXm ∼ N
(µ1,
σ√m
)en Y n ∼ N
(µ2,
σ√n
)
Omdat Xm en Y n onafhankelijk zijn geldt onder de nulhypothese µ1 = µ2 voor hun verschil
Xm −Y n ∼ N(
0,
√σ2
m+
σ2
n
),
zodat schaling een standaard-normale verdeling geeft:
U =Xm −Y n
σ√
1m + 1
n
∼ N(0,1) .
De varianties zijn χ2-verdeeld,
(m−1)S21
σ2 ∼ χ2m−1 en
(n−1)S22
σ2 ∼ χ2n−1
en dus ook de gemengde variantie is χ2-verdeeld,
V =(m−1)S2
1 +(n−1)S22
σ2 ∼ χ2m+n−2
Vanwege de definitie (3.115) van de t-verdeling vinden we dus, dat
T =U√
V/(m+n−2)∼ tm+n−2
en dit bewijst onze stelling.
Met behulp van deze stelling bekomen we nu onmiddellijk de volgende t-toetsen:Bereken de t-waarde van de steekproef,
t =xm − yn
s√
1m + 1
n
, (4.36)
kies een niveau α en kijk of t al dan niet binnen het aanvaardingsgebied ligt.De tweezijdige t-toets: Neem als hypothesen
Hypothesen:H0 : µ1 = µ2 ,
H1 : µ1 6= µ2 ,aanvaardingsgebied :
[−tm+n−2,1− 1
2 α , tm+n−2,1− 12 α]. (4.37)
114
De eenzijdige t-toets:
Hypothesen:H0 : µ1 = µ2 ,
H1 : µ1 > µ2 ,aanvaardingsgebied :
(−∞ , tm+n−2,1−α
]. (4.38)
en analoog
Hypothesen:H0 : µ1 = µ2 ,
H1 : µ1 < µ2 ,aanvaardingsgebied :
[−tm+n−2,1−α,+∞
). (4.39)
Voorbeeld 4.2.10 Een boer wil toetsen of het gebruik van een bepaalde soort kunstmest een ver-betering van de graanoogst geeft. Daartoe kiest hij 15 stroken akker met dezelfde oppervlakte,waarvan er 8 worden behandeld met de meststof en de overige 7 niet (deze laatsten vormen dezogenaamde controlegroep). De gemiddelde graanopbrengst x8 op de behandelde akkers is 5.8 tonmet een standaardafwijking σ1 van 0.36 ton. Voor de controlegroep is de gemiddelde opbrengstx7 = 4.9 ton met een standaardafwijking σ2 van 0.40 ton. Is de produktie op het niveau α = 1%significant hoger op de behandelde akkers? De hypothesen zijn (eenzijdig)
H0 : µ1 = µ2 ,
H1 : µ1 > µ2 .
Veronderstel, dat we met de F-toets reeds hebben nagegaan dat s21 en s2
2 niet significant verschillen.Voor de gemengde variantie vinden we dan
s2 =1
13(7s2
1 +6s22)
= 0.1436 ton2 zodat s = 0.379 ton .
Bijgevolg is
t =x8 − x7
s√
18 + 1
7
= 4.59
Het aanvaardingsgebied voor t is (−∞, t13,0.99] = (−∞,2.6503]. De verhoging van de opbrengst isdus signifikant.
Voorbeeld 4.2.11 In de aanhef van dit hoofdstuk gaven we een voorbeeld van twee steekproevenbetreffende de speelduur van batterijen. In dit voorbeeld hebben we de data:
x40 = 28 , s40 = 2 , y50 = 29.5 , s50 = 2.5 .
De vraag is, of het steekproefgemiddelde x40 van de consumentenorganisatie significant kleiner isdan dat van de fabrikant y50. Hiertoe toetsen we eerst de gelijkheid van de varianties. De f -waardevan de steekproef is
f =2.52
22 = 1.5625
en de hypothesen zijn H0 : σ1 = σ2 ,
H1 : σ1 6= σ2 .
115
Het aanvaardingsgebied op het 5%-niveau voor de F-toets op de varianties is (19.11c)[F49,39,0.025 , F49,39,0.975
]= [0.554 , 1.83] ,
zodat de nulhypothese σ1 = σ2 aanvaard wordt. De gemengde variantie s vinden we nu uit
s2 =1
88(49s2
50 +39s240) = 5.253 zodat s = 2.29 .
Voor het vergelijken van de gemiddelden hebben we de hypothesenH0 : µ1 = µ2 ,
H1 : µ1 < µ2 .
De t-waarde van de steekproef is
t =y50 − x40
s√
1/40+1/50= 3.09
en het aanvaardingsgebied is(−∞, t88,0.95] = (−∞,1.665] ,
zodat de nulhypothese verworpen wordt op het niveau 5%. De waarde van de consumentenorga-nisatie is dus significant kleiner dan die van de fabrikant. De toets zegt natuurlijk niets over deoorzaak van het verschil; zolang de fabrikant geen houdbaarheidsdatum op zijn batterijen zet, kandeze de consumentenorganisatie niet verwijten, dat ze belegen batterijen gebruikt heeft bij de test.
Een benaderende toets voor twee gemiddelden
Bij de afleiding van deze vergelijkende t-toets hebben we aangenomen dat σ1 = σ2. Het meestalgemene geval is natuurlijk dat waarbij σ1 6= σ2. Voor m en n (zeer) groot kunnen we dan eenbenaderende toets opstellen: we hebben dan dat s2
1∼= σ2
1 en s22∼= σ2
2 en we kunnen aannemen datσ1 en σ2 bekend zijn. Onder de nulhypothese µ1 = µ2 geldt dan in goede benadering:
Z =Xm −Y n√
σ21
m +σ2
2n
∼ N(0,1) |H0
We berekenen weer de actuele z-waarde van de steekproef,
z :=xm − yn√
s21
m +s22n
(4.40)
en krijgen dan als aanvaardingsgebied voor z op het niveau α:
tweezijdig :[−Φ−1(1− 1
2α) , Φ−1(1− 12α)
]
eenzijdig :(−∞ , Φ−1(1−α)
]of[−Φ−1(1−α) , +∞
)(4.41)
116
4.2.5 Verbonden steekproevenIn de voorgaande paragrafen waren de steekproeven X1, · · · ,Xm en Y1, · · · ,Yn onafhankelijk. Inde twee laatste voorbeelden kan dat moeilijk anders. Indien we twee benzinemerken met elkaarwillen vergelijken met bovenstaande strategie, dan gaan we als volgt te werk. We laten (bijvoor-beeld) 10 auto’s rijden met merk X en meten het verbruik. Vervolgens laten we (bijvoorbeeld)12 auto’s rijden met merk Y en meten weer het verbruik. Op de resultaten passen we de toetsentoe uit de vorige paragraaf toe. Een probleem hierbij is, dat het verbruik van twee auto’s, zelfsvan hetzelfde merk en type, aanzienlijk kan verschillen en dat deze verschillen waarschijnlijk veelgroter zijn dan die ten gevolge van kwaliteitsverschillen in de benzine. Een andere strategie is devolgende: eerst meten we het verbruik van 10 auto’s, allemaal met merk X, en dan allemaal metmerk Y. Met elke Xi komt dan een Yi overeen; als er geen kwaliteitsverschil is, zullen de verschil-len Xi −Yi een verwachtingswaarde nul hebben. We spreken dan van verbonden waarnemingen.Andere voorbeelden van gelijksoortige experimenten: vergelijkingen van metingen in linkeroor enrechteroor, vergelijken van eigenschappen van eeneiige tweelingen, · · ·.In het algemeen hebben we nu dus n koppels stochastieken (Xi,Yi) met Xi ∼ N(µ1,σ1) en Yi ∼N(µ2,σ2). Onze nulhypothese zal zijn:
H0 : µ1 = µ2 .
Stel nu Di = Xi−Yi. Dan is
Di ∼ N(
µ1 −µ2,√
σ21 +σ2
2
)(4.42)
We voeren nu de t-toets (4.17), (4.21) of (4.22) uit op Di met nulhypothese H0 : µ = 0. Het enigeverschil met de situatie in (4.17) is, dat de waarde van µ0 nu niet uit de lucht komt vallen. Weweten dat
T =Dn
√n
S∼ tn−1
in de veronderstelling dat
Dn =1n
n
∑i=1
Di en S2 =1
n−1
n
∑i=1
(Di −Dn
)2
Voorbeeld 4.2.12 Keren we terug naar het voorbeeld met de benzinemerken. Men laat 10 wagensrijden met 8 liter benzine van beide merken. Laat Xi het aantal afgelegde kilometers zijn, afgelegddoor wagen i bij gebruik van brandstofmerk X en Yi is het aantal kilometers afgelegd bij gebruikvan brandstofmerk Y . Men vraagt zich af of het mer Y beter is dan het merk X . Men bekomtvolgend resultaat:
i 1 2 3 4 5 6 7 8 9 10X i 99 110 105 101 90 92 104 100 101 100Yi 100 110 111 110 91 97 106 100 104 96Di -1 0 -6 -9 -1 -5 -2 0 -3 4
We rekenen nu gemakkelijk uit, dat
d10 = −2.3 km , s210 = 13.444 km2 , s10 = 3.6530 km zodat t =
d10√
10s10
= −1.99
117
De hypothesen zijn: H0 : µ = 0 ,
H1 : µ < 0 .
Het aanvaardingsgebied voor t is [−tn−1,1−α,+∞).Voor α = 5% wordt dit [−1.833,+∞), zodat het verschil signifikant is op niveau 5%.Voor α = 1% wordt dit [−2.821,+∞), zodat het verschil niet signifikant is op niveau 1%.
4.3 De macht van een toets
4.3.1 voorbeeld 1: de tweezijdige t-toetsBeschouw opnieuw de tweezijdige t-toets (4.17); we kunnen deze als volgt samenvatten:
• Kansmodel: X1, · · · ,Xn ∼ N(µ,σ) onafhankelijk; σ en µ zijn onbekend.
• nulhypothese: H0 : µ = µ0.
• alternatieve hypothese: H1 : µ 6= µ0.
We stelden de volgende toets op voor de schatter T (en schatting t):
T =Xn −µ0
Sn/√
n∼ tn−1 en
t ∈ [−tn−1,1−α
2, tn−1,1−α
2] =⇒ H0 wordt aanvaard,
t 6∈ [−tn−1,1−α2, tn−1,1−α
2] =⇒ H0 wordt verworpen.
De betekenis van het signifikantieniveau α hierin is de volgende: de kans dat we de nulhypotheseten onrechte verwerpen is α :
P(H0 verworpen | H0 waar) = α (4.43)
Zoals we in het diagram hieronder zien, is dit echter niet de enige mogelijke fout die we kunnenmaken. Het zou kunnen dat H0 niet waar is, maar toch wordt aanvaard. We noemen deze fout eenfout van de tweede soort terwijl (4.43) een fout van eerste soort wordt genoemd.
H0 aanvaard H0 verworpenH0 waar juist fout van de eerste soort
H0 onwaar fout van de tweede soort juist
De fout van de tweede soort is afhankelijk van de werkelijke waarde van de onbekende parameterµ.
Definitie 4.3.1 De macht van een toets is de functie
β(x) = 1−P(H0 aanvaard | µ = x) (4.44)
Merk op dat β(µ0) = α.
118
Laten we bij wijze van voorbeeld de macht van de tweezijdige t-toets (4.17) bepalen. Zoals ge-zegd is het aanvaardingsgebied I = [−tn−1,1− 1
2 α, tn−1,1− 12 α]. De macht wordt dus gegeven door de
formuleβ(x) = 1−P(T ∈ I | µ = x)
Als µ = x, dan geldt
Xn − xSn/
√n∼ tn−1 en dus ook
Xn − xSn/
√n
=Xn −µ0
Sn/√
n+
µ0 − xSn/
√n
= T +µ0 − xSn/
√n∼ tn−1 . (4.45)
Definieer de verschuiving D :=µ0 − xSn/
√n
, dan geldt onder de voorwaarde µ = x voor de schatter T
gebruikt in de toets:
P(T ∈ I) = P(T +D ∈ [−tn−1,1− 1
2 α +D, tn−1,1− 12 α +D]
)
= Ftn−1(tn−1,1− 12 α +D)−Ftn−1(−tn−1,1− 1
2 α +D)
Hieruit volgt, dat de macht van de tweezijdige t-toets (4.17) wordt gegeven door formule:
β(x) = 1+Ftn−1(−tn−1,1− 12 α +d)−Ftn−1(tn−1,1− 1
2 α +d) waarbij d =µ0 − xsn/
√n
(4.46)
We kunnen dit grafisch interpreteren in Figuur 4.5. De kromme is de kansdichtheid van de tn−1-verdeling en het oppervlak onder de kromme tussen − f en + f met f := tn−1,1− 1
2 α is 1−α. Het
oppervlak van het gearceerde gebied tussen − f +d en f +d is juist 1−β(x) (met x = µ0 − DSn√n ).
Als x = µ0, dan is D = 0. Zoals we reeds opmerkten is dan β(x) = α. Voor x zeer ver van µ0 is Dzeer groot. Het risico dat we de fout van de tweede soort maken is dan zeer klein. De grafiek vanβ ziet er in dit geval dan ook uit zoals geschetst in Figuur 4.6:In dit voorbeeld zien we, dat, hoe groter β(x), hoe kleiner het risico is dat we de fout van de tweedesoort maken, en hoe beter de toets. Bovendien wordt de put nauwer bij toenemende n, zodat danook de nauwkeurigheid (bij gelijkblijvende x) toeneemt.Voor elke toets voor de hypothese H0 : µ = µ0 met signifikantieniveau α kunnen we zo’n machts-functie opstellen. In het algemeen zijn er veel toetsen mogelijk. De volgende intervallen I1, I2, I3, I4zijn allen aanvaardingsgebieden voor toetsen met signifikantieniveau α:
I1 = [−tn−1,1− 12 α , tn−1,1− 1
2 α]
I2 = (−∞ , tn−1,1−α]I3 = [−tn−1,1−α , +∞)I4 = [−tn−1,1− 1
3 α , tn−1,1− 23 α]
Meer algemeen is elke (meetbare) deelverzameling I ⊆ R waarvoor geldtR
I ftn−1(x)dx = 1−α hetaanvaardingsgebied behorende bij een toets met niveau α. Indien voor de machtsfuncties β1(x) enβ2(x) van twee toetsen van niveau α geldt dat β1(x) ≥ β2(x) voor elke waarde van x, dan zeggenwe dat de eerste toets machtiger is dan de tweede. Dit legt geen totale orde op de verzameling vanalle toetsen van niveau α, het kan immers zijn dat β1(x0) > β2(x0) en β1(x1) < β2(x1) voor zekerewaarden van x0 en x1. We zien dit verschijnsel bijvoorbeeld, als we de macht van de tweezijdige
119
5% 95%
-f +f
20.05%
99.3%
-f+D +f+D
Figuur 4.5: Kansdichtheid van de t-verdeling onder de nulhypothese met aanvaardingsgebied[− f , f ]. Het oppervlak onder de kromme tussen − f en f is 90%. Het aanvaardingsgebied inhet geval µ = x is het interval [− f +D, f +D]. Het gearceerde oppervlak tussen − f +D en f +Din de tekening is 99.3-20.05=80.2%. Uit de figuur zien we dat het oppervlak tussen − f + D enf +D afneemt als D toeneemt.
(4.17) en de eenzijdige (4.22) t-toetsen met elkaar vergelijken. Het aanvaardingsgebied voor deeenzijdige t-toets is I2 = (−∞, tn−1,1−α]. Als µ = x, dan geldt, zoals in (4.45),
Xn − xSn/
√n
= T +D ∼ tn−1 met D =µ0 − xSn/
√n
en dus geldt
P(T ∈ I2) = P(T +D ∈ (−∞, tn−1,1−α +D]) = Ftn−1(tn−1,1−α +D)
zodatβ2(x) = 1−Ftn−1(tn−1,1−α +D) (4.47)
De situatie is weergegeven in Figuur 4.7. In de linkerfiguur is x < µ0 (en dus D > 0) en in derechter is x > µ0 (en dus D < 0). De gearceerde oppervlakte stelt 1−β2(x) voor en f := tn−1,1−α.Bijgevolg is
limx→+∞
β2(x) = 1 en limx→−∞
β2(x) = 0 .
De grafiek van β2 is geschetst in Figuur 4.8:Voor x < µ0 is de eenzijdige toets dus slechter dan de tweezijdige. Voor x > µ0 is de tweezijdigetoets slechter.
Definitie 4.3.2 Indien voor een toets geldt dat β(x)≥α voor elke x, dan noemt men de toets zuiver.Indien er onder alle toetsen van niveau α een toets bestaat die machtiger is dan alle andere, dannoemt men deze een uniform machtigste toets (Eng. uniformly most powerful test of UMP). Indien
120
n
2n
4n
+
+
+
+
0%
20%
40%
60%
80%
100%
niveau van de toets: 10%
mac
ht v
an d
e to
ets
als
funk
tie v
an x
µ0
Figuur 4.6: De machtsfunctie β(x) voor de tweezijdige t-toets als functie van x voor n, 2n en 4n. Deput wordt nauwer bij toenemende n; het onderscheidingsvermogen van de toets wordt dus groter.
er onder alle zuivere toetsten van niveau α een toets bestaat die machtiger is dan alle anderezuivere toetsen, dan noemen we deze een uniform machtigste zuivere toets (Eng. uniformly mostpowerful unbiased test of UMPU).
4.3.2 Voorbeeld 2: paranormale begaafdheidEen circusartiest beweert te beschikken over een paranormale gave: onder meer beweert hij doorzuivere concentratie een kansproces te kunnen beınvloeden. Om dit te testen zet men volgendexperiment op: men laat iemand uit 100 kaartspelen telkens een kaart trekken, waarbij aan deartiest gevraagd wordt om ervoor te zorgen dat er zoveel mogelijk rode kaarten (harten en ruiten)getrokken worden. Welke conclusie kunnen we trekken uit de uitslag van dit experiment? SchrijfX voor de stochastische variabele die het aantal rode kaarten aangeeft. Dan hebben we de volgendesituatie:
Kansmodel: X ∼ B(100, p);
nulhypothese: H0 : p = 0.5;
alternatieve hypothese: H0 : p ≤ 0.5.
Ons voorbeeld illustreert het feit dat de fout van de eerste soort veel belangrijker is dan die van detweede soort: we kunnen het ons zeker niet veroorloven om ongegrond te besluiten dat onze artiestparanormale begaafdheden bezit (fout van de eerste soort). Concluderen dat hij niet paranormaalbegaafd is, terwijl hij het toch is (fout van de tweede soort), vinden we minder erg.We leggen een signifikantieniveau vast, bijvoorbeeld α = 10%, en stellen een betrouwbaarheids-interval voor X op. Als de nulhypothese waar is, hebben we:
X ∼ B(100,0.5)' N(50,5) |H0
121
90%
f
98.21%
f+D
90%
f
69.15%
f-D
Figuur 4.7: Kansdichtheid van de t-verdeling onder de nulhypothese met aanvaardingsgebied(−∞, f ] voor de eenzijdige t-toets. Het oppervlak onder de kromme tussen −∞ en f omvat 90%van de totale kansmassa. De aanvaardingsgebieden in het geval µ = µ0±dSn/n1/2 zijn de interval-len (−∞, f ±d]. De gearceerde oppervlakken tussen −∞ en f ±d in de tekening omvatten 98.2%resp. 69.15% van de totale kansmassa. Uit de figuur zien we dat het oppervlak tussen −∞ en f −dafneemt (naar 0) en tussen −∞ en f +d toeneemt (naar 1) als d toeneemt.
zodat, in benadering:X −50
5' N(0,1)
We kunnen nu gemakkelijk berekenen dat
P(| X −50 |≥ 7
)= P
( |X−50|5 > 6.5
5
)= 1−Φ(1.3) = 0.1936
P(| X −50 |≥ 8
)= P
( |X−50|5 > 7.5
5
)= 1−Φ(1.5) = 0.1336
P(| X −50 |≥ 9
)= P
( |X−50|5 > 8.5
5
)= 1−Φ(1.7) = 0.0892
We nemen dus [42,58] als 10%-aanvaardingsgebied voor X. We bepalen nu de fout van de tweedesoort. Veronderstel dat p = x met 0.1 ≤ x ≤ 0.9 (voor de benadering van de binomiale door denormale). Dan geldt (bij benadering):
X ∼ B(100,x) ' N(100x,
√100x(1− x)
)zodat
X −100x√100x(1− x)
' N(0,1)
en dus vinden we
P(41.5 < x < 58.5) = Φ( 58.5−100x√
100x(1−x)
)−Φ
( 41.5−100x√100x(1−x)
)
We verkrijgen dus de volgende formule voor de machtsfunctie:
β(x) = 1−Φ( 58.5−100x√
100x(1−x)
)+Φ
( 41.5−100x√100x(1−x)
).
Voor x = 0.52 , 0.55 , en 0.60 geeft dit bijvoorbeeld de volgende getalwaarden:
β(0.52) = 1−0.89 = 0.11 , β(0.55) = 1−0.75 = 0.25 en β(0.60) = 1−0.38 = 0.62 .
We zien, dat de kans op een fout van de tweede soort snel afneemt, naarmate de x verder van deH0-waarde 0.5 verwijderd is.
122
+
+
+
+
0%
20%
40%
60%
80%
100%
niveau van de toets: 10%
mac
ht v
an d
e to
ets
als
funk
tie v
an x
µ0
Figuur 4.8: De machtsfunctie β(x) voor de eenzijdige t-toets als functie van x (continue lijn). Tervergelijking is de machtsfunctie voor de tweezijdige t-toets gestippeld ingetekend.
4.4 De Chi-kwadraattoets op een kansverdeling en kruistabel-len
4.4.1 De Chi-kwadraattoets op een kansverdelingIn §§ 3.6-3.7 hebben we gezien, hoe we rijen uniform- en normaalverdeelde random getallen kun-nen maken. In de histogrammen van de voorbeelden in Figuur 3.13 en Figuur 3.18 zien we echtereen vrij grote fluctuatie in de resultaten. We stellen ons de vraag, of deze fluctuaties verklaardkunnen worden als gewone schommelingen van een eindige steekproef binnen ons kansmodel ofniet. In Tabel 3.1 staan de resultaten van het Rutherford-Geiger experiment. Hoe kunnen we onservan overtuigen, dat de Poissonverdeling hiervoor een goed model is?Voor een binomiale verdeling hebben we deze vraagstelling al eerder gezien. We herhalen: wegooien 100 maal met een munt en vinden 55 maal kop. Als de munt “eerlijk” is, wordt zijn gedragbeschreven door de stochastiek X ∼ B(100, 1
2)≈ N(50,5), zodat de kans op een afwijking van 5 ofmeer van het verwachte aantal maal kop gegeven wordt door
P(|X −50| ≥ 5) = P(|X −50| ≥ 4.5) = P(|X −50|
5≥ 0.9) ≈ 2Φ(−0.9) = 0.3682 ,
zodat we geen reden hebben om de nulhypothese, dat de munt eerlijk is, te verwerpen.In het algemeen kunnen we de volgende werkwijze volgen: Gegeven is een stochastische varia-bele Y . We postuleren voor de verdelingsfunctie FY een bepaalde functie F . We voeren dan hetbij Y behorende experiment n maal op onafhankelijke wijze uit (we nemen dus een zogenaamdeaselecte steekproef), en we bekomen n uitkomsten y1, · · · ,yn voor n onafhankelijke stochastischevariabelen Y1, · · · ,Yn. De vraag die zich nu stelt is de volgende:
Hoe goed passen de gegevens y1, · · · ,yn bij de gepostuleerde verdelingsfunctie F?Om deze vraag te beantwoorden gaan we als volgt te werk: neem een partitie ∆ van R:
∆ := (−∞, ξ1, ξ2, · · · , ξk−1, +∞)
123
We verdelen R dus in k disjunkte deelintervallen:
∆1 = (−∞,ξ1) ,
∆2 = [ξ1,ξ2) ,
· · ·∆k−1 = [ξk−2,ξk−1) ,
∆k = [ξk−1,+∞) .
(4.48)
Voor i = 1, · · · ,k nemen we nu de stochastische variabelen Xi en de bijbehorende waarnemingen xigedefinieerd door
Xi := #
j ∈ 1, · · · ,n |Y j ∈ ∆i
en xi := #(y1, · · · ,yn∩∆i
). (4.49)
Xi is dus het aantal keer dat de uitslag van het experiment in het interval ∆i ligt. De kans dat eenwaarneming van Y in het interval ∆i ligt wordt gegeven door
pi = P(Y ∈ ∆i) = FY (ξi)−FY (ξi−1) .
Het aantal waarnemingen Xi, dat in ∆i ligt, zal dus binomiaal verdeeld zijn met kans pi,
Xi ∼ B(n, pi) en E[Xi] = npi .
Om een idee te krijgen van de mogelijke statistische fluctuaties tussen de verdeling van de waar-nemingen yi en de gepostuleerde verdeling, gaan we feitelijke aantallen xi in de verschillendedeelintervallen vergelijken met de verwachte aantallen.
Stelling 4.4.1 Met bovenstaande gegevens geldt voor elke x ∈ R en vaste k:
limn→+∞
FUn(x) = Fχ2k−1
(x) waarbij Un :=k
∑i=1
(Xi−npi
)2
npi. (4.50)
Met andere woorden, voor n groot isk
∑i=1
(Xi−npi)2/npi bij benadering chi-kwadraat verdeeld met
k−1 vrijheidsgraden.
Bewijs. We zullen deze eigenschap enkel bewijzen in het geval dat k = 2. Merk op dat de Xi niet
onafhankelijk zijn, aangezienk
∑i=1
Xi = n. Dit is de reden waarom we k − 1 vrijheidsgraden in de
opgave van de stelling hebben in plaats van k.Voor k = 2 stellen we ξ1 = ξ. We hebben dan
X1 = # j | Yj < ξ ; p1 = P(Yj < ξ)
X2 = # j | Yj ≥ ξ ; p2 = P(Yj ≥ ξ)
X1 +X2 = n ; p1 + p2 = 1
124
We rekenen nu gemakkelijk uit, dat
U2 =
(X1 −np1
)2
np1+
(X2−np2
)2
np2=
(X1−np1
)2
np1+
(n−X1 − (1− p1)n
)2
n(1− p1)
=
(X1 −np1
)2
n
( 1p1
+1
1− p1
)=
(X1−np1
)2
np1(1− p1)
Aangezien X1 binomiaal B(n, p1)-verdeeld is, volgt uit de centrale-limietstelling, dat√
U2 conver-geert naar een standaard-normale verdeling,
limn→+∞
F√U2(x) = Φ(x)
waarbij Φ de verdelingsfunctie van N(0,1) is. Met andere woorden, voor n groot is U2 bij benade-ring chi-kwadraat verdeeld met 1 vrijheidsgraad; dit bewijst het gestelde.
Als toepassing van de voorgaande eigenschap kunnen we nu de χ2-toets opstellen. Schrijf FY voorde werkelijke verdelingsfunctie van Y , en F voor de gepostuleerde (theoretische) verdelingsfunctie.We noteerden reeds
pi = FY (ξi)−FY (ξi−1)
We noteren nupi = F(ξi)−F(ξi−1)
pi kunnen we berekenen (we kennen F), maar pi niet (omdat we FY niet kennen). Als FY = F , danis uiteraard pi = p. Als nulhypothese en alternatieve hypothese nemen we daarom:
H0 : pi = pi voor alle i ∈ 1, · · · , k ,
H1 : pi 6= pi voor minstens een i ∈ i = 1, · · · , k .
Als de nulhypothese H0 waar is, dan isk
∑i=1
(Xi−npi)2/npi ∼ χ2
k−1, en dus hebben we de volgende
beslissingsregel:De χ2-toets: Bereken de χ-waarde c van de gegevens,
c :=k
∑i=1
(xi −npi
)2
npi, en beslis
c ≤ χ2
k−1,1−α =⇒ H0 wordt aanvaard,
c > χ2k−1,1−α =⇒ H0 wordt verworpen.
(4.51)
In feite gaat het hier om een benaderende toets; de benadering is alleen goed genoeg als n voldoendgroot is. Als vuistregel kiezen we de voorwaarde npi ≥ 5. Als voor sommige klassen niet aan dezevoorwaarde voldaan is, kunnen we dit proberen te verbeteren door klassen samen te voegen.
Voorbeeld 4.4.2 In Figuur 3.18 hebben we een histogram gegeven van 1000 random getallen,die uniform verdeeld (zouden moeten) zijn op [0, 1]. De getallen zijn verdeeld in 20 klassen metbreedte 0.05. Onder de nulhypothese, dat de randomgetallen trekkingen zijn uit een uniforme
125
verdeling op [0,1], is het verwachte aantal per klasse 50. De feitelijke aantallen per klasse warenin dit experiment
57 50 58 55 45 49 54 54 40 56 33 62 42 51 45 62 38 60 45 44 ,
zodat de χ-waarde van het experiment gelijk is aan c = 26.08. Vanwege de verdeling in 20 klassenzijn er 19 vrijheidsgraden. We kiezen een significantieniveau van 5% en lezen in de tabel de waardeχ2
19,0.95 = 30.144 af, zodat c in het aanvaardingsgebied [0, 30.144] ligt. De nulhypothese wordt dusaanvaard.
4.4.2 Toets op een verdeling met geschatte parametersVaak zal het voorkomen, dat de gepostuleerde verdeling vrije parameters bevat (zoals de normaleverdeling N(µ, σ) of de Poissonverdeling P(λ)), die geschat moeten worden uit de data zelf. Iedereparameter creeert een extra afhankelijkheid tussen de Xi, gedefinieerd in (4.49) en vermindert hetaantal vrijheidsgraden van de χ2-verdeling met een eenheid.
Voorbeeld 4.4.3 We meten de snelheid van 256 auto’s op een weg, en wensen na te gaan of desnelheid normaal verdeeld is. De metingen zijn samengevat in Tabel 4.2.
snelheid aantal0 – 40 2440 – 45 4845 – 50 6550 – 55 7255 – 60 2960 –100 18
Tabel 4.2:
Uit deze tabel kunnen we een gemiddelde snelheid berekenen van v := 49.4km/u en een steek-proefvariantie van s2 :=
(7.36 km/u
)2. We willen nu verifieren, of de gemeten snelheden normaalN(µ, σ)-verdeeld zijn (eigenlijk “trekkingen uit een normale verdeling” zijn) met behulp van bo-venstaande stelling, waarbij we de gemeten waarden voor gemiddelde v en standaardafwijking sals parameters gebruiken. Met deze waarden tabelleren we de gepostueerde verdelingsfunctie F ,
F(40) = Φ(
40−49.47.36
)= 0.1003
F(45) = Φ(
45−49.47.36
)= 0.2750
F(50) = Φ(
50−49.47.36
)= 0.5319
F(55) = Φ(
55−49.47.36
)= 0.7764
F(60) = Φ(
60−49.47.36
)= 0.9251
126
en we stellen Tabel 4.3 op: Een eenvoudige berekening levert nu de χ-waarde van de data:
snelheid aantal pi npi0 – 40 24 0.1003 25.740 – 45 48 0.1747 44.745 – 50 65 0.2569 65.850 – 55 72 0.2445 62.655 – 60 29 0.1487 38.160 –100 18 0.0749 19.2
Tabel 4.3:
c :=6
∑i=1
(xi −npi
)2
npi= 4.00 .
Dit moeten in het betrouwbaarheidsinterval liggen van een χ2-verdeling met drie vrijheidsgraden;we hebben R immers in 6 deelintervallen opgedeeld en we hebben twee parameters uit de datageschat zodat het aantal vrijheidsgraden 6− 1− 2 = 3 is. We kiezen een signifikantieniveau, bij-voorbeeld 5% en uit de tabellen lezen we dan af, dat χ2
3,0.95 = 7.815 zodat het interval [0, 7.815]het aanvaardingsgebied is. Aangezien 4.00 in dit interval ligt, mogen we de nulhypothese H0aanvaarden op niveau 5%.
Voorbeeld 4.4.4 In Tabel 3.1 hebben we het resultaat gezien van het klassieke Rutherford-Geigerexperiment. We kunnen nu toetsen of deze waarnemingen inderdaad overeenkomen met een Pois-sonverdeling. De nulhypothese is dus, dat deze waarnemingen (onafhankelijke) trekkingen uit eenPoisson-verdeelde stochastiek zijn met parameter λ. Uit de waarnemingen schatten we de para-meter λ = 3.87 d.m.v. het steekproefgemiddelde. Hiermee kunnen we de theoretische verdelingvan kolom 3 berekenen. De χ-waarde van het experiment is c = 12.955. Met een verdeling in 12klassen en een geschatte parameter hebben we 12− 1− 1 = 10 vrijheidsgraden. We kiezen weereen significantieniveau van 5% en lezen in de tabel de waarde χ2
10,0.95 = 18.31 af, zodat c in hetaanvaardingsgebied [0, 18.31] ligt. De nulhypothese wordt dus aanvaard.
4.4.3 Kruistabellen(Eng. Contingency tables) In de praktijk willen we vaak de onafhankelijkheid van twee binaire ei-genschappen toetsen, zoals in het volgende voorbeeld. Aan een faculteit van de VUB studeren 300mannelijke en 150 vrouwelijke studenten en het academisch personeel van die faculteit (licentiaaten hoger) omvat 100 personen, onder wie 20 vrouwen en 80 mannen, zoals uitgezet in Tabel 4.4:Deze getallen suggereren een wanverhouding tussen de aantallen mannelijke en vrouwelijke stu-denten en AP-leden, die je sociologisch zou kunnen interpreteren als “vrouwen hebben minderkans op een academische positie”maar ook als “vrouwen ambieren in mindere mate een academi-sche positie”. Met statistische methoden kun je deze interpretatieverschillen niet wegpraten. Welkun je je neutraal afvragen, of beide eigenschappen onafhankelijk van elkaar zijn en de verhou-dingsverschillen toe te schrijven zijn aan statistische fluctuaties.
127
man vrouw rijsom verhoudingStudent A = 300 B = 150 Ns = 450 ps = Ns
N = 450550
Academ. Pers. C = 80 D = 20 Na = 100 pa = NaN = 100
550Kolomsom Nm = 380 Nv = 170 N = 550Verhouding pm = Nm
N = 380550 pv = Nv
N = 170550
Tabel 4.4:
Uit de tabel schatten we de fracties mannen en vrouwen, pm en pv = 1− pm, en de fracties studentenen AP-leden, ps en pa = 1− ps . We toetsen de nulhypothese
H0: De eigenschappen Man/Vrouw en Student/Acad.Personeel zijn onafhankelijktegen het alternatief
H1 : De eigenschappen Man/Vrouw en Student/Acad.Persononeel zijn wel afhankelijk
op het niveau α (b.v. α = 0.1).Onder de nulhypothese zou voor de aantallen in de verschillende groepen moeten gelden
aantal mannelijke studenten : A = N pm ps ,aantal vrouwelijke studenten : B = N pv ps ,aantal mannelijke Acad.Pers. : C = N pm pa ,aantal vrouwelijke Acad.Pers. : D = N pv pa ,
en dus zou de kans dat een persoon uit de steekproef mannelijk en student is B(N, pm ps)-verdeeldmoeten zijn. Voor C etc. gelden dan overeenkomstige binomiale verdelingen. Met een χ2-toetskunnen we dus toetsen of de data een trekking zijn uit deze verdeling. In de tabel hebben we viergegevens waaruit we drie parameters, N, pm en pa schatten. Evenals hierboven houden we nog eenvrijheidsgraad over en moeten dus een χ2
1-toets doen.
Stelling 4.4.5 Onder de nulhypothese convergeert de verdeling van ZN ,
ZN :=(A−N pm ps)
2
N pm ps+
(C−N pm pa)2
N pm pa+
(B−N pv ps)2
N pv ps+
(D−N pv pa)2
N pv pa≈ χ2
1
naar een χ21-verdeling met een vrijheidsgraad.
Bewijs. Een strikt bewijs ligt buiten het bereik van deze syllabus. Wel kunnen we het resultaatacceptabel maken alsvolgt. De aantallen A , B , C en D zijn onderling afhankelijk en voldoen aande relaties
A+B+C +D = NA+C = N pm
A+B = N ps
B+D = N pv = N(1− pm)
C +D = N pa = N(1− ps)
128
Als we dit invullen in de expressie voor ZN , dan vinden we
ZN =(A−N pm ps)
2
N pm ps(1− pm)(1− ps)
Het aantal A is volgens de aanname H0 binomiaal verdeeld met verwachtingswaarde N pm ps. Als Nnaar oneindig gaat, convergeert deze dus naar een normale verdeling. Het kwadraat (A−N pm ps)
2
convergeert dan naar de χ21-verdeling, als dit kwadraat correct geschaald wordt door deling door de
variantie. Wegens afhankelijkheid tussen A, pm en ps mogen we hiervoor echter niet N pm ps(1−pm ps) nemen, maar moeten we het grotere bedrag N pm ps(1− pm)(1− ps) nemen.
Met de cijfers van de tabel en het resultaat van deze stelling kunnen we de toets uitvoeren. Wevinden
Z550 =(300−380 · 450
550)2
380 · 450550
+ · · · = 6.811 .
Het aanvaardingsgebied op het 5%-niveau is [0, 3.841] en op het 1%-niveau [0, 6.635]. We ver-werpen de nulhypothese dus met een betrouwbaarheid van (meer dan) 99%.Deze toets kan eenvoudig uitgebreid worden naar problemen met 3 of meer rijen en/of kolommen.Hiervoor verwijzen we naar de literatuur.
4.5 Correlatie- en regressieanalyseAlgemeen wordt aangenomen, dat er een verband is tussen de lengte van ouders en die van hun(volwassen) kinderen. Om kwantitatieve resultaten betreffende dit verband te verkrijgen, bestu-deerde F. Galton (1822-1911) (onder andere) de dataset uit de volgende tabel, waarin voor 205ouderparen en hun 928 volwassen kinderen de aantallen kinderen in iedere lengteklasse zijn uit-gezet tegen de lengte van hun ouders. Omdat vrouwen gemiddeld 8% kleiner zijn dan mannen isde lengte van vrouwen met 1.08 vermenigvuldigd. De lengte van de ouders is dan een gewogengemiddelde van de lengten van de vader en de moeder,
ouder-lengte :=12
vader-lengte+1.08×moeder-lengte
Uit Tabel 4.5 en Figuur 4.9 zien we, dat de lengteverdeling van de groep kinderen met dezelfdeouderlengte (rijen in de tabel) min of meer normaal is, en dat dit ook geldt voor de lengteverde-ling van een groep ouders met kinderen van dezelfde lengte (kolommen in de tabel). Als we degemiddelde lengte van de kinderen en de standaardafwijking daarin uitzetten tegen de lengte vanhun ouders, krijgen we grafiek 4.10 als resultaat. Uit deze figuren zien we, dat de gemiddeldelengte van kinderen met ouders in dezelfde lengteklasse ongeveer op een rechte lijn liggen en datde standaardafwijking in deze gemiddelden ongeveer constant is. De lengte van een ouderpaar ende lengte van een kind van dat paar zijn stochastische variabelen, die kennelijk niet onafhankelijkzijn. Laten we ze aanduiden met Xi resp. Yi, dan vermoeden we op grond van Figuur 4.10 eenverband tussen x en de voorwaardelijke kansverdeling voor P(Y |X = x) van de vorm:
E[
Yi∣∣ Xi = x
]= a+bx (4.52)
129
kinderlengte
kleiner 157.0 159.5 162.0 164.5 167.0 169.5 172.0 174.5 177.0 179.5 182.0 184.5 groter
ouderlengte
groter 0 0 0 0 0 0 0 0 0 0 0 1 3 0
182.5 0 0 0 0 0 0 0 1 2 1 2 7 2 4
180.0 0 0 0 0 1 3 4 3 5 10 4 9 2 2
177.5 1 0 1 0 1 1 3 12 18 14 7 4 3 3
175.0 0 0 1 16 4 17 27 20 33 25 20 11 4 5
172.5 1 0 7 11 16 25 31 34 48 21 18 4 3 0
170.0 0 3 5 14 15 36 38 28 38 19 11 4 0 0
167.5 0 3 3 5 2 17 17 14 13 4 0 0 0 0
165.0 1 0 9 5 7 11 11 7 7 5 2 1 0 0
162.5 1 1 4 4 1 5 5 0 2 0 0 0 0 0
kleiner 1 0 2 4 1 2 2 1 1 0 0 0 0 0
Tabel 4.5: Galton’s dataset. Bij iedere lengteklasse van ouders is het aantal kinderen per lengte-klasse gegeven.
0
10
20
30
40
150 160 170 180 190
rij 7
0
10
20
30
40
150 160 170 180 190
kolom 8
Figuur 4.9: Rij 7 en kolom 8 van bovenstaande tabel getekend als histogram.
en we vragen ons af, hoe we a en b zouden kunnen schatten. Aangezien de variantie onafhankelijkvan x lijkt, ligt het voor de hand om te proberen dit zo te doen, dat (een veelvoud van) de totalesteekproefvariantie
n
∑i=1
(Yi −E
[Yi∣∣ Xi = xi
])2=
n
∑i=1
(Yi −a−bxi)2 (4.53)
minimaal is. In de praktijk hebben we n koppels metingen (xi,yi)|i = 1 · · ·n, waartussen eenlineair verband wordt vermoed: yi = a + bxi en leidt dit dus tot zoeken van de parameters (a,b)die (een veelvoud van) de empirische variantie ∑n
i=1(yi − a− bxi)2 minimaliseren. Meetkundig is
dit de som van de kwadraten van de afstanden van de punten (xi,yi) tot de rechte a + bx gemetenlangs de Y -as. De best passende rechte a + bx wordt vaak de “regressierechte” genoemd met“intercept” a en helling b. In Figuur 4.10 merken we op dat de gemiddelde lengte van kinderenvan grote ouders kleiner is dan de lengte van de ouders, terwijl de gemiddelde lengte van kinderenmet kleine ouders juist groter is. Dit verschijnsel, dat het gemiddelde van een deelgroep terugschuift naar het algemene gemiddelde van de populatie, werd door Galton “regressie” genoemd.
130
160
170
180
160 170 180
o
oo
oo
ooo
oo
0
2
4
6
160 170 180
o
ooo
oo
o
o
oo
Figuur 4.10: De gemiddelde kinderlengte (links) en de standaardafwijking (rechts) als functie vande ouderlengte.
Als we precies zijn noemen we dit regressie van Y op X , waarbij X als de onafhankelijke en Y alsde afhankelijke variabele wordt gezien.We kunnen het probleem natuurlijk ook omdraaien en de regressie van X op Y zoeken, d.w.z. eenverband zoeken van de vorm
E[
Xi∣∣ Yi = y
]= c+dy. (4.54)
Hierbij minimaliseren we ook (een veelvoud van) de totale steekproefvariantien
∑i=1
(Xi− c−dyi)2. (4.55)
Dit zal niet het inverse resultaat geven van (4.52-4.53), omdat we voor (4.53) de som van kwadratenvan de afstanden van de punten (xi,yi) tot de lijn a+bx meten langs de Y -as, terwijl we voor (4.55)de afstanden meten langs de X -as.
Kleinste-kwadratenproblemen
(Eng. least squares, Fr. moindres carres)Problemen van de vorm (4.52-4.54) worden in het algemeen kleinste-kwadratenproblemen ge-noemd. Hierbij zijn n koppels metingen (xi,yi)|i = 1, . . . ,n gegeven, die zouden moeten voldoenaan het lineaire verband yi = a+bxi (voor regressie op x). Tengevolge meetfouten en/of variabiliteitvan het specimen zullen de data echter afwijkingen van het ideaal vertonen. We proberen daaromparameters a en b te vinden die de som van de kwadraten van de afwijkingen J(a,b) minimaliseert:
J(a,b) :=n
∑i=1
(yi−a−bxi)2. (4.56)
M.a.w. vindt de parameters (a∗,b∗) zodat
J(a∗,b∗) ≤ J(a,b) ∀ (a,b) ∈ R2. (4.57)
Er zijn naast het bovenbeschreven voorbeeld vele andere voorbeelden te geven, die als een kleinste-kwadratenprobleem geformuleerd kunnen worden, zoals:
xi : spanning over een weerstand
yi : stroom door die weerstand
xi : luchttemperatuur
yi : geluidsfrequentie van een krekel
131
De eenvoudigste oplosmethode voor (4.57) gaat via de normaalvergelijkingen. J is een som vankwadraten en dus altijd positief. Als J een minimum heeft in (a,b), dan zijn de partiele afgeleidener nul:
J(a,b) = minimaal =⇒ ∂J∂a
= 0 en∂J∂b
= 0, (4.58)
zodat ∂J∂a
(a,b) = −∑ni=1 2(yi −a−bxi) = 0,
∂J∂b
(a,b) = −∑ni=1 2xi(yi −a−bxi) = 0.
We vinden zo het stelsel vergelijkingen
a n + b ∑ni=1 xi = ∑n
i=1 yi ,
a ∑ni=1 xi + b ∑n
i=1 x2i = ∑n
i=1 xi yi .
In matrix-vector vorm geschreven is dit
n ∑ni=1 xi
∑ni=1 xi ∑n
i=1 x2i
a
b
=
∑ni=1 yi
∑ni=1 yi xi
(4.59)
met als oplossing:
a
b
=
1
n ∑i x2i −
(∑i xi
)2
∑i x2i −∑i xi
−∑i xi n
∑i yi
∑i yixi
(4.60)
Deze formules voor de berekening van(a
b
)zijn potentieel gevaarlijk wegens numerieke instabiliteit
als het gemiddelde x := 1n ∑i xi groot is t.o.v. de spreiding sx in xi,
s2x :=
1n−1 ∑
i(xi − x)2 =
1n−1
(∑
ix2
i −nx2)
en hetzelfde voor het gemiddelde van yi en de spreiding daarin. De reden is dat bij de aftrekking
∑x2i − nx2
groot cijferverlies kan ontstaan als beide operanden van ongeveer gelijke grootte zijn. Dezelfdeopmerking is ook al gemaakt in § 2.4 bij de bespreking van formule (2.54), die voor theoretischeberekeningen vaak heel handig kan zijn maar die in de praktijk vanwege afrondfouten een slechtresultaat kan geven.
132
Meetkundige interpretatie
We kunnen de vectoren
x :=
x1
x2...
xn
, y :=
y1
y2...
yn
en e :=
1
1...
1
als vectoren in Rn beschouwen. De som van kwadraten
J(a,b) =n
∑i=1
(yi−a−bxi)2
is dan precies het kwadraat van de (Euclidische) lengte van de verschilvector
y−ae−bx = y−A(
ab
)
waarbij A een n×2-matrix is,
A :=
1 x1
1 x2...
...
1 xn
∈ Rn×2
De lengte van de verschilvector y−A(a
b
)is minimaal als deze loodrecht staat op de beeldruimte
Im(A) van A; d.w.z.:
y−A(
ab
)⊥ vect[e,x]
ofwel, met (·, ·) als notatie voor het inprodukt,(
w , y−A(
ab
))= 0 ∀ w ∈ Im(A).
Aangezien Im(A) = A z | z ∈ R2 geldt dus(
Az , y−A(
ab
))= 0 ∀ z ∈ R2.
We mogen A getransponeerd naar de andere zijde van het inprodukt overbrengen, zodat(
z , AT y−AT A(
ab
))= 0 ∀ z ∈ R2
en zo vinden we opnieuw de normaalvergelijkingen van (4.59):
AT A(
ab
)= AT y (4.61)
Dit heten de normaalvergelijkingen behorende bij het kleinste-kwadratenprobleem (4.57) omdathet residu y−A
(ab
)normaal is (= loodrecht staat) op Im(A).
133
Verbetering van de numerieke stabiliteit
Zoals gezegd kan de berekening van a en b met behulp van de normaalvergelijkingen tot desastreu-ze resultaten leiden t.g.v. numerieke instabiliteit van de formules. In een kleinste-kwadratenprobleemmet twee variabelen is dit eenvoudig te voorkomen door de data te verschuiven zodat hun gemid-delde nul is:In plaats van het model yi = a+bxi werken we beter met het model
yi − y = α+β(xi − x), y :=1n ∑
iyi, x :=
1n ∑
ixi (4.62)
In dit geval moeten we de functie
J(α,β) :=n
∑i=1
(yi − y−α−β(xi − x))2
minimaliseren, hetgeen zoals boven leidt tot de normaalvergelijkingen
n 0
0 ∑ni=1(xi − x)2
(
αβ
)=
0
∑ni=1(xi− x)(yi− y)
(4.63)
zodat
α = 0 en β =∑n
i=1(xi− x)(yi− y)∑n
i=1(xi− x)2 (4.64)
Met de volgende meetkundige interpretatie kunnen we aanemelijk maken, waarom dit beter is. Inplaats van de basis e,x hebben we in Im(A) de orthogonale basis
e,x− xe :=
1
1...
1
,
x1 − x
x2 − x...
xn − x
gekozen. Dit maakt de berekening van de projektie niet alleen gemakkelijker, maar ook nauw-keuriger. Bovendien staat de vector y− ye loodrecht op e zodat het probleem tot een dimensie isteruggebracht.Merk op, dat we voor de regressie van x op y, waarbij we ∑i(xi−x−γ−δ(yi−y))2 minimaliseren,het analoge resultaat vinden:
γ = 0 en δ =∑n
i=1(xi − x)(yi − y)∑n
i=1(yi − y)2
Hieruit zien we, dat de richtingscoefficienten β en δ niet elkaars inversen zijn, maar dat voor hunprodukt geldt βδ = ρ2, waar ρ de empirische correlatiecoefficient is (zie (2.73)). Als de correlatienul is, valt er dus geen regressierechte te trekken, en als de correlatie ±1 is, liggen alle puntenprecies op deze rechte.
134
In het algemene geval van een lineair kleinste-kwadratenprobleem voor een gegeven matrix A ∈Rm×n en een rechterlid b ∈ Rm met m > n zoeken we een vector x∗ zodat
‖Ax∗−b‖22 ≤ ‖Ax−b‖2
2 ∀ x ∈ Rn. (4.65)
De normaalvergelijkingen hebben opnieuw de vorm (4.61) maar zijn potentieel niet numeriek sta-biel. Beter is het om een QR-ontbinding van A te maken; dit is een ontbinding van A in een produktvan een orthogonale matrix Q en een bovendriehoeksmatrix R, zodat A = QR. De oplossing kandan eenvoudig berekend worden uit de vergelijking Rx = QT b. Voor details verwijzen we naar eenstandaard inleidend boek over Numerieke Analyse (b.v. dat van Bulirsch & Stoer).
Een stochastisch model met een onafhankelijke variabele
Voor metingen maken we vaak het model
Y = a +bx + ε met ε ∼ N(0,σ) (4.66)
waarin ε een random fout (meetfout of variatie in het specimen) representeert. Als we n onafhan-kelijke metingen doen van de grootheid Y voor n verschillende waarden van x om de parameters aen b te schatten, dan is de volgende stelling, die we vermelden zonder bewijs, van
Stelling 4.5.1 Laten Y1,Y2, . . . ,Yn met Yi ∼ N(a + bxi,σ) onafhankelijke stochastieken zijn voorgegeven waarden van x1, · · · ,xn, dan geldt:
1. De schatters A, B en S, gedefinieerd door
A := Y −Bx
B := ∑ni=1(xi − x)(Yi −Y )
∑ni=1(xi − x)2 (4.67)
S2 :=1
n−2
n
∑i=1
(Yi −A−Bxi)2
zijn zuivere (unbiased) schatters voor a, b en σ2.
2. A en B zijn normaal verdeeld met verwachtingswaarden E[A] = a en E[B] = b en met vari-anties
Var[B] =σ2
∑ni=1(xi − x)2 , Var[A] =
σ2 ∑ni=1 x2
in ∑n
i=1(xi− x)2 (4.68)
3. De variabele
T :=(B−b)
√∑n
i=1(xi − x)2
S(4.69)
is student-tn−2 verdeeld met n−2 vrijheidsgraden.
135
We merken op, dat A en B precies de kleinste-kwadratenoplossingen (4.64) zijn.Formule (4.69) stelt ons in staat om betrouwbaarheidsintervallen op te geven rond de kleinste-kwadratenschatting. Als we op grond van een serie metingen een schatting s vinden van de stan-daardafwijking en de kleinste-kwadratenoplossing y := a+ bx berekenen, dan is het betrouwbaar-heidsinterval rond y op het niveau α (met betrouwbaarheid 1−α) gegeven door
[ y−w , y+w ] met w := tn−2,1− 12 α s
√(1n
+(x− x)2
∑ni=1(xi − x)2
)(4.70)
Tenslotte kan het interessant zijn, te weten hoe groot het interval rond y is waarbinnen een volgendewaarneming met kans 1−α gaat vallen. Dit noemen we het “prediction interval”. Hiertoe moetenwe A+Bx−Y (en niet y−a−bx) schatten. We vinden na enig rekenwerk het grotere interval met
[ y−wpr , y+wpr ] met wpr := tn−2,1− 12 α s
√(1+
1n
+(x− x)2
∑ni=1(xi − x)2
). (4.71)
Hierbij is s de schatting (de gemeten waarde) van σ.
136
Index
aanvaardingsgebied 107alternatieve hypothese 107Bernoulli-experiment 47betrouwbaarheidsinterval 99bimodale verdeling 38binomiaalcoefficienten 50binomiaalverdeling 51Binomium van Newton 50Borelstam 16Box-Muller transformatie 80Cauchy-verdeling 36centrale moment 35chi-kwadraat toets 110chi-kwadraat toets 123chi-kwadraat verdeling 86continuıteitscorrectie 78continue uniforme verdeling 69continue verdeling 23convergentie in verdeling 74correlatie 42covariantie 42discrete uniforme verdeling 68discrete verdeling 23driehoek van Pascal 50empirische variantie 10empirische variantie 100empirische verdelingsfunctie 7exponentiele verdeling 65Fischer-Snedecor verdeling 93fout van de eerste soort 118fout van de tweede soort 118F-toets 111F-verdeling 93Gamma-verdeling 67gemengde variantie 113geometrische verdeling 57halfwaardetijd 66
histogram 6hypergeometrische verdeling 55intercept 130interkwartiel 39kansmaat 17kansvector 25karakteristieke functie 45klassebreedte 6kleinste-kwadratenproblemen 131kritieke zone 107kruistabellen 127kurtosis 41macht van een toets 118marginale kansverdeling 26mediaan 37mediaan 9mediane absolute afwijking 10mediane absolute afwijking 39meetbare verzameling 19modus 38modus 9multimodale verdeling 38normaalvergelijkingen 133nulhypothese 107onafhankelijke gebeurtenissen 14onafhankelijke stochastische variabelen 28overschrijdingskans 108percentiel 24percentiel 8Poissonverdeling 59prediction interval 136random getallen 70regressierechte 130risico verhouding 67robuust 9Rutherford-Geiger-Marsden experiment 61ruwe gegevens 6
137
ruwe moment 35schatter 97schatting 97scheefheidscoefficient 41signifikantieniveau 107staafdiagram 23standaard normale verdeling 72standaardafwijking 10standaardafwijking 33statistiek 97steekproef 6steekproefgemiddelde 9steekproefomvang 6steekproefvariantie 100Stirling formule 48stochastiek 20stochastische variabele 20toevalsveranderlijke 20t-toets 106t-verdeling 89UMP 120UMPU 121uniform machtigste toets 120uniform machtigste zuivere toets 121unimodale verdeling 38variantie 33verdelingsfunctie 20verdelingsfunctie 26vergeetachtigheid 65verwachtingswaarde 31wet van de grote getallen 25zuivere schatter 97zuivere toets 120
138
