Cursus Probabilistisch Ontwerpen en Statistiek -

Betonvereniging

27 September 2005

Pieter van Gelder

TU Delft (Fac. Civiele Techniek)

ROC ASA Techniek ScutosColumbuslaan 540Utrecht

Opbouw cursus• Les 1 Kansrekening• Les 2 Statistiek• Les 3 Kansrekening, inleiding betrouwbaarheidsanalyse• Les 4 Betrouwbaarheidsanalyse• Les 5 Voorschriftentheorie• Les 6 Beslistheorie, design-by-testing, tijdafhankelijkheid• Les 7 Systemen, case studie

Opzet lesblok 2

• Wat is statistiek ?

• Stochastische variabelen

• Schattingsmethoden voor de verdelingsparameters

• Waarschijnlijkheidspapier

• Bestfit berekeningen

Terugblik op lesblok 1

• Wat is probabilistisch ontwerpen?

• Kans en gebeurtenis

• Systeem faalkansen

Verschil tussen kansrekening en statistiek

• Het woord statistiek is afkomstig van de moderne Latijnse zin statisticum collegium (les over staatszaken), waar het Italiaanse woord statista van af is geleid, wat "staatsman" of "politicus" (vergelijk ons woord status) en het Duitse Statistik, wat oorspronkelijk de analyse van staatsgegevens betekende.

• Statistiek is een tak van wetenschap, onderdeel van de wiskunde. Statistici verzamelen gegevens over een bepaald onderwerp en interpreteren de vergaarde gegevens. Waarschijnlijkheidsrekening of kansrekening is een tak van de wiskunde die gericht is op kansen van gebeurtenissen en verwachtingswaarden.

Statistiek voor de betonconstructeur

Statistiek voor de betontechnoloog

• Beschrijving verhardingsproces middels niet-lineaire regressie (druksterkte als functie van de verhardingstijd (in jaren))

• Variabiliteit in kubusdruksterkte van proefstukken (afhankelijk van water-cement factor, van luchtgehalte, volumieke massa, chloride gehalte, etc)

• Probabilistische formulering van goed- en afkeuringseisen van beton (mu-k.sigma > vereiste karakteristieke druksterkte)

Normale verdeling

-4 -2 0 2 4 60

0.1

0.2

0.3

0.4

0.5

x

f R(x

)

gemiddelde, indicatie voor ligging standaarddeviatie, indicatie voor spreiding

2

x

2

1

R e21

xf

kansdichtheid

Standaard normale verdeling

• Normaal verdeelde variabele X:•

• Standaard normaal verdeelde variabele u:

• Kansdichtheid: Kansverdeling:

1

0

u

u

tabel

uX XX ofwelX

XXu

2y

2

1

u e2

1yyf

y

u dyyyyF)yU(P

Normale verdeling

• Waarom zo populair?

• Centrale limietstelling:• Som van veel variabelen (met willekeurige

verdelingen) is (bijna) normaal verdeeld.

• Y = X1 + X2 + X3 + X4 + ….

Centrale limietstelling

•

Normale verdeling

-4 -2 0 2 4 60

0.2

0.4

0.6

0.8

1

x

f R(x

)Normale verdelingen

R

R

R

• Voor onafhankelijke stochasten X en Y geldt dat:

• VAR(X+Y) = VAR(X) + VAR(Y)

• voor de standaardafwijking van de som van 2 stochasten geldt dus de stelling van Pythagoras.

Andere verdelingstypen• Verdelingstype = ‘vorm van de verdeling’

• Uniforme verdeling

• Lognormale verdeling•

GumbelverdelingWeibullverdeling

• Gammaverdeling• ….

Uniforme verdeling

fR()

a b

1/(b-a)

oppervlak = totale kans = 1

Gemiddelde = (a+b)/2

Standaarddeviatie = (b-a)/12

Snelle kenmerken

• Gemiddelde• (zwaartepunt)

• Variantie•

• Standaarddeviatie

• Variatiecoefficient

dxxfx XX

dxxfx X2

X2X

X

X

XXV

Lognormale verdeling

0 1 2 3 4 50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

X

X

fX()

Lognormale verdeling

x

fx

X : lognormale verdeling

y

fY

Y = ln(X) : normale verdeling

Lognormale verdelingy

fX() : lognormaal

fY(y) : normaal

Als X lognormaal is verdeeld, dan isY = ln(X) normaal verdeeld

y = ln ofwel= exp(y)

Lognormale verdeling• X lognormaal verdeeld Y = ln(X) normaal verdeeld

• Kansdichtheidsfunctie voor X:

• waarin Y en Y parameters van de lognormale verdeling:

Y gemiddelde waarde van Y (dus niet van X !!)

Y standaarddeviatie van Y (dus niet van X !!)

2Y

2Y

YX

2

lnexp

2

1f

0

Lognormale verdeling

• X lognormaal verdeeld Y = ln(X) normaal verdeeld

1)exp(

)exp(

2YXX

2Y2

1YX

2X

2X

Y

2Y2

1XY

1ln

ln

)V1ln( 2X

Lognormale verdeling

• Afgeleide van centrale limietstelling:• Product van veel variabelen met willekeurige

verdelingen is (bijna) lognormaal verdeeld

• dus log y (bijna) normaal verdeeld.

• Definitie: log y normaal y lognormaal

n21

n21

xlog...xlogxlogylog

x...xxy

Asymptotische verdelingen

• Normal

• Lognormal

• Weibull

• Gumbel

...YYYX 321

...*Y*Y*YX 321

,...Y,Y,YminX 321

,...Y,Y,YmaxX 321

Voorbeeld: gumbelverdeling

0 50 100 150 200 250 300 350 400 450 500 550 6000

1

2

3

4

5

6

7

8x 10

-3

winddruk (0.5 * rho * U 2pot

) in N/m2

kans

dich

the

id (

m2 /N

)

jaarmaxima Schiphol 1950-2002

Gumbelverdeling

Oefening

• Een variabele R is normaal verdeeld met:• Gemiddelde = 50• Standaarddeviatie = 10

• Bepaal:• a. P(X < 40)• b. P(X > 60)• c. P(40 < x < 60)

Tabel van de cumulatieve standaard normale verdeling

Presenteren van grote datasets• In een histogram

• Op waarschijnlijkheidspapier

Bij een histogram worden de waarnemingen geklassificeerd

• Ordenen van n gegevens

• Aantal klassen:

• Klassen zijn bij voorkeur even breed

5 20 n

Histogram

• Horizontale as verdelen in intervallen

• Kolom plaatsen boven elk interval

• Oppervlak van kolom geeft frequentie aan!

• Kolomhoogte: frequentie / kolombreedte

Histogram

• Boekenprijzen (Euro’s):• 25 45 35 25 30 70

20 45 65 30 40 4035 45 55 35 32 3728 45 49 39 40 6029 34 47 35 45 4935 45 34 28 34 5448 38 32 39 45 58

Histogram

• Aantal klassen: sqrt 42 = 7

• hoogste - laagste = 70 - 20 = 50

• klasse breedte ca. 50 / 7 ca. 7

Histogram 4

• klasse frequentie freq/kb (eenh=5)17,5 - 27,5 3 3/227,5 - 32,5 7 7/132,5 - 37,5 9 9/137,5 - 42,5 6 6/142,5 - 47,5 8 8/147,5 - 57,5 5 5/257,5 - 77,5 4 4/2

Kansdichtheidsfunctie• Frequentie uit histogram wordt genormeerd

naar kans• De verdeling van een discrete stochastische

variabele kun je vastleggen in een zogenoemde kansfunctie van die variabele.

• Als stochastische variabele X is, met de mogelijke uitkomsten x, dan wordt de kansdichtheidsfunctie aangeduid met f(X=x), vaak ook: P(X=x). (P van probability)

Normaal waarschijnlijkheidspapier

• De verticale as is verdeeld van 0% tot 100% op een zodanige wijze, dat de kansdichtheidsfunctie van een normale verdeling een rechte lijn is.

• Zet de data gesorteerd (van klein naar groot) uit tegen i/N+1 waarbij i het volgnummer van de waarneming en N het totaal aantal waarnemingen

Momenten van Random Variables

Methode der Momenten voor het schatten van verdelingsparameters

• D.m.v. gelijkstelling van de verdelings-momenten aan de steekproefmomenten

• Voorbeeld uniforme verdeling (uitwerking op bord)

• Verdelingsfuncties hebben vrije parameters die zodanig gekozen moeten worden, dat ze zo goed mogelijk de data beschrijven (een lijn die z.g.m. het histogram van de data benadert)

• De methode der momenten levert schatters op voor de onbekende parameters in een verdelingsfunctie

Den

sity

0 5000 10000 15000 20000 25000 30000 35000

0.00

000

0.00

010

0.00

020

Bepalen van de kansdichtheidsfunctie op waarnemingen

Drukstekte van 31 beton elementen

druksterkte

= 8621 S = 8194 n = 31

x

Den

sity

0 5000 10000 15000 20000 25000 30000 35000

0.00

000

0.00

010

0.00

020

Kansdichtheidsfunctie 1

Den

sity

0 5000 10000 15000 20000 25000 30000 35000

0.00

000

0.00

010

0.00

020

Kansdichtheidsfunctie 2

Bestfit

• Het programma bestfit bepaalt bij een gegeven dataset (die bijv. ingevoerd kan worden met copy and paste vanuit Excel) van een 20-tal verdelingsfuncties de optimale parameters (d.m.v. een zogenaamde maximum likelihood methode)

Demo Bestfit

• Goodness of fit criteria– Chi Square (in PDF domain)– Kolmogorov (in CDF domain)

pointsdata

1 i

2ii2

measured

)predictedmeasured(

i

BijvoorbeeldP(2 1.3, n = 3) ≈ 73% (af te lezen uit bijgesloten grafiek). De kans dat 2 1.3 met 3 vrijheidsgraden door toeval is 0.73. Dus de data wordt goed beschreven door het model.

Kolmogorov-Smirnov Test

• Het berekent de grootste afstand tussen de doel CDF FX(x) en de geobserveerde CDF, F*(X).

• De test grootheid D2 is:

waarbij X(i) is de i-de grootst geobserveerde waarde is in de steekproef ter lengte n.

)(

)()(*

)(

1

)()(

12

max

max

iX

n

i

iX

in

i

XFn

i

XFXFD

Resume• Bestfit is een pakket waarmee de beste verdelingsfunctie bepaald

kan worden bij een gegeven dataset (van bijv. druksterkten)• De optie ‘stats’ in Bestfit laat de ordening zien op basis van een Chi-

kwadraat en een KS-criterium• Onderschrijdings-, overschrijdings-, en intervalkansen van een

stochast kunnen berekend worden met de uitvoer van Bestfit• Voorbeelden zijn behandeld van de exponentiele, Normale en

Pareto verdeling. Bij de normale verdeling dient een tabel gebruikt te worden, omdat de cumulatieve verdeling niet analytisch beschikbaar is.

• Bij het sommeren van stochasten neemt de standaardafwijking niet-linear toe volgens een wortel functie. Het gevolg hiervan is dat de variatiecoefficient van het gemiddelde fors lager is dan de variatiecoefficient van een enkele stochast. De simulatie met het sinaasappelvoorbeeld liet dit duidelijk zien.

Voer een statistische analyse uit van de volgende datasets (breuktaaiheid)

• 3• 5• 8• 11• 14• 18• 22• 26• 30• 35• 40• 46• 52• 60• 69• 80• 95• 115• 150

40,8

82,7

37,6

26,2

56,2

103,3

35,1

71,2

32,3

48,3

23,9

87,7

90,8

65,9

119,3

19,5

115,5

32,9

64,7

100,5

103,5

45,6

26,8

59,2

74,8

20,2

88,9

31

106,9

22,1

Statistiek van discrete stochasten

Bernoulli-verdeling• Slechts twee uitkomsten mogelijk! De

stochastische variabele X kan dus twee waarden aannemen (1=success of 0=failure).

• Dus ook slechts twee kansen.

• P(X=1) en P(X=0)

• Soms zijn ze gelijk, i.h.a. niet.

Bernoulli-verdeling (vervolg)• Kans op slagen (1) voor rijbewijs gelijk na het

eerste examen = 30%. Kans op niet slagen (0) gelijk na eerste keer = 70%.

• De som van de twee kansen is altijd 1.• De succeskans wordt meestal aangeduid met p.• De kans op geen succes met q (=1-p).

Bernoulli-verdeling (vervolg)

• p+q=1=p (verwachting)2=p.q (variantie) = p.q

Binomiale-kansverdeling • De binomiale-verdeling heeft als kenmerken:

– We doen een vast aantal (n) experimenten– ieder experiment heeft 2 uitkomsten (1 of 0)– Experimenten zijn onafhankelijk– De kans op gunstige uitkomst (p) tijdens alle

experimenten is constant.

• Kortom: een rij van een vast aantal Bernoulli-experimenten. Uitkomsten=aantal successen in een rij

Binomiale-kansverdeling (verv.)

• Formule: P(X=k) =

• n = aantal experimenten • p = kans op succes• q = kans op mislukking = (1-p)• k = waarde die de stochastische variabele

X aanneemt (aantal successen in rij van n Bern.exp.)

knkqpk

n

nbovenk

Binomiale-verdeling (verv.)

• Voorbeeld. Stel een tentamen bestaat uit 10 multiple-gok vragen (met 4 keuzes). Een student kruist de antwoorden volledig willekeurig aan. Hoe groot is de kans op een voldoende?

• Oplossing: P(voldoende)=1-P(onvoldoende)

Binomiale-verdeling (verv.)

• P(onvoldoende)=P(k<=6), waarbij k aantal goed beantwoorde items is.

• P(k=1)=(10boven1).0,251.0,759 = 0,1877

• P(k=2)=(10boven2).0,252.0,758 = 0,2816

• P(k=0)=0,056

Binomiale-verdeling (verv.)• P(k=3)= 0,24• P(k=4)= 0,146• P(k=5)= 0,058• P(k=6)= 0,020• P(k=7)= 0,003

• P(voldoende)=1-(0,056+0,1877+0,2816+0,24+0,146+0,058+0,02)= 1-0,9893= 0,0107 (1%)

Binomiale-verdeling (verv.)

• Vaak wordt in tabellen gebruik gemaakt van de gecumuleerde waarde.– P(X<=0) = 0,056– P(X<=1) = 0,056+0,1877=0,2437– P(X<=2) = 0,2437+0,2816=0,5253– P(X<=3) = 0,5253+0,24=0,7653– P(X<=4) = 0,7653+0,146=0,9113– enzovoorts.

Binomiale-verdeling (verv.)

• Voordeel cumulatieve tabel; je leest de waarde gelijk af.

= n.p (verwachting)2 = n.p.q (variantie)=n.p.q (standaarddeviatie)

Geometrische-verdeling• Hierbij gaat het (weer) om een rij Bernoulli-

experimenten. Elk experiment heeft (weer) dezelfde kans op succes (p).

• Er worden telkens zoveel experimenten uitgevoerd tot er een succes is. Dit variabele aantal experimenten is hier de stochastische variabele (N)

• {S, FS, FFS, FFFS, FFFFS, enz.)• n =1, 2, 3, 4, 5,

Geometrische-verdeling (verv.)

• P(N=n)=p.qn-1

= 1/p (verwachting)2 = q/p2 (variantie)

Discrete kansverdelingen

• Reeds behandeld:– discrete uniforme verdeling– Bernoulli-verdeling– binomiale verdeling– geometrische verdeling

• Nog te behandelen:– Poisson-verdeling– logaritmische verdeling

Nu eerst een aantal computer simulaties

• http://probability.ca/jeff/java/utday/

• http://www.math.uah.edu/stat/

• http://www.stat.duke.edu/sites/java.html

• http://www.mste.uiuc.edu/reese/birthday/

• http://www.angelfire.com/wa/hurben/buff.html

• Discrete uniforme verdeling– Stochast X; uitkomstenverzameling:{1,2,3,...,N}

• P(X=x) = 1/N; E(X) = =(N+1)/2; 2 = (N2 - 1)/12

• Bernoulli-verdeling– Stochast I; uitkomstenverzameling: {0,1}

• P(I=0) = q = 1- p; P(I=1) = p; E(I)= = p; 2 = pq• Binomiale verdeling: Bin(n,p)

– Stochast B; uitkomstenverz.: k = {0,1,2,...,n}• P(B=k)= (n boven k)pkqn-k; E(B) = = n p; 2 = n pq

• Geometrische verdeling– Stochast N; uitkomstenverz.: n = {1,2,3,...}

• P(N=n)= pqn-1; E(N) = = 1/p; 2 = q/p2

Samenvatting van het voorafgaande

• N-aselector (zuivere munt, dobbelsteen)

• Bernoulli-experiment of alternatief (Bernoulli-trial): 2 uitkomsten; 2 kansen.

• Binomiale verdeling: geeft de kans op k successen in een rij van n Bernoulli-trials.Er geldt: 0 < k < n

• Geometrische verdeling: geeft de kans op succes na pas n Bernoulli-trials, (n=1,2,3,...)

Samenvatting van het voorafgaande

N-aselector

Bernoulli-experiment

binomiale verdeling

geometrischeverdeling

De Poisson-verdeling

Poisson-verdeling

• Genoemd naar één van de pioniers op het gebied van de theorie van de kansrekeningSiméon Dénis Poisson (1781-1840)

– Definitie:• Beschouw R={0, 1, 2, 3, ... }; laat een vast getal

>0 zijn. De onderstaande waarden voor p(n) zijn de kansen van de Poissonverdeling met parameter

p en

nn

n

!

( , , ,...) 0 1 2

Poisson-verdeling

• p(0)=exp(-)

• p(1)=exp(-).1/1!= .exp(-)

• p(2)=exp(-). /2!

• p(3)=exp(-). /3!

• p(4)=exp(-). /4!

• ...

p en

nn

n

!

( , , ,...) 0 1 2

Poisson-verdeling

• Wat is de betekenis van n in pn of p(n) ?

• Wat is de betekenis van de parameter ?Men spreekt overigens van de Poisson()-verdeling, ook wel korter: Pois()-verdeling

p en

nn

n

!

( , , ,...) 0 1 2

Poisson-verdeling (vervolg)

• Het is een ‘technische’ zaak om verwachting en variantie te berekenen van een Poisson()-verdeelde stochast. Stel V is Poisson()-verdeeld. Er geldt dan:

• P(V=k)=exp(-).k/k! (k=0, 1, 2, 3, ...)

p en

nn

n

!

( , , ,...) 0 1 2n k

Poisson-verdeling

• Het blijkt dat:

– E(V) = – 2 =

» Het is misschien niet zo slim om de parameter te noemen, of juist wel?

» Vaak zie je

p en

nn

n

!

( , , ,...) 0 1 2

Poisson-verdeling

• Vandaar:

p en

nn

n

!

( , , ,...) 0 1 2

P V k ek

kk

( )!

( , . . . ; )

,

0 1 2 0

2

, ,

Poisson-verdeling

• Wat is nu de betekenis van de parameter in verband met de grootheid die Poisson()-verdeeld is, i.v.m. de stochast of kansvariabele dus ?

• We bekijken nu wat voorbeelden van Poisson-verdeelde kansvariabelen.

Poisson-verdeling (vervolg)

• Voorbeelden– het aantal moleculen van de soort X in een bepaald

volumedeel van met X verontreinigde vloeistof;– het aantal vaste deeltjes in een vast gekozen

volumedeel van de atmosfeer;– het aantal registraties in een Geiger-Muller-teller

gedurende een vast gekozen tijdsinterval;– het aantal windhozen in Nederland dat vergezeld gaat

met aanzienlijke schade per tijdvak van bijvoorbeeld 20 jaar;

Poisson-verdeling (vervolg)

• Voorbeelden (vervolg)

– het aantal zetfouten per pagina van een boek;– het aantal klanten per tijdseenheid aan een loket;– het aantal weeffouten per oppervlakte-eenheid van een rol textiel;– het aantal schepen dat per uur de Rotterdamse haven

binnenvaart;– het aantal passerende auto's per minuut op een bepaald punt van

een autosnelweg;– het aantal universeelmeters dat per maand defect raakt op een

bepaald practicum.

Poisson-verdeling (vervolg)

• Globaal geldt: Poisson-verdeling is een model voor het optreden van ‘zeldzame’ verschijnselen.

• Toelichting op het begrip 'zelden'. Als het bijvoorbeeld gaat om verschijnselen in de tijd, dan wordt met 'zelden' bedoeld:– de tijdsduur van het verschijnsel is klein t.o.v.

de spanne tijds tussen twee opeenvolgende verschijnselen.

Poisson-verdeling (vervolg)

• Toelichting op het begrip 'zelden'. Als het bijvoorbeeld gaat om exemplaren in een volume, dan wordt met 'zelden' bedoeld:– dat het exemplaar zelf een klein volume

inneemt ten opzichte van het gemiddelde volume dat aan elk exemplaar ter beschikking staat. Het aantal exemplaren behoeft beslist niet klein te zijn.

Klassiek voorbeeld (Bortkiewicz 1898)

• Uit 200 jaarverslagen van 10 Pruisische cavaleriekorpsen over een periode van 20 jaar blijken de onderstaande aantallen ongelukken met dodelijke afloop tengevolge van de trap van een paard per jaar te volgen.

k aantal keer rel.freq.theorie kicks0 109 0.545 0.544 01 65 0.325 0.331 652 22 0.110 0.101 443 3 0.015 0.021 94 1 + 0.005 + 0.003 + 4 + 200 1 1 122 gemiddeld aantal trappen per jaar = 122/200=0.61

Klassiek voorbeeld (Bortkiewicz 1898)

0

0,1

0,2

0,3

0,4

0,5

0,6

0 1 2 3 4

Observed

Theory

=0.61

k=0, 1, 2, 3, 4,...

p(k)=exp(-0.61).(0.61)k

k!k

p(k)

Poisson-verdeling

• Vraagstukken– Laat X een Poissonverdeling hebben met

parameter 6.6. Bereken:• P(X < 5)• P(1 < X < 3)• P(X > 7)

– Bereken en teken de staafdiagrammen van Poissonverdelingen met resp. = 0.5, 1, 2 en 5.

– Merk je iets op ?

De logaritmische verdeling

De logaritmische verdeling en de wet van Benford

• De wet van Benford:In veel ‘natuurlijke’ getallenverzamelingen bezitten de eerste cijfers van de getallen een aflopende verdeling die begint met ongeveer 30% voor het cijfer 1, ca. 18% voor het cijfer 2, en zo verder tot ongeveer 5% voor het cijfer 9.Frank Benford

(1883 - 1948)

twee vragen dringen zich op

• Wat is een ‘natuurlijke’ getallenverzameling?

• Hoe groot zijn die kansen voor het optreden van de eerste cijfers 1, 2, 3, 4, 5, 6, 7, 8 en 9 dan wel ?

– NB: Het gaat om het eerste cijfer (van links naar rechts gaande) dat ongelijk is aan nul; d.w.z. het meest significante cijfer.

de antwoorden

• verzamelingen fundamentele natuurconstanten

• getallen in kranteartikelen• oppervlakten van meren en rivieren• lengten van telefoongesprekken• helderheidsverdelingen van sterren• tegoeden op bankrekeningen• grootten in bytes van

printbestanden

• de logaritmische verdeling

De logaritmische verdeling

• Uitkomstenverzameling: {1,2,3,4,5,6,7,8,9}

• kansen:

• Opgave: Toon zelf aan dat de som van deze negen kansen gelijk is aan 1.

pi

iii

10 1log ; = 1,2, ... ,8,9

Paginagrote advertentie van ah in de dagbladen van 12 juli 2004

• Geteld– cijfer 1 42.2 %– cijfer 2 16.5 %– cijfer 3 9.1 %– cijfer 4 5.5 %– cijfer 5 7.3 %– cijfer 6 8.3 %– cijfer 7 3.7 %– cijfer 8 3.7 %– cijfer 9 3.7 %

• Theoretisch verwacht– cijfer 1 30.0 %– cijfer 2 17.6 %– cijfer 3 12.5 %– cijfer 4 9.7 %– cijfer 5 7.9 %– cijfer 6 6.7 %– cijfer 7 5.8 %– cijfer 8 5.1 %– cijfer 9 4.58%

logaritmische verdeling vergeleken met geometrische verdeling

0

0,05

0,1

0,15

0,2

0,25

0,3

1 2 3 4 5 6 7 8 9 10

logaritmischgeometrisch

logaritmische verdeling

• Vraagstuk – Bereken verwachting en variantie van een

logaritmisch verdeelde stochast.– Teken een geometrische en een

logaritmische verdeling met dezelfde verwachting in een en dezelfde figuur.