Gegevensverwerving en verwerking

Gegevensverwerving en verwerking

Staalname Bibliotheek

- aantal stalen/replicaten- grootte staal- apparatuur - beschrijvend

- variantie-analyse- correlatie- regressie- ordinatie- classificatie

Experimentele setup

Statistiek

ANOVA (ANALYSIS OF VARIANCE)

Statistische test gebruikt om na te gaan of groepen vanwaarnemingen significant van elkaar verschillen

Voorbeeld 1

Staalnameplaats = station herhaling staalname: minimum 3 replicaten/station

Verschillende stations worden bemonsterd langs een gradient

Waarnemingen : Tellingen/densiteiten Biomassa Pigmentconcentraties Diversiteit …..

Veranderingen in : Saliniteit Licht Temperatuur Diepte …….



Voorbeeld 2

- effect van verschillende behandelingenExperiment

- effect op verschillende populaties

ReplicatieWaarnemingen : - concentraties - densiteiten ……….



Doel : vergelijking van groepen van waarnemingen

Groepen aanduiden dmv ‘groeperende variabele’

HONulhypothese “ groepen verschillen niet”

Voorbeeld 1 : stalen afkomstig van dezelfde populatie geen verschillen over omgevingsgradient

Voorbeeld 2 : geen effect van behandeling geen verschil in gevoeligheid van verschillende populaties of organismen



HONulhypothese “ groepen verschillen niet”

Hoe testen ?

Natuurlijke variatieNatuurlijke variatie Variatie t.g.v. gradientVariatie t.g.v. gradient behandelingbehandeling

Variatie binnen groepen tussen groepen

HO

Aanvaard (P > 0.05) ===Verworpen <<< Significant

verschil

2 mogelijke verklaringen voor het verschil tussen 2 gemiddelden :

Beide groepen van 4 waarnemingen zijn afkomstig van 2 verschillende populaties

Beide groepen zijn afkomstig van de extreme zijden van dezelfde populatie

Parametrisch of niet-parametrische testen

2 groepen t - testF - test

Mann- Withney U testWilcoxon test

> 2 groepen ANOVA Kruskal-Wallis test

Als een gekende distributie (normale of Poisson)als model voor data frequentie distributie kan gebruiktworden

Voorwaarden : - willekeurige en onafhankelijke verzameling van gegevens(‘randomness and independence’ ingebouwd in staalname)

- waarnemingen of data moeten normaal verdeeld zijn(eventueel na transformatie)

-homogeniteit van de varianties (transformatie)Bartlett’s test, Fmax test (gevoelig voor afwijkingen van normaliteit)

Levene’s test

- variantie onafhankelijk van het gemiddelde (transformatie) BELANGRIJKSTE ASSUMPTIE


- waarnemingen of data moeten normaal verdeeld zijn(eventueel na transformatie)

A B C D LOGA LOGB LOGC LOGD10 51 456 1789 1.000 1.708 2.659 3.2539 45 567 2589 0.954 1.653 2.754 3.413

11 67 745 2354 1.041 1.826 2.872 3.3727 54 345 1897 0.845 1.732 2.538 3.278

13 89 546 1578 1.114 1.949 2.737 3.198

GEMID. 10 61.2 531.8 2041.4 0.991 1.774 2.712 3.303VAR. 5 306.2 21883.7 174220.3 0.010 0.014 0.015 0.008

0

50000

100000

150000

200000

0 1000 2000 3000

gemiddelde

vari

anti

e

0.000

0.005

0.010

0.015

0.020

0.000 1.000 2.000 3.000 4.000

gemiddelde

vari

anti

e


- homogeniteit van de varianties

- variantie onafhankelijk van het gemiddelde

Relatie gemiddelde - variantie

Voor transformatie Na transformatie



t-test : vergelijking van gemiddelden van 2 stalen

21

21

²²

n

s

n

s

yyt

pp

t waarde vergelijken met getabelleerde waardeVan students T distributie voor bepaald aantalvrijheidsgraden

waarbij wordt uitgegaan van gelijke varianties

Met s²p = SS1 + SS2 n1 + n2

= variantie over beide groepen heents = schatting – hypothese SD van verschil

Indien groepen even groot zijn,is t-test ongevoelig voor heterogeniteit van varianties

Nulhypothese : gemiddelde van beide groepen verschillen niet (2 zijdig)

(xi- µ)2 σ ² = _______ Nvariantie



t-test : vergelijking van gemiddelden van 2 stalen

2

2

1

1

21

²²ns

ns

yyt

t waarde vergelijken met getabelleerde waarde

F- test : vergelijking van varianties van 2 grote stalen (n>50)

²

²

2

1

s

sF

F waarde vergelijken met getabelleerde waardevoor n1-1 en n2-1vrijheidsgraden

(*grootste variantie in teller) zie ook ANOVA

waarbij niet wordt uitgegaan van gelijke varianties

*

Natuurlijke variatieNatuurlijke variatie Variatie t.g.v. gradientVariatie t.g.v. gradient behandelingbehandeling

Variatie binnen groepen tussen groepen

HO

Aanvaard ===Verworpen <<< Significant

verschil


> 2 groepen ANOVA

ANOVA - tabel Voor k groepen en n waarnemingen in totaal

groepsgemiddelde

Totale gemiddelde

Y

Y

Totale variatie Variatie tussen groepen (effect)

Variatie binnen groepen (error)

groep 1 2 …. k

data y1

yn/k yn

Som van de kwadraten (SS) = )²( Yy

Variantie s² = MS = df

Yy

df

SS )²(

groepsgemiddelde

Totale gemiddelde

Y

Y



groep 1 2 …. k

data y1

yn/k yn

SS = )²( Yy

Variantie s² = MS = SS / df ANOVA - tabel

Bron vanvariatie

Vrijheidsgraden (df)

Som kwadraten SS

Gemiddelde kwadraten MS = SS/df

Totaal n-1

Tussen k-1

Binnen n-k

)²( Yy

)²( YY

)²( Yy

SS / n-1

SS / k-1

SS / n-k

Bron vanvariatie


Som kwadraten SS


Totaal n-1

Tussen k-1

Binnen n-k

)²( Yy

)²( YY

)²( Yy

SS / n-1

SS / k-1

SS / n-k

x n/k

Totaal n-1 totale variantie over n waarnemingenTussen k-1 variantie van groepsgemiddelden (x n/k)Binnen n-k gemiddelde van de groepsvarianties

0. HFMS

MSF tab

tussen

binnen

Getabelleerde F distributie met k-1 en n-k vrijheidsgraden

Staalgrootte waarop gemiddelden zijn gebaseerd

F -ratio

- F ratio is dus ratio van gemiddelde kwadraten tussen groepen en de gemiddelde kwadraten binnen groepen.

- De F-ratio volgt een verwachte distributie volgens een bepaaldefunctie met 2 types vrijheidsgraden.

- De F-distributie is dus een theoretische waarschijnlijkheidsdistributie

- Er wordt steeds een F-distributie bekomen wanneer de varianties gelijk zijn.

Gebruikte voorbeelden steeds groepen met gelijk aantal waarnemingen (n/k)

Indien k groepen van verschillende grootte, wordt MS tussen groepen

Tussen k-1 )²( YY x n/k

vervangen door:

)²( wii YYn

met

i

iiw w

YwY

Wi = aantal waarnemingen in groep i

df ipv Wi

Totaal n-1 totale variantie over n waarnemingen

Tussen k-1 variantie van groepsgemiddelden (x n/k)

Binnen n-k gemiddelde van de groepsvariantiesbinnenMS

MSF

tussen

A B C A+B+C37.5 11.6 24.816.8 24.7 27.722.7 12.0 5.9

Gemiddelde 25.7 16.1 19.5 20.4 var(gemiddelden) 23.55Variantie 113.7 55.5 140.1 95.0 gem(varianties) 103.1

Voorbeeld 1 Vergelijking van de inhoud van 3 pipetten (in ml)3 groepen (k), 9 waarnemingen (n)

Totale variatie (df = 8)Variatie tussen pipetten (effect) (df = 2)

Natuurlijke variatie binnen groepen (error) (df = 6)

A B C A+B+C37.5 11.6 24.816.8 24.7 27.722.7 12.0 5.9

Gemiddelde 25.7 16.1 19.5 20.4 var(gemiddelden) 23.55Variantie 113.7 55.5 140.1 95.0 gem(varianties) 103.1


Totale variatie (df = 8)Variatie tussen pipetten (effect) (df = 2)

Natuurlijke variatie binnen groepen (error) (df = 6)

Bron vanvariatie


Som kwadraten SS


Totaal n-1

Tussen k-1

Binnen n-k

)²( Yy

)²( YY

)²( Yy

x n/k

95

23.55 x 3 = 70.6

103.1


Bron vanvariatie


Som kwadraten SS


Totaal n-1

Tussen k-1

Binnen n-k

)²( Yy

)²( YY

)²( Yy

x n/k

95

23.55 x 3 = 70.6

103.1

binnenMS

MSF

tussen = 70.6 / 103.1 = 0.68

Getabelleerde F waarde voor 6 en 2 vrijheidsgraden = 19.33=> geen significant verschil tussen pipetten


binnenMS

MSF

tussen = 70.6 / 103.1 = 0.68

Getabelleerde F waarde voor 2 en 6 vrijheidsgraden = 5.14=> geen significant verschil tussen pipetten

Variatie binnen groepen = Variatie tussen groepen

HOaanvaard

HO

Stalen afkomstig van dezelfde populatie ofverschillen tussen pipetten liggen binnen te verwachten foutmarges.

H 0 wordt verworpen als de probabiliteit of waarschijnlijkheid kleiner is dan 5 % (of 0.05)

H 0 wordt aanvaard als de probabiliteit of waarschijnlijkheid groter is dan 5 % (of 0.05)

Hypothese testen nulhypothese verwerpen of aanvaarden

Type I error Nulhypothese verwerpen terwijl ze waar is kans zo klein mogelijk houden

Beslissingsregel ingevoerd om de kans om een type I error te maken zo kleinmogelijk te houden (kleiner dan 1% of 5 % ) = Significantie niveau

df teller

df noemer

Totaal n-1 totale variantie over n waarnemingen

Tussen k-1 variantie van groepsgemiddelden (x n/k)

Binnen n-k gemiddelde van de groepsvariantiesbinnenMS

MSF

tussen

Voorbeeld 2 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 4 verschillende farmaceutische behandelingen (k);6 muizen per behandeling => 24 waarnemingen(n)

Totale variatie (df =23)Variatie tussen behandelingen (effect) (df = 3)

Natuurlijke variatie binnen groepen (error) (df =20)A B C D A+B+C

221.0 94.0 330.0 163.0200.0 109.0 302.0 157.0233.0 146.0 283.0 177.0180.0 141.0 273.0 139.0198.0 124.0 307.0 148.0213.0 114.0 279.0 144.0

Gem. 207.5 121.3 295.7 154.7 194.8 var(gem) 5781.14Var. 353.1 391.1 459.9 195.5 4828.6 gem(var) 349.9

Voorbeeld 2 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 4 verschillende farmaceutische behandelingen (k);6 muizen per behandeling => 24 waarnemingen(n)

A B C D A+B+C221.0 94.0 330.0 163.0200.0 109.0 302.0 157.0233.0 146.0 283.0 177.0180.0 141.0 273.0 139.0198.0 124.0 307.0 148.0213.0 114.0 279.0 144.0

Gem. 207.5 121.3 295.7 154.7 194.8 var(gem) 5781.14Var. 353.1 391.1 459.9 195.5 4828.6 gem(var) 349.9

Bron vanvariatie


Som kwadraten SS


Totaal n-1 = 23 111057.9 4828.6Tussen k-1 = 3 104060.45 5781.14 X 6 = 34686.8 Binnen n-k = 20 6977.5 349.9

binnenMS

MSF

tussen = 99.14

Getabelleerde F waarde (df =3 en 20 en p = 5%) = 3.1

HOVerworpen => significante verschillen tussen behandelingen

ANOVA (ANALYSIS OF VARIANCE)Parametrische testen

one way ANOVA

two way ANOVA



Totale variatie

Variatie tussen groepen (effect)


1 effect of behandeling

2 effecten of behandelingen

Variatie effect 1Variatie effect 2Var. effect 1 en 2

Voorbeeld 1 en 2 : één groeperende variabele : 3 pipetten, 4 behandelingen

= one way ANOVA

two way ANOVA 2 groeperende variabelen

slechts 1 effect

om effect van twee variabelen (behandelingen, gradienten) tegelijk na te gaan

Voorbeeld 3 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen :behandeling 1 : toedienen van adrenaline op dag 14behandeling 2 : infectie met Bordetella pertussis bacteriën

Zelfde data als in voorbeeld 2 maar nu isgroep A : controle (geen behandeling)groep B: infectie met pertussisgroep C: toedienen van adrenalinegroep D: beide behandelingen (adrenaline + pertussis)

Voorbeeld 3 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen :behandeling 1 : toedienen van adrenaline op dag 14behandeling 2 : infectie met pertussis bacteriën

groep A : controle (geen behandeling)groep B: infectie met pertussisgroep C: toedienen van adrenalinegroep D: beide behandelingen (adrenaline + pertussis)

Totale variatie df = 23

Variatie tussen groepen (effect) tgv behandeling

Variatie binnen groepen (error)of natuurlijke variatie (residueel)

Pertussis effectAdrenaline effectAdre + Pert

n = 24k = 4

df = 3

df = 1df = 1df = 1

df = 20

Bron vanvariatie (df) SS MS = SS/df

Totaal 23 111057.9 4828.6Tussen 3 104060.45 34686.8

Binnen 20 6977.5 349.9

Voorbeeld 3

n = 24k = 4

totaaltussen

Binnen

PertussisadrenalinePert x Adre

Pertus 1 77407.04 77407.04 * 221Adren 1 22143.4 22143.4 * 63.3In teractie 1 4510.04 4510.04 12.9

F ratio

A B C Deffect 1effect 2

* variantie van groepsgemiddelden A+C en B+D x 12 (n/2)* variantie van groepsgemiddelden A+B en C+D x 12 (n/2)


n = 24k = 4

Drie nulhypothesen :

(1) geen verschil in glucose tussen geinfecteerde en niet-geinfecteerde muizen

(2) geen verschil in glucose met of zonder toevoeging van adrenaline

(3) er is geen interactie tussen beide types behandelingen

Getabelleerde F-waarde voor 1 en 20 vrijheidsgraden voor p = 0.05 is 4.35

HO Alle verworpen => significante verschillen tgv beide behandelingen en interactie tussen beide

Niet- geinfecteerdGeinfecteerd met Pertussis

0

100

200

300

400

0 1.0

adrenaline

Gluc

ose niet-geinf.

pertussis

Besluit : - Met Pertussis geinfecteerde muizen hebben een significant lagerglucose gehalte dan niet geïnfecteerde muizen.- Toediening van adrenaline verhoogt significant de glucose spiegel in hetserum van alle muizen- Toediening van adrenaline verhoogt de glucose spiegel meer bij niet geïnfecteerde muizen dan bij met Pertussis geïnfecteerde muizen.

saline saline adrenaline adrenalinepertussis pertussis

A B C D bloktotaalI 221 94 330 163I 200 109 302 157 1576

II 233 146 283 177II 180 141 273 139 1572

III 198 124 307 148III 213 114 279 144 1527

totaal 1245 728 1774 928


n = 24k = 4

Randomized blocks with nesting : 3 blokken van 2 waarnemingen

totaaltussen

Binnen



A B C D bloktotaalI 221 94 330 163I 200 109 302 157 1576

II 233 146 283 177II 180 141 273 139 1572

III 198 124 307 148III 213 114 279 144 1527

totaal 1245 728 1774 928


n = 24k = 4

Randomized blocks with nesting : 3 blokken van 2 waarnemingen

totaalTussen (11)

Binnen (12)


Blokken (2)Behandelingen (3)blok x behand (6)


n = 24k = 4

Blocks without nesting (lower order effect) :

totaal Tussen (23)


Blokken (5)Behandelingen (3)blok x behand (15)


A B C D bloktotaalI 221 94 330 163 808II 200 109 302 157 768III 233 146 283 177 839IV 180 141 273 139 733V 198 124 307 148 777VI 213 114 279 144 750

totaal 1245 728 1774 928 4675

residuele

Vergelijkingen van gemiddelden

Stel H0 wordt verworpen bij ANOVA => er zijn significante verschillen tussen groepen

Tussen welke ????

Vergelijking tussen paren en groepen van gemiddelden

Welke paren of groepen men vergelijkt hangt af van wat men wil testen

Indien onafhankelijk van het resultaat op voorhand is uitgemaakt welke groepen metelkaar worden vergeleken spreken we van GEPLANDE of A PRIORI vergelijkingen

Vb testen van controle tov gemiddelde van verschillende experimentele behandelingen

Indien afhankelijk van het resultaat bepaalde groepen met elkaar worden vergeleken spreken we van ONGEPLANDE of A POSTERIORI vergelijkingen.

Deze testen omvatten de vergelijking van alle mogelijke paren van vergelijkingena groepen => (a (a-1)/2 combinaties)

±Std. Dev.

±Std. Err.

Mean

Categorized Plot for Variable: B

A

B

80

120

160

200

240

280

320

360

A B C D

Tukey HSD test; Probabilities for Post Hoc TestsMAIN EFFECT: {1} {2} {3} {4} A {1} .000176 .000176 .000615B {2} .000176 .000175 .027491C {3} .000176 .000175 .000175D {4} .000615 .027491 .000175

Voorbeeld 2



Man Withney U test

> 2 groepen ANOVAKruskal Wallis testFriedman’s test

In een parametrische test wordt er bij de nulhypothese uitgegaan van een bepaalde distributie en moeten de parameters (gemiddelde en variantie) van die distributie hetzelfde zijn voor elke groep (staal of experiment).

Niet-parametrische testen die niet uitgaan van deze voorwaarden, zijn minder krachtig doordat ze niet alle aanwezige informatie gebruiken => RANKING In het geval van kleine stalen en geen normale distributie van de data zijn ze echter krachtiger dan parametrische testen.

one waytwo way

Mann Withney U test

HO

Twee onafhankelijke willekeurige stalen komen van dezelfdepopulatie met gelijke distributie en mediaan.(geen assumpties over vorm van distributie)

Werkwijze (voor kleine groepen) :

1. Gooi alle waarnemingen van beide groepen samen en orden ze van laag naar hoog.2. Vervang elke waarneming door zijn rankingsnummer

3. In het geval van gelijke waarnemingen wordt het gemiddelde berekend van de overeen- stemmende rankingsgetallen en dit aan de betreffende overlappende waarnemingen toegekend.

4. Beide groepen worden terug uit elkaar gehaald en de rankingsnummers per groep gesommeerd.

5. Vervolgens wordt per groep de U- coëfficient berekend.

6. De kleinste U coefficient wordt vergeleken met getabelleerde waarde voor welbepaalde n’s en p waarden.Indien kleinste U waarde kleiner dan U tabel bij een probaliteit groter dan 0.05 => H0 is verworpen

Voorbeeld 6 Twee ongelijke, onafhankelijke stalen van Mysidaceeën met grootte broed in marsupium of broedbuidel.

Staal 1n1 = 5

data245712

Staal 2n2 = 10

data458141415192836

rank12.54.568

rank2.54.579.59.511.5131415

22, 11 nrankR

98, 22 nrankR

222

211 2

)1(R

nnnnU

1

11212 2

)1(R

nnnnU

U1 = 7 U2 = 43

U waarde bij 5 %en 5 en 10 vrijheidsgradenis gelijk aan 8 =>H0 verworpen


> 2 groepen ANOVAKruskal Wallis testone way

Kruskall Wallis test Voor meerdere groepen van ongelijke grootte

)1(3²)(

)1(

12

N

n

R

NNtcoëfficienK

i

i

inNi = aantal groepenRi = som van ranks in staal ini = aantal waarnemingen in staal i

K is bij benadering verdeeld als een chi-kwadraat distributie met i-1 df=> H0 wordt verworpen indien K > met i-1 df en bij p = 0.05²

Ook voor de niet-parametrische Kruskal Wallis test wordt er geen uitsluitselgegeven over welke stalen-groepen significant van elkaar verschillen

=> methode om na te gaan welke paren significant van elkaar verschillen.

De groepen i en j verschillen van elkaar indien :

21

21

111²%)(

jij

j

i

i

nnkN

TNSpt

n

R

n

R

Ri = som van ranks in staal It = twaarde (distributie) voor N-k df en bepaalde probaliliteit

alleranksijN

NNXRS

4

)²1()²(² 1

1

k

i i

i NN

N

R

ST

1 4

)²1(²

²

1

Met R(Xij) het rankingsnummer van de waarneming Xij gesommeerd over alle ranks


> 2 groepen ANOVAFriedman’s testtwo way

met randomized blocks

Friedman’s test - alleen voor n groepen met gelijk aantal waarnemingen- elke groep kan ingedeeld worden in aantal blokken(b)- bepalen van rangorde in elke blok(in geval van 4 behandelingen (a) ranking van 1 tot 4)



totaal 1245 728 1774 928 4675


A B C DI 3 1 4 2II 3 1 4 2III 3 1 4 2IV 3 2 4 1V 3 1 4 2VI 3 1 4 2

totaal 18 7 24 11

Voorbeeld 5

)1(3)1(

12²

2

abRaab

a b

ij )14(63²11²24²7²18)14(64

12

x

x

Friedman’s test



totaal 1245 728 1774 928 4675


A B C DI 3 1 4 2II 3 1 4 2III 3 1 4 2IV 3 2 4 1V 3 1 4 2VI 3 1 4 2

totaal 18 7 24 11

Voorbeeld 5

)1(3)1(

12²

2

abRaab

a b

ij )14(63²11²24²7²18)14(64

12

x

x

17² Deze waarde wordt vergeleken met de chi kwadraatwaarde voor a-1 of 3 vrijheidsgraden en p< 0.05= 7.815 => Indien groter H0 wordt verworpenEr is een significant verschil

Niet parametrische test kan alleen verschillen tussen groepen aantonen;de test zegt niets over interacties tussen behandelingen.

Gegevensverwerving en verwerking

Documents

Transcript of Gegevensverwerving en verwerking