© Icastat - AMO 1

NHV - dinsdag 6 maart 2012

drs. Paul K. Baggelaar Icastat

ir. Eit C.J. van der Meulen

AMO

Trendanalyse op maat voor een meetnet waterkwaliteit

© Icastat - AMO 2

Hoofddoelstellingen milieumeetnetten

Beschrijven en beoordelen van: 1. de toestand objectiveren met behulp van normen

2. de verandering van de toestand objectiveren met behulp van statistische

methoden vergt veel inspanning bij grootschalig meetnet

(duizenden reeksen)

© Icastat - AMO 3

Trend

Vorm van niet-stationariteit

Verandering in het centrum van de kansverdeling van meetwaarden over tenminste enkele jaren

We richten ons op de monotone trend

© Icastat - AMO 4

Onderdelen van trendanalyse

1. Trenddetectie: objectieve uitspraak over wél of géén trend

2. Trendkwantificering: schatting van de grootte van de trend

© Icastat - AMO 5

Toetsen op monotone trend

Bekendste: toets op lineaire regressiehelling

Yt = b0 + b1Xt + et

onderzoeksvariabele

tijdsindex

intercept

helling tijd

modelresidu

© Icastat - AMO 6

Trendtoetsen met lineaire regressie

Toetshypothesen:

0:en 0: 110 aHH

][ 1

1

bs

bT

Verwerp H0 als T > t(0,975;n-2)

Toetsingsgrootheid:

Student-t-waarde

© Icastat - AMO 7

Voorwaarden trendtoetsen met lineaire regressie

1. Modelresiduën zijn afkomstig uit (dezelfde) normale kansverdeling

2. Modelresiduën vertonen geen autocorrelatie

© Icastat - AMO 8

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105

10

15

20

jaar

mg

/l

Trendplot M_10J_NA_0% (Testreeks)

meetwaarden

tijdreekswaarden

Lowess

trendlijn

Voorbeeld lineaire regressie

© Icastat - AMO 9

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-5

0

5

jaar

mg

/l

Tijdreeksplot modelresiduen M_10J_NA_0% (Testreeks)

-3 -2 -1 0 1 2 3-5

0

5

normaalscore

mg

/l

PP-plot

-3 -2 -1 0 1 2 3 40

10

20

30

aan

tal

waarde mg/l

Histogram

Modelresiduën normaal verdeeld?

© Icastat - AMO 10

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-4

-2

0

2

4

jaar

mg

/l

Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J_NA_0% (Testreeks)

5 10 15 20 25

-0.2

0

0.2

0.4

0.6

aantal tijdsintervallen

Modelresiduen autocorrelatie?

95% betrouwbaarheidsinterval

Modelresiduën geen autocorrelatie?

© Icastat - AMO 11

e + N = N

N + Xb + b = Z

t-tt

ttt

11

10

Uitgebreide lineaire regressie

modelruis

autoregressieve modelparameter modelresidu

© Icastat - AMO 12

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105

10

15

20

jaar

mg

/l

Trendplot M_10J_NA_0% (Testreeks)

meetwaarden

tijdreekswaarden

Lowess

trendlijn

Voorbeeld uitgebreide lineaire regressie

© Icastat - AMO 13

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-3

-2

-1

0

1

2

jaar

mg

/l

Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J_NA_0% (Testreeks)

5 10 15 20 25

-0.2

-0.1

0

0.1

0.2

0.3

aantal tijdsintervallen

Modelresiduen autocorrelatie?

95% betrouwbaarheidsinterval

Modelresiduën geen autocorrelatie?

© Icastat - AMO 14

Mogelijke kenmerken milieugegevens

Ondergrens van nul

Gecensureerde meetwaarden (bv. < 1 mg/l)

Uitschieters, meestal naar boven

Scheve kansverdeling (naar rechts)

Seizoenspatroon

Correlatie in tijd of ruimte

Rekening mee houden bij statistische analyse

© Icastat - AMO 15

e + N = N

N + )I( + Xb + b = Z

t-tt

tii

s

=i

tt

11

2

10

Nóg uitgebreidere lineaire regressie

aantal seizoenen

seizoensindex

seizoenseffect

modelruis

autoregressieve modelparameter

seizoensindicator

modelresidu

© Icastat - AMO 16

Voorbeeld verdelingsvrije toets: Mann-Kendall-toets

Z-Z = S tk

n

+t=k

-n

=t

sgn1

1

1

0als1sgn

0 als 0sgn

0 als1sgn

< =

= =

> =

18

521Varen 0E

nnn = S = S

0als

Var

1

0 als 0

0 alsVar

1

< S S

ST

= S =T

> S S

ST

toetseng tweezijdibij

:als trendtesignificanh Statistisc

21 UT )/(

© Icastat - AMO 17

Uitbreidingen Mann-Kendall-toets

][sgn1

1

1

Z-Z = S igkg

ng

=i+k

gn

=i

g

S = S g

s

=g

*

1

0 = S = S g

s

=g

][E][E1

*

][Cov][Var][Var11

*S,S + S = S hg

s

gh

s

=g

g

s

=g

Toetsingsgrootheid per seizoen

© Icastat - AMO 18

Toetsen op monotone trend

Parametrisch

Lineaire regressie | +s | +a | +sa |

Verdelingsvrij

Mann-Kendall | +s | +a | +sa |

Spearman | +s |

Lettenmaier | +a | +sa |

Farrell | +s |

Wanneer welke toets gebruiken?

© Icastat - AMO 19

Criteria bij keuze trendtoets

1. Empirisch significantieniveau niet hoger dan gehanteerd significantieniveau ()

verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnet

2. Hoogste onderscheidend vermogen (1-) van alle trendtoetsen die aan 1. voldoen

er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevens

© Icastat - AMO 20

Voorbeeld keuze trendtoets

Onderscheidend vermogen trendtoetsen

0%

20%

40%

60%

80%

100%

Trendgrootte ->0

1

2

3

=5%

© Icastat - AMO 21

Percentage trenddetectie bij normale kansverdeling

0%

20%

40%

60%

80%

100%

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Trend [standafw/jaar]

LRMK

n = 120

© Icastat - AMO 22

Percentage trenddetectie bij lognormale kansverdeling

0%

20%

40%

60%

80%

100%

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Trend [standafw/jaar]

LR

MK

n = 120

© Icastat - AMO 23

Kenmerken verdelingsvrij toetsen

1. Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen

2. Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen

3. Geen last van uitschieters !

© Icastat - AMO 24

En transformeren?

Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan niet optimaal

Geeft ‘kromme’ trends in de meetschaal

Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methoden

© Icastat - AMO 25

Toetsen geselecteerd voor de procedure

Parametrisch

Lineaire regressie en uitbreidingen

Verdelingsvrij

Mann-Kendall en uitbreidingen

© Icastat - AMO 26

Preferentieprocessen van de toetsen

Toets S A S+ A S A S+ A

LR

LRs

LRa

LRsa

MK

MKs

MKsa

Normale kansverdeling Geen normale kansverdeling

Statistische kenmerken van proces

© Icastat - AMO 27

© Icastat - AMO 28

Trendkwantificering

Trendtoets Trendschatter

(Uitgebreide) lineaire regressie Lineaire regressiehelling

Mann-Kendall Theilhelling

Seizoenale Mann-Kendall

Seizoenale Mann-Kendall met verdiscontering autocorrelatieKendall-seizoenshelling

Theilhelling en Kendall-seizoenshelling zijn beide

zuivere en robuuste schatters, met

grotere nauwkeurigheid dan lineaire regressie-

helling bij scheve kansverdelingen

© Icastat - AMO 29

Principe Theilhelling

Tijd 1 2 3 4 5 6 7

Tijd Meetwaarde 1.2 1.6 3.4 3.7 5.2 16.0 5.8

1 1.2

2 1.6 0.40

3 3.4 1.10 1.80

4 3.7 0.83 1.05 0.30

5 5.2 1.00 1.20 0.90 1.50

6 16.0 2.96 3.60 4.20 6.15 10.80

7 5.8 0.77 0.84 0.60 0.70 0.30 -10.20

Theilhelling is mediaan van de hellingen = 1.00

© Icastat - AMO 30

Robuustheid Theilhelling

0

2

4

6

8

10

12

14

16

18

1 2 3 4 5 6 7

Lineaire regressielijn

Theillijn

Uitschieter

© Icastat - AMO 31

Nauwkeurigheid Theilhelling

RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling)

[Hirsch et al., 1991]

© Icastat - AMO 32

Toepassingen procedure

Grootschalige meetnetten waterkwaliteit RIWA RWS 10 waterschappen drinkwaterbedrijf Provincie VMM

Structureren presentatie uitvoer is uitdaging !

© Icastat - AMO 33

Conclusies

1. Maatwerk bij trendanalyse loont: meer onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschatten

2. Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten en/of autocorrelatie

3. Bij niet-normaliteit verdelingsvrije methoden

4. Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch uitgevoerd kunnen worden

© Icastat - AMO 34

Vragen?