1© Icastat - AMOIcastat - AMO

NHV - dinsdag 6 maart 2012NHV - dinsdag 6 maart 2012

drs. Paul K. Baggelaardrs. Paul K. Baggelaar Icastat Icastat

ir. Eit C.J. van der Meulenir. Eit C.J. van der MeulenAMOAMO

Trendanalyse op maat voorTrendanalyse op maat voor een meetnet een meetnet waterkwaliteitwaterkwaliteit

Trendanalyse op maat voorTrendanalyse op maat voor een meetnet een meetnet waterkwaliteitwaterkwaliteit

2© Icastat - AMOIcastat - AMO

Hoofddoelstellingen Hoofddoelstellingen milieumeetnettenmilieumeetnetten

Hoofddoelstellingen Hoofddoelstellingen milieumeetnettenmilieumeetnetten

Beschrijven en beoordelen van:Beschrijven en beoordelen van:

1.1. de de toestandtoestandobjectiveren met behulp van normenobjectiveren met behulp van normen

2.2. de de veranderingverandering van de toestand van de toestandobjectiveren met behulp van statistische objectiveren met behulp van statistische methodenmethoden vergt veel inspanning bij grootschalig vergt veel inspanning bij grootschalig meetnet (duizenden reeksen)meetnet (duizenden reeksen)

3© Icastat - AMOIcastat - AMO

TrendTrendTrendTrend

Vorm van niet-stationariteitVorm van niet-stationariteit

Verandering in het Verandering in het centrum centrum van de van de kansverdeling van meetwaarden over kansverdeling van meetwaarden over tenminste enkele jarentenminste enkele jaren

We richten ons op de We richten ons op de monotonemonotone trend trend

4© Icastat - AMOIcastat - AMO

Onderdelen van trendanalyseOnderdelen van trendanalyseOnderdelen van trendanalyseOnderdelen van trendanalyse

1.1. Trend Trenddetectiedetectie: objectieve uitspraak : objectieve uitspraak over wél of géén trendover wél of géén trend

2.2. Trend Trendkwantificeringkwantificering: schatting van de : schatting van de grootte van de trendgrootte van de trend

5© Icastat - AMOIcastat - AMO

Toetsen op monotone trendToetsen op monotone trendToetsen op monotone trendToetsen op monotone trend

Bekendste: toets op lineaire Bekendste: toets op lineaire regressiehellingregressiehelling

YYtt = b = b00 + b + b11XXtt + e + ett

onderzoeksvariabele

tijdsindex

intercept

helling tijd

modelresidu

6© Icastat - AMOIcastat - AMO

Trendtoetsen met lineaire regressieTrendtoetsen met lineaire regressieTrendtoetsen met lineaire regressieTrendtoetsen met lineaire regressie

Toetshypothesen:Toetshypothesen:0:en 0: 110 aHH

][ 1

1

bs

bT

Verwerp H0 als T > t(0,975;n-2)

Toetsingsgrootheid:

Student-t-waarde

7© Icastat - AMOIcastat - AMO

Voorwaarden trendtoetsen met Voorwaarden trendtoetsen met lineaire regressielineaire regressie

Voorwaarden trendtoetsen met Voorwaarden trendtoetsen met lineaire regressielineaire regressie

1.1. ModelresiduënModelresiduën zijn afkomstig uit zijn afkomstig uit (dezelfde) normale kansverdeling(dezelfde) normale kansverdeling

2.2. ModelresiduënModelresiduën vertonen geen vertonen geen autocorrelatieautocorrelatie

8© Icastat - AMOIcastat - AMO

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105

10

15

20

jaar

mg/l

Trendplot M_10J _NA_0% (Testreeks)

meetwaardentijdreekswaardenLowesstrendlijn

Voorbeeld lineaire regressieVoorbeeld lineaire regressieVoorbeeld lineaire regressieVoorbeeld lineaire regressie

9© Icastat - AMOIcastat - AMO

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-5

0

5

jaar

mg/l

Tijdreeksplot modelresiduen M_10J _NA_0% (Testreeks)

-3 -2 -1 0 1 2 3-5

0

5

normaalscore

mg/l

PP-plot

-3 -2 -1 0 1 2 3 40

10

20

30

aanta

l

waarde mg/l

Histogram

Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?

10© Icastat - AMOIcastat - AMO

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-4

-2

0

2

4

jaar

mg/l

Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)

5 10 15 20 25

-0.2

0

0.2

0.4

0.6

aantal tijdsintervallen

Modelresiduen autocorrelatie?

95% betrouwbaarheidsinterval

Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?

11© Icastat - AMOIcastat - AMO

e + N = N

N + Xb + b = Z

t-tt

ttt

11

10

Uitgebreide lineaire regressieUitgebreide lineaire regressieUitgebreide lineaire regressieUitgebreide lineaire regressie

modelruis

autoregressieve modelparameter modelresidu

12© Icastat - AMOIcastat - AMO

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105

10

15

20

jaar

mg/l

Trendplot M_10J _NA_0% (Testreeks)

meetwaardentijdreekswaardenLowesstrendlijn

Voorbeeld uitgebreide lineaire Voorbeeld uitgebreide lineaire regressieregressie

Voorbeeld uitgebreide lineaire Voorbeeld uitgebreide lineaire regressieregressie

13© Icastat - AMOIcastat - AMO

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-3

-2

-1

0

1

2

jaar

mg/l

Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)

5 10 15 20 25

-0.2

-0.1

0

0.1

0.2

0.3

aantal tijdsintervallen

Modelresiduen autocorrelatie?

95% betrouwbaarheidsinterval

Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?

14© Icastat - AMOIcastat - AMO

Mogelijke kenmerken Mogelijke kenmerken milieugegevensmilieugegevens

Mogelijke kenmerken Mogelijke kenmerken milieugegevensmilieugegevens

Ondergrens van nulOndergrens van nul Gecensureerde meetwaarden Gecensureerde meetwaarden (bv. < 1 (bv. < 1

g/l)g/l) Uitschieters, meestal naar bovenUitschieters, meestal naar boven Scheve kansverdeling Scheve kansverdeling (naar rechts)(naar rechts) SeizoenspatroonSeizoenspatroon Correlatie in tijd of ruimteCorrelatie in tijd of ruimte

Rekening mee houden bij statistische analyse

15© Icastat - AMOIcastat - AMO

e + N = N

N + )I( + Xb + b = Z

t-tt

tii

s

=itt

11

210

Nóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressie

aantal seizoenen

seizoensindex

seizoenseffect

modelruis

autoregressieve modelparameter

seizoensindicator

modelresidu

16© Icastat - AMOIcastat - AMO

Voorbeeld verdelingsvrije toets:Voorbeeld verdelingsvrije toets:Mann-Kendall-toetsMann-Kendall-toets

Voorbeeld verdelingsvrije toets:Voorbeeld verdelingsvrije toets:Mann-Kendall-toetsMann-Kendall-toets

Z-Z = S tk

n

+t=k

-n

=t

sgn1

1

1

0als1sgn

0 als 0sgn

0 als1sgn

< =

= =

> =

18

521Varen 0E

nnn = S = S

0als

Var

1

0 als 0

0 alsVar

1

< S S

ST

= S =T

> S S

ST

toetseng tweezijdibij

:als trendtesignificanh Statistisc

21 UT )/(

17© Icastat - AMOIcastat - AMO

Uitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toets

][sgn1

1

1Z-Z = S igkg

ng

=i+k

gn

=ig

S = S g

s

=g

* 1

0 = S = S g

s

=g

][E][E1

*

][Cov][Var][Var11

* S,S + S = S hg

s

gh

s

=gg

s

=g

Toetsingsgrootheid per seizoen

18© Icastat - AMOIcastat - AMO

Toetsen op monotone trendToetsen op monotone trendToetsen op monotone trendToetsen op monotone trend

ParametrischParametrisch

Lineaire regressie | +s | +a | +sa |Lineaire regressie | +s | +a | +sa |

VerdelingsvrijVerdelingsvrij

Mann-Kendall | +s | +a | +sa |Mann-Kendall | +s | +a | +sa |

Spearman | +s |Spearman | +s |

Lettenmaier | +a | +sa |Lettenmaier | +a | +sa |

Farrell | +s |Farrell | +s |

Wanneer welke toets gebruiken?Wanneer welke toets gebruiken?

19© Icastat - AMOIcastat - AMO

Criteria bij keuze trendtoetsCriteria bij keuze trendtoetsCriteria bij keuze trendtoetsCriteria bij keuze trendtoets

1.1. Empirisch significantieniveau niet hoger Empirisch significantieniveau niet hoger dan gehanteerd significantieniveau (dan gehanteerd significantieniveau () ) verleent objectiviteit en zeggingskracht aan verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnetsignaleringsfunctie van het meetnet

2.2. Hoogste onderscheidend vermogen ( Hoogste onderscheidend vermogen (1-1-) ) van alle trendtoetsen die aan van alle trendtoetsen die aan 1.1. voldoen voldoen er wordt dan zo efficiënt mogelijk informatie er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevensgefilterd uit de duur betaalde meetgegevens

20© Icastat - AMOIcastat - AMO

Voorbeeld keuze trendtoetsVoorbeeld keuze trendtoetsVoorbeeld keuze trendtoetsVoorbeeld keuze trendtoets

Onderscheidend vermogen trendtoetsen

0%

20%

40%

60%

80%

100%

Trendgrootte ->0

1

2

3

=5%

21© Icastat - AMOIcastat - AMO

Percentage trenddetectie bij normale kansverdeling

0%

20%

40%

60%

80%

100%

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Trend [standafw/ jaar]

LRMK

n = 120

22© Icastat - AMOIcastat - AMO

Percentage trenddetectie bij lognormale kansverdeling

0%

20%

40%

60%

80%

100%

0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16

Trend [standafw/ jaar]

LR

MK

n = 120

23© Icastat - AMOIcastat - AMO

Kenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsen

1.1. Doet bij normale kansverdeling niet Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen veel onder voor parametrisch toetsen

2.2. Is bij niet-normale kansverdeling Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen krachtiger dan parametrisch toetsen

3.3. Geen last van uitschieters !Geen last van uitschieters !

24© Icastat - AMOIcastat - AMO

En transformeren?En transformeren?En transformeren?En transformeren?

Lukt zelden volledig en toepassen van Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan een parametrische toets/schatter is dan niet optimaalniet optimaal

Geeft ‘kromme’ trends in de meetschaalGeeft ‘kromme’ trends in de meetschaal

Bij niet-normaliteit geven wij de voorkeur Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methodenaan verdelingsvrije methoden

25© Icastat - AMOIcastat - AMO

Toetsen geselecteerdToetsen geselecteerdvoor de procedurevoor de procedure

Toetsen geselecteerdToetsen geselecteerdvoor de procedurevoor de procedure

ParametrischParametrisch

Lineaire regressieLineaire regressie en uitbreidingen en uitbreidingen

VerdelingsvrijVerdelingsvrij

Mann-KendallMann-Kendall en uitbreidingen en uitbreidingen

26© Icastat - AMOIcastat - AMO

Preferentieprocessen van de toetsenPreferentieprocessen van de toetsenPreferentieprocessen van de toetsenPreferentieprocessen van de toetsen

Toets S A S+A S A S+A

LR

LRs

LRa

LRsa

MK

MKs

MKsa

Normale kansverdeling Geen normale kansverdeling

Statistische kenmerken van proces

27© Icastat - AMOIcastat - AMO

28© Icastat - AMOIcastat - AMO

TrendkwantificeringTrendkwantificeringTrendkwantificeringTrendkwantificering

Trendtoets Trendschatter

(Uitgebreide) lineaire regressie Lineaire regressiehelling

Mann-Kendall Theilhelling

Seizoenale Mann-Kendall

Seizoenale Mann-Kendall met verdiscontering autocorrelatieKendall-seizoenshelling

Theilhelling en Kendall-seizoenshelling zijn beideTheilhelling en Kendall-seizoenshelling zijn beide

zuiverezuivere en en robuusterobuuste schatters, met schatters, met

grotere nauwkeurigheidgrotere nauwkeurigheid dan lineaire regressie- dan lineaire regressie-

helling bij scheve kansverdelingenhelling bij scheve kansverdelingen

29© Icastat - AMOIcastat - AMO

Principe TheilhellingPrincipe TheilhellingPrincipe TheilhellingPrincipe Theilhelling

Tijd 1 2 3 4 5 6 7

Tijd Meetwaarde 1.2 1.6 3.4 3.7 5.2 16.0 5.8

1 1.2

2 1.6 0.40

3 3.4 1.10 1.80

4 3.7 0.83 1.05 0.30

5 5.2 1.00 1.20 0.90 1.50

6 16.0 2.96 3.60 4.20 6.15 10.80

7 5.8 0.77 0.84 0.60 0.70 0.30 -10.20

Theilhelling is mediaan van de hellingen = 1.00

30© Icastat - AMOIcastat - AMO

Robuustheid TheilhellingRobuustheid TheilhellingRobuustheid TheilhellingRobuustheid Theilhelling

0

2

4

6

8

10

12

14

16

18

1 2 3 4 5 6 7

Lineaire regressielij n

Theillij n

Uitschieter

31© Icastat - AMOIcastat - AMO

Nauwkeurigheid TheilhellingNauwkeurigheid TheilhellingNauwkeurigheid TheilhellingNauwkeurigheid Theilhelling

RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling)

[Hirsch et al., 1991]

32© Icastat - AMOIcastat - AMO

Toepassingen procedureToepassingen procedureToepassingen procedureToepassingen procedure

Grootschalige meetnetten waterkwaliteitGrootschalige meetnetten waterkwaliteit RIWARIWA RWSRWS 10 waterschappen10 waterschappen drinkwaterbedrijfdrinkwaterbedrijf ProvincieProvincie VMMVMM

Structureren presentatie uitvoer is uitdaging Structureren presentatie uitvoer is uitdaging !!

33© Icastat - AMOIcastat - AMO

ConclusiesConclusiesConclusiesConclusies

1.1. Maatwerk bij trendanalyse loont: meer Maatwerk bij trendanalyse loont: meer onderscheidend vermogen bij trendtoetsen onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschattenen grotere nauwkeurigheid bij trendschatten

2.2. Selectie toets/schatter obv soort Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten kansverdeling en al of geen seizoenseffecten en/of autocorrelatieen/of autocorrelatie

3.3. Bij niet-normaliteit verdelingsvrije methodenBij niet-normaliteit verdelingsvrije methoden

4.4. Selectieprocedure en trendanalyse zijn Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch zodanig geobjectiveerd dat ze automatisch uitgevoerd kunnen wordenuitgevoerd kunnen worden

34© Icastat - AMOIcastat - AMO

Vragen?Vragen?Vragen?Vragen?