Cascadis November 2009

Evaluatie van gemeentelijke websites

Leo Lentz

Han van Wel

Cascadis November 2009

Cascadis 2007: start benchmarkgroep

Twee conclusies in 2007:

• gemeentesites houden te weinig rekening met wat de burger werkelijk wil (en kan)

• De Overheidmonitor wordt als beperkt ervaren:• techniek viert boventoon

• te veel een lijst met punten die afgevinkt worden

• te veel op oppervlakkige kenmerken gericht

• geen echte indicatie van kwaliteit

Cascadis November 2009

Conclusies HCI-handbook 2008

• User centered design is een standaard aan het worden

• De resultaten van usability evaluaties lijken sterk afhankelijk te zijn van de evaluator

• Er is weinig overlap tussen de resultaten van verschillende methoden

• Veel gebruikersonderzoek is beperkt tot een klein domein van de website

• Benchmarking van methoden onderling is zeer wenselijk

Cascadis November 2009

Benchmarking tussen gemeentes

Gemeentes Organisaties

VlissingenBorseleDen Haag Leidschendam-VoorburgAmstelveenNijmegenAlmeloEindhoven

VNGSGBONedstatParantionCascadisDatadirectionGXPWCUniversiteit Utrecht

Cascadis November 2009

Essentie in modellen (1):

Cascadis November 2009

Essentie in modellen (2):

Cascadis November 2009

Benchmark met 5 onderdelen

1. Bezoekers van de site geven oordelen via een survey (WEQ) over navigatie, ontwerp, inhoud (Universiteit Utrecht)

2. Via analyse logfiles worden de resultaten van de WEQ verbonden met gedrag van de invullers van de vragenlijst (NedStat)

3. Met een feedback button op de eigen site verzamelen gemeentes commentaren en suggesties van bezoekers

4. Met behulp van een scenario-analyse wordt voor vier cruciale taken een expertanalyse uitgevoerd van elke site (Universiteit Utrecht)

5. Met behulp van andere scenario’s vindt een analyse plaats van de processen aan de “achterkant” van de site.

Cascadis November 2009

1. De Survey vragenlijst (WEQ

Cascadis November 2009

Website Evaluation Questionnaire

Cascadis November 2009

Procedure vragenlijstevaluatie

• De gemeente plaatst een link naar de vragenlijst

• Bezoekers kunnen vragenlijst invullen

• Resultaten worden geanalyseerd

• Rapport met conclusies en aanbevelingen

Cascadis November 2009

4. Voorbeelden in de praktijk

Cascadis November 2009

Cascadis November 2009

Resultaten bereikbaarheid

Bereikbaarheid Gemiddelde score

Bereikbaarheid algemeen 3,27

Gebruiksgemak 3,59

Navigatie 3,39

Cascadis November 2009

Oordelen van gebruikers vergeleken

Cascadis November 2009

WEQ tot nu toe

Gemeentes

• Amersfoort• Apeldoorn• Dordrecht• Deventer• Nijmegen• Purmerend• Utrecht• Zwartewaterland

Resultaat

Ranking van deelnemersop de dimensies:

- Navigatie- Inhoud- Ontwerp

gebaseerd op oordelen van burgers die de site gebruiken.

Cascadis November 2009

2. Feedback button

Op elke pagina: Het feedback formulier

Cascadis November 2009

Resultaat feedback button

• Analyses uitgevoerd op feedback van• Rotterdam (2007)

• Utrecht (2007)

• De feedback button oogst veel bijvangst• Vragen (wanneer komt Sinterklaas in Utrecht?)

• Commentaar op beleid en personen

• Verzoek om gegevens te corrigeren

• Verzoek om bepaalde informatie te plaatsen

• Meldingen en aanvragen die doorgeleid moeten worden

• Oogst van Utrecht in 16 maanden: 8000 reacties• Dat zijn er 500 per maand

Cascadis November 2009

Classificatie van feedback

Vu Anh (2007) “Uw opmerkingen over de website horen wij graag” Scriptie Universiteit Utrecht

Cascadis November 2009

3. Scenario evaluatie

Belangrijke verschillen:

• geen oordelen van bezoekers maar van experts• Beperkt tot een klein domein van de site• niet kwantitatief (zoals de WEQ) maar kwalitatief

Kenmerken:

• Identificatie van aantal cruciale taken die mensen goed op de site moeten kunnen uitvoeren

• Uitschrijven scenario’s op die taken • kenmerken gefingeerde gebruiker

• concrete vragen van gebruiker

• Analyse door expert met Infocus

Cascadis November 2009

Voorbeeld van een scenario

• Mevrouw Jansen woont in een huurwoning in Apeldoorn. Zij heeft van de verhuurder het aanbod gekregen om de woning waarin zij woont te kopen voor €160.000,-. Zij zou graag op dit aanbod ingaan, maar de prijs is eigenlijk te hoog. Zij heeft wel eens gehoord dat gemeenten financiële steun geven aan mensen die voor het eerst een woning kopen. Zij gaat op de website zoeken of de gemeente Apeldoorn een regeling heeft om nieuwe kopers te steunen en of zij voor deze regeling in aanmerking komt.

• 1a. Hoe heet de regeling waarmee de gemeente Apeldoorn financiële steun geeft aan mensen die voor het eerst een woning kopen?

• 1b. Komt zij als koper in aanmerking voor deze steun? Waarom wel/niet?1c. Hoe zou zij een aanvraag kunnen indienen voor deze steun?

• Kenmerken: mevrouw Jansen is nog niet zo heel erg ervaren op het Internet. Ze surft weinig en voelt zich gauw onzeker. Ze heeft echter wel een goede opleiding en wil graag het naadje van de kous weten. Ze leest alles wat maar relevant lijkt en geeft niet gauw op.

Cascadis November 2009

Cascadis November 2009

Cascadis November 2009

Scenario’s tot nu toe

Scenario-evaluaties:

• Formulieren van Amsterdam• Website van

• Utrecht

• Amersfoort

• Dordrecht

• Gemeentes provincie• Gelderland (www.gelreweb.nl)

• Utrecht

Cascadis November 2009

In het laboratorium (niet in benchmark)

• Hardop denken

• Tijdens taakuitvoering

• Na het uitvoeren van de taak (retrospectief)

• Registratie oogbewegingen

• Proefpersonen voeren taken uit

• Oogbewegingen worden geregistreerd

• Meestal in combinatie met hardop denken

• Altijd in combinatie met de vragenlijst (WEQ)

• Uitgevoerd op sites van Amersfoort, Apeldoorn, Dordrecht en Nijmegen (N=240)

Cascadis November 2009

Benchmark tot nu toe

• Een interessante werkgroep met een veelbelovende combinatie van gemeentes en experts in usability

• Grote bereidheid om een stap verder te zetten in kwaliteitszorg voor gemeentes op het Web

• Uitstekend plan voor een pilot ontwikkeld met een interessante combinatie van methoden

• Interessant aanbod van marktpartijen om daar tegen bodemprijzen aan mee te werken

• Uitdagingen:• financiering vinden bij de betrokken gemeentes budget

• Relatie ontwikkelen met landelijke initiatieven (ICTU en BZK)

• Inbedden in benchmark-ambities VNG

Cascadis November 2009

Conclusies Benchmark

• Eerste waardevolle aanzet in de richting van serieuze kwaliteitszorg voor het web

• Sterke punten:• Gemeentes werken samen en leren van elkaar

• Organisaties met expertise in usability werken samen

• Diverse metingen / instrumenten waardoor de resultaten veel betrouwbaarder zijn

• Ervaringen van gebruikers worden gecombineerd met expert-oordelen

• Zowel globale kwantitatieve resultaten als meer diagnostische kwalitatieve resultaten

• Zowel aandacht voor de voorkant als de achterkant

• Problemen:• Gemeentes hebben nauwelijks budget

• Geen overkoepelende ondersteuning