Z11 g eindopdracht pe2

Usability test voor twee markeertaken in MyLab Usability plan en rapport

Bron: http://vinaganda.com

Groep studenten PE2 Neddy Polat

Kimberley van der Weerden

Esther Leppink

Luc Waardenburg

Docent Gerlof Donga

Minor Z11G Content en Medium

Inleverdatum 28 juni 2013

Voorwoord Ter afsluiting van de module Content en Medium hebben we in opdracht van onze docent

Gerlof Donga een usability plan en rapport uitgewerkt voor een usability experiment binnen

de e-learningomgeving van uitgever Pearson.

Hierbij nemen we de gelegenheid om Gerlof Donga te bedanken voor deze usablity

ervaring. We hadden nog nooit een usability test gepland, uitgevoerd en erover

gerapporteerd. We zijn een ervaring rijker geworden. Dit plan en rapport gaat voor ons dan

ook boven alles om deze ervaring.

Inhoud

Voorwoord !

Managementsamenvatting 5!

1! Inleiding 6!

2! Usability plan 7!2.1! Persona’s 8!

2.1.1! Babette la Noir 8!2.1.2! Parcival Proost 10!

2.2! Conceptueel Model 12!2.3! Sitemap 13!2.4! Flowchart 15!

2.4.1! Twee markeertaken 15!2.4.2! Een annoteertaak 15!2.4.3! Een toetstaak 15!2.4.4! Acht navigatietaken 15!2.4.5! Flowcharts markeertaken 16!

2.5! Voorstel voor usability test 17!2.5.1! Methode 17!2.5.2! Twee markeertaken 17!2.5.3! Observatie 17!2.5.4! Reflectievragen 18!

3! Usability report 19!3.1! Markeren belangrijke tekst 19!

3.1.1! Usability testtaak 19!3.1.2! Camerabeelden en schermopnamen 19!3.1.3! Observatoren over de testers 20!3.1.4! Antwoorden van testers op reflectievragen 20!

3.2! Markeren belangrijke pagina 21!3.2.1! Usability testtaak 22!3.2.2! Camerabeelden en schermopnamen 22!3.2.3! Observatoren over de testers 22!3.2.4! Antwoorden van testers op reflectievragen 22!

3.3! Conclusies en aanbevelingen 23!3.3.1! Conclusies 23!3.3.2! Aanbevelingen 24!

4! Reflectie 25!4.1! Van voorbereiden labtest tot opleveren rapport 25!4.2! Onderlinge samenwerking 25!4.3! Reflecties van de testers 26!

Usability plan & usability rapport - PE2 4

Bestudeerde literatuur 27!

Bijlage – Usability planning 28!

Bijlage – Usability testtaken 30!

Bijlage – Usability reflectievragen 32!

Bijlage – Usability reflectie van een tester 35!


Managementsamenvatting Ter afsluiting van de module Content en Medium stellen we in dit document een usability

experiment voor, waarmee uitgever Pearson twee markeerfuncties in diens e-

learningomgeving kan verbeteren. In een usability lab laten we zeven studenten die tot de

doelgroep van Pearson behoren testtaken rondom twee markeerfuncties in MyLab

uitvoeren, waarmee we Pearson feedback zouden kunnen geven op hoe deze functies

worden ervaren door de doelgroep. De resultaten hiervan hebben we uitgewerkt in een

usability rapport in dit document.


1 Inleiding In dit document verslaan we hoe we een usability experiment hebben voorbereid en door

zeven testers op vrijdag 7 juni 2013 in een lab hebben laten uitvoeren op het e-

learningplatform MyLab* van uitgever Pearson. In het lab kregen we een time window van

1,5 uur om de testers de taken te laten uitvoeren en hierna erop te laten reflecteren.

Hierna volgen twee hoofdstukken. In hoofdstuk 2 werken we in het usability plan het voorstel

en de voorbereidingen uit voor het usability experiment. Hiervoor hebben we op MyLab een

samenhang van acht navigeertaken, twee markeertaken, een annoteertaak en een toetstaak

laten uitvoeren door de zeven studenten. Dit om - zoals aangegeven - ervaring op te doen

met de door ons uitgeschreven taken. Voor het uitwerken van het plan en het rapport

hebben we op verzoek van onze docent Gerlof Donga ons gericht op twee taken. We

hebben gekozen voor twee goed uitgewerkte markeertaken. In hoofdstuk 3 beschrijven we

in het usability rapport de resultaten en reflecteren we op de uitgevoerde activiteiten. Dit

sluiten we af met conclusies en aanbevelingen. Tot slot reflecteren we in hoofdstuk 4 op het

gehele proces van plan tot rapport, we reflecteren op onszelf betreffende onze

samenwerking en we koppelen terug wat de testers vonden va onze prestaties rondom het

testen. Aansluitend hebben we achterin de usability documenten toegevoegd die we hebben

opgesteld en gebruikt voor de usability test.

* De e-Learningomgeving MyLab omvat ook de applicatie eText, dat wordt geopend wanneer de

gebruiker de tekst van een ebook opent. We kiezen ervoor om het in dit document te hebben over

MyLab. Ook waar we beide omgevingen bedoelen. Waar het nodig is om de testers goed door hun

taken te begleiden, zullen we eText wel benoemen.


2 Usability plan Voor het experiment wilden we zeven studenten in een usability lab in 1,5 uur door een

samenhang van navigeer-, markeer-, annoteer- en toetstaken loodsen binnen het e-

learningplatform MyLab van Pearson. Dit moest goed voorbereid worden.

In de volgende paragrafen hebben we plaats ingeruimd voor het verslaan van de

voorbereidingen. Aan de orde komen de onderstaande onderdelen. Op verzoek van onze

docent Gerlof Donga, zullen we elke onderdeel op een nieuwe pagina laten beginnen.

De onderdelen die aan bod zullen komen, zijn:

1. twee persona’s (ijkpersonen) die centraal staan als doelgroep voor de

studentenlogin van MyLab;

2. het conceptuele model van MyLab;

3. de structuur van de content die wordt aangeboden in MyLab door middel van een

sitemap;

4. een flowchart om de interactie zichtbaar te maken voor een taak die binnen MyLab

door een persona wordt uitgevoerd;

5. een voorstel op basis van de hiervoor beschreven onderdelen voor een usability

experiment.


2.1 Persona’s Onze doelgroep bestaat uit studenten uit het hoger onderwijs. Hieronder beschrijven we

twee mogelijke persona’s voor de studentenlogin van MyLab. Hier zijn overigens

verschillende variaties op mogelijk. Hiermee willen we aangeven dat een goed experiment

een scala aan verschillende leertypes zou kunnen beschrijven middels meer persona’s en

naast verschillen in leerstijl ook onderscheid zou kunnen maken tussen deeltijd- en

voltijdstudenten. Wijzelf zullen uitgaan van dé student in het hoger onderwijs. Dit omdat we

het helaas niet voor het kiezen hebben bij onze zoektocht naar participanten: we zijn al blij

als we zes à zeven studenten vinden die kunnen en willen testen gedurende onze time

window in het lab.

2.1.1 Babette la Noir

Dromer en visueel ingesteld

Voltijdstudent die moeite heeft als ze door veel droge tekst heen moet, maar dit prima

kan als de stof ook visueel kan worden weergegeven

Leerbehoeften

Tekstueel leren ---------x Visueel leren

Wat wil Babette uit MyLab halen?

• Leren op een visuele manier.

• Ondersteuning bij het vertalen van de stof naar een visuele wijze van studeren.

Persoonlijke achtergrond

Babette is 21 jaar. Zij is voltijdstudent Reclame, Marketing en

Communicatie. Babette is een dromer volgens het

leerstijlenmoden van Kolb en is visueel ingesteld. Zij voelt zich

als een visje in het water wanneer haar studiestof veel visueel

materiaal bevat. Ze zou het dan ook fijn vinden als de tooling

binnen Mylab visueel zou worden vormgegeven en de functies

via duidelijke en grote knoppen op te roepen zouden zijn.


Haar zorgen

• Hoe vind ik mijn weg door bergen tekstuele studiestof?

• Kan de stof aangepast worden aan mijn visuele leerstijl?

Een mogelijke scenario

Babette doet een module financieel management. Het baart haar zorgen dat zowel de

docent als het studiemateriaal zeer teksten cijfergericht zijn. Babette wil alles op alles

zetten om zich de stof toch eigen te maken. Hiervoor heeft zij veel visuele input van de

studiestof en visuele tooling nodig. Ze hoopt dan ook dat de studiestof hier en daar op een

visuele manier voor haar kan worden weergegeven en dat zijn op een visuele manier

getentamineerd kan worden.

Quotes

“Ik ben visueel ingesteld, maar dat wil niet zeggen dat ik de inhoud van de stof niet net zo

goed kan begrijpen als iemand die tekstueel gericht leert.”

“Ondersteun me in mijn manier van visueel leren, zodat ik kan laten zien dat ook ik alle stof

tot me kan nemen.”


2.1.2 Parcival Proost

Denker en tekstueel ingesteld

Deeltijdstudent met behoefte aan vooral veel tekstuele studiestof en tooling om de

belangrijke tekst mee aan te geven of aanvullingen erop te maken

Leerbehoeften

Tekstueel leren x--------- Visueel leren

Wat wil Parcival uit MyLab halen?

• Leren en toetsen op een tekstuele wijze.

• Veel boeken en voldoende tooling om zich de teksten eigen te maken en deze naar

eigen hand te zetten.

Zorgen

• Kan ik met de tooling binnen MyLab snel de kern van de stof aangeven?

• Biedt MyLab wel voldoende manieren om te annoteren zoals dat in een boek kan?

Een mogelijke scenario

Parcival doet een module Datavisualisatie. Het baart hem zorgen dat zowel de docent als

het studiemateriaal zeer visueel gericht zijn. Parcival wil alles op alles zetten om zich de stof

toch eigen te maken. Hiervoor heeft hij veel boeken en teksten over datavisualisatie nodig.

Visualiseren is niet zijn sterkste kant. Hij hoopt dat hij voldoende tekstuele stof en tooling

aangeboden krijgt die hem kunnen helpen om het visualiseren tekstueel te benaderen.

Persoonlijke achtergrond

Parcival is 35 jaar. Hij is deeltijdstudent Informatie en Media en

werkt voltijd naast deze studie. Hij heeft dus niet te veel tijd en

geduld voor een schoolse benadering van de stof. Parcival is

een denker volgens het leerstijlenmodel van Kolb en is zeer

tekstueel ingesteld. Geef hem vooral veel boeken en laat hem

die zich eigen maken op zijn manier en hij is een gelukkige man.

Hij zou het fijn vinden als in MyLab de functionaliteiten logisch te

bedienen zouden zijn en dat hij belangrijke teksten aan zou

kunnen geven op verschillende manieren.


Bovendien hoopt hij dat hij niet hoeft te visualiseren om te laten zien dat hij de stof heeft

begrepen.

Quotes

“Geef mij veel boeken en de middelen om mij de stof op een tekstuele manier eigen te

maken en ik ben een voorbeeldige leerling.”

“Vertel me alsjeblieft niet hoe ik studeren visueel interessanter kan maken, want visualisatie

is gewoonweg niet mijn ding.”


2.2 Conceptueel Model

Wat zou het conceptuele model kunnen zijn waaruit MyLab is ontstaan? In de afbeelding

hieronder proberen we dit op papier in kaart te brengen. Daarnaast verwoorden we wat dit

concept over wil brengen.

Studenten en docenten leren en doceren klassikaal en individueel. Een e-learningomgeving

behoeft een digitale werkruimte en een mediatheek met leer- en studiemateriaal, die bestaat

uit boeken. Boeken bestaan uit hoofdstukken, paragrafen en subparagrafen. Hierbij bestaan

de hoofdstukken uit paragrafen, die weer uit subparagrafen bestaan. Docenten en studenten

behoeven een planning en willen toetsing. Toetsing bestaat uit toetsen, oefenen met

definities, maar kan ook via het maken van mindmaps.


2.3 Sitemap

In deze paragraaf beschrijven we door middel van een sitemap de hiërarchische structuur

van de content die wordt aangeboden in MyLab. Het is om een indruk te geven waar welke

content in deze hiërarchie ‘leeft’ en hoe je er naartoe kunt browsen. Op de afbeelding

hieronder beginnen we op de sitemap middenin bij een duidelijk startpunt Home, tekenen

hieromheen de tweede laag binnen de hiërarchie uit en vervolgen onze reis van daaruit via

een van de opvolgende detail-lagen naar de paragraaflaag. We tekenen hierbij niet alle

andere detail-lagen uit. Al zouden we dat wel willen: de sitemap van MyLab kan eindeloos

doorgaan, omdat sitemaps geen duidelijk einde kennen.

MyLab heeft een studentenlogin en een docentenlogin. Hier gaan we in op de

studentenlogin. Na het inloggen kom je op de homepagina. Daar vandaan kun je naar:

Schedule, Preferences, Account, My Classes en Marketing, de essentie. Vanuit Marketing,

de essentie kun je naar: Studiemateriaal, Agenda, Toetsbeheer, Help. Vanuit

Studiemateriaal kun je naar: Studiepad en Mediatheek. Vanuit Studiepad kun je naar

Hoofdstuk 1, Hoofdstuk 2, Hoofdstuk 3, etc. Vanuit Hoofdstuk 2 kun je naar de paragrafen:

2.1, 2.2, 2.3 en 2.4. Vanuit paragraaf 2.2 kun je naar Leerobject 2.2 en My Tools. Vanuit de

detail-laag Leeropject 2.2 kun je naar paragraaf 2.2.1 en 2.2.2. Via de detail-laag My Tools

kun je naar: My Check, My Map en My Definitions.


Op de afbeelding hierboven hadden we kleuren kunnen gebruiken om de verschillende

lagen aan te geven. Dat hebben we niet gedaan omdat we geen kleurpotloden tot onze

beschikking hadden toen we de sitemap vastlegden.


2.4 Flowchart Binnen MyLab willen we testen of de testers een aantal functionaliteiten kunnen vinden om

de bijbehorende taken uit te voeren. Via deze taken willen we testen hoe de testers al onze

taken achtereen zullen uitvoeren en ervaren. Daarnaast willen we voor dit usability plan en

rapport kijken of we met twee van de taken verbeterpunten kunnen aandragen voor de

bijbehorende functionaliteiten. Hiervoor hebben we verschillende usability testtaken achter

elkaar gezet in de vorm van 12 stappen. Zie bijlage Usability testtaken achterin. Dit zodat de

testers alle taken achter elkaar kunnen uitvoeren. In de onderstaande paragrafen hebben

we de 12 testtaken gegroepeerd en leggen we per taakgroep uit wat de bedoeling is. De

taakgroep markeertaken kiezen we uit als de twee taken die we gaan rapporteren. In de

laatste paragraaf tekenen we de processtappen voor de markeertaken uit in een flowchart.

2.4.1 Twee markeertaken

Het is de bedoeling dat de tester in een tekst een belangrijk deel van die tekst weet te

markeren. De opdracht hiertoe wordt gegeven bij stap 5 van Usability testtaken achterin.

Ook is het de bedoeling dat de tester een pagina als belangrijk weet te markeren. De

opdracht hiertoe wordt gegeven bij stap 6 van Usability testtaken achterin.

2.4.2 Een annoteertaak Het is de bedoeling dat de tester in de tekst een belangrijke aanvulling weet te maken op

een deel van de tekst. De opdracht hiertoe wordt gegeven bij stap 10 van Usability testtaken

achterin.

2.4.3 Een toetstaak

Het is de bedoeling dat de tester de oefeningen weet te vinden, waarmee de inhoud van de

tekst geoefend kan worden en een appellerende oefening kan uitkiezen. De opdracht

hiertoe wordt gegeven bij stap 12 van Usability testtaken achterin.

2.4.4 Acht navigatietaken

De stappen 1 t/m 4, 7 t/m 9 en 11 van Usability testtaken achterin moesten ervoor zorgen

dat de gebruiker niet teveel hoeft te zoeken om de bovenstaande taken uit te voeren.

Tegelijkertijd waren deze tussenstappen handig om te kijken of de tester de juiste knoppen

vindt om bij de doelbestemming te komen. Dus dit geheel kan ook als navigatietaak gezien

worden.


2.4.5 Flowcharts markeertaken

Hieronder hebben we in een flowchart uitgetekend welke stappen de tester door de e-

learningomgeving moet nemen via een aantal navigatietaken om vervolgens een stuk tekst

en daarna een pagina te markeren via de de markeertaken. Dit om de processtappen te

illustreren, die de tester binnen MyLab neemt om de twee markeertaken uit te voeren.

Vervolgens hebben we de stappen om belangrijke tekst te markeren in een flowchart

weergegeven. Tot slot hebben we de stappen om een pagina te markeren in een flowchart

uitgetekend.

Startpunt Home

Stap 1 Navigeren

Stap 2 Navigeren

Stap 3 Navigeren

Stap 4 Navigeren

Stap 5 Markeren

tekst

Stap 6 Markeren

pagina

Lees!tekst.!Belang-!rijke!tekst?!

Ja.!Klik!op!

Markeer-!knop!

Nee.! Stop!!

Selecteer!tekst!

Tekst!is!opge-!licht.!

Lees!tekst.!Pagina!belang-!rijk?!

Ja.!

Nee.! Stop!!

Klik!op!markeer-!knop!!

Pagina!gemar-keerd!


2.5 Voorstel voor usability test In deze paragraaf doen we een voorstel op basis van de hiervoor beschreven onderdelen

voor een usability experiment. Ons voorstel is om zeven studenten uit het hoger onderwijs

de twee markeerfunctionaliteiten te laten testen binnen MyLab. Een waarmee een tester een

zelfgekozen passage gaat markeren als belangrijk en een waarmee een tester een pagina

gaat markeren als belangrijk. Waarom deze twee taken? We denken dat de markeertaken

redelijk goed zijn uitgewerkt binnen MyLab, omdat we de functionaliteiten voor het markeren

van ‘belangrijke’ tekst binnen MyLab zelf eenvoudig en vergelijkbaar vinden met dezelfde

functionaliteit in andere omgevingen, zoals e-bookomgevingen. Wel vermoeden we dat de

testers deze functionaliteiten nog verder verfijnd en gepersonaliseerd zullen willen zien.

2.5.1 Methode Binnen een time window van 1,5 uur gaan we op vrijdag 7 juni in een usability lab zeven

gemeenschappelijk verzamelde studenten uit het hoger onderwijs onze taken voorleggen en

hen daarna laten reflecteren op hetgeen ze hebben gedaan.

Om dit goed te organiseren zullen we goed moeten plannen wat we vooraf gaan

voorbereiden (zie bijlage Usability planning), een takenoverzicht moeten maken waarmee

de testers alle taken achter elkaar kunnen uitvoeren (zie bijlage Usability testtaken) en alle

testers aansluitend alle reflectievragen achter elkaar moeten voorleggen waarmee zij

kunnen reflecteren op de taken en op ons (zie bijlage Usability reflectievragen).

2.5.2 Twee markeertaken In de bijlage Usability testtaken achterin zijn 12 taken achter elkaar gezet in de vorm van 12

stappen. Dit zodat de testers alle taken achter elkaar kunnen uitvoeren. Hiervan gaan we

enkel stap 5 en 6 uitwerken in het usability rapport in hoofdstuk 3. Hierbij vertellen we de

tester enkel wat deze moet doen, omdat het hoe is wat we willen observeren.

2.5.3 Observatie

Voor de observaties gebruiken we drie observatoren in een afgesloten lab-omgeving naast

de wachtkamer. Zie bijlage Usability reflectievragen. In de labruimte zal MyLab draaien op

een laptop. De beelden op het bureaublad zullen worden vastgelegd door een applicatie die

in de achtergrond draait op de laptop. Er zal een camera op de tester gericht zijn. Als

backup zal voor de zekerheid een iPhone het geluid registreren.

De observatoren zullen niet meehelpen, maar de tester wel op zijn/haar gemak stellen. Om

de testers goed te kunnen observeren maken we een observatieschema (zie bijlage

Usability planning) zodat wij en de testers weten welke tester wanneer aan bod komt. Alle

observatoren zullen zich erop moeten instellen dat we willen weten hoe de gebruikers de

taken gaan uitvoeren. We zullen de testers dus niet helpen bij het uitvoeren van de taken.


Wel zullen we de testers zoveel mogelijk op hun gemak stellen zodat we de stress voor de

testers minimaliseren en de hoeveelheid informatie die we van hen krijgen vergroten. We

geven de testers vooral ook mee dat we de applicatie testen en niet hen. Dat zij dus niets

verkeerd kunnen doen.

Drie observatoren zullen opmerkelijkheden noteren. Opdat we weten wat er in de testers

omgaat, zullen de observatoren er ook voor moeten zorgen dat de testers hardop blijven

denken (think aloud) zoals we hen dat vragen in de inleidende tekst bij de testtaken (zie

bijlage Usability testtaken).

2.5.4 Reflectievragen

Daarna willen we de testers een aantal vragen voorleggen over hoe zij de functionaliteiten

bij stap 5 en 6 hebben ervaren, maar ook hoe zij die stappen zelf hebben ervaren en of wij

deze beter hadden kunnen formuleren. Zie bijlage Usability reflectievragen achterin. De bij

stap 5 en 6 horende reviewvragen zijn vraag 1 en 2. De opvolgende vragen reflecteren op

andere taken die we niet zullen rapporteren binnen dit rapport, maar waarvan we uitkomsten

ter kennisneming in acht zullen nemen. Vraag 5 en 6 zijn bedoeld om uit te vragen of we de

stappen goed genoeg hebben geformuleerd en of de tester nog iets anders op het hart

heeft.


3 Usability report

In dit hoofdstuk zetten we in een usability report uiteen wat de resultaten waren van het in

paragraaf 2.5 voorgestelde experiment. Helaas hebben we geen testpersonen kunnen

werven op basis van onze leerstijl-specifieke persona’s uit hoofdstuk 2. Dit komt omdat

zowel de deeltijd- als de voltijdstudenten vrijdag overdag, tijdens de reservering van onze

labtijd aan het studeren zijn. Dit hebben we nu opgelost door uit te gaan van studenten in

het hoger onderwijs, als doelgroep van de studentenlogin van MyLab.

Hieronder zetten we per taak uiteen wat de geworven testers deden, zeiden en wat deze

aan ons teruggaven toen we aan hen de reflectievragen voorlegden. Ook betrekken we de

commentaren van de observatoren bij dit verslag. We sluiten dit hoofdstuk af met onze

conclusies en aanbevelingen.

3.1 Markeren belangrijke tekst Hieronder zetten we uiteen welke opdracht de tester kreeg om een belangrijke stuk tekst te

markeren. Vervolgens beschrijven we hoe deze de opdracht uitvoerde en wat deze riep

(think aloud) volgens de camerabeelden en de schermopname via de laptop. Daarna

bekijken we de interpretaties van de observatoren. Tot slot kijken we naar de antwoorden

van de testers op de reflectievragen rondom deze taak.

3.1.1 Usability testtaak

Toen de tester bij deze taak was op de Usability testtaken, kon deze de volgende opdracht

lezen: “Stap 5 Lees deze paragraaf en markeer met een van de tools een stuk tekst als

belangrijke tekst. Het gaat erom of je een functionaliteit hiervoor kunt vinden en toepassen.

Het maakt dus niet uit welke inhoudelijke tekst jij hiervoor kiest.”

3.1.2 Camerabeelden en schermopnamen Hieronder wat we op de beelden zien gebeuren. De bijzonderheden geven we hierbij meer

concrete aandacht.

Merel vindt zonder problemen de highlighting tool en noemt het een pen. Terwijl ze een stuk

tekst begint te markeren, merkt ze op dat ‘de pen’ inderdaad markeert.

Alma vindt zonder problemen de highlighting tool. Ze kiest een paars highlight stift, omdat

ze het een leuke kleur vindt (think aloud). Alma heeft moeite met het markeren, omdat ze de

highlighting stift over de zinnen heen probeert te trekken en het effect niet is wat ze ervan

verwacht: een gemarkeerde zin. In plaats daarvan wordt het een gekleurde vlak dat niet

precies over de zin heen valt, die ze had willen highlighten. Ze ziet wel dat ze een gekleurde

rechthoek heeft gemaakt die ze groter en kleiner kan trekken.


Bram zoekt eerst naar een “markeer tool” en vindt vrijwel direct daarna de highlighting tool

en begint ermee te slepen over de tekst. Hij geeft aan dat hij dit doet omdat de cursor

verandert in een markeerstift.

Nicole vindt zonder problemen de highlighting tool en markeert een stuk tekst.

Eline moet een aantal keren op de highlighting tool klikken om een stift te pakken te krijgen.

Als ze aan het markeren gaat, vindt ze het gemarkeerde deel een beetje gek, omdat ze

verwachtte dat de markering op dezelfde plek zou komen als waar zij de muis overheen

trok. Deze komt eronder.

Marjolein pakt vrij snel de oranje highlighting tool en markeert een aantal keren. Ze vindt

het markeren schokkerig. Het gaat niet zoals ze wil. De markering komt onder de regel die

zij wil markeren. Als ze het markeervlak naar beneden sleept, pakt deze niet de gehele

nieuwe zin.

Paul pakt de highlighting tool er gelijk bij en markeert een stuk tekst.

3.1.3 Observatoren over de testers

Hieronder de notities van de drie observatoren. De bijzonderheden geven we hierbij meer

concrete aandacht.

Merel De observatoren melden niets nieuws hier.

Alma De observatoren melden niets nieuws hier.

Bram Een van de observatoren meldt dat Bram denkt dat hij het fout doet omdat hij ‘sleept

als een mongool’. De observator vult dit in. Dit is Brams manier van praten. Hij geeft heel

duidelijk aan dat het hem duidelijk was waar hij naar zocht.

Nicole De observatoren melden niets nieuws hier.

Eline De observatoren melden niets nieuws hier.

Marjolein De observatoren melden niets nieuws hier.

Paul De observatoren melden niets nieuws hier.

3.1.4 Antwoorden van testers op reflectievragen

Hieronder de antwoorden die de testers gaven bij de reflectievragen die betrekking hadden

op deze taak. De bijzonderheden geven we hierbij meer concrete aandacht.

Merel kon de opdracht uitvoeren en vindt de functionaliteit handig. Verder vindt ze het

logisch dat er een pen wordt gebruikt om te markeren. Wel zou ze meer duidelijke kleuren

gebruiken voor deze tool. Ze zou zelf geen andere functionaliteit gebruiken, omdat ze zelf

ook altijd markeert.

Alma kon de opdracht uitvoeren, maar vindt de functionaliteit niet handig. Ze vindt het niet

handig dat je niet een zin kunt markeren, maar gelijk een heel vlak markeert. Ze vindt de

uitlijning raar: de markering begint net onder de tekst. Ze vindt dat er naar Microsoft Word

gekeken zou kunnen worden om deze functionaliteit te verbeteren.

Bram kon de opdracht uitvoeren en vindt de functionaliteit handig. Verder vond hij alles

duidelijk. Alleen zou hij de icoon van de tool groter en duidelijker in beeld brengen.

Misschien naast de tekst.


Nicole kon de opdracht uitvoeren en vindt de functionaliteit handig, Ze vond het allemaal

heel duidelijk. Ze vond het handig dat ze verschillende kleuren kon gebruiken.

Eline kon de opdracht uitvoeren, maar vindt de functionaliteit niet handig omdat je markeert

onder de plek waar je wilt markeren. Ook kun je niet naar links markeren. De functionaliteit

kan zodanig verbeterd worden dat je zelf mag weten waar je markeert zonder beperkingen.

Ze zou het handiger vinden dat je een stuk tekst kunt selecteren en dan de selectie kunt

markeren.

Marjolein kon de opdracht uitvoeren en vindt de functionaliteit handig. Dit vindt ze omdat er

een duidelijke markeerknop voor was. Alleen de tool markeerde niet de gewenste regel. Ze

zou dan ook alleen dit verbeterd willen zien. Ze zou geen andere functionaliteit willen

gebruiken voor deze doeleinden.

Paul kon de opdracht uitvoeren en vindt de functionaliteit handig. Het was duidelijk en er

was een goed icoontje voor. Hij zou de functionaliteit niet verbeteren en vond het juist

handig dat je kunt markeren zonder aan regels gebonden te zijn. Misschien zou hij een

duidelijke kantlijn erin willen zien, waarmee je direct ziet wat je hebt gemarkeerd. Een balkje

of iets dergelijks.

3.2 Markeren belangrijke pagina Hieronder zetten we uiteen welke opdracht de tester kreeg om een belangrijke pagina te

markeren. Vervolgens beschrijven we hoe deze de opdracht uitvoerde en wat deze riep

(think aloud) volgens de camerabeelden en de schermopname via de laptop. Daarna


bekijken we de interpretaties van de observatoren. Tot slot kijken we naar de antwoorden

van de testers op de reflectievragen rondom deze taak.

3.2.1 Usability testtaak Toen de tester bij deze taak was op de Usability testtaken, kon deze de volgende opdracht

lezen: “Stap 6 Markeer de pagina voor je om aan te geven dat je deze hele pagina

belangrijk vindt.”

3.2.2 Camerabeelden en schermopnamen

Hieronder wat we op de beelden zien gebeuren. De bijzonderheden geven we hierbij meer

concrete aandacht.

Merel markeert letterlijk de hele pagina met de highlighting tool i.p.v. de bookmark

functionaliteit hiervoor te gebruiken.

Alma geeft eerst aan niet te zien hoe ze de pagina als belangrijk kan markeren, maar vindt

direct daarop de bookmark tool en bookmarkt de pagina.

Bram vindt de tool niet waarmee hij de pagina kan markeren als belangrijk en gaat na even

zoeken door naar de volgende taak.

Nicole vindt zonder problemen de bookmark tool en markeert de pagina.

Eline vindt zonder problemen de bookmark tool en markeert de pagina.

Marjolein vindt na even zoeken de bookmark tool. Ze weet niet zeker of deze tool moet

hebben. Ze markeert de pagina. Maar omdat ze het niet zeker weet, highlight ze vervolgens

toch ook voor de zekerheid de hele pagina in het paars erbij.

Paul pakt gelijk de bookmark tool erbij en markeert de pagina.

3.2.3 Observatoren over de testers

Hieronder de notities van de observatoren. De bijzonderheden geven we hierbij meer

concrete aandacht.

Merel De observatoren melden niets nieuws hier.

Alma De observatoren melden niets nieuws hier.

Bram De observatoren melden niets nieuws hier.

Nicole De observatoren melden niets nieuws hier.

Eline De observatoren melden niets nieuws hier.

Marjolein De observatoren melden niets nieuws hier.

Paul De observatoren melden niets nieuws hier.

3.2.4 Antwoorden van testers op reflectievragen

Hieronder de antwoorden die de testers gaven bij de reflectievragen die betrekking hadden

op deze taak. De bijzonderheden geven we hierbij meer concrete aandacht.

Merel kon de opdracht uitvoeren en vindt de functionaliteit handig. Wel mist ze de optie

‘markeer alles’. Verder vindt ze alles goed.

Alma kon de opdracht uitvoeren, maar vindt de functionaliteit niet handig. Ze vindt het

onhandig dat je niet kunt zien dat je de pagina hebt gebookmarkt. Verder zou ze via popups


geattendeerd willen worden over hoe je bepaalde functionaliteiten kunt gebruiken. Zo van:

“als je hierop klikt, kun je highlighten.”

Bram kon de opdracht niet uitvoeren en vind de functionaliteit niet handig. Hij kon de button

niet vinden. Hij zocht de functionaliteit tevergeefs bij het vakje waar de pagina-aanduiding

stond. Hij zou een duidelijke “markeer deze pagina” button willen zien.

Nicole kon de opdracht uitvoeren en vindt de functionaliteit handig. Ze vond alles duidelijk.

Ze zou de knop misschien wel iets duidelijker aangegeven willen zien. Verder zou ze niets

veranderen omdat het vergelijkbaar en herkenbaar is met hoe het in e-books aangegeven

wordt.

Eline kon de opdracht uitvoeren en vindt de functionaliteit handig. Verder geen

opmerkingen.

Marjolein kon de opdracht uitvoeren en vindt de functionaliteit handig. Alleen miste ze een

functionaliteit die dit makkelijker en sneller kon maken. Zoiets als een “boekenlegger” of

“pagina marker”.

Paul kon de opdracht uitvoeren en vindt de functionaliteit handig. Zo kun je gelijk een

belangrijke pagina vinden en bewaren. Hij zou niets veranderen.

3.3 Conclusies en aanbevelingen Hieronder trekken we conlusies met betrekking tot de twee geteste markeerfuncties. Daarna

formuleren we onze aanbevelingen.

3.3.1 Conclusies

Bij het markeren van een belangrijk stukje tekst konden alle zeven studenten de markeertool

vinden en de taak uitvoeren. Hiervan vonden vier dat het goed werkte. Drie anderen waren

niet tevreden over het precies kunnen plaatsen van de markering waar je dat zelf wil: de

markering komt iets onder de aangegeven markeerstreep die je trekt. Daaromheen waren er

extra behoeften. Een student zou graag meer en duidelijke markeerkleuren willen kunnen

gebruiken. Een van de studenten ziet graag een groter icoon direct naast de tekst die de

markeerfunctionaliteit vertegenwoordigt. Een student oppert dat je ook naar links zou

moeten kunnen markeren en eigenlijk overal waar jij dat precies wilt. Een student oppert dat

er een balkje in de kantlijn zou kunnen signaleren wat je hebt gemarkeerd. Een student mist

een ‘selecteer alles’ optie.

Met het markeren van een belangrijke pagina hebben drie van de zeven studenten moeite.

Een van hen vindt de tool niet en gaat naar de volgende taak. Een van hen gebruikt de

markeertool en zegt de optie ‘markeer alles’ te missen. Een student twijfelt of zij de pagina

wel of niet heeft gebookmarkt nadat ze deze wel had gebookmarkt, omdat je dit niet een-

twee-drie ziet. Ze zegt een functionaliteit als een ‘boekenlegger’ of ‘pagina marker’ te

missen. Vier van de studenten hebben geen problemen met de bookmarktool. Daaromheen

waren er extra behoeften. Een student zou graag via popups geattendeerd willen worden


over hoe je bepaalde functionaliteiten kunt gebruiken. Zo van: “als je hierop klikt, kun je

highlighten.” Twee studenten zouden de button voor de bookmark tool duidelijker in beeld

willen hebben.

3.3.2 Aanbevelingen

Drie van de van de zeven studenten blijkt ongeveer dezelfde problemen te ondervinden met

de markeertool: het komt erop neer dat de tool niet intuïtief genoeg werkt bij het toepassen.

Dat is een aanzienlijk deel. Ons advies luidt om dit probleem op te lossen. Drie van de

zeven studenten heeft problemen met het gemarkeerd krijgen van de pagina. Twee vinden

de tool niet. En een kan niet zien of zij de bookmarktool goed heeft gebruikt. Allemaal

andere redenen, maar ook weer een aanzienlijk deel dat de tool niet kan gebruiken waar die

voor bedoeld is. We adviseren om wel iets te doen met de issues die zij aangeven, omdat

deze de functionaliteit zullen verbeteren. Daarnaast zijn er individuele adviezen c.q. wensen

waarmee beide tools aantrekkelijker gemaakt zouden kunnen worden. Deze zijn interessant

om te onderzoeken.

De studenten komen met feedback waarmee de beide tools bruikbaarder, intuïtiever,

vindbaarder en gepersonaliseerder gebruikt zouden kunnen worden. Sommige studenten

kampen met hetzelfde en andere willen soms het tegenovergestelde van wat de andere

studenten willen. Een oplossing zou kunnen zijn om terugkomende problemen standaard

aan te pakken en bijzondere wensen van studenten in instelbare eigenschappen mogelijk te

maken. Op deze wijze kan MyLab met meer instellingen geschikt gemaakt worden voor

meer en ook tegenovergestelde wensen.


4 Reflectie

In dit hoofdstuk beschrijven we onze ervaringen over het gehele proces, van het

voorbereiden van de labtest tot het opleveren van het rapport. Daarna reflecteren we op

onze samenwerking. Tot slot vatten we de feedback samen die we van de testers hebben

ontvangen over ons functioneren.

4.1 Van voorbereiden labtest tot opleveren rapport

We hebben de labtest zodanig goed weten voor te bereiden dat we hebben kunnen doen

wat we wilden doen in de 1,5 uur labtijd. Er waren twee zaken die we beter hadden kunnen

doen.

Om te beginnen lijkt het erop dat we het ons moeilijk hebben gemaakt door zoveel testtaken

te beschrijven en te testen. Terwijl we hiervan slechts twee stuks zouden gebruiken. Toch

was het interessant om te zien hoe de testers met onze andere taken omgingen. In

paragraaf 4.3 besteden we aandacht aan de leerpunten rondom een van die taken.

Daarnaast hadden we het - zoals eerder aangegeven - niet voor het kiezen bij het zoeken

naar testers. Helaas wisten we pas een dag vantevoren dat we voldoende testers bij elkaar

hadden verzameld. Jammer dat het vinden van testers een issue was. Anders hadden we

de twee persona’s uit hoofdstuk 2 kunnen gebruiken bij het werven. Ook hadden we

eventueel met nog meer persona’s c.q. meer leerstijlen kunnen werken. Onze reviewvragen

hadden we dan wat specifieker op de leerstijlen aan kunnen sluiten. Hierdoor hadden we

specifiekere uitspraken kunnen doen op basis van verschillende leerstijlen. Dit hebben we

nu opgelost door uit te gaan van studenten in het hoger onderwijs, als doelgroep van de

studentenlogin van MyLab.

4.2 Onderlinge samenwerking De onderlinge verstandhouding en samenwerking was goed. We weten wat we aan elkaar

hebben als we weten wat de gemeenschappelijke output moet zijn. Deze ervaring hebben

we opgedaan in de projectgroep PE2. Binnen deze module, Content en Medium, begrepen

we tot voor kort niet helemaal wat onze docent van ons verwachtte: welk deel van het

eindproduct moet individueel opgeleverd worden en precies welk deel gemeenschappelijk?

Ondanks dit was ieders aandeel voldoende verdeeld over het geheel van de acties: de

taken verzinnen en uitschrijven, de planning maken, de testers werven, het inregelen van

apparatuur, de uitvoering van de usability test, de testers reviewen, alle opnamen en

observaties aan elkaar rondsturen, het opleveren en reviewen van dit document.


4.3 Reflecties van de testers We waren zeer benieuwd naar hoe de testpersonen onze twaalf taken en de rest van ons

functioneren zouden ervaren. Dit hebben we uitgevraagd via de laatste twee vragen op het

reviewformulier. Over het algemeen kregen we de feedback dat we het goed hebben

gedaan. Vier testers vonden taak 12 behoorlijk lastig, omdat ze niet wisten waar we naar

verwezen. De taak luidde: “Stap 12: Kies een manier in MyLab die jij handig vindt om te

oefenen met de stof die je zojuist hebt gelezen.” Het was voor hen in MyLab even zoeken

naar hetgeen dat werd gevraagd. Het lijkt erop dat we hier te weinig informatie hebben

gegeven over het ‘wat’ c.q. waarnaar de testers naar moesten zoeken, omdat we

probeerden niet het ‘hoe’ teveel weg te geven. We hadden in dit geval prima kunnen

aangeven dat er drie manieren waren om de studiestof te oefenen of te toetsen: via

definitiekaarten die studenten zelf moesten aanmaken, via de mogelijkheid om het geleerde

te mappen en via een toets. Daarna hadden we hen vragen voor kunnen leggen als: Welke

manier van oefenen met de stof past bij jou? Is er een andere manier dan deze drie

manieren die voor jou beter zou werken? Tot slot gaf een van de studenten ons de wijze

raad dat het verstandig is om vooraf toestemming aan de testers te vragen over of we

opnamen mogen maken. Dat waren we dus vergeten. Gelukkig heeft dit niet tot problemen

geleid.


Bestudeerde literatuur Brown, D.M. (2011). Communicating Design. Berkeley: New Riders.

How to Make a Mind Map – The Very Basic Method. Geraadpleegd op: 16 mei 2013, van:

http://cme2013.pbworks.com/w/file/66285375/How_To_Make_a_Mind_Map.pdf

Instructie User Lab. Geraadpleegd op: 2 Juni 2013, van:

http://cme2013.pbworks.com/w/file/fetch/66440923/Instructie%20UI%20lab%20-

%20simple.pdf

Lazar, J., Feng, J. H., Hochheiser, H. et.al. (2010). Research Methods. In Human-Computer

Interaction. Chichester: John Wiley & Sons Ltd.

Template for Usability Test Tasks. Geraadpleegd op: 24 Mei 2013, van:

http://cme2013.pbworks.com/w/file/fetch/66440925/template%20for%20usability%20test%2

0tasks%20-%20ch6.pdf

The Power of Mind Mapping! Geraadpleegd op: 16 mei 2013, van:

http://cme2013.pbworks.com/w/file/fetch/66285378/the%20power%20of%20mindmapping.p

df

The Theory Underlying Concept Maps and How to Construct and Use Them. Geraadpleegd

op: 16 mei 2013, van:

http://cme2013.pbworks.com/w/file/fetch/66285379/the%20theory%20underlying%20concep

t%20maps%20and%20how%20to%20construct%20and%20use%20them%20-

%20cmaptools.pdf

Think Aloud Protocol: Summary and Instructions. Geraadpleegd op: 24 Mei 2013, van:

http://cme2013.pbworks.com/w/file/fetch/66440926/thinkaloud%20protocol.pdf

Usability Testing Basics. An Overview. Geraadpleegd op: 24 Mei 2013, van:

http://cme2013.pbworks.com/w/file/fetch/66440928/Usability-Testing-Basics%20-

%20Techsmith.pdf


Bijlage – Usability planning


Bijlage – Usability testtaken MyLab testtaken

Pearson is een van de grootste educatieve uitgeverijen die boeken uitgeeft voor het hoger

onderwijs. Nu het digitale tijdperk is aangebroken, wil de uitgeverij niet achterblijven.

Daarom heeft deze MyLab ontwikkeld. MyLab is een e-learningomgeving. Deze voorziet de

gebruikers van digitaal les- en oefenmateriaal. MyLab is nog in ontwikkeling. Om de

bestaande functionaliteiten te verbeteren, hebben we jouw hulp hard nodig. Aan de hand

van een aantal testopdrachten gaan we kijken hoe jij een aantal van deze functionaliteiten

ervaart.

Je kunt nu de stappen hieronder doorlopen. We hebben alvast ingelogd in MyLab. Voor je

op het scherm zie je nu de startpagina. Neem rustig de tijd om deze in je op te nemen.

Begin dan met de test.

Probeer tijdens de opdrachten je gedachten hardop uit te spreken. Hierdoor horen we wat je

denkt.

Taken Stap 1 Open het boek 'Marketing, de essentie 10'.

Stap 2 Ga naar hoofdstuk ‘Bedrijfs- en marketingstrategie’.

Stap 3 Ga naar hoofdstuk 2.2 'Marketingplanning' en open dit hoofdstuk via 'eText'.

Stap 4 Ga naar paragraaf 2.2.2.

Stap 5 Lees deze paragraaf en markeer met een van de tools een stuk tekst als belangrijke

tekst. Het gaat erom of je een functionaliteit hiervoor kunt vinden en toepassen. Het maakt

dus niet uit welke inhoudelijke tekst jij hiervoor kiest.

Stap 6 Markeer de pagina voor je om aan te geven dat je deze hele pagina belangrijk vindt.

Stap 7 Ga naar hoofdstuk 2.

Stap 8 Ga naar ‘Leerobject 2.4 Marketingmanagement’.

Stap 9 Ga naar paragraaf 2.4.1 'Omgevingsanalyse'.

Stap 10 Maak hier een notitie in de tekst met een belangrijke aanvulling op de tekst: “Dit is

een notitie waarmee ik een belangrijke aanvulling maak op deze tekst!”


Stap 11 Klik dit eText-venster weg. Je ziet nu MyLab achter dit scherm weer voor je

verschijnen.

Stap 12 Kies manier in MyLab die jij handig vindt om te oefenen met de stof die je zojuist

hebt gelezen.

Bedankt voor je tijd en medewerking! Je mag naar de ruimte hiernaast. Daar gaan we een

aantal vragen aan je voorleggen over hoe je deze test hebt ervaren.


Bijlage – Usability reflectievragen MyLab reflectievragen We willen je een aantal vragen stellen over de taken die je zojuist hebt uitgevoerd. Hierbij

zijn we vooral benieuwd naar hoe jij het uitvoeren van de taken en de MyLab-

functionaliteiten hebt ervaren. Hieronder een aantal vragen daarover. Om deze te

beantwoorden heb je twee bladen voor je liggen:

1. Dit blad ‘MyLab reflectievragen’. Hierop staan een aantal vragen aan jou.

2. Blad ‘MyLab testtaken’. Deze kun je naslaan bij onze vragen over de taken.

Noteer je naam boven dit blad en beantwoord de onderstaande vragen.

1. Onder stap 5 hebben we je gevraagd om een stuk tekst te markeren als belangrijke tekst.

Beantwoord de volgende vragen.

a) Kon je deze stap in MyLab uitvoeren?

b) Vond je de functionaliteit die je in MyLab gebruikte handig om deze stap mee uit te

voeren?

c) Leg uit waarom.

d) Hoe kan deze functionaliteit verbeterd worden?

e) Welke andere functionaliteiten had jij handiger gevonden om te doen wat we je vroegen?

2. Onder stap 6 hebben we je gevraagd om een pagina te markeren om aan te geven dat je

die gehele pagina belangrijk vindt. Beantwoord de volgende vragen.




voeren?

c) Leg uit waarom.



3. Onder stap 10 hebben we je gevraagd om in de tekst een notitie aan te maken om

belangrijke informatie toe te voegen aan de tekst. Beantwoord de volgende vragen.



voeren?

c) Leg uit waarom.



4. Onder stap 12 hebben we je gevraagd om een manier in MyLab te kiezen die jij handig

vindt om te oefenen met de stof die je hebt gelezen. Beantwoord de volgende vragen.

a) Welke functionaliteit heb je gekozen om de stof mee te oefenen?

b) Past deze manier van oefenen bij jou?


c) Welke functinaliteit zou jou beter helpen om te oefenen met de stof? Deze hoeft

overigens niet aanwezig te zijn in MyLab.

5. Deze vraag gaat over hoe jij het testen hebt ervaren. Beantwoord de volgende vragen.

a) Waren er lastige stappen bij? Zo ja, vermeld dan de nummers van die lastige stappen en

zet erachter:

• wat je lastig vond aan die stap;

• hoe jij denkt dat wij die stap beter hadden kunnen formuleren of instrueren;

6. Wil je ons nog iets anders meegeven?


Bijlage – Usability reflectie van een tester

Z11 g eindopdracht pe2

Internet

Transcript of Z11 g eindopdracht pe2