Omgang met kwaliteitscriteria en beoordelen

Cop 4 Verbinden van Onderwijs en Onderzoek

Agenda

Presentatie van een oplossing voor het omgaan met kwaliteitscriteria en beoordelen bij ontwerpprojecten

Review in groepen docenten + studenten / alternatief mag

Feedback van de groepen Wrap-up: weging feedback en eventueel

keuze van alternatief.

Omgang met criteria

Algemene criteria (zie handleiding) Afleiden naar bruikbare criteria

(gestyleerd) Voorbeeld beoordelingssystematiek

Generieke criteria: Resultaat

Adequaat Valide

Resultaat als proces Controleerbaar Vakkundig Betrouwbaar Logisch

Uitwerking criteria beoordelingssystematiek

Adequaat: Is een echte oplossing Past in de probleemcontext Toelaatbaar en duurzaam

Valide Acceptabel Conceptueel onderbouwd Verklaard Generaliseringen aannemelijk

Uitwerking -2

Controleerbaar: Compleet Transparant Achteraf te volgen

Vakkundig Efficient Toelaatbaar

Betrouwbaar Niet afhankelijk van toevalligheden Tijdstip Of plaats

Logisch Redenering is logisch Recht-toe Recht-aan

Uitwerking -3

Echte oplossing Ruim verwoord voor overige twee

Past in de probleemcontext

Toelaatbaar en duurzaam

Acceptabel ‘hetzelfde’ als toelaatbaar

Conceptueel onderbouwd

Verklaard Synoniem voor conceptueel onderbouwd

Generalisering aannemelijk

Compleet

Transparant

Achteraf te volgen Synoniem voor transparant

Efficient

Toelaatbaar Hadden we al

Niet afhankelijk van toevalligheden, tijdstip of plaats

Nadere specificering van (deel van) toelaatbaar

Redenering is logisch en te volgen Synoniem voor conceptueel onderbouwd

Uitwerking -4

Past in de probleemcontext In verhouding tot leerresultaat

In verhouding tot geleverde inspanning

Toelaatbaar en duurzaam Reproduceerbaar

Voor alle situaties bruikbaar

Billijk

Conceptueel onderbouwd Uitleggen waarom dit concept geldig is en wanneer

Generalisering aannemelijk Eventuele gaten / extrapolatie is verklaard

Compleet Geldt voor alle op te leveren producten en situaties

Transparant Reproduceerbaar

Transparant

Efficient Reproduceerbaar

Snel

Eenvoudig

Uitwerking -5

In verhouding tot leerresultaat

In verhouding tot geleverde inspanning

Criterium aan product / proces

Reproduceerbaar

Voor alle situaties bruikbaar

Billijk

Criterium aan product / proces

Uitleggen waarom dit concept geldig is en wanneer

Criterium aan uitleg van product / proces

Eventuele gaten / extrapolatie is verklaard Criterium aan product / proces en uitleg

Geldt voor alle op te leveren producten en situaties

Criterium aan product

Reproduceerbaar

Transparant

Criterium aan product

Reproduceerbaar

Snel

Eenvoudig

Criterium aan product

Leidt tot de criteria

Product/proces In verhouding tot

leerresultaat Individuele beoordeling

mogelijk In verhouding tot geleverde

inspanning Billijk Transparant Reproduceerbaar Snel Eenvoudig Voor alle situaties bruikbaar

Uitleg Wanneer en waarom concept

geldig Gaten en extrapolatie

verklaard

Ons voorstel (ter review)

Proceseisen Verplicht onderdeel in Plan van Aanpak:

uitgewerkte criteria voor proces, product en rolvervulling.

Bij reviews moeten de criteria een centrale rol in de presentatie en de feedback spelen

Alleen als er aan voorwaarden is voldaan kan een review plaats vinden:

Ingediende stukken hebben minimaal een redelijk niveau

Ingediende stukken zijn er op proces, product en rolvervulling

Beoordelingsmatrix

Verwerking verbeterpuntenBasisdocument

Niet/Nauwelijks

Redelijk/ voldoende

Goed

Redelijk 4 6 8

Goed 6 8 8

Uitstekend 8 8 8

Verdediging Beoordelingsmatrix

Product/proces In verhouding tot leerresultaat In verhouding tot geleverde inspanning Billijk (zie rode vakken, extra inspanning levert soms

geen extra waardering) Transparant Reproduceerbaar (niet getest!) Snel Eenvoudig Voor alle situaties bruikbaar (niet bruikbaar voor

slechte basisdocumenten, is dat erg?)

Verdere verdediging

Deze beoordeling kan plaatsvinden na Start-Up, Mid-Term en EndTerm review. Op deze wijze zijn er dus 3 cijfer-mogelijkheden, op 3 producten = 9 cijfers mogelijk.

Vakinhoudelijke kwaliteit wordt gechecked zowel in basisdocument niveau als in verwerking verbeterpunten

Gat: slechte ingangssituatie levert geen cijfer. Is realistisch. Geen extrapolatie Indikken van cijfermogelijkheden:

Weglaten van mid-term review als cijfermogelijkheid (max 6) Weglaten van kennisvraag producten bij startup en midterm

(risico aanwezig) (max 7, combinatie max 4 cijfers) Weging van cijfers tot 1 per review (bijv. 40pv/40cv/20kv)

Nog onopgeloste zaken

In hoeverre wordt recht gedaan aan individueel functioneren (suggestie: 360 graden feedback voor organiseren)

Hoe telt (het resultaat van) validatie mee in het resultaat? (suggestie: ingangseis)

Bij end-term geen verwerking feedback, is dit reëel?

Review

In twee (drie) groepen: Welke verbeteringen zijn er nodig/mogelijk Zijn er alternatieven die op dezelfde manier

aan de criteria voldoen Eventueel: zijn de criteria wel compleet?

Terugkoppeling en discussie