1

De juiste partijen voor de digitale leeromgevingEen zoektocht in de aanbestedingvan de leeromgeving

Erna Kotkamp Project manager Collaboration and Learning EnvironmentR&D/ Innovation, Directie ICTTU Delft

2

Topics

1. De TU Delft

2. Hoe het allemaal begon

3. Test – en evaluatiefase

4. Resultaten

5. Consequenties

6. Samenwerking leverancier

4

1Context of Delft University of Technology

23.000 students1.500 lecturers

2.900 courses

1.800 non courses

16 Bachelor programmes35 Master programmes

1 campus

600 online students

1 educational vision17 year using Blackboard

6

2 Hoe het allemaal begon

7

Visie van de TU Delft op onderwijs

“Educate the world “

&

“Enhance quality of online and campus education”

8

The tender procedure (May 2014 - June 2016)

• Obligation to start tender procedure for Blackboard

• Goals of the tender procedure: • Enhance quality of campus and online education

• Support the ambitions of TU Delft.

• Address changing needs in campus, blended and online

education

• Acquire a system that is both flexible and stable in changing

circumstances

9

Approach - timeline

Phase 0 June 2014: Establishing PID

Phase 1 June-July 2014: Educational scenarios

Phase 2 July-August 2014: Preliminary requirements

Phase 3 September 2014-June 2015: Proof of concept (pilots , dry runs, consultation rounds)

- Change of tender procedure from classic to Best Value

Phase 4 June- September 2015: Evaluation Proof of concepts

Phase 5 September 2015- March 2016: First (pre selection) phase tender

Phase 6 March 2016 – June 2016: Second (awarding) phase of tender

Phase 7 July– October 2016: Technical Implementation

Phase 8 October 2016- August 2018: Fine tuning implementation &

Migration/educational implementation of the CLE

10

3De test- en evaluatiefase

11

Test en Evaluatie Fase (Fase 3 &4)

• Desk research

• Blackboard enquête

• Pilots in live onderwijs (campus)

• Dry runs (campus)

• Interviews en gesprekken met docenten

• Enquête onder online studenten

• Interviews ondersteunend personeel (O&S, ICT, hoofden O&S)

16

4 Resultaten

17

Resultaten voor het procesTe veel requirements (>1000) voor een klassieke aanbesteding; Risicovan op eindigen met een product dat niet voldoet. Behoefte aan:

– Duidelijke focus op onderwijsproces

– Behoefte aan meer controle op de uiteindelijke keuze

– Verschuiving van focus van product naar leverancier

Gewijzigde insteek aanbesteding (van traditioneel naar Best Value). Hierdoor ook:

– Gewijzigd doel en insteek dry runs & pilots

– Aangepaste planning & toevoeging van implementatie en migratie aande opdracht

– Aangepaste betrokkenheid verschillende partijen

18

Rol van docenten cruciaal in student tevredenheid:

– Communicatie en interactie met docent gedurende de cursus

– Pro actief (technische en didactische) ondersteuning van en voor docent bij gebruik van de omgeving

– Eenvoudig gestandaardiseerd basisontwerp belangrijk voorzowel docent als student

– Leeromgeving niet als portal of primair gericht op logistiek

Resultaten voor het onderwijs (1/2)

19

Resultaten voor het onderwijs (2/2)

• Meer complexe opties worden op prijs gesteld door docenten, maar pas als men meer op zijn/haar gemak is in de omgeving(gebruikersvriendelijke basis)

• Integratie van veel gebruikte tools van belang en complexerdan gehoopt (bv FBF, MapleTA & Collegerama)

• Bruikbaarheid op mobiele apparaten van groot belang voorstudenten

20

5 Consequenties

21

Logistics(presentation to students)

Administration Osiris(grades, registrations)

CourseBase(course info)

Syllabus(schedule)

Software distribution

MyTimeTable My Grades

My Courses Library Student Info

News Calendar

Learning Environment

Education(teaching and learning)

CollaborationEducational Resources

Tools

Current Blackboard system (Portal + LMS)

CLE

Unravelling educational, logistics & portal

22

Best value procurement

• Geen gedetailleerde requirements meer

• Formuleren van doelstellingen met functionele en contextuelespecificaties waar leveranciers oplossingen bieden

• Leverancier als expert moet een risico en kansen dossier samenstellen en presenteren

• Twee fasen:

– Fase 1: openbaar: selectie van maximaal 5 leveranciers(afgerond)

– Fase 2: niet openbaar: selectie van 1 leverancier

23

Best value procurement: Fase 2 beoordeling

Award criteria and interrelationmaximum notional addition / deduction

Price ceiling (fictional) € 1.000.000

Performance substantiation (2 A4) 40% € 400.000

Risk Assessment (2 A4) 30%€ 300.000

Value add (2 A4) 20% € 200.000

Interviews (2) 60% € 600.000

150% om kwaliteitzwaarder te latenwegen dan prijs

Valuation model Notional deduction Notional addition

100% 50% 0% 50% 100%

Score 10 8 6 4 2

Criteria Monetary valuation of score

Performance substantiation € 400.000 € 200.000 € 0 € 200.000 € 400.000

Risk Assessment € 300.000 € 150.000 € 0 € 150.000 € 300.000

Value add € 200.000 € 100.000 € 0 € 100.000 € 200.000

Interview 1 € 300.000 € 150.000 € 0 € 150.000 € 300.000

Interview 2 € 300.000 € 150.000 € 0 € 150.000 € 300.000

24

Let there be

Brightspace

July 2016 final decision & signing of contract

25

6Samenwerken met de leverancier

26

Clarificatie fase ipv Proof of Concept

• Working together on a projectplan with scope, concrete deliverables,

technical assumptions, risk assesments but also strategic goals and generic

goals of TU Delft, including long term KPI’s

• Figuring out together the most optimal solutions, including 3rd party tool

integrations

• Supplier’s team: Project manager, technical implementation consultant,

technical account manager, customer success manager

• TU Delft team: Project manager, IT manager, educational manager, manager

of functional admin educational systems & communication/change manager

Aanpak D2L in het proces:

Het belang van de Customer Succes Manager

Sales

Customer Success Manager

Support and Services

Acquire

Solution

Onboard

(Implementation)

Optimize

and Grow

Implementation team

Deploy

and Adopt

Account Manager

28

Vragen?