Damien Roux

UFR de médecine Paris Diderot

Evaluer pour évoluer

2UNIVERSITÉ DE PARIS

Aucun en rapport avec la présentation

Autre : Astellas (expertise « Infection à Clostridium difficile »)

Conflits d’intérêt

3UNIVERSITÉ DE PARIS

Etudiant

Enseignement/Enseignants

Pédagogie - Evolution

4UNIVERSITÉ DE PARIS

Etudiants

Programme – curriculum

Modalités pédagogiques

Interactions étudiants-enseignants

Stages

Examens

Formation

La stratégie étudiante est (sera) toujours présente :

L’évaluation finale (validante/classante) est le moteur de la formation

Ce qui est évalué devient, pour les étudiants, les objectifs pédagogiques

L’évaluation est une des responsabilités les plus importants de l’enseignant

Un étudiant peut échapper à un mauvais cours, il ne peut pas échapper à un mauvais examen

5UNIVERSITÉ DE PARIS

Etudiants

Formation‘A good archer is known not by his

arrows but by his aim.’

Thomas Fuller

Outcome-based education - The learning outcomes need to be

identified and specified.

- Decisions about the curriculum must be based on the specific outcomes.

It is essential that assessment matches closely

the expected learning outcomes.

Essential skills for a medical teacher. Harden

6UNIVERSITÉ DE PARIS

2nd – 3ème cycle des études médicales

Residency program directors concerned that some M.D. graduates unprepared for what they expect of them upon entry

Documentation of gap between what new residents do without supervision and what they have been documented as competent to do without supervision

USA 2012 : One issue

ECNi = bonne préparation au travail d’interne ?

7UNIVERSITÉ DE PARIS

Acad Med. 2017 Jun;92(6):746-751

Problème des ECNi

Miller’s pyramid of clinical competence

Certitude

Evaluation dans un contexte d’incertitude- Malgré toutes les

informations accessibles, ilpersiste un doutediagnostique, d’investigationou thérapeutique

- Possibilité qu’il y ait plus qu’une seule “réponseexacte”

Acad Med. 2017 Jun;92(6):746-751

https://www-ncbi-nlm-nih-gov.gate2.inist.fr/pubmed/28557933

8UNIVERSITÉ DE PARIS

Outcome-based medical education

Liste de ce qu’un étudiant entrant dans le 3ème cycle devrait être capable de faire

de manière autonome au PREMIER JOUR de sa phase socle

Objectifs pédagogiques du second cycle

Compétences

Capacités d’agir en

situation professionnelle

Connaissances, habiletés,

attitudes, valeurs

• Définit « un bon professionnel de santé »

• Concept abstrait pour les enseignants, les étudiants et le public

• Granularité (décompose la compétence professionnelle)

9UNIVERSITÉ DE PARIS

Outcome-based medical education

• A du sens pour les enseignants, les étudiants et le public

• Représente le travail quotidien du professionnel.

• Situe les compétences dans le contexte clinique « de la vraie vie ».

• Rend l’évaluation plus pratique, plus intuitive en intégrant les compétences dans une activité authentique.

• Ajoute de façon explicite la notion de confiance et de supervision dans l’évaluation

Les APC offrent le contexte

clinique pour les compétences

Activités professionnelles confiablesou « entrustable professional activities »

Tâches ou responsabilités que lesétudiants sont censés réalisés sanssupervision directe au terme d’unapprentissage centré sur le développementde compétences.Regroupent plusieurs compétences etsous compétencesDéduites de l’observation de la pratiquequotidienne des médecins spécialisés.

It is essential, as shown in rubrics or

blueprints, that assessment matches

closely the expected learning outcomes.

10UNIVERSITÉ DE PARIS

Le changement dans les modalités de l’évaluation peut être

utilisé pour induire un changement dans la formation elle-

même

11UNIVERSITÉ DE PARIS

De façon générale, un examen, formatif, validant ou classant, doit présenter quelques caractéristiques complémentaires :

• Validité : évaluation focalisée sur les compétences/connaissances nécessaires aux métiers auxquels sont destinés les apprenants

• Fiabilité : capacité à quantifier le résultat de manière non aléatoire

• Faisabilité : dépendant du nombre d’étudiants et d’enseignants, et des ressources

• Influence positive sur l’apprentissage de l’étudiant• Pour la fin du second cycle : Discrimination

Evaluation

12UNIVERSITÉ DE PARIS

2nd – 3ème cycle des études médicales

Guiding principles

Success will depend on faculty development in teaching and assessing these activities and their component competencies

Assessment must be considered through every step of this process

Ideal assessment system:

• repeated low stakes formative assessment

• summative assessment (entrustment decision?) required for graduation

Apprentissage par compétences et Activités professionnelles confiables

Evaluation pour l’apprentissage (formatif)______________

Evaluation de l’apprentissage

13UNIVERSITÉ DE PARIS

The objective structured long examination record (OSLER)• DFGSM3 : 1hr avec le patient, debriefing 20-30 minutes sur l’observation

The objective structured clinical examination (OSCE) (1975) = GOLD STANDARD• Compétences fin de second cycle

Mini clinical evaluation exercise (Mini-CEX)• CCC Paris Diderot, DES MG

Direct observation of procedural skills (DOPS)• Intubation, pose de KTC/KTA par les internes en réanimation

Case-based discussion (CbD)• Présentation de dossiers par les étudiants hospitaliers à la visite

Multi-source feedback (MSF) or 360 degrees evaluation

A portfolio

Evaluation clinique

14UNIVERSITÉ DE PARIS

De façon générale, un examen, formatif, validant ou classant, doit présenter quelques caractéristiques complémentaires :

• Validité : évaluation focalisée sur les compétences/connaissances nécessaires aux métiers auxquels sont destinés les apprenants

• Fiabilité : capacité à quantifier le résultat de manière non aléatoire

• Faisabilité : dépendant du nombre d’étudiants et d’enseignants, et des ressources

• Influence positive sur l’apprentissage de l’étudiant

• Pour la fin du second cycle : Discrimination

Evaluation aux ECNi

15UNIVERSITÉ DE PARIS

Evaluation – modalités et caractéristiques

Projet R2C

Modalités Validité Fiabilité Faisabilité Influence sur l’apprentissage

Discrimination

ECOS ++++ +++ + ++++ ? (++)

TCS +++ +++ +++ ++ ++

DCP ++ ++++ ++++ +/- ++

QCM + ++++ ++++ - ++

Miller’s pyramid of clinical competence

Réinstalle l’incertitude diagnostique et thérapeutique

16UNIVERSITÉ DE PARIS

Evaluation des étudiants

• Intérêts ‘assessment-for-learning’ as well as ‘assessment-of-learning’• Modalités

Evaluation de l’enseignement/enseignant

• Intérêts

• Modalités

Plan

17UNIVERSITÉ DE PARIS

Programs that involve direct faculty feedback from a consultant, for example, are remarkably more effective than those that do not

Enseignements

18UNIVERSITÉ DE PARIS

Mesurer l’effet de la formation

Pourquoi évaluer une formation ?

19UNIVERSITÉ DE PARIS

Mesurer l’effet de la formation

Améliorer son efficacité

• Évaluation de chaque cours pour homogénéisation et optimisation

pédagogique

Pourquoi évaluer une formation ?

20UNIVERSITÉ DE PARIS

Mesurer l’effet de la formation

Améliorer son efficacité

Prendre des décisions (poursuite ou arrêt de la formation)

Montrer aux étudiants que l’on s’intéresse à leur formation

S’inscrire dans une démarche qualité (programmes d’accréditation)

Pourquoi évaluer une formation ?

21UNIVERSITÉ DE PARIS

Despite the crucial role they play in educating medical trainees, the

majority of clinical teachers have not received formal training in educational

techniques or had their competence as teachers assessed

(Wilkerson & Irby 1998; Stratos et al. 2004; Hatem et al. 2006)

Enseignants

22UNIVERSITÉ DE PARIS

Evaluation de l’enseignant

Stop and reflect on your own performance as a teacher

Study feedback from students about your performance (questionnaire or a focused discussion)• Attention: the ‘Dr Fox Effect’, a professional actor, unbeknown to the students, was briefed to give an

entertaining lecture that was educationally poor. It was subsequently rated highly by students!

Obtain feedback from colleagues. Peer evaluation of teaching (constructive feedback++)

Make a video of your teaching

Assess whether your students have achieved the expected learning outcomes

Comment ?

23UNIVERSITÉ DE PARIS

Enseignement d’un geste technique par simulation : la ponction lombaire

Evaluation par le biais d’un protocole de recherche en pédagogie• Évaluation du niveau d’autonomie et de la réussite sur le malade

• Randomisation d’une promotion d’étudiant (DFASM2 Paris Diderot)

Assess whether your students have achieved the expected learning outcomes

24UNIVERSITÉ DE PARIS

Evaluation de l’enseignant

Stop and reflect on your own performance as a teacher

Study feedback from students about your performance (questionnaire or a focused discussion)• Attention: the ‘Dr Fox Effect’, a professional actor, unbeknown to the students, was briefed to give an

entertaining lecture that was educationally poor. It was subsequently rated highly by students!

Obtain feedback from colleagues. Peer evaluation of teaching (constructive feedback++)

Make a video of your teaching

Assess whether your students have achieved the expected learning outcomes

Assess whether you have influenced your student’s or trainee’s career choice and subsequent career

Participate in conferences on medical education

Comment ?

25UNIVERSITÉ DE PARIS

Participate in conferences on medical education

• Medical education, just like medicine and health care delivery, is constantly changing

• Moves to outcome-based education and interprofessional education

• Teachers in medicine have a responsibility to keep up to date not only with their subject area but also with developments and new approaches to education that may be relevant to their teaching practice.

A medical teacher : ‘a skilled practitioner, continually reflecting on her or his practice in terms of ideals and knowledge of local situations, and modifying practice in light of these reflections; rather than a technician merely applying scientifically produced curriculum programmes.’

Pourquoi?

26UNIVERSITÉ DE PARIS

OSTE : Objective Structured Teaching Encounter• standardized learner (analogous to the standardized patient in the OSCE), scripted role

within a common teaching scenario. The teacher interacts with and teaches the standardized learner and then receives feedback on his/her teaching from the standardized learner. A faculty member or trained observer may also observe the session and provide additional feedback or an assessment of competence

• fair amount of evidence suggesting the OSTE is a reasonable measure of teaching performance.

Med Teach. 2011;33(11):893-903

• assesses teaching performance in the same way that an OSCE measures clinical competence

Simpson et al. 1992

Evaluation des enseignants

Educators in all but one of these studies felt that they gained an increased awareness of their own teaching strengths and weaknesses or were able

to identify specific ways to improve their teaching performance.

27UNIVERSITÉ DE PARIS

La qualité de l’apprentissage des étudiants est directement liée à la qualité de l’évaluation (formative, sommative, continue, finale)

L’évaluation de l’enseignement et/ou des enseignants devrait être systématique

Création d’un enseignement :

• Modalités d’évaluation et de validation des étudiants

• Modalités d’évaluation de l’enseignement

Conclusion

28UNIVERSITÉ DE PARIS

R1C, R2C, R3C

• Changement majeur dans le curriculum des études médicales

• Evaluation de ces changements ?

• Pertinence +++

Réflexion

29UNIVERSITÉ DE PARIS