Are we talking about practice? A randomized study comparing simulation-based deliberate practice and mastery learning to self-guided practice

CJEM. 2023 Aug;25(8):667-675. doi: 10.1007/s43678-023-00531-0. Epub 2023 Jun 16.

Abstract

Objectives: Simulation-based technical skills training is now ubiquitous in medicine, particularly for high acuity, low occurrence (HALO) procedures. Mastery learning and deliberate practice (ML + DP) are potentially valuable educational methods, however, they are resource intensive. We sought to compare the effect of deliberate practice and mastery learning versus self-guided practice on skill performance of the rare, life-saving procedure, a bougie-assisted cricothyroidotomy (BAC).

Methods: We conducted a multi-center, randomized study at five North American emergency medicine (EM) residency programs. We randomly assigned 176 EM residents to either the ML + DP or self-guided practice groups. Three blinded airway experts independently evaluated BAC skill performance by video review before (pre-test), after (post-test) and 6-12 months (retention) after the training session. The primary outcome was post-test skill performance using a global rating score (GRS). Secondary outcomes included performance time and skill performance at the retention test.

Results: Immediately following training, GRS scores were significantly higher as mean performance improved from pre-test, (22, 95% CI = 21-23) to post-test (27, 95% CI = 26-28), (p < 0.001) for all participants. However, there was no difference between the groups on GRS scores (p = 0.2) at the post-test or at the retention test (p = 0.2). At the retention test, participants in the ML + DP group had faster performance times (66 s, 95% CI = 57-74) compared to the self-guided group (77 s, 95% CI = 67-86), (p < 0.01).

Conclusions: There was no significant difference in skill performance between groups. Residents who received deliberate practice and mastery learning demonstrated an improvement in skill performance time.

Abstrait: OBJECTIFS: La formation aux compétences techniques fondée sur la simulation est maintenant omniprésente en médecine, en particulier pour les procédures de grande acuité et de faible occurrence (HALO). L’apprentissage de la maîtrise et la pratique délibérée (ML+DP) sont des méthodes éducatives potentiellement précieuses, mais elles exigent beaucoup de ressources. Nous avons cherché à comparer l’effet de la pratique délibérée et de l’apprentissage de la maîtrise par rapport à la pratique autoguidée sur le rendement des compétences de la rare intervention de sauvetage, une cricothyroïdotomie à la bougie. MéTHODES: Nous avons mené une étude multicentrique randomisée dans le cadre de cinq programmes nord-américains de résidence en médecine d’urgence. Nous avons affecté au hasard 176 résidents en SE aux groupes de ML+DP ou de pratique autoguidée. Trois experts des voies respiratoires aveuglés ont évalué de façon indépendante la performance des compétences en BAC par examen vidéo avant (pré-test), après (post-test) et 6 à 12 mois (rétention) après la séance de formation. Le principal résultat a été le rendement des compétences après le test au moyen d’une cote globale (SRC). Les résultats secondaires comprenaient le temps consacré au rendement et le rendement des compétences au test de rétention. RéSULTATS: Immédiatement après la formation, les résultats des SRC étaient beaucoup plus élevés, car le rendement moyen s’est amélioré entre le prétest (22, IC à 95 % = 21 à 23) et le post-test (27, IC à 95 % = 26 à 28), (p < 0,001) pour tous les participants. Cependant, il n’y avait aucune différence entre les groupes sur les scores GRS (p = 0,2) au post-test ou au test de rétention (p = 0,2). Au test de rétention, les participants du groupe ML+DP avaient des temps de performance plus rapides (66 secondes, IC à 95 % = 57 à 74) que ceux du groupe autoguidé (77 secondes, IC à 95 % = 67 à 86) (p < 0,01).

Conclusions: Il n’y avait pas de différence significative dans le rendement des compétences entre les groupes. Les résidents qui ont bénéficié d’une pratique délibérée et d’un apprentissage de la maîtrise ont démontré une amélioration du temps consacré aux compétences.

Keywords: Airway; Cricothyroidotomy; Simulation.

Publication types

  • Randomized Controlled Trial
  • Multicenter Study

MeSH terms

  • Computer Simulation
  • Humans
  • Inservice Training
  • Learning*
  • Medicine*