Validation of core competencies during residency training in anaesthesiology

Ger Med Sci. 2011:9:Doc23. doi: 10.3205/000146. Epub 2011 Sep 7.

Abstract

Background and goal: Curriculum development for residency training is increasingly challenging in times of financial restrictions and time limitations. Several countries have adopted the CanMEDS framework for medical education as a model into their curricula of specialty training. The purpose of the present study was to validate the competency goals, as derived from CanMEDS, of the Department of Anaesthesiology and Intensive Care Medicine of the Berlin Charité University Medical Centre, by conducting a staff survey. These goals for the qualification of specialists stipulate demonstrable competencies in seven areas: expert medical action, efficient collaboration in a team, communications with patients and family, management and organisation, lifelong learning, professional behaviour, and advocacy of good health. We had previously developed a catalogue of curriculum items based on these seven core competencies. In order to evaluate the validity of this catalogue, we surveyed anaesthetists at our department in regard to their perception of the importance of each of these items. In addition to the descriptive acquisition of data, it was intended to assess the results of the survey to ascertain whether there were differences in the evaluation of these objectives by specialists and registrars.

Methods: The questionnaire with the seven adapted CanMEDS Roles included items describing each of their underlying competencies. Each anaesthetist (registrars and specialists) working at our institution in May of 2007 was asked to participate in the survey. Individual perception of relevance was rated for each item on a scale similar to the Likert system, ranging from 1 (highly relevant) to 5 (not at all relevant), from which ratings means were calculated. For determination of reliability, we calculated Cronbach's alpha. To assess differences between subgroups, we performed analysis of variance.

Results: All seven roles were rated as relevant. Three of the seven competency goals (expert medical action, efficient collaboration in a team, and communication with patients and family) achieved especially high ratings. Only a few items differed significantly in their average rating between specialists and registrars.

Conclusions: We succeeded in validating the relevance of the adapted seven CanMEDS competencies for residency training within our institution. So far, many countries have adopted the Canadian Model, which indicates the great practicability of this competency-based model in curriculum planning. Roles with higher acceptance should be prioritised in existing curricula. It would be desirable to develop and validate a competency-based curriculum for specialty training in anaesthesiology throughout Germany by conducting a national survey to include specialists as well as registrars in curriculum development.

Hintergrund und Fragestellung: Die Curriculumsentwicklung für die Facharztweiterbildung ist aufgrund eingeschränkter zeitlicher und finanzieller Ressourcen eine immer größere Herausforderung. International wird als Vorbild für Curriculumsreformen das Kanadische CanMEDS Modell verwendet. Ziel dieser Untersuchung war es, die mit Rückgriff auf CanMEDS abgeleiteten Kompetenzziele der Klinik für Anästhesiologie und Intensivmedizin der Charité Universitätsmedizin mit einer Mitarbeiterbefragung zu validieren. Diese Ziele für die Ausbildung von Fachärzten schreiben nachweisbare Kompetenzen in sieben Bereichen vor: Expertenhandeln, Effiziente Zusammenarbeit im Team, Kommunikation mit Patienten und Angehörigen, Management und Organisation, Lebenslanges Lernen, Professionelles Verhalten, Gesundheitsfürsorge. Zusätzlich zur deskriptiven Erfassung sollen die Ergebnisse der Befragung dahin gehend geprüft werden, ob es Unterschiede in den Bewertungen der Ziele durch Weiterbildungsassistenten und Oberärzte gibt.

Methodik: Die Kompetenzziele wurden allen ärztlichen Mitarbeitern vorgelegt. Die Bewertung wurde anhand einer Likert-ähnlichen Skala von 1 (sehr relevant) bis zu 5 (gar nicht relevant) im Mai 2007 durchgeführt und Mittelwerte der Zustimmung berechnet. Zur Bestimmung der Reliabilität wurde Cronbachs alpha als gängiges Maß für die interne Konsistenz berechnet. Zum Vergleich zwischen den verschiedenen Gruppen wurde eine Varianzanalyse durchgeführt.

Ergebnisse: Es wurden alle sieben Kompetenzziele als relevant erachtet. Drei der sieben Kompetenzziele (Expertenhandeln, Effiziente Zusammenarbeit im Team, Kommunikation mit Patienten und Angehörigen) erreichten besonders hohe Werte. Unterschiede im Vergleich der Bewertung von Weiterbildungsassistenten und Oberärzten betrafen nur wenige Items.

Schlussfolgerungen: Kompetenzziele für die Facharztweiterbildung an unserer Institution konnten validiert werden. Die schnelle internationale Verbreitung des CanMEDS Modells ist ein deutlicher Hinweis auf die Nützlichkeit des kompetenzbasierten Modells. Kompetenzziele, die besonders hohe Akzeptanzwerte erreichten, sollten prioritär in schon bestehende Curricula eingearbeitet werden. Eine Erstellung eines kompetenzbasierten deutschen Curriculums für die Facharztweiterbildung im Fach Anästhesiologie durch einen bundesweiten Konsensus- und Validierungsprozess wäre wünschenswert. Sowohl Weiterbildungsassistenten als auch Weiterbilder sollten in die Curriculumsentwicklung einbezogen werden.

Keywords: attitude of health personnel; clinical competence; curriculum; medical education; physicians; questionnaires.

Publication types

  • Validation Study

MeSH terms

  • Analysis of Variance
  • Anesthesiology / education*
  • Attitude of Health Personnel*
  • Clinical Competence / standards*
  • Communication
  • Education, Medical, Continuing / standards
  • Female
  • Germany
  • Health Promotion / standards*
  • Humans
  • Internship and Residency / standards*
  • Interprofessional Relations
  • Male
  • Physician-Patient Relations
  • Surveys and Questionnaires