Global rating: a method for assessing clinical competence

rbem Revista Brasileira de Educação Médica Rev. bras. educ. med. 0100-5502 1981-5271 Associação Brasileira de Educação Médica Brasília, DF, Brazil Considerable effort has focused on developing methods to reliably assess undergraduate medical students' proficiency in clinical skills. There is strong evidence that global rating can be a feasible and reliable alternative for rating undergraduate medical students in the clinical setting. Professors have routinely assessed clinical competence with a subjective rating. This score, given by a specialist, is not objective and is subject to biases. The use of a well-designed instrument with various items rated on a scale offers the advantage of specifying what should be assessed, thus helping professors distinguish between different levels of performance. Using this method, faculty can express their global perception of the students in a more objective way in relation to two distinct spheres of technical competence (containing items like patient history, physical examination, medical knowledge, clinical knowledge, problem-solving, and work habits) and humanist competence (including communication with patients and families, respect, reflective skills, sensitivity to context, and teamwork). ENSAIOS Conceito global: um método de avaliação de competência clínica Global rating: a method for assessing clinical competence Rosângela Curvo Leite Domingues; Eliana Amaral; Angélica Maria Bicudo-Zeferino Universidade Estadual de Campinas, São Paulo, Brasil Endereço para correspondência RESUMO Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe). Palavras-chave: Avaliação Educacional; Estágio Clínico; Competência Clinica; Estudantes de Medicina. ABSTRACT Considerable effort has focused on developing methods to reliably assess undergraduate medical students' proficiency in clinical skills. There is strong evidence that global rating can be a feasible and reliable alternative for rating undergraduate medical students in the clinical setting. Professors have routinely assessed clinical competence with a subjective rating. This score, given by a specialist, is not objective and is subject to biases. The use of a well-designed instrument with various items rated on a scale offers the advantage of specifying what should be assessed, thus helping professors distinguish between different levels of performance. Using this method, faculty can express their global perception of the students in a more objective way in relation to two distinct spheres of technical competence (containing items like patient history, physical examination, medical knowledge, clinical knowledge, problem-solving, and work habits) and humanist competence (including communication with patients and families, respect, reflective skills, sensitivity to context, and teamwork). Key words: Educational Measurement; Clinical Clerkship; Clinical Competence; Students, Medical. INTRODUÇÃO Nos últimos anos, diversas entidades internacionais têm se debruçado sobre a discussão em torno do tema competência médica e o papel do médico no século 21. Neste contexto, a Association of American Medical Colleges (AAMC) iniciou um projeto denominado Medical School Objectives Project (MSOP). O relatório de consenso entre representantes dos 14 países participantes contempla os seguintes grupos de características esperadas do médico: (1) altruísmo: empatia, respeito à privacidade e à dignidade do paciente, atenção, cuidado, compreensão do contexto cultural e dos valores do paciente e de seus familiares; (2) conhecimento: compreensão das bases científicas da medicina e competência para colocá-las em prática; (3) habilidade: competência para fornecer cuidados médicos apropriados, obter história médica precisa, construir raciocínio clínico, realizar exames físicos, procedimentos diagnósticos e terapêuticos e para comunicar-se eficazmente com pacientes e familiares; (4) compromisso e colaboração: compreensão dos fatores econômicos, psicológicos, ocupacionais, sociais e culturais envolvidos na atenção ao paciente; comprometimento para trabalhar em conjunto com outros profissionais da saúde; aplicação dos princípios da medicina baseada em evidência; capacidade para tomar decisões e lidar com recursos médicos limitados1,2. Outro projeto, iniciado em 1999 pela Accreditation Council for Graduate Medical Education (ACGME) e denominado Outcome Project, identificou seis competências gerais para médicos de todas as especialidades: Cuidado com o paciente. Conhecimento médico. Aprendizagem e melhoria baseada na prática. Habilidades interpessoais e de comunicação. Profissionalismo; Prática baseada em sistemas 2-4. Em 2000, o projeto CanMED (Canadian Medical Education Directions for Specialists) descreveu sete papéis que deveriam ser incluídos em todos os níveis da educação médica: especialista, comunicador, colaborador, gerente, defensor da saúde, comprometido com educação continuada e profissional5. Apesar dessa abordagem multidimensional de competência clínica, vários estudos sustentam que, na prática, ela é bidimensional, pois verdadeiramente os alunos são avaliados por duas dimensões substancialmente correlacionadas que, seguindo a taxonomia da ACGME, são denominadas: Competência humanista, englobando as habilidades de comunicação interpessoal e profissionalismo. Competência técnica, constituída de conhecimento médico, cuidado com o paciente e atenção baseada no sistema 6-8. Diversos estudos demonstram que, mediante o procedimento da análise fatorial, essas duas importantes dimensões emergem, demonstrando possivelmente elevada consistência interna dos elementos constituintes da escala, homogeneidade de contextos de observação e concordância entre os avaliadores8. Todas essas discussões repercutem na prática do ensino médico. Muitas universidades e órgãos de classe estão unindo esforços para repensar maneiras de sistematizar a avaliação destas competências, acrescentando-lhe a necessária perspectiva formativa e indutora de novas práticas pedagógicas. A avaliação, como parte integrante do processo de ensino-aprendizagem, tem como funções: estabelecer a gama de conhecimentos e habilidades que um indivíduo precisa ter atingido num certo estágio de sua carreira, estimar de forma precisa o nível dos alunos, oferecer aos alunos informações sobre seu progresso, alterar o comportamento em relação à aprendizagem, motivar os alunos, conscientizando-os sobre a importância do que estão aprendendo, e fornecer informações sobre a adequação do currículo aos professores e diretores9-11. É certo que a avaliação da competência médica deve partir de uma abordagem holística que pressupõe a utilização de variados métodos para valoração dos distintos elementos que a compõem. Entende-se que apenas a combinação desses métodos é capaz de produzir resultados válidos e confiáveis12-15. Alguns dos métodos usados incluem: a) avaliação estruturada, com instrumento do tipo checklist, útil para verificar diferentes subitens que compõem competências avaliadas por meio de comportamentos clínicos observáveis; b) portfólio, utilizado como instrumento de avaliação tanto formativa quanto somativa, contempla a capacidade de se autoavaliar e executar um plano de aprendizagem; c) prova cognitiva, apropriada para avaliar conhecimentos técnicos específicos; d) avaliação 3600, voltada para obter informações das múltiplas fontes que circundam a esfera de influência do aluno, sobre seu desempenho em diferentes tarefas; e) Osce (objective structured clinical examination), observação de componentes de um atendimento clínico simulado ou CSA (Clinical Structured Assesment), destinado a avaliar o desempenho clínico durante atendimento simulado completo; f) Mini-CEX (mini-clinical evaluation exercise), que consiste na observação de parte de uma consulta, com avaliação global por checklist, seguida de uma sessão de feedback; g)conceito global, utilizado quando se desejam avaliar, de maneira retrospectiva, categorias gerais ao invés de comportamentos específicos3,4,8,14,16-18. Para que se possam avaliar as competências identificadas pela ACGME, o conceito global não pode ser uma nota geral única, altamente subjetiva. Esta abordagem unidimensional é reducionista, apesar de prática. Entre suas limitações, a mais séria é que pode mascarar deficiências do aluno, uma vez que, ao avaliar o todo, o docente perde a visão dos distintos comportamentos ou habilidades que o compõem. Uma segunda limitação é que um índice geral tem baixo valor formativo, pois fornece muito pouca ou quase nenhuma informação que possa ser usada construtivamente como feedback8. Uma alternativa é construir um conceito que contenha itens claramente especificados, que reflitam a combinação de atributos (conhecimentos, atitudes, valores e habilidades) necessários ao bom desempenho profissional19. O conceito global deve contemplar itens como qualidade da história, exame clínico, conhecimento médico, julgamento clínico, solução de problemas, hábitos e organização do trabalho, comunicação e relacionamento com pacientes e familiares, respeito, capacidade de autorreflexão, percepção do contexto, interação com colegas, com docentes e com demais profissionais20. O aluno deve ser avaliado por diversos docentes, usando-se um instrumento que contenha uma escala do tipo Likert, com descritores explícitos nas extremidades inferior e superior. A nota final seria a média das notas recebidas em cada um dos itens do instrumento21. Estima-se que um número apropriado de observadores seja aproximadamente 11 para obtenção de precisão e reprodutibilidade satisfatória numa situação de observação de prática profissional7. Elaborado dessa forma, o conceito global apresenta características psicométricas válidas, pois reduz a chance de um estudante conseguir compensar suas deficiências numa área obtendo bom desempenho noutra. Além disso, quando combinado com outros métodos de avaliação, provê informações valiosas que podem ser usadas como feedback para os alunos, para os avaliadores, para os coordenadores de módulos e educadores em geral8,21. No entanto, o desenvolvimento de um instrumento de avaliação da competência clínica é um processo trabalhoso e tecnicamente sofisticado15. Embora ainda não se tenha conseguido definir um padrão-ouro para avaliar a competência do médico ou do estudante de Medicina, a aplicação de um conceito global pode ser uma avaliação abrangente14,22. Esse método de avaliação, que leva em conta as impressões formadas a partir de uma variedade de situações às quais o estudante é exposto por determinado período de tempo, é considerado confiável, sendo utilizado em várias partes do mundo15. Como a maior parte dos avaliadores identifica apenas duas grandes competências, clínica e humanista, é necessário oferecer treinamentos específicos para que eles possam reconhecer e validar os diferentes itens identificados no instrumento usado. Embora esses treinamentos signifiquem tempo adicional e custo, eles são vitais para a melhoria da qualidade das avaliações e para o desenvolvimento dos docentes nas instituições acadêmicas. Endereço para correspondência: Rosângela Curvo Leite Domingues Rua Luciano Venere Decourt, 858 Cidade Universitária CEP. 13083-740 Campinas - SP E-mail: [e-mail] Recebido em: 18/07/2006 Reencaminhado em: 31/03/2008 Aprovado em: 31/04/2008 CONFLITO DE INTERESSES: Declarou não haver 1 1. Association of American Medical Colleges. Learning objectives for medical student education. Guidelines for medical education. Report I, 1998. Learning objectives for medical student education: Guidelines for medical education 1998 I 2. Horowitz SD. Evaluation of clinical competencies Basic certification, subspecialty certification, and recertification. Am J Phys Med Rehabil. 2000;79:478-480. Evaluation of clinical competencies Basic certification, subspecialty certification, and recertification Am J Phys Med Rehabil 2000 478 480 79 Horowitz SD 3. Sliwa JA, Kowalske KJ. Assessing resident clinical competence. Am J Phys Med Rehabil. 2000; 79:468-473. Assessing resident clinical competence Am J Phys Med Rehabil 2000 468 473 79 Sliwa JA Kowalske KJ 4 4. Association of American Medical Colleges. The SOAP approach to conquering the competencies challenges. [online]; 2004. [acesso em: 1 abr. 2006]. Disponível em: http://www.aame.org/members/gea. SOAP approach to conquering the competencies challenges 2004 5. Prideaux D, Alexander H, Bower A, Dacre J, Haisr S, Jolly B, et al. Clinical teaching: maintaining an educational role for doctors in the new health care environment. Med Educ. 2000;34:820-826. Clinical teaching: maintaining an educational role for doctors in the new health care environment Med Educ 2000 820 826 34 Prideaux D Alexander H Bower A Dacre J Haisr S Jolly B 6. DiMatteo MR, DiNicola DD. Sources of assessment of physician performance: a study of comparatove reliability and patterns of intercorrelation. Med Care. 1981;19:829-839. Sources of assessment of physician performance: a study of comparatove reliability and patterns of intercorrelation Med Care 1981 829 839 19 DiMatteo MR DiNicola DD 7. Ramsey PG, Wenrich MD, Carline JD, Inui TS, Lasrson EB, LoGerfo, JP. Use of peer ratings to evaluate physician performance. JAMA. 1993;269:1655-1660. JAMA 1993 1655 1660 269 Ramsey PG Wenrich MD Carline JD Inui TS Lasrson EB LoGerfo JP 8. Silber GC, Nasca TJ, Paskin DL, Eiger G, Robeson M, Veloski J. Do global rating forms enable program directors to assess the ACGME competencies? Acad Méd. 2004;79:549-556. Do global rating forms enable program directors to assess the ACGME competencies? Acad Méd 2004 549 556 79 Silber GC Nasca TJ Paskin DL Eiger G Robeson M Veloski J 9. Haydt RC. Avaliação do Processo Ensino-Aprendizagem. São Paulo: Editora Ática; 2002. Avaliação do Processo Ensino-Aprendizagem 2002 Haydt RC 10. Carr SJ. Assessing clinical competency in medical senior house officers: how and why should we do it? Postgrad Med J. 2004;80:63-66. Assessing clinical competency in medical senior house officers: how and why should we do it? Postgrad Med J 2004 63 66 80 Carr SJ 11. Hulsman RL, Mollema ED, Hoos AM, De Haes JCJM, Donnison-Speijer JDD. Assessment of medical communications skills by computer: assessment method and student experiences. Med Educ 2004; 38:813-824. Assessment of medical communications skills by computer: assessment method and student experiences Med Educ 2004 813 824 38 Hulsman RL Mollema ED Hoos AM De Haes JCJM Donnison-Speijer JDD 12. DeLisa JA. Evaluation of clinical competency. Am J Phys Med Rehabil. 2000; 79: 474-477. Evaluation of clinical competency Am J Phys Med Rehabil 2000 474 477 79 DeLisa JA 13. St George I, KAIGAS T, Mcavoy P. Assessing the competence of practicing physicians in New Zealand, Canada and the United Kingdon: progress and problems. Fam Pract 2004; 36:172-177. Assessing the competence of practicing physicians in New Zealand, Canada and the United Kingdon: progress and problems Fam Pract 2004 172 177 36 St George I KAIGAS T Mcavoy P 14. Wilkinson TJ, Frampton CM. Comprehensive undergraduate medical assessments improve prediction of clinical performance. Med Educ 2004; 38:1111-1116. Comprehensive undergraduate medical assessments improve prediction of clinical performance Med Educ 2004 1111 1116 38 Wilkinson TJ Frampton CM 15. Van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ 2005; 39: 309-317. Assessing professional competence: from methods to programmes Med Educ 2005 309 317 39 Van der Vleuten CPM Schuwirth LWT 16. Depresbiteris, L. Certificação de competências: a necessidade de avançar numa perspectiva formativa. Formação 2001; 2: 27-38. Certificação de competências: a necessidade de avançar numa perspectiva formativa Formação 2001 27 38 2 Depresbiteris L 17. Chapman DM, Hayden S, Sanders, AB et al. Integrating the accreditation council for graduate medical education core competencies into the model of clinical practice of emergency medicine. Acad Emerg Med 2004;11:674-85. Integrating the accreditation council for graduate medical education core competencies into the model of clinical practice of emergency medicine Acad Emerg Med 2004 674 85 11 Chapman DM Hayden S Sanders AB 18. Wang E, Sanders AB Global assessment tool for emergency medicine - specific core competency evaluation. Acad Emerg Med 2004; 11: 1370-1. Global assessment tool for emergency medicine - specific core competency evaluation Acad Emerg Med 2004 1370 1 11 Wang E Sanders AB 19. McMullan M, Endacott R, Gray MA, Jasper M, Miller CML, Scholes J, Webb C. Portfolios and assessment of competence: a review of the literature. Journal of Advanced Nursing 2003; 41: 283-94. Portfolios and assessment of competence: a review of the literature Journal of Advanced Nursing 2003 283 94 41 McMullan M Endacott R Gray MA Jasper M Miller CML Scholes J Webb C 20. Davis JD. Comparison of faculty, peer, self and nurse assessment of obstetrics and gynecology residents. Obstet Gynecol 2002; 99: 647-51. Comparison of faculty, peer, self and nurse assessment of obstetrics and gynecology residents Obstet Gynecol 2002 647 51 99 Davis JD 21. Regehr G, MacRae, Reznick RK, Szalay D. Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination. Acad Med 1998; 72:993-7. Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination Acad Med 1998 993 7 72 Regehr G MacRae Reznick RK Szalay D 22. Norcini JJ. Peer assessment of competence. Med Educ 2003; 37: 539-43. Peer assessment of competence Med Educ 2003 539 43 37 Norcini JJ