Conceito global: um método de avaliação de competência clínica

Global rating: a method for assessing clinical competence

ENSAIOS

Conceito global: um método de avaliação de competência clínica

Global rating: a method for assessing clinical competence

Rosângela Curvo Leite Domingues; Eliana Amaral; Angélica Maria Bicudo-Zeferino

Universidade Estadual de Campinas, São Paulo, Brasil

^{Endereço para correspondência}

RESUMO

Muito se tem feito para desenvolver métodos que avaliem de forma confiável a proficiência em habilidade clínica dos alunos de graduação médica. Há fortes evidências de que a avaliação global pode ser uma alternativa viável e confiável na avaliação de estudantes de graduação no ambiente clínico. Rotineiramente, a competência clínica tem sido avaliada pelos docentes por meio de um conceito subjetivo. Essa nota, dada por um especialista, não é objetiva e está sujeita a vieses. O uso de um instrumento bem delineado, com diversos itens pontuados numa escala, oferece a vantagem de especificar o que deve ser avaliado, auxiliando os avaliadores a distinguir os diferentes níveis do desempenho. Usando este método, os docentes podem expressar sua percepção global dos alunos, de forma mais objetiva, em relação a duas esferas distintas da competência: técnica (contendo itens como história clínica, exame físico, conhecimento médico, julgamento clínico, solução de problemas e hábitos no trabalho) e humanista (incluindo comunicação com pacientes e familiares, respeito, habilidades reflexivas, sensibilidade ao contexto e trabalho em equipe).

Palavras-chave: Avaliação Educacional; Estágio Clínico; Competência Clinica; Estudantes de Medicina.

ABSTRACT

Considerable effort has focused on developing methods to reliably assess undergraduate medical students' proficiency in clinical skills. There is strong evidence that global rating can be a feasible and reliable alternative for rating undergraduate medical students in the clinical setting. Professors have routinely assessed clinical competence with a subjective rating. This score, given by a specialist, is not objective and is subject to biases. The use of a well-designed instrument with various items rated on a scale offers the advantage of specifying what should be assessed, thus helping professors distinguish between different levels of performance. Using this method, faculty can express their global perception of the students in a more objective way in relation to two distinct spheres of technical competence (containing items like patient history, physical examination, medical knowledge, clinical knowledge, problem-solving, and work habits) and humanist competence (including communication with patients and families, respect, reflective skills, sensitivity to context, and teamwork).

Key words: Educational Measurement; Clinical Clerkship; Clinical Competence; Students, Medical.

INTRODUÇÃO

Nos últimos anos, diversas entidades internacionais têm se debruçado sobre a discussão em torno do tema competência médica e o papel do médico no século 21. Neste contexto, a Association of American Medical Colleges (AAMC) iniciou um projeto denominado Medical School Objectives Project (MSOP). O relatório de consenso entre representantes dos 14 países participantes contempla os seguintes grupos de características esperadas do médico: (1) altruísmo: empatia, respeito à privacidade e à dignidade do paciente, atenção, cuidado, compreensão do contexto cultural e dos valores do paciente e de seus familiares; (2) conhecimento: compreensão das bases científicas da medicina e competência para colocá-las em prática; (3) habilidade: competência para fornecer cuidados médicos apropriados, obter história médica precisa, construir raciocínio clínico, realizar exames físicos, procedimentos diagnósticos e terapêuticos e para comunicar-se eficazmente com pacientes e familiares; (4) compromisso e colaboração: compreensão dos fatores econômicos, psicológicos, ocupacionais, sociais e culturais envolvidos na atenção ao paciente; comprometimento para trabalhar em conjunto com outros profissionais da saúde; aplicação dos princípios da medicina baseada em evidência; capacidade para tomar decisões e lidar com recursos médicos limitados^1,2.

Outro projeto, iniciado em 1999 pela Accreditation Council for Graduate Medical Education (ACGME) e denominado Outcome Project, identificou seis competências gerais para médicos de todas as especialidades:

1. Cuidado com o paciente.

2. Conhecimento médico.

3. Aprendizagem e melhoria baseada na prática.

4. Habilidades interpessoais e de comunicação.

5. Profissionalismo;

6. Prática baseada em sistemas

   ^2-4.

Em 2000, o projeto CanMED (Canadian Medical Education Directions for Specialists) descreveu sete papéis que deveriam ser incluídos em todos os níveis da educação médica: especialista, comunicador, colaborador, gerente, defensor da saúde, comprometido com educação continuada e profissional⁵.

Apesar dessa abordagem multidimensional de competência clínica, vários estudos sustentam que, na prática, ela é bidimensional, pois verdadeiramente os alunos são avaliados por duas dimensões substancialmente correlacionadas que, seguindo a taxonomia da ACGME, são denominadas:

1. Competência humanista, englobando as habilidades de comunicação interpessoal e profissionalismo.

2. Competência técnica, constituída de conhecimento médico, cuidado com o paciente e atenção baseada no sistema

   ^6-8.

Diversos estudos demonstram que, mediante o procedimento da análise fatorial, essas duas importantes dimensões emergem, demonstrando possivelmente elevada consistência interna dos elementos constituintes da escala, homogeneidade de contextos de observação e concordância entre os avaliadores⁸.

Todas essas discussões repercutem na prática do ensino médico. Muitas universidades e órgãos de classe estão unindo esforços para repensar maneiras de sistematizar a avaliação destas competências, acrescentando-lhe a necessária perspectiva formativa e indutora de novas práticas pedagógicas. A avaliação, como parte integrante do processo de ensino-aprendizagem, tem como funções: estabelecer a gama de conhecimentos e habilidades que um indivíduo precisa ter atingido num certo estágio de sua carreira, estimar de forma precisa o nível dos alunos, oferecer aos alunos informações sobre seu progresso, alterar o comportamento em relação à aprendizagem, motivar os alunos, conscientizando-os sobre a importância do que estão aprendendo, e fornecer informações sobre a adequação do currículo aos professores e diretores^9-11.

É certo que a avaliação da competência médica deve partir de uma abordagem holística que pressupõe a utilização de variados métodos para valoração dos distintos elementos que a compõem. Entende-se que apenas a combinação desses métodos é capaz de produzir resultados válidos e confiáveis^12-15. Alguns dos métodos usados incluem:

a) avaliação estruturada, com instrumento do tipo checklist, útil para verificar diferentes subitens que compõem competências avaliadas por meio de comportamentos clínicos observáveis;

b) portfólio, utilizado como instrumento de avaliação tanto formativa quanto somativa, contempla a capacidade de se autoavaliar e executar um plano de aprendizagem;

c) prova cognitiva, apropriada para avaliar conhecimentos técnicos específicos;

d) avaliação 360⁰, voltada para obter informações das múltiplas fontes que circundam a esfera de influência do aluno, sobre seu desempenho em diferentes tarefas;

e) Osce (objective structured clinical examination), observação de componentes de um atendimento clínico simulado ou CSA (Clinical Structured Assesment), destinado a avaliar o desempenho clínico durante atendimento simulado completo;

f) Mini-CEX (mini-clinical evaluation exercise), que consiste na observação de parte de uma consulta, com avaliação global por checklist, seguida de uma sessão de feedback;

g)conceito global, utilizado quando se desejam avaliar, de maneira retrospectiva, categorias gerais ao invés de comportamentos específicos^{3,4,8,14,16-18}.

Para que se possam avaliar as competências identificadas pela ACGME, o conceito global não pode ser uma nota geral única, altamente subjetiva. Esta abordagem unidimensional é reducionista, apesar de prática. Entre suas limitações, a mais séria é que pode mascarar deficiências do aluno, uma vez que, ao avaliar o todo, o docente perde a visão dos distintos comportamentos ou habilidades que o compõem. Uma segunda limitação é que um índice geral tem baixo valor formativo, pois fornece muito pouca ou quase nenhuma informação que possa ser usada construtivamente como feedback⁸.

Uma alternativa é construir um conceito que contenha itens claramente especificados, que reflitam a combinação de atributos (conhecimentos, atitudes, valores e habilidades) necessários ao bom desempenho profissional¹⁹. O conceito global deve contemplar itens como qualidade da história, exame clínico, conhecimento médico, julgamento clínico, solução de problemas, hábitos e organização do trabalho, comunicação e relacionamento com pacientes e familiares, respeito, capacidade de autorreflexão, percepção do contexto, interação com colegas, com docentes e com demais profissionais²⁰. O aluno deve ser avaliado por diversos docentes, usando-se um instrumento que contenha uma escala do tipo Likert, com descritores explícitos nas extremidades inferior e superior. A nota final seria a média das notas recebidas em cada um dos itens do instrumento²¹. Estima-se que um número apropriado de observadores seja aproximadamente 11 para obtenção de precisão e reprodutibilidade satisfatória numa situação de observação de prática profissional⁷.

Elaborado dessa forma, o conceito global apresenta características psicométricas válidas, pois reduz a chance de um estudante conseguir compensar suas deficiências numa área obtendo bom desempenho noutra. Além disso, quando combinado com outros métodos de avaliação, provê informações valiosas que podem ser usadas como feedback para os alunos, para os avaliadores, para os coordenadores de módulos e educadores em geral^8,21. No entanto, o desenvolvimento de um instrumento de avaliação da competência clínica é um processo trabalhoso e tecnicamente sofisticado¹⁵.

Embora ainda não se tenha conseguido definir um padrão-ouro para avaliar a competência do médico ou do estudante de Medicina, a aplicação de um conceito global pode ser uma avaliação abrangente^14,22. Esse método de avaliação, que leva em conta as impressões formadas a partir de uma variedade de situações às quais o estudante é exposto por determinado período de tempo, é considerado confiável, sendo utilizado em várias partes do mundo¹⁵.

Como a maior parte dos avaliadores identifica apenas duas grandes competências, clínica e humanista, é necessário oferecer treinamentos específicos para que eles possam reconhecer e validar os diferentes itens identificados no instrumento usado. Embora esses treinamentos signifiquem tempo adicional e custo, eles são vitais para a melhoria da qualidade das avaliações e para o desenvolvimento dos docentes nas instituições acadêmicas.

Recebido em: 18/07/2006

Reencaminhado em: 31/03/2008

Aprovado em: 31/04/2008

CONFLITO DE INTERESSES: Declarou não haver

• ¹
  Association of American Medical Colleges. Learning objectives for medical student education. Guidelines for medical education. Report I, 1998.
• 2. Horowitz SD. Evaluation of clinical competencies Basic certification, subspecialty certification, and recertification. Am J Phys Med Rehabil. 2000;79:478-480.
• 3. Sliwa JA, Kowalske KJ. Assessing resident clinical competence. Am J Phys Med Rehabil. 2000; 79:468-473.
• ⁴
  Association of American Medical Colleges. The SOAP approach to conquering the competencies challenges. [online]; 2004. [acesso em: 1 abr. 2006]. Disponível em: http://www.aame.org/members/gea
• 5. Prideaux D, Alexander H, Bower A, Dacre J, Haisr S, Jolly B, et al. Clinical teaching: maintaining an educational role for doctors in the new health care environment. Med Educ. 2000;34:820-826.
• 6. DiMatteo MR, DiNicola DD. Sources of assessment of physician performance: a study of comparatove reliability and patterns of intercorrelation. Med Care. 1981;19:829-839.
• 7. Ramsey PG, Wenrich MD, Carline JD, Inui TS, Lasrson EB, LoGerfo, JP. Use of peer ratings to evaluate physician performance. JAMA. 1993;269:1655-1660.
• 8. Silber GC, Nasca TJ, Paskin DL, Eiger G, Robeson M, Veloski J. Do global rating forms enable program directors to assess the ACGME competencies? Acad Méd. 2004;79:549-556.
• 9. Haydt RC. Avaliação do Processo Ensino-Aprendizagem. São Paulo: Editora Ática; 2002.
• 10. Carr SJ. Assessing clinical competency in medical senior house officers: how and why should we do it? Postgrad Med J. 2004;80:63-66.
• 11. Hulsman RL, Mollema ED, Hoos AM, De Haes JCJM, Donnison-Speijer JDD. Assessment of medical communications skills by computer: assessment method and student experiences. Med Educ 2004; 38:813-824.
• 12. DeLisa JA. Evaluation of clinical competency. Am J Phys Med Rehabil. 2000; 79: 474-477.
• 13. St George I, KAIGAS T, Mcavoy P. Assessing the competence of practicing physicians in New Zealand, Canada and the United Kingdon: progress and problems. Fam Pract 2004; 36:172-177.
• 14. Wilkinson TJ, Frampton CM. Comprehensive undergraduate medical assessments improve prediction of clinical performance. Med Educ 2004; 38:1111-1116.
• 15. Van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ 2005; 39: 309-317.
• 16. Depresbiteris, L. Certificação de competências: a necessidade de avançar numa perspectiva formativa. Formação 2001; 2: 27-38.
• 17. Chapman DM, Hayden S, Sanders, AB et al. Integrating the accreditation council for graduate medical education core competencies into the model of clinical practice of emergency medicine. Acad Emerg Med 2004;11:674-85.
• 18. Wang E, Sanders AB Global assessment tool for emergency medicine - specific core competency evaluation. Acad Emerg Med 2004; 11: 1370-1.
• 19. McMullan M, Endacott R, Gray MA, Jasper M, Miller CML, Scholes J, Webb C. Portfolios and assessment of competence: a review of the literature. Journal of Advanced Nursing 2003; 41: 283-94.
• 20. Davis JD. Comparison of faculty, peer, self and nurse assessment of obstetrics and gynecology residents. Obstet Gynecol 2002; 99: 647-51.
• 21. Regehr G, MacRae, Reznick RK, Szalay D. Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination. Acad Med 1998; 72:993-7.
• 22. Norcini JJ. Peer assessment of competence. Med Educ 2003; 37: 539-43.

Datas de Publicação

• Publicação nesta coleção
  19 Jun 2009
• Data do Fascículo
  Mar 2009

Histórico

• Recebido
  18 Jul 2006
• Revisado
  31 Mar 2008
• Aceito
  30 Abr 2008