Avaliando competência clínica: o método de avaliação estruturada observacional

Assessing clinical competence: structured observation

ENSAIO

Avaliando competência clínica: o método de avaliação estruturada observacional

Assessing clinical competence: structured observation

Eliana Amaral; Rosângela Curvo Leite Domingues; Angélica Maria Bicudo-Zeferino

Faculdade de Ciências Médicas da Umicamp, Brasil

^{Endereço para correspondência}

RESUMO

Apesar dos avanços tecnológicos, a história médica, o exame físico e a relação médico-paciente continuam as mais importantes ferramentas diagnósticas e terapêuticas. No entanto, deficiências em habilidades clínicas entre alunos têm sido relatadas. Competência clínica deve ser considerada não apenas a demonstração de comportamentos isolados, mas, sim, a habilidade integrada de pensar, sentir e agir na prática real, um determinado contexto. Por isso, ferramentas de observação direta são bastante úteis para avaliar o que os estudantes fazem ou deixam de fazer durante as consultas. O instrumento de avaliação estruturada parece ser adequado tanto para os avaliadores quanto para os avaliados, uma vez que pode ser usado como um guia de observação e também como uma ferramenta de feedback, ampliando as oportunidades de aprendizagem no cenário clínico. Para que esse instrumento seja aplicado de forma eficaz, justa e confiável, os avaliadores precisam ser adequadamente preparados.

Palavras-chave: Avaliação; Competência Clínica; Estudantes de Medicina; Educação Médica.

ABSTRACT

Despite the technological advances, medical history, physical examination and patient-doctor relationship continue being the most important diagnostic and therapeutic tools. However, deficiencies in clinical skills among students have been related. Clinical competence is context-dependent; it is more than a demonstration of isolated behaviors, but an integrative ability to think, feel and act in real practice. Tools for direct observation are very helpful in evaluating what students are and are not able to do during clinical encounters. So, structured assessment seems to be a valuable instrument both for evaluators and students. It can be used as an observational guide and as a tool for feedback, and enhances the learning opportunities in clinical settings. To effectively apply this method, faculty should be provided with effective training to increase fairness and reliability of the assessment strategy.

Key-words: Evaluation; Clinical Competence; Students, Medical; Education, Medical.

INTRODUÇÃO

Apesar dos avanços tecnológicos, as habilidades para realizar história, exame físico e para se comunicar com o paciente continuam as mais importantes e eficazes ferramentas diagnósticas e terapêuticas diante de um caso clínico. No entanto, muitos alunos terminam o curso médico com deficiências nessas habilidades essenciais¹. Tal constatação reforça a necessidade de que os educadores voltem sua atenção para a avaliação da competência clínica, caracterizada como um conjunto de conhecimentos, habilidades técnicas e de comunicação, empatia, propedêutica e raciocínio clínico, durante a graduação médica².

Num ambiente clínico, muitos alunos se sentem frustrados pela dificuldade de recordarem conhecimentos adquiridos previamente e de serem incapazes de aplicá-los no caso clínico em questão. Os docentes, por sua vez, ficam surpresos com os alunos que parecem ter retido tão pouco. O problema talvez esteja na separação entre o aprendizado clínico e o ambiente e situação em que o mesmo será aplicado. Por isso, há uma forte tendência de se colocar o aluno em ação precocemente, tendo-se o cuidado de criar um ambiente propício à aprendizagem, que envolva os componentes cognitivos (o que aprender), afetivos (motivação para aprender) e metacognitivos (como aprender)³.

Se o aprender clínico tem sido modificado, com antecipação e diversificação de cenários, os métodos de avaliação das competências clínicas precisam ser adaptados a essa nova realidade. Em 1990, George Miller propôs um modelo hierárquico de avaliação da competência clínica que diferenciava o nível da "ação" (fazer) dos outros níveis considerados inferiores (saber, saber como e mostrar como)⁴ . Avaliar a "ação" significa avaliar o que ocorre na prática. Embora nos últimos 30 anos inúmeros métodos tenham sido desenvolvidos e utilizados na avaliação dos alunos de Medicina, a maioria deles ainda tende a enfocar o "saber" ou "saber como", habilidades da esfera cognitiva, essenciais mas insuficientes para compor a competência clínica. Esses níveis podem ser avaliados por testes de múltipla escolha, exame oral, dissertações ou trabalhos escritos, estudos de caso, cenários clínicos simulados⁵ .

Um método bastante utilizado nos últimos anos é o Osce (objective structured clinical examination), que avalia o desempenho do aprendiz em situações delimitadas, baseadas em um roteiro predefinido, em que há interação com paciente simulado ou recursos didáticos por meio de estações de avaliação em rodízio⁶. As notas são dadas pelos observadores ou pelos pacientes, por meio de checklists isolados ou combinados com conceito. Além do grande desafio operacional e custo que representa, três aspectos dificultam o Osce de se aproximar de situações de prática clínica: (1) o tempo limitado em cada estação exige que o aluno demonstre habilidades isoladas de uma consulta, o que desconstrói a relação médico-paciente; (2) ao se basear num checklist de tarefas, passa a mensagem de que a interação médico-paciente pode ser uma lista de ações; (3) como nem tudo pode ser simulado, há uma limitação dos problemas que podem ser abordados pelo ator⁷ . O Osce não avalia o estudante em condições reais e se presta à avaliação do "saber como".

Para avaliar o "mostrar como", um degrau acima na pirâmide de Miller, utiliza-se em todo o mundo o "caso longo", no qual o aluno examina um paciente e depois apresenta o caso completo para o examinador de forma não estruturada. No formato tradicional, é um método que permite avaliar a integração do conhecimento pelo relato da interação do aluno com o paciente, mas é questionado por suas propriedades psicométricas, particularmente de validade. A inclusão de observação direta e o aumento do número de casos longos avaliados por estudante são estratégias para contornar estes problemas e recuperar a credibilidade do método na avaliação clínica⁸ .

Mas o maior desafio dos educadores médicos está em avaliar o desempenho, o "fazer" real, com sua imprevisibilidade e com os aspectos emocionais envolvidos. Portfólios com documentação das experiências clínicas num período determinado de tempo e auto-reflexão têm sido usados como instrumentos de avaliação do que se fez⁵. Uma opção complementar de avaliação é o Mini CEX (mini-clinical evaluation exercise), que consiste numa observação estruturada da prática com guia de verificação ou checklist, na qual se atribuem notas de avaliação global para diversos itens de atitudes e habilidades, seguida de feedback, com duração total de 20-30 minutos, que pode ser repetida várias vezes para o mesmo aluno, aumentando a validade do método⁹ .

Os autores concordam em que, para se avaliar a competência na verdadeira prática clínica, o nível "fazer", é preciso agregar a observação do desempenho no cuidado do aluno com pacientes reais^1,2,5. No entanto, raras são as oportunidades em que os docentes observam os atendimentos realizados por seus alunos durante o ciclo clínico. Freqüentemente, os professores aceitam a veracidade da história e do exame físico apresentados pelos alunos, sem nunca terem realmente observado seu desempenho. De fato, muitos alunos referem que durante todo o seu curso foram observados em poucas oportunidades, muitas vezes por residentes e não pelos docentes. Indiscutivelmente, a observação direta é um método rico de avaliação, pois fornece uma visão mais realista e integrada das habilidades clínicas dos alunos, facilitando a identificação das áreas de aprendizado a serem reforçadas. Por isso, deveriam receber alta prioridade por parte dos educadores, coordenadores e diretores de escolas médicas¹ .

O uso de um instrumento estruturado, tipo checklist, para avaliação durante a observação de uma consulta auxilia o professor a focar sua atenção em habilidades específicas, aumentando a acurácia na detecção de falhas. Além de servirem como instrumento de avaliação, essas listas servem como ferramenta de aprendizagem, oferecendo elementos objetivos para dar feedback aos alunos, podendo ajudá-los a reforçar seus pontos fortes e a corrigir suas deficiências¹⁰ .

Para diferenciar as nuances e gradações dos comportamentos esperados, não apenas sua presença ou ausência, o instrumento para avaliação estruturada deve conter uma escala de Likert¹¹. Os checklists do tipo sim/não, embora práticos, deixam de contemplar aspectos qualitativos importantes, que são essenciais como feedback aos alunos e para a comparação de seu desempenho. De fato, sabe-se que mudanças de comportamento são medidas de forma mais apurada como um contínuo progressivo do que como uma variável dicotômica^11,12.

A primeira dificuldade encontrada para o sucesso desse método está na qualidade das observações. Estudos demonstram falta de homogeneidade nos critérios usados pelos docentes para atribuir notas e falhas na detecção de erros cometidos pelos alunos^13,14. Certamente, a presença contínua do avaliador durante a consulta médica constitui uma dificuldade adicional, pois pode influenciar positiva ou negativamente o desempenho do aluno. Mas o uso apropriado do feedback e o esclarecimento de que essa é uma oportunidade para aprendizagem tornam a avaliação estruturada um método significativo para o aluno, que tende a agir mais naturalmente durante a consulta¹⁵ .

Tais problemas podem ser minimizados se os docentes estiverem bem preparados como clínicos e como avaliadores, disponíveis, com tempo suficiente para a realização da observação e se o instrumento usado for válido e confiável^10,16.

A confiabilidade refere-se à repetibilidade do teste; quanto mais confiável, maior a probabilidade de se obter um resultado semelhante se o teste for novamente administrado. Inúmeros itens afetam a confiabilidade de um instrumento: tamanho, discriminação dos itens, heterogeneidade dos alunos, comportamento dos pacientes, atitudes e habilidades dos examinadores, número de observações por aluno e condições da avaliação. A validade mede o grau no qual o teste realmente avalia aquilo que se propõe e demonstra a ligação entre o conteúdo do teste e os objetivos de aprendizado. O sucesso da avaliação estruturada está em se encontrar o equilíbrio entre validade e confiabilidade, e entre o ideal e o prático^5,7,11.

Embora a avaliação por observação estruturada possa gerar uma nota, com fins formativos ou somativos, é preciso decidir o padrão considerado como o mínimo aceitável. Avaliações somativas devem ser critério-referenciadas, isto é, cada aluno deve ser avaliado de acordo com o padrão estabelecido e não em relação aos colegas^5,7,16. Uma sugestão é a classificação da American Board of Internal Medicine (Abim), com os seguintes padrões e critérios: superior (o aluno excede as expectativas); satisfatório (o aluno sempre atinge as expectativas e ocasionalmente as excede); marginal (em geral, o aluno atinge as expectativas, mas ocasionalmente está abaixo delas); insatisfatório (consistentemente, o aluno está abaixo das expectativas). Restará definir, idealmente por um processo de consenso entre os avaliadores, que desempenhos específicos devem ser identificados para classificar o aluno segundo cada item da avaliação proposta¹⁷.

CONCLUSÃO E TENDÊNCIAS

A utilização de ferramentas que possuem uma forte característica observacional é uma tendência no ensino médico, pois permite avaliar o fazer, preferencialmente em condições reais. Mas é necessário atribuir pesos diferentes aos diferentes aspectos (habilidades ou comportamentos) observados, ponderando de acordo com que é esperado do aluno na etapa de aprendizagem em que se encontra¹⁸. Tal definição depende de consensos entre os educadores médicos e não pode se arbitrada isoladamente ou definida no momento em que se vai atribuir nota, oferecendo-se uma abordagem mais homogênea e transparente dos critérios de avaliação clínica.

Os educadores devem ter em mente que toda avaliação é uma forma de aprendizagem que deve servir como guia e suporte para solucionar as necessidades de aprendizagem do aluno e aumentar sua autoconfiança e sua habilidade de pensar sobre sua forma de aprender. Por isso, ao selecionar o método de avaliação e ao utilizá-lo, o educador deve refletir sobre que conteúdo e quais habilidades serão avaliados, com que objetivo (formativo, somativo), em que contexto e como essa avaliação pode fomentar aprendizagens futuras². As escolas médicas devem se comprometer a experimentar as diversas opções descritas na literatura, aprimorando-as e adaptando-as às características do ensino médico que desejam construir. A avaliação deve ser adaptada ao contexto no qual será usada e voltada para os objetivos previamente traçados². Uma abordagem holística, que integre métodos, vai permitir a avaliação de conhecimento, compreensão, solução de problemas, habilidades técnicas, atitude e ética¹⁹.

Neste contexto, a avaliação por observação estruturada do desempenho clínico na forma de mini-CEX, Osler (Objective Structured Long Examination Record), Osce, casos curtos e longos tem um lugar destacado, por abranger aspectos técnicos, éticos e relacionais. As dificuldades operacionais e a habilitação do corpo docente para trabalhar com os diferentes instrumentos devem ser discutidas no processo de decisão sobre os métodos de avaliação das habilidades clínicas a serem empregados, com destaque para a etapa de aprendizado em serviço, o Internato.

Recebido em: 18/07/2006

Reencaminhado em: 03/04/2007

Aprovado em: 19/04/2007

Conflito de interesse Declarou não haver

• 1. Holmboe ES. Faculty and the observation of trainees´clinical skills: problems and opportunities. Acad Med. 2004; 79(1):16-22.
• 2. Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002; 287(2): 226-35.
• 3. Gordon J, Hazlett C, Ten Cate O, Mann K, Kilminster S, Prince K, et al. Strategic planning in medical education: enhancing the learning environment for students in clinical settings. Med Educ. 2000; 34(10): 841-50.
• 4. Miller GE. The assessment of clinical skills/competence/ performance. Acad Med. 1990; 65 Suppl 9: 63-7.
• 5. Wass V, Van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet. 2001; 357(9260): 945-9.
• 6. Marks M, Humprey-Murto S. Performance assessment. In: Dent JA, Harden R, eds. A practical guide for medical teachers. 2nd ed. London: Elsevier; 2005. p.323-35.
• 7. Smee S. Skill based assessment. BMJ. 2003; 326(7391): 703-6.
• 8. Wass V, Van der Vleuten C. The long case. Med Educ. 2004; 38(11): 1176-80.
• 9. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med. 2003; 138(6):476-81.
• 10. Norgaard K, Ringsted C, Dolmans D. Validation of a checklist to assess ward round performance of internal medicine. Med Educ. 2004; 38(7):700-7.
• 11. Hayes BE. Medindo a satisfação do cliente: desenvolvimento e uso de questionários. Rio de Janeiro: Qualitymark; 2001.
• 12. Lehmann F, Côté L, Bourque A, Fontaine D. Physician-patient interaction: a reliable and valid chek-list of quality. Can Fam Physician. 1990; 36: 1711-6.
• 13. Elliot DL, Hickam DH. Evaluation of physical examination skills. Reliability of faculty observers and patient instructors. JAMA. 1987; 258(23): 3405-8.
• 14. Noel GL, Herbers JE, Caplow MP, Cooper GS, Pangaro LN, Harvey J. How well do internal medicine faculty members evaluate the clinical skills of residents?. Ann Inter Med. 1992; 117(9): 757-65.
• 15. Katz NT, McCarty-Gillespie L, Magrane DM. Direct observation as a tool for needs assessment of resident teaching skills in the ambulatory setting. Am J Obstet Gynecol. 2003; 189(3): 684-7.
• 16. Lynch DC, Swing SR. Key considerations for selecting instruments and implementing assessment systems. [Online]. USA. [Capturado abr. 2006]. Disponível em: www.acgme.org/outcome/assess/keyconsider.asp .
• 17. Norcini JJ. Current perspectives in assessment: the assessment of performance at work. Med Edu. 2005; 39(9): 880-9.
• 18. DeLisa JA. Evaluation of clinical competence. Am J Phys Med Rehabil. 2000; 79(5): 474-7.
• 19. McMullan M, Endacott R, Gray MA, Jasper M, Miller CML, Scholes J, et al. Portfolios and assessment of competence: a review of the literature. J Adv Nurs. 2003; 41(3): 283-94.

Datas de Publicação

• Publicação nesta coleção
  10 Mar 2008
• Data do Fascículo
  Dez 2007

Histórico

• Aceito
  19 Abr 2007
• Recebido
  18 Jul 2006
• Revisado
  03 Abr 2007