Participação de estudantes de medicina como avaliadores em exame estruturado de habilidades clínicas (Osce)

Participation of medical students as examiners in an objective structured clinical examination

RELATO DE EXPERIÊNCIA

Participação de estudantes de medicina como avaliadores em exame estruturado de habilidades clínicas (Osce)

Participation of medical students as examiners in an objective structured clinical examination

Fernando T. V. Amaral^I; Luiz E.A.Troncon^II

^IFaculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, São Paulo, Brasil

^IIDepartamento de Clínica Médica, Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, São Paulo, Brasil

^{Endereço para correspondência}

RESUMO

Descrevem-se duas experiências realizadas com o objetivo de verificar se estudantes de Medicina de etapas avançadas podem ser utilizados em Osce para avaliar habilidades clínicas básicas de alunos iniciantes. Na primeira experiência, 6 internos e 6 professores avaliaram 59 alunos do currículo tradicional em Osce com 6 estações focadas na anamnese, exame físico e comunicação com o paciente. As notas dadas pelos professores foram maiores que as dos estudantes em todas as estações, exceto uma (comunicação), mas não houve diferenças significantes entre elas, exceto numa estação de exame físico (p < 0,001) (teste de Wilcoxon). Na segunda experiência, 15 internos do currículo tradicional e 9 professores avaliaram 58 estudantes do 1º ano, currículo PBL, em Osce com 3 estações para avaliar anamnese, exame físico e manipulação de luvas esterilizadas. Os estudantes foram pareados aos professores, e cada um fez sua avaliação individualizada usando o mesmo protocolo. Em metade das estações, os valores médios das notas de professores e estudantes foram significativamente diferentes. Isso aparentemente se deveu à variação significativa entre as notas dos professores, o que não ocorreu com relação às notas dadas pelos estudantes avaliadores (p < 0,05) (teste de Wilcoxon e Anova – Turkey, Dunn). Conclui-se que estudantes em fase de treinamento podem ser utilizados como examinadores confiáveis em exame de habilidades clínicas de estudantes iniciantes, sendo que a variabilidade entre as notas que atribuem para a mesma tarefa parece ser inferior à que se verifica nas notas dos professores.

Palavras-chave: Avaliação Educacional; Ensino; Educação Médica.

ABSTRACT

Two educational experiments developed to verify if senior medical students could act as examiners in an Osce of basic clinical skills are described. In the first experience, 6 interns and 6 staff members assessed 59 students from the traditional curriculum in a 6-station Osce structured to assess medical history, physical examination and communication skills. The scores attributed by the staff members were higher than that of the students in all but the communication skill station. However, no significant difference was found among scores except in one physical examination station (p < 0,001) (Wilcoxon test). In the second experience, 15 interns from the traditional curriculum and 9 staff members assessed 58 PBL curriculum students in a 3-station Osce to assess clinical history, physical examination and manipulation of sterilized gloves. The students were paired to the staff members and an independent assessment was done using the same protocol. In 50% of the stations the mean scores attributed by the staff members and students were significantly different. This fact however was apparently due to a significant variability among the staff members' scores, what did not occur in the students' scores (p < 0,05) (Wilcoxon test, Anova – Turkey, Dunn). We conclude stating that senior students can be used as reliable examiners in a clinical skills Osce for junior students. The variability in the scores attributed by the students for the same task seems to be inferior than it is in the scores attributed by the staff members.

Key-words: Educational Measurement; Teaching; Education, Medical.

INTRODUÇÃO

O exame clínico objetivo estruturado por estações (Osce) é atualmente considerado um dos métodos mais confiáveis para avaliação de competências clínicas de estudantes^1-4 e residentes^5,6, assim como para certificação profissional e avaliação de profissionais médicos em atividade^7,8. Numa Osce típica, os examinandos se alternam por um número determinado de estações onde se encontram pacientes reais ou padronizados, com o propósito de realizar diferentes tarefas clínicas¹. Habitualmente, professores avaliadores observam os examinandos e registram os aspectos do desempenho baseados numa checklist previamente estruturada. Como já relatado⁹, as limitações do método estão diretamente relacionadas a seu custo^10,11 e segurança¹² e também por ser considerado uma atividade bastante trabalhosa em relação a seu preparo e execução.

Nos últimos três anos, temos avaliado rotineiramente a competência clínica em cardiologia pediátrica básica de alunos do 4º ano, currículo tradicional, por meio da Osce. Após esse período, o principal fator limitante do exame foi a disponibilidade de professores avaliadores, visto não serem eles remunerados por esta atividade nem terem nenhum benefício, a não ser interesse educacional, além de colaborar com os responsáveis pelo exame. Após a adoção do currículo PBL pela instituição, Osces rotineiras têm sido realizadas para avaliação ao final das etapas, e, apesar de atualmente os professores serem convocados dentro de seu horário de trabalho para atuar como avaliadores, as dificuldades persistem.

Estudantes seniores têm sido cada vez mais utilizados em atividades educacionais, como, por exemplo, preceptores para alunos de 1º e 2º anos^13,14 e também como pacientes padronizados em Osces^15,16. Sendo assim, ocorreu-nos a idéia de substituir professores por alunos seniores para atuarem como avaliadores de alunos juniores em Osces de habilidades clínicas básicas. Relatamos a seguir os resultados de duas experiências realizadas com esse objetivo, assim como o impacto dessa atividade sobre o processo formativo do estudante avaliador.

MÉTODOS

Primeira experiência

Seis estudantes voluntários do último ano, interessados em educação médica, foram treinados para atuar como examinadores numa Osce de 8 estações para avaliar habilidades clínicas básicas em cardiologia pediátrica. Cada estudante examinador foi pareado a um professor, e ambos desconheciam o resultado de sua avaliação, realizada por meio de checklist com 8 a 12 itens. Os professores dentro da sala, assim como os examinandos, desconheciam a presença dos estudantes avaliadores, visto estarem separados por uma falsa-janela de vidro com sistema de microfone acoplado. Após exclusão de 2 estações (eletrocardiograma e radiografia de tórax), 6 foram utilizadas: 2 anamneses: mãe padronizada de lactente dispnéico e dor precordial em criança na idade escolar; 3 para exame físico: 3 pacientes reais com sopro inocente (1) e sopro patológico (2); 1 habilidade de comunicação: mãe padronizada de criança em idade escolar com sopro inocente.

As estações tinham duração de 7 minutos cada, e em 5 delas os últimos 2 minutos foram utilizados para os examinandos responderem questões do tipo falso/verdadeiro pertinentes às estações.

Antes da Osce, os 59 alunos foram detalhadamente orientados sobre a prova e, após o exame, responderam um questionário relativo à sua percepção sobre o mesmo. Os estudantes examinadores foram preparados antes da Osce por meio de reuniões com os autores.

Segunda experiência

Quinze internos voluntários do currículo tradicional e 9 professores avaliaram 58 estudantes do 1º ano, currículo PBL, em Osce de 3 estações para avaliar anamnese (dor abdominal), exame físico (tomada da pressão arterial) e manipulação de luvas esterilizadas. Os estudantes foram pareados com os professores da seguinte forma: em 9 salas, foram montados 3 grupos iguais, que continham as 3 estações. Em cada grupo havia duas estações com 1 professor e 2 estudantes e 1 estação com 1 professor e 1 estudante. Cada avaliador fez sua avaliação independente usando o mesmo protocolo e desconhecendo a nota atribuída pelo outro. Os estudantes avaliadores estavam separados dos professores e dos examinandos por falsa-janela de vidro.

Antes da Osce, os estudantes avaliadores foram preparados pelos autores e, logo após o encerramento, responderam um questionário cujo objetivo foi verificar sua impressão sobre o exame, assim como o possível impacto sobre seu aprendizado (^Anexo).

Análise estatística

O teste não paramétrico de Wilcoxon foi utilizado nas duas experiências. Na segunda experiência, foi também realizada análise de variância (Anova) por meio dos testes de Turkey e Dunn. Valores de p < 0,05 foram considerados significantes.

RESULTADOS

Primeira experiência

As notas atribuídas pelos professores e pelos estudantes examinadores em cada estação estão apresentadas e ilustradas na Figura 1. As notas dos professores foram discretamente maiores do que as dos estudantes examinadores, exceto na estação 6 (habilidade de comunicação). Entretanto, diferença estatisticamente significante foi encontrada somente em uma estação de exame físico (E4), onde as notas atribuídas pelos estudantes foram significativamente menores do que as dos professores (p < 0,001).

Segunda experiência

As notas atribuídas pelos professores e pelos estudantes examinadores em cada estação estão apresentadas e ilustradas nas Figuras 2, 3 e 4. Entre 14 avaliações comparativas realizadas, em 7 (50%) os valores médios foram significativamente diferentes: 3 relacionados à história clínica (nota dos professores menor que dos estudantes) e 4 relacionados à manipulação de luvas esterilizadas (em 2 análises, as notas dos professores foram menores do que as dos alunos). Não houve diferença significante nos valores médios quando a comparação foi feita entre os alunos (Figura 5). Análise de variância mostrou que, nas estações de história clínica e manipulação de luvas, houve variação significante entre as notas dos professores, o que não ocorreu entre os estudantes examinadores (p < 0,05).

Questionário

Aplicado em 13 estudantes durante a segunda experiência, o questionário mostrou que 61% acharam a prova adequada; 61% estavam familiarizados com o conteúdo e tarefas solicitadas; 69% tiveram facilidade em avaliar as tarefas; 54% se mostraram seguros/confiantes ao avaliarem o aluno; 69% acharam alto o impacto sobre seu aprendizado; e 92% se mostraram satisfeitos em participar dessa experiência.

Em relação ao benefício sobre o aprendizado, eis algumas manifestações:

• permitiu reconhecer erros básicos que, até então, sabíamos, mas aos quais não dávamos importância

• adorei poder contribuir, afinal pode-se aprender melhor as técnicas avaliadas que na prática não usamos tão corretamente

• na estação em que fiquei como avaliador pude ver que cometemos erros corriqueiros no dia-dia, mas que isso é relevante durante uma avaliação

• a tendência é que haja mais provas práticas nos concursos de residência e isto serviu para nos orientar para esse tipo de prova, não realizada nas etapas finais do curso

• a experiência foi ótima, principalmente por ter aprendido a dar mais atenção aos detalhes que freqüentemente são avaliados e aos quais, às vezes, por se tratar de situação rotineira, não dou importância

• ser avaliador é algo que pareceu simples antes e, no momento, tornou-se algo complexo. A avaliação exigiu observar aspectos muito além da checklist, como postura do aluno, grau de comunicação com o paciente. Foi gratificante.

DISCUSSÃO

Desde o relato inicial por Harden et al¹⁷ em 1975, a Osce tem sido largamente empregada por educadores médicos e é atualmente considerada um método eficiente na avaliação de competências clínicas^2,18-20. Aspectos variados e interessantes dessa forma de avaliação têm sido bem discutidos, como o uso de pacientes reais ou padronizados²¹ e também a possibilidade de sua aplicação não somente em estudantes, mas também para certificação profissional^7,8. Desde o início de seu uso, foi logo notado que a preparação do exame era trabalhosa e de custo elevado⁹, principalmente para remunerar o paciente padronizado e o estafe local.

Em nossa experiência inicial com Osce na Unaerp para avaliar habilidades clínicas de estudantes do 4º ano, notamos, entre outros problemas e à medida que a experiência se acumulava, uma dificuldade crescente em relação à disponibilidade de professores para atuarem como examinadores. A partir da adoção pela instituição do currículo PBL, quando as Osces se tornaram rotina nas avaliações, essa dificuldade foi um pouco minimizada pela convocação dos professores dentro de seu horário de trabalho, porém as dificuldades persistem.

A decisão de usar estudantes seniores como examinadores de juniores, como aqui apresentada, foi baseada, inicialmente, na necessidade prática de manter esse tipo de atividade e também por consideramos que estudantes já tinham sido usados em outras atividades médicas educacionais tradicionalmente realizadas por professores. Resnick²², em 1976, ao que sabemos, foi um dos primeiros autores a empregar estudantes seniores para atuarem como preceptores de calouros. Além dessa experiência, Barnes et al¹⁵, em 1978, em investigação bastante elegante, descreveu a utilização bem-sucedida de estudantes seniores para ensinarem habilidades básicas de anamnese e exame físico. É interessante mencionar que, nesse estudo, a maioria dos aprendizes declararam preferir serem ensinados pelos estudantes seniores. Mais recentemente, Haist et al¹³ compararam o ensino de exame físico para alunos de 1º ano ministrado por professores e por alunos do 4º ano. E em outra interessante investigação, Josephson e Whelan²³ apresentaram um curso para alunos do 1º ano planejado e ministrado por um aluno sênior.

Apesar dessas bem-sucedidas experiências, a utilização de estudantes seniores para avaliar juniores, particularmente numa Osce, não foi ainda relatada, ao que sabemos. Deve ser mencionado, entretanto, o estudo de Van Rosendaal e Jennett²⁴ em 1994. Nessa interessante experiência, residentes de clínica médica foram avaliados por professores e por colegas de residência durante a Osce e também por outros métodos, como questões escritas e de múltipla escolha. Concluiu-se que os resultados globais da avaliação não foram diferentes entre os dois grupos de examinadores, e, nas situações com notas significativamente diferentes, havia uma tendência de os professores atribuírem notas mais elevadas. Essa investigação é semelhante à nossa, mas usou um método diferente do nosso: nesse estudo, os professores e residentes examinadores estavam juntos na mesma sala. Além disso, os participantes envolvidos no exame, seja como examinadores ou examinandos, compunham um grupo em fase de treinamento em contato diário durante suas atividades. Em nosso estudo, os estudantes seniores não tinham contato rotineiro com os juniores, e a maioria deles não se conhecia. Essa diferença, a nosso ver, torna o processo de avaliação mais confiável e com menor chance de ser influenciado por envolvimento pessoal ou emocional.

Como nosso protocolo de exame se baseia numa checklist detalhada, acreditamos que a atuação de estudantes seniores como examinadores confiáveis pode ser aceita. Os resultados de nossa primeira experiência, aqui apresentados, mostram que as notas atribuídas pelos professores foram discretamente maiores do que as atribuídas pelos estudantes, exceto na estação de comunicação. Entretanto, diferença significante só foi encontrada numa estação de exame físico. Esse padrão de notas menores atribuídas pelos estudantes avaliadores, apesar de não significante na maioria das estações, provavelmente reflete o entusiasmo dos estudantes em participarem dessa experiência. Tivemos a oportunidade de observar esse comportamento durante a realização de nossas Osces. De maneira geral, a atitude do professor durante o exame tende a ser bastante relaxada, às vezes excessivamente, o que poderia, em tese, afetar o julgamento. Essa tendência de os professores atribuírem notas maiores, entretanto, não deve ser considerada uma regra, visto que outras investigações com uso de diferentes métodos já demonstraram divergências nas notas entre professores e avaliadores não professores, algumas vezes relacionadas ao tipo de competência avaliada^25-27. Também observamos esse aspecto divergente em nossa segunda experiência, aqui descrita. Um detalhe interessante e que chama a atenção, entretanto, é uma aparente uniformidade nas notas atribuídas pelos estudantes seniores, notada nas estações de anamnese e manipulação de luvas da segunda experiência (Figuras 2 e 4). Essa constatação, corroborada pela análise estatística – que revelou variabilidade significante nas notas dos professores –, faz-nos acreditar que, em princípio, a avaliação feita pelos estudantes tende a ser mais uniforme e, portanto, mais confiável.

Um aspecto peculiar é a dificuldade em compreender por que uma diferença significante nas notas foi constatada em somente uma das três estações de exame físico da primeira experiência. Uma hipótese é de que esse fato teria ocorrido devido ao rigor excessivo do estudante avaliador naquela estação específica ou poderia estar relacionado a um viés do estudo. Outra particularidade que deve ser considerada quando nossa metodologia for empregada é que os estudantes seniores, por estarem fora da sala, poderiam, eventualmente, não escutar ou visualizar adequadamente o desempenho do avaliando dentro da sala de exame. Mas este fato não ocorreu em nosso estudo, pois os microfones funcionaram perfeitamente, e a distância entre a falsa-janela e o estudante avaliador era muito pequena.

Acreditamos que os dados acima apresentados nos autorizam a continuar essa linha de investigação tentando utilizar estudantes seniores no lugar de professores durante a Osce ou, como outra alternativa, usando ambos. Essa estratégia torna-se ainda mais factível quando analisamos as respostas de 13 estudantes ao questionário apresentado logo após a avaliação. O alto grau de satisfação demonstrado (92%), assim como o significante impacto sobre o aprendizado (69%) reforçam nossa hipótese de que esse modelo pode ser empregado eficazmente. O entusiasmo dos estudantes avaliadores em participar desse tipo de experiência nos parece semelhante aos dados recentemente apresentados por Wilkinson et al²⁸. Nessa importante investigação, procurou-se avaliar a importância relativa da checklist e do envolvimento do examinador no grau de confiabilidade do exame. Segundo esses autores, a escolha de um examinador interessado e preferencialmente envolvido na construção das estações é um fator fundamental à execução de uma Osce confiável.

Julgamos que a estratégia de utilizar alunos seniores como avaliadores, se confirmada por investigações semelhantes, certamente aumentará a possibilidade de emprego efetivo do método e, muito provavelmente, diminuirá o conhecido estresse do examinando durante o exame se o estudante avaliador estiver dentro da sala. Além disso, os gastos com a execução do exame serão substancialmente reduzidos, aspecto crucial em muitos centros, particularmente em nosso meio. É importante enfatizar que os aspectos legais de o estudante ser avaliado por outro devem ser discutidos. Além disso, deve ser lembrado que os seniores ainda são estudantes que avaliam seus colegas, o que, teoricamente, poderia, mesmo de maneira subconsciente, influenciar seu julgamento.

AGRADECIMENTOS

Ao Sr. Luiz Scarparo Neto do Curso de Medicina da Unaerp, aos professores e estudantes voluntários e à Faculdade de Fonoaudiologia da Unaerp.

Recebido em: 03/01/2006

Aprovado em: 11/01/2007

Conflito de Interesse: Declarou não haver.

ANEXO

^{Anexo - clique para ampliar}

• 1. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ 1979; 13: 41-54.
• 2. Dupras DM, Li JTC. Use of an objective structured clinical examination to determine clinical competence. Acad Med 1995; 70: 1029-1034.
• 3. Troncon LEA, Foss NT, Voltarelli JC, Dantas RO. Avaliação de habilidades clínicas por exame objetivo estruturado por estações, com emprego de pacientes padronizados. Uma aplicação no Brasil. R Bras Educ Med 1996; 20: 53-59.
• 4. Wilkinson TJ, Newble DI, Wilson PD, Carter JM, Helms RM. Development of a three-center simultaneous objective structured clinical examination. Med Educ 2000; 34: 798-807.
• 5. Hilliard RI, Tallet SE. The use of an objective structured clinical examination with postgraduate residents in pediatrics. Arch Pediatr Adolesc Med 1998; 152: 74-78.
• 6. Schwartz RW, Witzke DB, Donnelly MB, Stratton T, Blue AV, Sloan DA. Assessing residents' clinical performance. Cumulative results of a four-year study with the objective structured clinical examination. Surgery 1998; 124: 307-312.
• 7. Carracio C, Englander R. The objective structured clinical examination. A step in the direction of competency-based evaluation. Arch Pediatr Adolesc Med 2000; 154:736-741.
• 8. Carracio C, Englander R, Wolfsthal S, Martin C, Ferentz K. Educating the pediatrician of the 21st century: defining and implementing a competency-based system. Pediatrics 2004; 113: 252-258.
• 9. Troncon LEA. Clinical skills assessment: limitations to the introduction of an "OSCE" (objective structured clinical examination) in a traditional brazilian medical school. São Paulo Med J 2004; 122: 12-17.
• 10. Cusimano MD, Cohen R, Tucker W, Murnaghan J, Kodama R, Reznick R. A comparative analysis of the costs of administration of an OSCE. Acad Med 1994; 69: 571-576.
• 11. Reznick RK, Smee S, Baumber JS et al.Guidelines for estimating the real cost of an objective structured clinical examination. Acad Med 1993; 68: 513-517.
• 12. Coehn R, Rothman AI, Ross J, Poldre P. Security issues in standardized-patient examination stations. Impact of repeated use of objective structured clinical examinations. Acad Med 1993 supl; 68: 73-75.
• 13. Haist SA, Wilson JF, Brigham NL, Fosson SE, Blue AV. Comparing fourth-year medical students with faculty in the teaching of physical examination skills to first-year students. Acad Med 1998; 73: 198-200.
• 14. Ross JM, Walter JM, Malenka DJ, Reilly B, Moore-West M. A new approach to preparing students for academic medicine. Med Educ 1989; 23: 265-269.
• 15. Barnes HV, Albanese M, Schroeder J, Reiter S. Senior medical students teaching the basic skills of history and physical examination. J Med Educ 1978; 53: 432-434.
• 16. Sasson VA, Blatt B, Kallenberg G, Delaney M, White FS. "Teach 1 do1better": superior communication skills in senior medical students serving as standardized patient-examiners for their junior peers. Acad Med 1999; 74: 932-937.
• 17. Harden RM, Stevenson M, Downie WW et al. Assessment of clinical competence using objective structured clinical examination. Br Med J 1975; 1: 447-451.
• 18. Newble DI. Assessing clinical competence at the undergraduate level. Med Educ 1992; 26: 504-511.
• 19. Newble DI, Dawson B, Dauphinee D et al. Guidelines for assessing clinical competence. Teach Learn Med 1994; 6: 213-220.
• 20. Selby C, Osman L, Davis M, Lee M. Set up and ran an objective structured clinical exam. Br Med J 1995; 310: 1187-1190.
• 21. Collins JP, Harden RM. AMEE medical education guide nş 13: real patients, simulated patients and simulators in clinical examinations. Med Teach 1998; 20: 508-521.
• 22. Resnick PJ, MacDougall E. The use of senior medical students as preceptors in freshman clinical science. J Med Educ 1976; 51: 763-765.
• 23. Josephson SA, Whelan AJ. A new first-year course designed and taught by a senior medical student. Acad Med 2002; 77: 1207-1211.
• 24. Van Rosendaal GMA, Jennett PA. Comparing peer and faculty evaluations in an internal medicine residency. Acad Med 1994; 69: 299-303.
• 25. Carline JD, Cook CE, Lennard ES, Siever M, Coluccio GM, Norman NL. Residents and faculty differences in students evaluations: implications for changes in a clerkship grading system. Surgery 1986; 100: 89-94.
• 26. Printen KJ, Chappel W, Whitney DR. Clinical performance evaluation of junior medical students. Surgery 1973; 48: 343-8.
• 27. Ringdahl EN, Delzell JE, Kruse RL. Evaluation of interns by senior residents and faculty: is there any difference? Med Educ 2004; 38: 646-51.
• 28. Wilkinson TJ, Frampton CM, Thompson-Fawcett M, Egan T. Objectivity in objective structured clinical examinations: checklists are no substitute for examiner commitment. Acad Med 2003; 78: 219-223.

Anexo

Anexo - clique para ampliar

Datas de Publicação

• Publicação nesta coleção
  11 Abr 2008
• Data do Fascículo
  Abr 2007

Histórico

• Aceito
  11 Jan 2007
• Recebido
  03 Jan 2006