Implantação de um Sistema de Avaliação Estruturada de Performance em Escola Médica: Resultados do Projeto-Piloto

Implementation of a Structured Evaluation System in a Medical School: Pilot Project Results

Resumo:

A avaliação de um processo de ensino-aprendizagem é fundamental para rever objetivos, metodologia e conteúdo. Avaliações de competência clínica através de exames clínicos objetivos estruturados têm-se firmado como instrumentos válidos, fidedignos e efetivos de avaliação de habilidades, além de permitir apreciar as atitudes dos alunos de Medicina. A Faculdade de Ciências Médicas da Unicamp vem implementando extensa reforma curricular nos últimos anos, baseada em módulo de aprendizagem que incluem o ensino de técnicas de entrevista aos aluno do 2° ano de graduação. Descrevemos a implantação de um método baseado em pacientes-padrão, treinados para avaliar conhecimento adquirido, habilidades e as atitudes dos alunos. Os resultados do projeto-piloto aplicado a 10 voluntários no módulo de habilidades de entrevista mostram que o método é factível, relativamente simples e barato, permite um avaliação objetiva das habilidades adquiridas além de identificar precocemente indivíduos com possíveis problemas na relação médico-paciente. O método permitiu ainda identificar pontos que necessitam de reforço por parte do corpo docente assim como rever os objetivos propostos pelo módulo em questão.

Palavras-chave:
Educação Médica, Avaliação; Ensino; Aprendizagem; Competência Clínica

Abstract:

Evaluation of the teaching and learning process is essential in order to review objetives, methods and contentes. The use of objective, structured clinical examination methods is well established as a valid, reliable and effective process for the assessment of clinical skills, besides allowing the perception ofmedical students’ atitudes. The Faculty of Medical Science of Unicamp has implementd na extensive curriculum restructuring process based on learning units that include the teaching of interview techniques to second grade students. We describe the implementation of na assessment method based on standart-pacients trained to evaluate students’ acquantance, skills and atitudes. The results of the pilot Project applied to 10 voluntees demosntrate that the method is feasible, relatively simple and inexpansive and allows na objective assessment of the students’ skills besides providing precocious indications of possible patient-doctor relationship problems. The method allowed us to identify points that need to be reinforced by the teachers during the course as well as to review our aims in the module evaluated.

Key-words:
Education, Medical; Evaluation; Teachig; Learning; Clinical Competence

INTRODUÇÃO

A Faculdade de Ciências Médicas (FCM) da Universidade Estadual de Campinas (Unicamp) vem implementando um extenso projeto de reforma curricular que tem sido referência nacional. As principais modificações introduzidas envolvem a integraçãode conteúdos desenvolvidos sob a forma de modulo sem que diferentes aspectos, básicos e clínicos, são enfocados por professores de diferentes departamentos ou áreas.

A avaliação do desempenho de alunos de Faculdades de Medicina tem sido apontada como fator de maior importância na capacitação de profissionais voltados para as necessidades aluais da população^1,2.·O uso de métodos de avaliação do desempenho confiáveis, reprodutíveis e efetivos, é indubitavelmente prioridade no processo de avaliação da qualidade dos nossos cursos de Medicina^3,4. Infelizmente, os métodos clássicos de avaliação sofrem de inevitáveis restrições na pontuação das habilidades adquiridas pelo aluno, na sua capacidade de comunicação e na avaliação de seu raciocínio clínico⁵. O principal fator de limitação destes métodos decorre das impressões subjetivas dos preceptores e de sua influência na avaliação de desempenhos objetivos. Mais ainda, no sistema de ensino tradicional, os professores têm grande dificuldade de avaliar a relação médico-paciente ou de apontar atitudes pouco apropriadas ou inadequadas de seus alunos.

As diretrizes curriculares aplicadas ao ensino da Medicina têm atribuído crescente importância ao ensino de atitudes centradas na formação geral do médico, com orientação ao todo do indivíduo, enfatizando as competências técnicas, éticas e humanísticas e o espírito crítico, mas sempre respeitando o contexto psico-sócio-econômico e a autonomia do paciente⁶. A avaliação clínica objetiva e estruturada (Objective Structured Oinical Examination -OSCE) foi inicialmente descrita por Harden e seus colegas e envolve um percurso de estações onde as habilidades do aluno são testadas em tarefas específicas⁷. Além de poder medir de forma objetiva habilidades técnicas e a capacidade de comunicação do aluno, o método pode ser aplicado para avaliar atitudes⁸.

No 2° ano da nova grade curricular da FCM, uma das partes do módulo designado como "Habilidades II" visa capacitar o aluno a realizar entrevistas clínicas, registrar os dados da identificação, coletar adequadamente os dados que compõem a anamnese de forma clara e cronologicamente correta, enumerando os antecedentes pessoais fisiológicos e psicológicos, realizar o heredograma e listar os antecedentes familiares do paciente em condições normais e em condições especiais.

O aluno é, portanto, treinado a entrevistar pacientes com diferentes graus de confiabilidade e em situações especiais como déficit de memória, anormalidades na fala, problemas psiquiátricos e outros. Sua habilidade em obter tais dados vem sendo, tradicionalmente, avaliada de forma objetiva através de uma anamnese obtida de paciente internado em nossas enfermarias do Hospital das Clinicas da FCM. No entanto, a grande variedade de situações clinicas e ambientais a que o paciente e o próprio aluno estão sujeitos dificulta a avaliação real de desempenho. Não raramente a entrevista tem de ser interrompida ou adiada para medicação, procedimentos ou porque o paciente necessita deslocar-se para outro local, desconcertando o aluno e dificultando o estabelecimento de uma relação médico-paciente adequada.

Mais ainda, o corpo docente não tem como avaliar a postura do aluno, sua atitude frente ao doente. Nosso corpo docente preocupa-se com a introdução precoce de conceitos humanísticos no trato dos pacientes, almejando incorporar tal avaliação ao resultado obtido no ensino do módulo Habilidades II.

Conscientes de que os métodos de avaliação norteiam o processo de ensino-aprendizagem, decidimos implantar um método apropriado para:

1. verificar a competência do estudante em suas habilidades clínicas;

2. informar ao estudante acerca de seus pontos fracos assim como de suas melhores atuações nas técnicas de entrevista;

3. prover um retorno ao corpo docente envolvido no modulo correspondente acerca da maneira pela qual seus estudantes se desempenharam;

4. analisar as atitudes do aluno para com o paciente;

5. prover a nossa Comissão de ensino com um resumo informativo acerca da viabilidade do método, de seu planejamento e implementação, mostrando os resultados que pode obter.

Apresentamos os resultados iniciais da implan tação de projeto-piloto de avaliação utilizando pacientes-padrão, especialmente treinados para objetivamente avaliar o desempenho do aluno na asserção dos dados de anamnese e em sua atitude para com o paciente.

MÉTODOS

Após visita de treinamento de membro de nossa equipe (Laura S. Ward) para observação do método na Universidade da Flórida, a convite do Harrell Professional Development and Assessment Center, sob coordenação da Dra. Margaret C. Duerson, implementamos projeto-piloto de avaliação objetiva estruturada em nossa Faculdade de Ciências Médicas da Unicamp. Utilizamos um caso desenvolvido pelo Harrell Center que foi adaptado a nossa realidade por membro da equipe adequando a linguagem aos padrões brasileiros.

Um funcionário da FCM, que foi voluntário para tanto, foi treinado para representar o papel de um paciente deprimido, recebendo um histórico da patologia, da vida, hábitos e antecedentes do paciente-padrão representado. Todas as entrevistas começavam com uma mesma frase: "Tenho tido problemas para dormir e ando muito desanimado", que o paciente foi treinado a repetir. No entanto, a condução da entrevista a seguir ficava a cargo do aluno avaliado, reproduzindo uma situação de consulta ambulatorial rotineira. O paciente-padrão foi instruído a dar sempre as mesmas respostas para perguntas similares.

Antes de receber os alunos do curso de graduação em Medicina, o paciente-padrão foi entrevistado por docente da Disciplina de Medicina Interna e Semiologia, externo ao processo em curso. Tal docente considerou nosso funcionário voluntário apto a desempenhar o papel de indivíduo deprimido.

Foram recrutados 10 voluntários entre alunos regulares do módulo de Habilidades II. Os alunos se dirigiam para área onde aguardavam sua vez. Ali, recebiam de membro da equipe instruções de que deveriam obter uma História Pregressa da Moléstia Atual do paciente-padrão, cujos dados de identificação lhes eram previamente fornecidos. Consideramos como itens importantes a serem perguntados: a queixa do paciente e sua duração; a caracterização da severidade da queixa através de perguntas sobre a influência do quadro de depressão nas atividades laborais do paciente e na sua vida familiar além de avaliação o do risco de suicídio; a caracterização de sintomas acompanhantes ao quadro de depressão como perda ou ganho de peso, alterações de sono, drogadição ou abuso de ingestão de álcool; antecedentes pessoais e familiares de suicídio ou tentativas de suicídio.

A entrevista foi realizada em sala similar à de um consultório, na verdade sala de reuniões do Departamento de Clínica Médica, apenas com uma mesa e cadeiras. Após os 10 minutos previstos para a entrevista, o aluno se retirava e o paciente-padrão respondia a 11 questões envolvendo a habilidade do aluno em obter informações sobre sua condição e 5 questões acerca de sua atitude. Estas questões eram apresentadas em forma de formulários a serem preenchidos, os quais já eram do conhecimento do paciente-padrão. As tabelas 1 e 2 mostram os questionários preenchidos pelo paciente-padrão. Os alunos foram solicitados, em seguida, a redigir e entregar suas observações.

RESULTADOS

A prova foi considerada simples e prática, tanto pelos alunos como pelos docentes envolvidos. O funcionário recrutado para atuar como paciente-padrão não encontrou nenhuma dificuldade maior na interpretação do personagem, nem na avaliação dos alunos. Seu treinamento, envolvendo instruções e a verificação do 'caso-padrão' por docente externo ao projeto durou pouco mais de 1 hora. A realização total da prova se estendeu por cerca de 2 horas, de modo que o paciente-padrão levou cerca de 1 minuto para preencher os formulários de avaliação.

A Figura 1 mostra que os alunos souberam caracterizar a queixa de depressão, avaliada através de 4 questões, de forma excelente (os 4 quesitos foram perguntados pelo aluno ao paciente-padrão) ou boa (3 dos 4 quesitos). Nove alunos identificaram sintomas associados à queixa de depressão, como anorexia. No entanto, 7 dos 10 alunos não se preocuparam em interrogar hábitos eventualmente associados ao quadro depressivo, como fumo, alcoolismo e drogadição e apenas 1 aluno identificou o risco de suicídio do paciente. Tais resultados foram comunicados aos membros do corpo docente com sugestões para a adequação de seus métodos de ensino quanto à orientação de nossos alunos em relação a tais pontos específicos.

Figura 1
Desempenho relativo à caracterização da queixa do paciente-padrão durante a anamnese.

A Figura 2 mostra os resultados relacionados à atitude do aluno frente ao paciente. Embora a maior parte dos entrevis­tadores tenha tido um desempenho considerado bom, um deles foi considerado ríspido e outro usou linguagem considerada pelo paciente-padrão como inadequada pelos termos técnicos usados.

Figura 2
Desempenho dos alunos em relação à maneira como o paciente-padrão avaliou.

A pontuação das histórias escritas, realizada por 2 docentes do módulo, se mostrou comparável à pontuação conferida pelo paciente-padrão, com variações não maiores do que 15%.

DISCUSSÃO

A reforma de ensino instituída com a XXIX turma da Faculdade de Ciências Médicas da Unicamp vem procurando estruturar-se dentro dos objetivos definidos nas diretrizes do Ministério da Educação. Nosso curso destaca-se por procurar formar médicos generalistas, com perfil humanístico, crítico e reflexivo, capacitados a atuais, pautados em princípios éticos, no processo de saúde-doença em seus diferentes níveis de atenção, com ações de promoção, prevenção, recuperação e reabilitação da saúde, na perspectiva de integralidade da assistência, com senso de responsabilidade social e compromisso com a cidadania, como promotores da saúde integral do ser humano.

Dentro desta perspectiva, o curso está estruturado para oferecer ao aluno de graduação diferentes cenários de ensino-aprendizagem, permitindo-lhe conhecer e vivenciar situações variadas da organização da prática do trabalho em equipe multiprofissional e também vincular, através da integração ensino-serviço, sua formação médico-acadêmica às necessidades sociais da saúde. Este processo, relativamente novo, necessita de avaliações contínuas, críticas e bem estruturadas. Assim, é fundamental a implantação de métodos de avaliação capazes de fornecer um real perfil da eficácia do nosso processo de reforma curricular.

A avaliação das competências adquiridas pelos estudantes durante cursos de Medicina é assunto de considerável controvérsia e grande preocupação atual, particularmente no que se refere às competências não-cognitivas, como habilidades, comunicação e postura em relação ao paciente. O emprego de sistemas de avaliação estruturada, com o uso de pacientes­padrão especificamente treinados para simular problemas na área da saúde é bastante difundido em todo o mundo^9,12. O método é considerado o mais reprodutível entre os métodos padronizados para avaliar habilidades^13,14.·O número de escolas de Medicina que utilizam pacientes-padrão em algum período do curso aumentou de 34,1% a 50,4% entre os anos de 1993 e 1998 nas 125 escolas médicas dos Estados Unidos da América^13,14. Os pacientes-padrão podem reproduzir de maneira eficaz e realística várias situações importantes na aprendizagem médica além de avaliar objetivamente habilidades, desempenhos e atitudes dos alunos¹⁵.

Nossos resultados sugerem que nossos alunos têm um desempenho comparável com o de outras instituições em relação ao aprendizado de técnicas básicas em clínica médica¹⁶.

Este projeto-piloto mostrou que a avaliação estruturada baseada em pacientes-padrão possui várias vantagens, como o fato de poder ser programada em horários convenientes ao corpo docente e discente sem depender da disponibilidade de pacientes, a possibilidade de detectar deficiências no ensino e de apontar precocemente falhas em determinadas atitu­des do aluno para com o paciente. O método foi implantado de forma relativamente simples e não implicou em maiores gastos, corroborando dados da literatura que mostram uma análise positiva do ponto de vista custo-benefício¹⁷.

Um sistema de avaliação estruturada semelhante, por estações e com emprego de pacientes padronizados para avaliação de aprendizado em Clínica Médica, já havia sido introduzido em 1995 na Faculdade de Medicina de Ribeirão Preto¹⁸. Entretanto, uma profunda avaliação do impacto de tal sistema fez o professor Troncon sugerir que a implantação de exames clínicos objetivos estruturados em escolas médicas tradicionais não deve partir de iniciativas isoladas, mas que deve ser realizada em toda escola, com alocação de verbas de custeio adequadas, apoio institucional e ampla divulgação¹⁹.

Em conclusão, sugerimos que a realização de uma avaliação estruturada utilizando pacientes-padrão é factível em nosso meio, traz importantes benefícios para o ensino da Medicina e pode ser realizada com um custo relativamente baixo.

REFERÊNCIAS

• ¹
  Lowry S. Assessment of students. BMJ. 1993;306:51-4.
• ²
  Burge SM. Undergraduate medical curricula: are students being trained to meet future service needs? Clin Med. 2003;3:243-6.
• ³
  Fowell SL, Bligh JG. Recent developments in assessing medical students. Postgrad Med J 1998;74:18-24.
• ⁴
  lnternational standards in medical education: assessment and accreditation of medical schools' - educational programmes. A WFME position paper. The Executive Council, The World Federafion for Medical Educatíon. Med Educ. 1998;32:549-58.
• ⁵
  Albanese M. Rating educational quality: factors in the erosion of professional standards. Acad Med. 1999; 74:652-8.
• ⁶
  Haidet P, Dains JE, Paterniti DA, Hechtel L, Chang T, Tseng E, Rogers JC. Medical student altitudes toward the doctor­patient relationship. Med Educ . 2002;36:568-74
• ⁷
  Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structural examination. Br Med J. 1975; 1: 447-51.
• ⁸
  de Monchy C, Richardson R, Brown RA, Harden RM. Measuring altitudes of doctors: the doctor·patient (DP) rating. Med Educ . 1988;22:231-9.
• ⁹
  Satish U, Streufert S. Value of a cognitive simulation in medicine: towards optimizing decision making performance on healtheare personnel. Qual Saf Health Care. 2002;11:163-7.
• ¹⁰
  Cioffi J. Clinical simulations: development and validation. Nurse Educ Today. 2001;21:477-86.
• ¹¹
  Sanei LA, Day NA, Coffey CMM, Patton G, Bowes G. Simulation in evaluation of trainillg: a medical example using standardized patients. Eval Prog Plann. 2002, 25:35-46
• ¹²
  Nagoshi MH. Role of standardized patients in medical education. Hawaii Med J. 2001;60:323-4
• ¹³
  Kassebaum DC, Eaglen RH. Shortcomings in the evaluation of students' clinicai ski11s and behaviors in medical school. Acad Med . 1999;74:842-9.
• ¹⁴
  Adamo G. Simulated and standarclized patients in OSCEs: achievements and challenges 1992-2003. Med Teach. 2003;25:262-70.
• ¹⁵
  Fincher RM. A longitudinal approach to teaching and assessing professional altitudes and behaviors in medical school. Acad Med . 2001;76:505-6.
• ¹⁶
  Kira CM, Atta JA. The teaching of basic clinicai skills at School of Medicine, University of Sao Paulo. Rev Hosp Clin Fac Med São Paulo. 1998;53:331-4.
• ¹⁷
  Hasle JL, Anderson DS, Szerlip HM. Analysis of the costs and benefits of usillg standardized patients to help teach physical diagnosis. Acad Med . 1994;69:567-70.
• ¹⁸
  Troncon LEA, Foss NT, Voltarelli JC, et al. Avaliação de habilidades clínicas por exame objetivo estruturado por estações, com emprego de pacientes padronizados: uma aplicação no Brasil. Rev Bras Educ Méd. 1996;20:53-60.
• ¹⁹
  Troncon LE. Clinical skills assessment: limitations of an "OSCE" (objective structures clinical examination) in a traditional Brazilian medical school. Sao Paulo Med J. 004;122:12-7.

Datas de Publicação

• Publicação nesta coleção
  15 Jun 2020
• Data do Fascículo
  Sep-Dec 2005

Histórico

• Recebido
  06 Fev 2004
• Revisado
  08 Nov 2004
• Revisado
  04 Ago 2005
• Aceito
  14 Out 2005