Acessibilidade / Reportar erro

AVALIAÇÃO DE HABILIDADES CLÍNICAS POR EXAME OBJETIVO ESTRUTURADO POR ESTAÇÕES, COM EMPREGO DE PACIENTES PADRONIZADOS; Uma aplicação no Brasil (parte lI)

Resumo:

Neste trabalho, descrevemos os resultados da aplicação, do exame clínico objetivo estruturado por estações, com emprego de pacientes padronizados, para avaliação final de 41 estudantes que concluíram a disciplina de Semiologia Geral da Faculdade de Medicina de Ribeirão Preto . Foram construídas 6 estações, com duração de 6 minutos cada, para avaliação de aspectos da tomada da história clínica em pacientes simulados e da realização do exame clínico em pacientes reais. Uma semana após o exame, os estudantes responderam a um questionário com itens sobre sua percepção da prova. A aplicação destes métodos permitiu a obtenção de informações muito detalhadas, tanto sobre o desempenho geral dos estudantes, como sobre virtudes e defeitos da disciplina que os mesmos haviam acabado de cursar. A percepção dos estudantes sobre aspectos gerais do exame, como seleção de tarefas, casos e conteúdos foi satisfatória. No entanto, relataram dificuldades importantes com o controle do tempo em cada estação e referiram que o exame foi muito estressante. Estes fatores, que podem estar ligados a aspectos de ordem cultural mais amplos, devem ser levados em consideração quando da introdução, em outros centros, destes métodos inovadores de avaliação de habilidades clínicas, já consagrados em outros países.

Palavras-Chave:
Avaliação educacional; Avaliação de desempenho; Exame objetivo; Habilidades clínicas; Pacientes padronizados; Estudantes e medicina; Educação médica

Summary

We describe the application of an Objective Structured Clinical Examination (OSCE) Standardized Patients (SP) for the assessment of basic clinical skills of Junior medical students at Ribeirão Preto Medical School. This OSCE comprised 6 stations lastng 6 min each. Two stations were staffed by Sps for evaluation of history-taking skills. The other stations had real patients with true signs, for assessment of physical examination skills. Performance of the examinees was evaluated by faculty members using detailed checklists. One week later, students answered a questionnaire with items on their perception of the examination. Faculty members were impressed with the quality of the information provided by the exam, which allowed them to confidently discriminate students regarding their performance level. Also, the assessment revealed a number of flaws in the course, which prompted the relevant corrections backed by objective data. Students were fairly comfortable with clinical cases, tasks and contents, but reported serious difficulties with time management and regarded the examination to be remarkably stressful. These factors, which might be associated with broader cultural aspects, should be taken into consideration when running OSCEs for the first time.

Key-Words:
Educational evaluation; Performance evaluation; Objective examination; Clinical Abilities; Standardized Patients; Medical students; Medical education

1. Introdução

A avaliação das habilidades clínicas dos estudantes de Medicina de muitas escolas médicas do Brasil e do Exterior tem sido feita por métodos tradicionais; nestas um professor examina a maneira pela qual o estudante aborda um paciente comum, em condições onde não há preocupação maior com a objetividade e a padronização (33. BARROWS, H. S., ABRAHAMSON S. The Programed patient: a technique for appraising student performance in clinical neurology. Journal of Medical Education, v. 39, p. 802-5, 1969.),(1515. STOKES, J. The Clinical examination-assessment of clinical skills: medical education booklet 2. Dundee: Association for the Study of Medical Education, 1974.),(2323. WEATHERALL, D.J. Examining undergraduate examinations. Lancet , v. 338, p. 37-9, 1991.. Em países mais desenvolvidos do Hemisfério Norte, esta maneira da avaliação tem sido substituída por técnicas que garantem alto grau de objetividade e maior padronização das condições de avaliação1818. VAN DER VLEUTEN, C. P. M., SWANSON, D. B. Assessment of clinical skills with standardized patients: state of the art. Teaching and Learning Medicine, v.2, p. 58-76, 1990.),(1010. MULHOLLAND, H., TOMBLESON, P. M. J. Assessment of the general practitioner. British Journal of General Practice, v. 40, p. 252-4, 1990.),(1919. VAN DER VLEUTEN, C., NEWBLE, D. I. How can we test clinical reasoning? Lancet , v. 345, p. 1032 - 1034, 1995.. Entre esses métodos, dois dos mais usuais são o Exame Clínico Examination (O.S.C.E) e o emprego da técnica de pacientes padronizados 11. BARROWS, H.S. Simulated (standardized) patients and other human simulations: a comprehensive guide to their training and use in teaching and evaluation. Chapel Hill: North Caroline Health Sciences Consortium, 1987.),(22. BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.),(55. HARDEN, R. M., STEVENSON, M., DOWNIE W. W. et al. Assessment of clinical competence using objective structured clinical examination. British Medical Journal, v. 1, p.447-51, 1975.),(66. HARDEN, R. M., GLEESON, F. A. Assessment of Clinical competence using an objective structured clinical examination (OSCE). Medical Education , V. 13 , p. 39-45, 1979.),(1111. RESNICK,R. K., SMEE S., ROTHMAN, A., et al. For The license ciate: reporrt of the pilot project of the medical council of Canadá. Academic Medicine , V. 67, p.487 - 94, 1992.),(1313. SELBY, C., OSMAN, L., DAVIS M, LEE, M. Setup and run an objective structured clinical exam. British Medical Journal , v. 310, p. 1187-90, 1995.),(1818. VAN DER VLEUTEN, C. P. M., SWANSON, D. B. Assessment of clinical skills with standardized patients: state of the art. Teaching and Learning Medicine, v.2, p. 58-76, 1990.).

No artigo Avaliação de Habilidades Clínicas - Parte I- descrevemos a sistemática adotada na introdução destas técnicas, para aplicação no exame final de estudantes que concluírem o curso de Semiologia Geral na Faculdade de Medicina de Ribeirão Preto1717. TRONCON, L.E.A., VOLTARELLI, J. C., FOSS, N.T., et al. Avaliação de habilidades clínicas por exame objetivo estruturado por estações, com emprego de pacientes padronizados: primeira aplicação no Brasil: parte I. Rev. Bras. Educ. Médica. v. 20, n. 2-3, maio/dez. 1996. Neste artigo-parte II, apresentamos os resultados obtidos na aplicação do método em uma turma de 41 alunos, no que se refere ao desempenho dos estudantes , à percepção dos estudantes sobre o exame, bem como os comentários pertinentes.

2. Métodos

2.1 Exame de Habilidades Clínicas

Foram examinados 41 estudantes do terceiro ano de Medicina que concluíram a disciplina de Semiologia Geral no Departamento de Clínica Médica. Esta visa ensinar a realização da Observação Clínica (Anamnese e Exame Físico) por meio de demonstrações e exercícios práticos da abordagem de pacientes selecionados.

Para a aplicação da técnica de exame clínico objetivo estruturado55. HARDEN, R. M., STEVENSON, M., DOWNIE W. W. et al. Assessment of clinical competence using objective structured clinical examination. British Medical Journal, v. 1, p.447-51, 1975.),(66. HARDEN, R. M., GLEESON, F. A. Assessment of Clinical competence using an objective structured clinical examination (OSCE). Medical Education , V. 13 , p. 39-45, 1979. com o uso de pacientes padronizados22. BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.),(1818. VAN DER VLEUTEN, C. P. M., SWANSON, D. B. Assessment of clinical skills with standardized patients: state of the art. Teaching and Learning Medicine, v.2, p. 58-76, 1990. , foram elaboradas 6 estações, com duração de 6 minutos cada. Duas estações relacionadas à anamnese foram ocupadas com pacientes simulados, enquanto que as 4 estações restantes foram ocupadas com pacientes reais para avaliação de diferentes aspectos do exame físico. Em todas as estações, foi também, analisada a interação dos estudantes com os pacientes. Nas 4 estações restantes foram ocupadas com pacientes reais para avaliação de diferentes aspectos do exame físico. Em todas as estações, foi, também, analisada a interação dos estudantes com os pacientes. Nas 4 estações de exame físico, o estudante tinha, ainda, que responder a questões breves sobre os achados encontrados. O desempenho dos estudantes em cada estação foi avaliado por docentes que empregaram protocolos de observação estruturados.

A descrição das estações, das tarefas propostas, dos conteúdos envolvidos, bem como do formato dos instrumentos de observação empregados e dos critérios para a análise dos resultados foi apresentada com detalhes na Parte I deste trabalho1717. TRONCON, L.E.A., VOLTARELLI, J. C., FOSS, N.T., et al. Avaliação de habilidades clínicas por exame objetivo estruturado por estações, com emprego de pacientes padronizados: primeira aplicação no Brasil: parte I. Rev. Bras. Educ. Médica. v. 20, n. 2-3, maio/dez. 1996.

2.2 Percepção dos Estudantes sobre o Exame

Uma semana após a realização do exame, todos os estudantes examinados foram convidados a preencher um questionário contendo itens sobre a adequação de diferentes aspectos relacionados a:

  1. Estruturação de cada estação (descrição dos casos. Explicitação das tarefas, complexidade das tarefas, tempo disponível, compatibilidade entre tarefas e questões, dificuldade das questões etc.);

  2. A organização geral da prova;

  3. O nível de estresse sentido durante a realização do exame.

Todos os itens foram avaliados pelos alunos por meio de atribuição de escores variando de 1 (“Mínimo” ou “Péssimo”, dependendo do tipo de item) a 5(“Máximo” ou “Excelente”).

O questionário continha, também, solicitação de indicação de uma estação que, em seu conjunto, tinha sido "Particularmente Satisfatória”, bem como espaço suficiente para que o estudante discorresse sobre diferentes aspectos do exame, fazendo críticas positivas ou negativas ao procedimento.

3. Resultados

Desempenho dos Alunos

A representação gráfica da distribuição dos estudantes classificados nas diferentes categorias descritivas do seu desempenho está apresentada no Gráfico 1. Verificou-se que, dos 41 estudantes examinados 6 (14 ,6%) tiveram desempenho considerado como Excelente 13(31,7%) como Bom, 19(46,4%) como médio e apenas 3 alunos (7,3%) com desempenho ruim.

Gráfico 1
Percentual de desenvolvimento de 41 estudantes por categoria no exame clínico objetivo estruturado por estações da Disciplina de Semiologia Geral do Departamento de Clínica Médica, FMRP

No que se refere ao domínio das 55 habilidades avaliadas, verificou-se e que 23% dos estudantes demonstrou domínio de mais de 70% delas, 65% dos estudantes dominou entre 50% e 70% das habilidades e apenas 12% deles exibiu domínio de menos da metade das habilidades avaliadas, conforme ilustra o Gráfico 2.

Gráfico 2
Percentual de habilidades de 41 estudantes no exame clínico objetivo estruturado por estações da Disciplina de Semiologia Geral do Departamento de Clínica Médica, FMRP

3.2 Análise do Domínio das Habilidades Avaliadas

A análise da distribuição dos estudantes quanto a demonstração ou não de comportamento indicativo de domínio das diferentes habilidades avaliadas revelou um perfil muito variável. Assim é que algumas delas, exemplificadas na Tabela I, tiveram uma proporção expressiva de estudantes com os comportamentos esperados, indicando, portanto, domínio satisfatório das mesmas. Por outro lado, outras habilidades exemplificadas na Tabela II, tiveram proporção muito reduzida de alunos com comportamentos indicativos de domínio.

TABELA I
Exame clínico objetivo estruturado por estações. Exemplos de comportamentos demonstrados por alta proporção dos alunos, indicando domínio de determinadas habilidades.

TABELA II
Exame clínico objetivo estruturado por estações. Comportamentos demonstrados por pequena proporção de alunos, indicativos de ausência de domínio de determinadas habilidades.

Os percentuais de estudantes que dominaram mais de 70% das habilidades envolvidas nas diferentes estações estão representados no Gráfico 3. Observou-se que a Estação nº 1 (Anamnese - caracterização do sintoma principal) foi a que apresentou maior percentual, enquanto que as Estações de nº 5 (Exame Físico - aparelho respiratório) e 6 (Anamnese - caracterização de hábitos e condições de vida) apresentaram os menores valores.

Gráfico 3
Desempenho dos alunos nas habilidades do exame clínico objetivo estruturado por estações

3.3 Percepção dos Estudantes sobre o Exame

Dos 41 estudantes submetidos ao exame, 37 (90,2%) concordaram em responder ao questionário contendo itens sobre a elaboração da prova e a receptividade dos alunos à mesma.

Houve distribuição aproximadamente simétrica dos percentuais de alunos atribuindo escores na faixa de 1 a 5 aos diferentes itens relativos à estruturação geral das 6 estações. Por exemplo, o quesito “complexidade das Tarefas Clínicas Solicitadas" teve 14,0% de respostas "Ótimo", 16.3% de "Bom", 57,6% de "Regular", 6,1% de "Ruim" e 6,0% de "Péssimo". Já o item "Tempo disponível" foi considerado como "Péssimo" ou como "Ruim" (escores 1 ou 2) por 72,7% dos estudantes.

No que se refere ao grau de estresse associado ao procedimento, uma maioria expressiva dos estudantes (69,6%) atribuiu escore 4 ou 5, indicativos da presença mais intensa deste fator durante a avaliação.

De modo geral, houve maior aceitação dos alunos as duas estações relativas a Anamnese, do que as 4 estações envolvendo exame físico, uma vez que o percentual de alunos assinalando uma das primeiras como "Particularmente Satisfatória"(57,1%) foi superior aquele (42,8%) de alunos que optou por uma das relacionadas ao exame físico.

Na parte " aberta" do questionário, foram tecidas críticas variadas à organização geral do exame e foi sinalizada a falta de hábito dos estudantes com este tipo de avaliação de desempenho. Os fatores "tempo disponível para cada estação" e "estresse" foram destacados por muitos estudantes como tendo impacto negativo no seu desempenho. Não houve críticas negativas à participação dos pacientes padronizados nas diferentes estações, nem indícios de distinção entre os pacientes reais e os simulados.

4. Discussão

A avaliação prática final dos estudantes na disciplina de Semiologia Geral era feita por método tradicional, com diferentes professores examinando vários estudantes de maneiras distintas e emitindo, ao término do processo. Uma nota final a cada aluno, na faixa de variação de "zero" a "dez". A aplicação desta sistemática permitia a detecção ocasional de alguns estudantes com desempenho global muito insatisfatório, mas, ao longo de várias décadas, falhou em fornecer perfis mais completos e acurados. Tanto do desempenho dos vários alunos, medido em condições uniformes e padronizadas, como também do grau de domínio das principais habilidades aprendidas. Neste sentido, a primeira aplicação do exame objetivo estruturado por estações trouxe resultados que permitiram uma análise muito mais acurada da distribuição geral dos alunos e, para cada um deles, da existência de qualidades e deficiências muito bem definidas. Além disso, foi possível discriminar com muito mais segurança, dispondo com dados documentais mais concretos, os estudantes com padrão insuficiente de desempenho. Por outro lado, o conjunto dos resultados obtidos forneceu um panorama mais completo do ensino e do aprendizado dos diferentes tópicos. A obtenção destes dados, em particular, possibilitou conhecimento mais preciso sobre a qualidade geral da disciplina e permitiu que fossem feitos, imediatamente, os ajustes necessários.

Deste modo, foi possível constatar que a distribuição dos alunos em relação às diferentes categorias de desempenho tiveram características aproximadamente gaussianas, mas com tendência a maior concentração no lado mais positivo, visto que quase metade dos estudantes examinados (46,3%) concentrou-se nas categorias Excelente e Bom, e menos de 10% dos estudantes tiveram performance claramente insuficiente (Gráfico 1). Concordante com esta análise foi o fato de 88% dos estudantes examinados terem exibido domínio de mais da metade das 55 habilidades avaliadas e apenas 12% dos mesmos terem demonstrado domínio de menos de 50%das habilidades avaliadas (Gráfico 2). Dado o rigor e a precisão inerentes a este modo de exame e o possível efeito negativo de diferentes fatores (falta de hábito e estresse) no desempenho dos estudantes, é possível considerar estes números como sugestivos da alta qualidade global do curso de Semiologia Geral.

A análise mais detalhada dos resultados permitiu verificar a existência de algumas distorções na aquisição de habilidades clínicas pelos estudantes. Assim, por exemplo, o desempenho geral nas duas estações de Anamnese foi muito satisfatório, mas notou-se que alguns tópicos são explorados de forma mais eficiente do que outros. Por exemplo (Tabelas I e II), a maioria dos alunos caracteriza adequadamente a natureza do sintoma principal (dor torácica), mas apenas uma minoria (25%) explorou o seu modo de início. Isto pode estar refletindo diferenças de ênfase dadas por diferentes professores com formações distintas ou, por outro lado, a influência de experiências prévias dos alunos ou de aprendizado anterior informal ou adquirido em disciplinas básicas. Houve, também, a revelação de deficiências absolutas muito bem definidas na execução do Exame Físico, como, por exemplo, a realização da percussão mediata do tórax sobre as costelas (e não sobre os espaços intercostais) e a tendência a restringir o exame do aparelho respiratório apenas a face posterior do tórax. Outro ponto detectado com muita nitidez foi a dificuldade que os alunos exibiam de concluir com segurança sobre o significado de um determinado achado. Por exemplo (Tabelas I e II), a maioria dos estudantes efetuou corretamente as manobras semiotécnicas de pesquisa de ascite, mas apenas uma minoria concluiu com segurança sobre a sua ocorrência ou não. O mesmo tipo de fenômeno ocorreu com relação a conclusão sobre a existência ou não de esplenomegalia, após a percussão do baço.

Além destas observações, a aplicação desta nova modalidade de exame em condições perfeitamente padronizadas forneceu um rico material de pesquisa, cuja análise em época oportuna poderá trazer respostas objetivas e definidas a algumas questões relevantes, como, por exemplo: a) há diferenças importantes de aprendizado entre os diferentes grupos de estudantes?; b)são essas eventuais diferenças dependentes de características dos estudantes ou de características dos professores?; c) qual a correlação existente entre o aprendizado de tópicos de natureza exclusivamente cognitiva e a incorporação de habilidades práticas próprias da abordagem do paciente ?, etc.

A elaboração das diferentes estações demandou um conjunto de atividades essenciais, como a escolha do “que” avaliar e de ´como´ seria o desempenho-padrão indicativo de domínio das diferentes habilidades. A discussão destes tópicos permitiu rever os graus de importância dados a cada um dos pontos ensinados, bem como uniformizar as várias maneiras de ensiná-los.

Este impacto educacional desta modalidade de exame já foi destacado na literatura como uma das suas principais vantagens66. HARDEN, R. M., GLEESON, F. A. Assessment of Clinical competence using an objective structured clinical examination (OSCE). Medical Education , V. 13 , p. 39-45, 1979.),(1616. SWANSON, A.g., BROWNELL-ANDERSON, M. Educating medical students. Academic Medicine , v. 68, June Supplement, p. S7-S46, 1993.).

A busca do que é relevante para ser avaliado (e, consequentemente, para ser ensinado) e a escolha de situações apropriadas, permitem que se preencha um dos requisitos básicos de qualquer processo de avaliação, que é a validade88. LOWRY, S. Assessment of students. British Medical Journal , v. 306, p. 51-4, 1993.),(99. McMANNUS, I. Examining the educated and the trained. Lancet, v. 345, p. 1151-3, 1995.),(1010. MULHOLLAND, H., TOMBLESON, P. M. J. Assessment of the general practitioner. British Journal of General Practice, v. 40, p. 252-4, 1990.. Por outro lado, a elaboração de um instrumento único, onde os diferentes itens são avaliados de forma objetiva e uniforme, confere fidedignidade a avaliação66. HARDEN, R. M., GLEESON, F. A. Assessment of Clinical competence using an objective structured clinical examination (OSCE). Medical Education , V. 13 , p. 39-45, 1979.. Além disso, o exame clínico objetivo estruturado por estações constitui um procedimento muito versátil, visto que permite a avaliação de competências e habilidades de naturezas amplas e variadas, como, por exemplo, as habilidades afetivas próprias a adequada interação com o paciente e as habilidades estritamente cognitivas necessárias para a interpretação de dados do exame físico.

No entanto, as vantagens mencionadas de maior validade e fidedignidade, de versatilidade e de alto impacto educacional desta forma de avaliação dependem de grandes investimentos em termos de tempo, de esforço e de dinheiro, necessários para a sua organização e a realização em moldes satisfatório1313. SELBY, C., OSMAN, L., DAVIS M, LEE, M. Setup and run an objective structured clinical exam. British Medical Journal , v. 310, p. 1187-90, 1995.. Estes fatores nem sempre estão presentes nas doses suficientes em nossas escolas médicas.

Em particular, o alto investimento de tempo necessário para que se cumpram as diferentes etapas de planejamento, organização e realização da avaliação, bem como para a análise dos resultados de um exame clínico estruturado por estações, com emprego de pacientes padronizados, recai exclusivamente sobre o corpo docente, visto que nossas escolas não contam com infraestrutura de apoio educacional (Departamentos ou Seções de Educação Médica ou de Desenvolvimento Educacional) que congregue recursos materiais e humanos em quantidade e qualidade adequados. Assim sendo, a impossibilidade de dedicar maior tempo e energia ao desenvolvimento de um processo reconhecidamente elaborado e trabalhoso constitui, possivelmente, a principal fonte de resistência do. Corpo docente a este tipo de avaliação.

Não obstante estas dificuldades, presentes em outros lugares do mundo1616. SWANSON, A.g., BROWNELL-ANDERSON, M. Educating medical students. Academic Medicine , v. 68, June Supplement, p. S7-S46, 1993., o exame clínico objetivo estruturado por estações vem tendo enorme difusão e aceitação, passando a se constituir no padrão de referência para a avaliação de habilidades e de competências clínicas, em seus diferentes níveis, do introdutório1313. SELBY, C., OSMAN, L., DAVIS M, LEE, M. Setup and run an objective structured clinical exam. British Medical Journal , v. 310, p. 1187-90, 1995. até a certificação de profissionais médicos e ele especialistas99. McMANNUS, I. Examining the educated and the trained. Lancet, v. 345, p. 1151-3, 1995.),(1111. RESNICK,R. K., SMEE S., ROTHMAN, A., et al. For The license ciate: reporrt of the pilot project of the medical council of Canadá. Academic Medicine , V. 67, p.487 - 94, 1992..

A introdução de "pacientes padronizados" nas avaliações por exame clínico objetivo estruturado por estações22. BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.) veio conferir possibilidades praticamente ilimitadas de avaliação das diferentes habilidades e competências médicas , de forma padronizada e independente da disponibilidade de "casos" (pacientes reais) adequados. O desenvolvimento progressivo deste método e o aumento do conhecimento sobre as suas vantagens e possibilidades foi proporcionado por um intenso trabalho de investigação realizado, principalmente, na América do Norte. Deste modo, passou-se a aceitar que, mediante treinamento adequado, é possível simular uma gama muito diversificada de sinais físicos e de condições clínicas22. BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.),(1818. VAN DER VLEUTEN, C. P. M., SWANSON, D. B. Assessment of clinical skills with standardized patients: state of the art. Teaching and Learning Medicine, v.2, p. 58-76, 1990.) que o desempenho na protagonização de um caso caso é muito estável 1414. STILLMAN, P., SWANSON, D.B., SMEE, S. Assessing clinical skills of residents with standardized patients. Annals of internal Medicine, v. 105, p.762-71, 1986.),(2121. NU VIET VU., BARROWS, H.S., MARCY, M. L., et al. Six years of comprehensive, clinical, performance based assessment using standardized patients at the southern Illinois University School of Medicine. Academic Medicine , v. 67, n. 1, p.42-50, 1992.) e que é muito difícil distinguir um " paciente simulado" de um "paciente real"22. BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.),(1414. STILLMAN, P., SWANSON, D.B., SMEE, S. Assessing clinical skills of residents with standardized patients. Annals of internal Medicine, v. 105, p.762-71, 1986.),(2222. NU VIET VU., MARCY, M. L. , COLLIVER, J. A., et al. Standardized (simulated) patients accuracy in recording clinical performance checklist items. Medical Education , v. 26, p.99-104, 1992.. O reconhecimento destas vantagens, entre inúmeras outras22. BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.),(1818. VAN DER VLEUTEN, C. P. M., SWANSON, D. B. Assessment of clinical skills with standardized patients: state of the art. Teaching and Learning Medicine, v.2, p. 58-76, 1990.) do método dos "pacientes padronizados" trouxe uma enorme difusão desta técnica que, atualmente, passou a ser empregada em cerca de dois terços das escolas médicas norte-americanas 1616. SWANSON, A.g., BROWNELL-ANDERSON, M. Educating medical students. Academic Medicine , v. 68, June Supplement, p. S7-S46, 1993..

Outra vantagem muito valiosa do método dos "pacientes padronizados" é a possibilidade de serem treinados para atuarem, também, como avaliadores (1212. SANSON-FISHER, R., POOLE, A. D. Simulated patient and the assessment of medical student's interpersonal skills. Medical Education , v. 84, p. 249-53, 1980.),(2222. NU VIET VU., MARCY, M. L. , COLLIVER, J. A., et al. Standardized (simulated) patients accuracy in recording clinical performance checklist items. Medical Education , v. 26, p.99-104, 1992..

Deste modo, é possível remover um importante inconveniente do exame clínico objetivo estruturado por estações, que é a necessidade da presença do observador. Assim, com um "paciente padronizado" treinado como avaliador, a situação de interação "estudante-paciente” pode desenvolver-se sem a presença inibitória ou constrangedora de uma terceira pessoa. No presente trabalho, esta possibilidade não foi empregada, pelo fato de que a atuação do “paciente padronizado” como avaliador demandar um treinamento muito mais elaborado e prolongado. No entanto, em aplicação subsequente do método para a avaliação de estudantes de Medicina em final de curso, foi possível efetuar a avaliação de qualidades médicas como "empatia", "profissionalismo", "confiabilidade", etc., durante a obtenção de história clínica e subsequente orientação do "paciente", empregando o próprio" paciente padronizado " como avaliador (Troncon et al - dados ainda não publicados).

No presente trabalho, constataram-se alguns fatores negativos, relativos à aceitação dos estudantes a esta forma de avaliação de habilidades clínicas. Além das críticas a diferentes pontos falhas da organização geral da prova, aceitos como naturais em uma primeira aplicação, detectaram-se dois pontos restritivos importantes, a saber: a) a dificuldade em administrar o tempo disponível em cada estação e b) o estresse associado ao tipo de exame. É possível que o primeiro destes pontos seja consequente a falta de experiência prévia dos estudantes com esta modalidade de avaliação. Esta impressão é corroborada pelo fato de que em uma segunda aplicação desta modalidade de exame a uma turma subsequente de alunos, aproximadamente nas mesmas condições (Troncon et al, dados não publicados), observaram-se níveis muito mais reduzidos de dificuldade de controle do tempo (72,7% vs 37,1%). Não houve, porém, diferenças importantes no que se refere ao grau de estresse admitido (69,6% vs 65,7%). É possível, portanto, que fatores culturais de ordem mais abrangente estejam também envolvidos. Entre estes, deve se mencionar a falta, em nosso meio, do que foi denominado de uma "cultura de avaliação", que faz com que todas as provas sejam tomadas como um exercício de escolha de alguns estudantes para serem "premiados" e de outros tantos para sejam tomadas como um exercício de escolha de alguns estudantes para serem ́premiados ́ e de outros tantos para serem ‘punidos’77. KRASILCHIK, M. Avaliação do ensino. São Paulo: Faculdade de Educação da Universidade de São Paulo. Documentos especiais, v.4, p. 6-11, 1992.),(2020. VIANNA, H. M. Avaliação educacional nos "cadernos de pesquisa". Cadernos de Pesquisa, São Paulo, v. 80, p. 100-5, 1992.) . Um outro ponto possivelmente ligado a fatores culturais mais amplo diz respeito a notória falta de preocupação em nosso meio com a pontualidade e a administração do tempo e, em especial nas escolas médicas, com o ensino e o aprendizado do controle do próprio tempo ́, como uma competência relevante44. CLACK, G. B. Medical graduates evaluate the effectiveness of their education. Medical Education, v. 28, p. 418-31, 1994.. Admitidos estes pontos como ligados a fatores culturais mais amplos, é interessante destacá-los como possíveis fontes de preocupação quando da introdução do exame clínico objetivo estruturado por estações com pacientes padronizados em outras sociedades que não as de extração anglo-saxônica.

É incerto se os fatores estresse e dificuldades de controle do tempo afetaram de modo significativo o desempenho dos estudantes. Algumas das habilidades avaliadas, pela sua própria natureza, são possivelmente infensas a este tipo de influência, como por exemplo, a detecção de um sopro sistólico rude e intenso, que, inclusive, foi percebido pela grande maioria dos alunos (Tabela I). Ademais, tanto os estudantes de perfil superior de desempenho, como os de nível inferior, assinalaram níveis comparáveis de estresse sofrido e de dificuldade com o tempo, ainda que uma análise mais pormenorizada da correlação entre o desempenho e as respostas ao questionário não tenha sido, ainda, efetuada. Além disso, na segunda aplicação deste tipo de avaliação a uma turma subsequente de alunos, onde ao menos os níveis de dificuldade com o controle do tempo foram significativamente inferiores, o perfil de desempenho dos estudantes não foi substancialmente diferente do observado no presente trabalho (Troncon et al, dados não publicados). Não é possível descartar, porém, a ocorrência de influência negativa destes fatores em pontos como a interpretação e a conclusão diagnóstica sobre os achados, habilidades de natureza eminentemente cognitiva e, portanto, mais sujeitas a este tipo de influência. Um possível exemplo deste tipo de efeito refere-se a ausculta cardíaca, onde 86% dos alunos reconheceram a presença de sopro sistólico em foco mitral, ao passo que a proporção de alunos fazendo corretamente o diagnóstico de insuficiência mitral caiu para 70%.

Um outro ponto digno de menção foi a relativa “preferência" dos estudantes pelas duas estações referentes a Anamnese, que foram assinaladas por número maior de alunos como sendo “particularmente satisfatórias”, em relação as quatro outras, de Exame Físico. Considerando que a maior parte do tempo despendido no curso envolve atividades relacionadas ao Exame Físico, é possível sugerir que fatores como a adequação das situações escolhidas nas estações de Anamnese ou a própria 'performance dos "pacientes padronizados" sejam responsáveis por este fato. Não houve, aparentemente, associação entre “preferência" e melhor desempenho, uma vez que as duas estações de Anamnese tiveram, respectivamente o maior (Estação nº 1) e o menor (Estação nº 6) percentual de alunos com domínio de mais de 70% das habilidades avaliadas em cada uma delas e as proporções de estudantes assinalando "preferência" para cada uma delas foram muito semelhantes. Em conclusão, o presente trabalho descreve diferentes aspectos da aplicação pioneira em nosso meio, de métodos de ponta de avaliação objetiva das habilidades clínicas de estudantes de Medicina. São descritas as diferentes etapas de planejamento e de execução necessárias para a realização com sucesso do exame. São, também, apresentados resultados gerais relativos ao desempenho dos estudantes, que propiciaram a obtenção de uma visão acurada das qualidades e deficiências do curso ministrado, bem como dados da impressão dos alunos sobre a primeira aplicação do referido método. Foram identificados alguns fatores, possivelmente ligados a aspectos de ordem cultural mais ampla, cuja existência deve ser levada em consideração quando da aplicação pela primeira vez da técnica de exame objetivo estruturado por estações com emprego de pacientes padronizados para a avaliação de habilidades clínicas.

Agradecimentos

A realização deste trabalho somente foi possível graças a participação dos Professores Doutores João Terra Filho, Ricardo Brandt de Oliveira, Geruza Alves da Silva, José Carlos Manço e Ulysses G. Meneghelli, docentes do Departamento de Clínica Médica. Agradecemos o apoio financeiro da F.A.E.P.A. - Fundação de Apoio ao Ensino, Pesquisa e Assistência do Hospital das Clínicas da FMRP e a colaboração, em diferentes níveis e ações, da Doutora Lilian Rose Otoboni Aprile, dos Doutores Júlio César Moriguti, Marcus Vinicius Simões e das Enfermeiras Elisete Aguiar e Maria do Rosário de Unamuno.

Referências Bibliográficas

  • 1
    BARROWS, H.S. Simulated (standardized) patients and other human simulations: a comprehensive guide to their training and use in teaching and evaluation. Chapel Hill: North Caroline Health Sciences Consortium, 1987.
  • 2
    BARROWS, H. S. An Overview of the uses of standardized patients for teaching and evaluating clinical skills. Academic Medicine, v. 68, p. 443-51, 1993.
  • 3
    BARROWS, H. S., ABRAHAMSON S. The Programed patient: a technique for appraising student performance in clinical neurology. Journal of Medical Education, v. 39, p. 802-5, 1969.
  • 4
    CLACK, G. B. Medical graduates evaluate the effectiveness of their education. Medical Education, v. 28, p. 418-31, 1994.
  • 5
    HARDEN, R. M., STEVENSON, M., DOWNIE W. W. et al. Assessment of clinical competence using objective structured clinical examination. British Medical Journal, v. 1, p.447-51, 1975.
  • 6
    HARDEN, R. M., GLEESON, F. A. Assessment of Clinical competence using an objective structured clinical examination (OSCE). Medical Education , V. 13 , p. 39-45, 1979.
  • 7
    KRASILCHIK, M. Avaliação do ensino. São Paulo: Faculdade de Educação da Universidade de São Paulo. Documentos especiais, v.4, p. 6-11, 1992.
  • 8
    LOWRY, S. Assessment of students. British Medical Journal , v. 306, p. 51-4, 1993.
  • 9
    McMANNUS, I. Examining the educated and the trained. Lancet, v. 345, p. 1151-3, 1995.
  • 10
    MULHOLLAND, H., TOMBLESON, P. M. J. Assessment of the general practitioner. British Journal of General Practice, v. 40, p. 252-4, 1990.
  • 11
    RESNICK,R. K., SMEE S., ROTHMAN, A., et al. For The license ciate: reporrt of the pilot project of the medical council of Canadá. Academic Medicine , V. 67, p.487 - 94, 1992.
  • 12
    SANSON-FISHER, R., POOLE, A. D. Simulated patient and the assessment of medical student's interpersonal skills. Medical Education , v. 84, p. 249-53, 1980.
  • 13
    SELBY, C., OSMAN, L., DAVIS M, LEE, M. Setup and run an objective structured clinical exam. British Medical Journal , v. 310, p. 1187-90, 1995.
  • 14
    STILLMAN, P., SWANSON, D.B., SMEE, S. Assessing clinical skills of residents with standardized patients. Annals of internal Medicine, v. 105, p.762-71, 1986.
  • 15
    STOKES, J. The Clinical examination-assessment of clinical skills: medical education booklet 2. Dundee: Association for the Study of Medical Education, 1974.
  • 16
    SWANSON, A.g., BROWNELL-ANDERSON, M. Educating medical students. Academic Medicine , v. 68, June Supplement, p. S7-S46, 1993.
  • 17
    TRONCON, L.E.A., VOLTARELLI, J. C., FOSS, N.T., et al. Avaliação de habilidades clínicas por exame objetivo estruturado por estações, com emprego de pacientes padronizados: primeira aplicação no Brasil: parte I. Rev. Bras. Educ. Médica. v. 20, n. 2-3, maio/dez. 1996
  • 18
    VAN DER VLEUTEN, C. P. M., SWANSON, D. B. Assessment of clinical skills with standardized patients: state of the art. Teaching and Learning Medicine, v.2, p. 58-76, 1990.
  • 19
    VAN DER VLEUTEN, C., NEWBLE, D. I. How can we test clinical reasoning? Lancet , v. 345, p. 1032 - 1034, 1995.
  • 20
    VIANNA, H. M. Avaliação educacional nos "cadernos de pesquisa". Cadernos de Pesquisa, São Paulo, v. 80, p. 100-5, 1992.
  • 21
    NU VIET VU., BARROWS, H.S., MARCY, M. L., et al. Six years of comprehensive, clinical, performance based assessment using standardized patients at the southern Illinois University School of Medicine. Academic Medicine , v. 67, n. 1, p.42-50, 1992.
  • 22
    NU VIET VU., MARCY, M. L. , COLLIVER, J. A., et al. Standardized (simulated) patients accuracy in recording clinical performance checklist items. Medical Education , v. 26, p.99-104, 1992.
  • 23
    WEATHERALL, D.J. Examining undergraduate examinations. Lancet , v. 338, p. 37-9, 1991.

Datas de Publicação

  • Publicação nesta coleção
    03 Fev 2021
  • Data do Fascículo
    May-Dec 1996
Associação Brasileira de Educação Médica SCN - QD 02 - BL D - Torre A - Salas 1021 e 1023 | Asa Norte, Brasília | DF | CEP: 70712-903, Tel: (61) 3024-9978 / 3024-8013, Fax: +55 21 2260-6662 - Brasília - DF - Brazil
E-mail: rbem.abem@gmail.com