Efetividade da Avaliação Programática do Estudante de Medicina: Estudo de Caso Baseado nas Impressões de Estudantes e Professores de uma Escola Médica Britânica

Effectiveness of Medical Student Programmatic Assessment: A Case Study Based on Experiences of Students and Teachers from a British Medical School

RESUMO

A avaliação programática do estudante é uma abordagem relativamente nova, que tem como objetivo principal o aperfeiçoamento das condições de utilização dos diferentes métodos de avaliação, com vistas ao melhor cumprimento das funções da avaliação: somativa, formativa e controle da qualidade do currículo. A introdução de um sistema de avaliação programática do estudante em uma instituição do ensino superior constitui tarefa complexa e consumidora de recursos humanos e materiais, mas as informações sobre a efetividade desses sistemas são escassas. Embora a literatura especializada registre vários estudos sobre avaliação no ambiente de trabalho (estágios profissionalizantes e aperfeiçoamento profissional) em diferentes profissões da área da Saúde, são poucas as investigações sobre o tema em cursos de graduação em Medicina. Neste artigo, relata-se a experiência de uma escola médica britânica que adotou recentemente a avaliação programática. Trata-se de um estudo de caso baseado nas percepções de estudantes e professores, que concordaram em se submeter a entrevistas semiestruturadas gravadas. Os arquivos de áudio foram transcritos, fornecendo textos nos quais se realizou análise qualitativa de conteúdo. Essa análise produziu visões sobre pontos fortes do programa de avaliação e permitiu identificar aspectos que requerem aperfeiçoamento. Os resultados mostraram que, embora expressando diferentes perspectivas e criticando vários pontos da avaliação programática, estudantes e professores compartilham uma visão predominantemente positiva do programa de avaliação. Os estudantes valorizam muito a abundância de oportunidades de receber devolutivas construtivas, sobretudo nas atividades clínicas, bem como a realização periódica de exames estruturados de habilidades clínicas com finalidades somativa e formativa. Os professores valorizam muito a organização global do programa e a sua efetividade na detecção de estudantes com dificuldades. Valorizam, também, a diversidade de oportunidades de treinamento e desenvolvimento docente na temática da avaliação. Estes achados permitem concluir que estudantes e professores de Medicina, ainda que ressaltem a necessidade de aperfeiçoamentos, vêm tendo experiências predominantemente positivas de um sistema de avaliação programática recentemente introduzido na instituição. Assim, é possível inferir que a complexidade e os custos de implementação de um sistema de avaliação programática do estudante de Medicina podem ser compensados por seus efeitos positivos, como indicam as opiniões de estudantes e professores.

Avaliação Educacional; Estudante de Medicina; Docente de Medicina; Educação Médica

ABSTRACT

Programmatic student assessment is a novel educational approach aiming at optimizing the utilization of different methods for better attaining the main functions of student assessment: summative, formative and assurance of curriculum effectiveness (quality control of educational activities). Introduction of a programme for student assessment in institutions devoted to higher education in the health sciences professions isa time and resource consuming enterprise, which should be rewarded with gains in assessment quality. However, information on this is scarce. Although a few studies have yield data on various systems for work-based assessment in different health professions, the effectiveness of programmatic assessment in undergraduate settings has not been much evaluated. We therefore aimed at exploring the perceptions of selected samples of students and teachers from a single British medical school where a programmatic assessment system was recently introduced. In this case study, medical students and faculty members agreed to undergo a semi-structured, anonymously recorded interview. Audio-files were transcribed into texts, which were submitted to content analysis for identifying strengths and areas for improvement related to the current student programmatic assessment system. Our results showed that, although expressing different perspectives and criticizing a few aspects, students and teachers shared a predominant positive view on the local system for programmatic assessment. Students valued most the wealth of opportunities to receive constructive feedback from supervisors in clinical years and the multiple formative and summative objective structured exams of clinical skills. Teachers valued most the overall assessment organization and effectiveness in detecting poor performing students and praised the many training opportunities for them to be trained to play different roles in assessment. These findings allowed us to conclude that medical student and faculty experiences on a recently introduced system for programmatic assessment are predominantly positive. These results may be taken as an indication that complexity and costs associated to implementing such systems may be rewarded by improvements in student assessment overall quality.

Educational Measurement; Medical Student; Medical Faculty; Medical Education

INTRODUÇÃO

As tendências atuais em educação médica incluem a aquisição cumulativa de habilidades e competências profissionais, o que implica a utilização de novas abordagens de ensino, treinamento e avaliação. A avaliação do estudante de Medicina, em particular, tem sofrido mudanças importantes, entre as quais o desvio do foco na utilização dos melhores métodos, que preencham de forma mais completa os requisitos de validade e fidedignidade, para uma visão mais holística, como a que é contemplada pela avaliação programática¹-³.

Os sistemas de avaliação programática do estudante têm como meta principal aperfeiçoar as condições de utilização dos diferentes métodos de avaliação, com vistas ao melhor cumprimento das funções da avaliação – somativa, formativa e informativa –, esta última significando o controle da qualidade do currículo⁴-⁷. A avaliação programática opera por meio da obtenção de grandes amostras de dados que informam sobre o aprendizado e a aquisição de habilidades e competências, com a utilização de métodos que podem ser de natureza tanto quantitativa como qualitativa². Assim sendo, sistemas bem delineados para a avaliação programática do estudante de Medicina podem fornecer informações robustas que documentam o desenvolvimento de competências e que, desse modo, permitem tomadas de decisão não só acuradas, como também justas sobre o destino do estudante³,⁷. Esses sistemas podem também contribuir para aumentar a validade e a fidedignidade dos métodos empregados na avaliação, bem como seu impacto educacional⁴.

Outra importante característica da avaliação programática do estudante é levar em conta, de forma bastante privilegiada, a parte formativa, provendo oportunidades abundantes para que o estudante receba de professores, supervisores e preceptores devolutivas sobre o seu desempenho¹,³,⁷. Esta característica tem sido descrita como uma mudança de paradigmas, da “avaliação da aprendizagem” para a “avaliação para a aprendizagem”¹,³,⁷.

No Reino Unido, o General Medical Council (GMC) – órgão que regula não só a prática profissional dos médicos, mas também sua formação, desde a graduação, estabelecendo diretrizes nacionais para aperfeiçoamento das práticas educacionais – recomenda que “as escolas médicas devem adotar na avaliação do estudante uma abordagem estratégica abrangente e sistemática que se compatibilize com o currículo”⁸, recomendação que se coaduna perfeitamente com as linhas gerais da avaliação programática. As diretrizes do GMC para a avaliação do estudante de graduação em Medicina também enfatizam os aspectos formativos, uma vez que determinam que “sempre que possível, as devolutivas (feedback) devem ser dadas não só aos estudantes ameaçados de reprovação ou em dificuldades, como também a todos os estudantes, independentemente do seu desempenho, uma vez que todos podem se beneficiar disso”⁸. Essa diretriz também é bem congruente com a abordagem programática na avaliação do estudante¹-⁷.

As linhas gerais da avaliação programática do estudante e os conceitos a ela subjacentes foram descritos em detalhes em artigo anterior, voltado à comunidade de educadores médicos brasileiros⁹. Esse artigo apresenta, também, justificativas para a estruturação de sistemas de avaliação programática e foram descritas as metas e características desejáveis nesses sistemas, como centralização, institucionalização, uniformização, abrangência e integração⁹. Oferece sugestões de modos de configuração de um sistema de avaliação programática do estudante de Medicina e exemplifica possíveis ações específicas para melhor cumprir suas finalidades⁹. Discute, ainda, as dificuldades previsíveis na implantação de sistemas de avaliação programática do estudante e sugere como enfrentá-las⁹.

A avaliação programática do estudante constitui um conceito relativamente novo e, como tal, não se associa, ainda, a um conjunto muito grande de evidências publicadas que demonstrem sua efetividade. Alguns estudos avaliaram sistemas de avaliação programática de profissionais em treinamento⁶,¹⁰,¹¹ na Medicina e em outras profissões da Saúde, mas praticamente inexistem dados avaliativos da efetividade desses sistemas no contexto do curso de graduação em Medicina.

O presente trabalho pretende, além de complementar o artigo anterior⁹, apresentar um estudo avaliativo independente do funcionamento de um sistema de avaliação programática do estudante de graduação em Medicina. Trata-se de um estudo de caso institucional, desenvolvido com base nas experiências, visões e percepções de estudantes e professores de uma escola médica britânica que implantou recentemente um sistema de avaliação programática dos estudantes. Essa escola introduziu um sistema institucional centralizado de avaliação programática, que emprega uma variedade de métodos, selecionados conforme as melhores evidências e dispondo, deliberadamente, de um forte componente de avaliação formativa.

MÉTODOS

Contexto

A escola médica da University College London recebe todos os anos 300 novos estudantes para cursar um currículo de seis anos de formação. Os estudantes distribuem-se em três campi universitários: o campus central, que abriga o University Hospital e os demais cursos dessa universidade, e dois outros campi, dedicados às áreas biomédicas. Esses campi estruturam-se dentro e ao redor de dois grandes hospitais, o Royal Free Hospital e o Whittington Hospital, que se localizam na região Norte da cidade de Londres.

Dos seis anos do currículo de graduação em Medicina, o terceiro constitui um Bacharelado em Ciências, em que todos os estudantes se dedicam integralmente nesse ano a projetos de pesquisa científica na área da sua escolha. Assim, a formação estritamente profissional é feita ao longo de cinco anos: as duas primeiras e as três últimas séries. Nessas, o estudante despende a maior parte do tempo em estágios em diferentes áreas dos citados hospitais, ou em hospitais distritais menores afiliados à universidade, ou numa das cerca de 70 clínicas de medicina comunitária (General Practice) ligadas à universidade. O conhecimento e as habilidades necessários à prática da Medicina e ao treinamento subsequente à graduação, a serem obtidos nos dois anos de fundamentação antes do treinamento mais especializado (Foundation Years), desenvolvidos no âmbito do sistema nacional público de Saúde (National Health Service), são adquiridos com atividades curriculares que envolvem, predominantemente, métodos ativos de aprendizagem.

A avaliação do estudante, em grande parte, é integrada às atividades de aprendizagem e se desenvolve segundo as linhas características da avaliação programática¹,³,⁸. Seus principais elementos são apresentados no Quadro 1.

QUADRO 1
Principais características do programa local de avaliação do estudante na instituição em que o estudo foi realizado

Aspectos gerais

Programa abrangendo os seis anos do curso, com administração centralizada em instância específica da escola.

Avaliações somativas anuais e avaliação formativa contínua com portfólio reflexivo e procedimentos avaliativos formativos frequentes, inseridos em todas as unidades do currículo.

Métodos de avaliação selecionados com base nas melhores evidências publicadas na literatura especializada e utilizados de acordo com as recomendações internacionais de boas práticas.

Métodos de avaliação somativa empregados em condições que garantam validade e fidedignidade adequadas.

Avaliações somativas utilizam bancos de questões e de estações, e incluem análise de qualidade dos itens, procedimentos de definição de pontos de corte (standard setting) e revisão pós-avaliação, com provisão de devolutivas aos autores das questões e estações utilizadas.

Revisão cuidadosa e frequente dos procedimentos de avaliação, com vistas a verificar alinhamento com o currículo e seus desfechos esperados.

Acompanhamento longitudinal do progresso de cada estudante, com vistas a identificar e apoiar aqueles que estejam vivenciando dificuldades pessoais ou acadêmicas.

Métodos

Avaliação somativa: combinação de dados qualitativos (opiniões dos coordenadores de módulos) e quantitativos (resultados de exames de conhecimentos (*) e de provas práticas (**).

Avaliação formativa: portfólio individual e interação com tutores; Eventos Supervisionados de Aprendizado (ESA), que consistem em miniexame clínico (mini-CEX) e discussão de casos (case-based discussion), seguidos por devolutivas individualizadas; feedback escrito vindo de fontes múltiplas em estágios clínicos; exames simulados formativos ocasionais (mock exams).

• (*) Em geral, testes de múltipla escolha com uma única opção correta.
• (**) Em geral, exame clínico estruturado por estações (Osce).

Desenho do estudo e aspectos éticos

O presente relato integra parte de um estudo mais abrangente, de base etnográfica, que constituiu avaliação independente do sistema de avaliação programática do estudante na instituição. Este estudo foi conduzido pelo autor do presente relato, a pedido da instituição, na condição de professor visitante estrangeiro, sendo a independência assegurada pelo fato de não estar ele envolvido em qualquer atividade de ensino ou de avaliação de estudantes do curso de Medicina. O estudo teve abordagem de pesquisa qualitativa, com enfoque etnográfico¹², sendo desenvolvido em torno de três vertentes: análise de documentos, complementada por entrevista estruturada de dirigentes da instituição; observação não participante de procedimentos avaliativos somativos e formativos; entrevista de amostra de estudantes e professores voluntários. Esta terceira parte do estudo maior constituiu a base do presente relato.

Sendo este estudo parte das estratégias de avaliação das práticas e processos educacionais locais, foi considerado isento de submissão ao Comitê de Ética da instituição. Não obstante, todos os participantes foram informados da natureza da investigação antes de aceitarem participar como voluntários, e seu consentimento verbal foi gravado em arquivo de áudio. Todos eles foram informados de que o estudo seria conduzido em condições de anonimato e de confidencialidade, e de que poderiam, em qualquer momento, retirar seu consentimento.

Participantes

Foram incluídos no estudo estudantes e professores previamente selecionados, de modo a compor amostra seletiva propositada¹³. O grupo discente incluiu dez estudantes de Medicina da segunda, quarta, quinta e sexta séries do curso. Seus nomes foram indicados por membros da direção executiva da entidade que congrega os estudantes da escola médica (The Royal Free, University College and Middlesex Medical Students’ Association), tendo como critério serem notadamente interessados no aperfeiçoamento do currículo e das atividades discentes.

O grupo docente foi integrado por oito professores de áreas clínicas, cujos nomes foram indicados pelos responsáveis pelo curso em cada um dos três campi, tendo como base seu engajamento bem definido nas atividades de ensino e de avaliação de estudantes de graduação. Seis deles eram especialistas clínicos experientes, atuando nas atividades curriculares hospitalares da quarta, quinta e sexta séries do curso. Desses seis docentes, três atuavam também na primeira e na segunda série do curso. Dois dos oito docentes participantes atuavam mais nos hospitais distritais e nas clínicas de atenção à saúde da comunidade.

Procedimento

Todos os participantes foram convidados a se submeter a uma entrevista semiestruturada gravada, que foi desenvolvida seguindo roteiros previamente elaborados, com itens derivados de duas fontes principais: recomendações para a avaliação do estudante, da World Federation of Medical Education¹⁴, e conjunto de critérios para a avaliação, produzido por um painel internacional de especialistas¹⁵. As questões cobriam diferentes aspectos relativos à avaliação do estudante, como uso de métodos específicos, tratamento dos resultados, e estrutura e organização do sistema local de avaliação.

Análise de dados

As entrevistas foram gravadas em arquivo digital e seu conteúdo foi em seguida transcrito literalmente em arquivos de texto. Os textos correspondentes a cada entrevista foram submetidos a análise de conteúdo, feita por meio de leituras múltiplas pelo mesmo observador em diferentes momentos, o que permitiu a elaboração de uma lista de conteúdos relevantes e pertinentes ao tema principal em estudo¹². Estas listas foram analisadas em outra oportunidade, de modo a identificar conteúdos pertencentes a duas categorias temáticas principais: fortalezas do sistema local de avaliação do estudante; aspectos que demandam aperfeiçoamento nesse sistema. Conteúdos relativos a outros aspectos do contexto educacional ou organizacional da instituição não foram considerados neste estudo.

RESULTADOS

As opiniões dos estudantes sobre as fortalezas do sistema local de avaliação e sobre os aspectos que mereceriam medidas para o seu aperfeiçoamento são apresentadas resumidamente nos Quadros 2 e 3, respectivamente. As opiniões dos professores sobre esses mesmos pontos são apresentadas nos Quadros 4 e 5.

QUADRO 2
Resumo das percepções dos estudantes sobre aspectos positivos do sistema local de avaliação programática

Sistema de avaliação justo, transparente e efetivo.

Preocupação da escola médica em que haja envolvimento dos estudantes no aperfeiçoamento contínuo do programa de avaliação.

Diversidade de métodos empregados nas avaliações.

Autenticidade, abrangência e adequação dos exames práticos finais (exame clínico estruturado por estações – Osce).

Abundância de oportunidades para provisão de feedback individual ao estudante.

Utilidade do feedback recebido nos Eventos Supervisionados de Aprendizagem (ESA), que estimulam o envolvimento ativo do estudante.

Utilidade do feedback escrito vindo de fontes múltiplas nos estágios clínicos, que auxiliam os estudantes a se organizar e a assumir responsabilidade na sua formação, além de fomentar a aquisição de bons hábitos profissionais.

Utilidade dos exames simulados formativos ocasionais para o aprendizado e para auxiliar a preparação para as avaliações somativas.

QUADRO 3
Resumo das percepções dos estudantes sobre aspectos do programa local de avaliação que requerem aperfeiçoamentos

Falta de entendimento sobre o programa de avaliação e insuficiente informação sobre o formato dos diferentes procedimentos avaliativos por parte dos estudantes iniciantes (primeira e segunda séries); escassez de oportunidades para prática de feedback individualizado para esses estudantes.

Falta de feedback e de informações complementares sobre os resultados dos exames finais, particularmente para os estudantes que devem repetir esses exames.

Carência de efetividade do programa para de fato avaliar atitudes e comportamentos nas circunstâncias do mundo real.

Excessiva especificidade de conteúdos nos testes de múltipla escolha, que parecem inadequados para avaliar de modo abrangente o entendimento mais profundo dos mecanismos biológicos e das doenças.

Exames clínicos estruturados por estações (Osce): artificialidade e excesso de tarefas em algumas estações, curta duração das estações e escassez de espaço físico em alguns dos hospitais onde os exames são realizados.

Dificuldade em obter o número mínimo exigido de feedback nos Eventos Supervisionados de Aprendizagem (ESA), levando a risco de burocratização da avaliação formativa (fazer apenas para “cumprir tabela” – tick-box exercise).

Alta variabilidade da qualidade do feedback escrito vindo de fontes múltiplas nos estágios clínicos.

Dificuldade de alguns supervisores em criticar estudantes.

Deficiências de orientação para a elaboração dos portfólios individuais.

QUADRO 4
Resumo das percepções dos professores sobre aspectos positivos do sistema local de avaliação programática

Adequação às finalidades, senso de justiça, abrangência, efetividade, validade, transparência, organização geral, utilização dos recursos disponíveis, liderança.

Abundância de oportunidades para avaliar o estudante, variedade dos métodos disponíveis.

Alinhamento do programa de avaliação com os desfechos previstos no currículo.

Capacidade de identificar estudante com dificuldades de se desenvolver e amadurecer.

Bom grau de equilíbrio entre avaliações feitas dentro dos módulos curriculares e nos exames finais somativos; bom grau de equilíbrio entre os aspectos somativos e formativos do programa de avaliação.

Abundância de oportunidades para treinamento e desenvolvimento docente de alta qualidade para atuar nas avaliações, seja como examinadores em provas práticas, seja como autores de questões ou de estações.

Utilização de muitas informações sobre o desempenho dos estudantes em interação com pacientes, o que contribui para preservar habilidades clínicas importantes que caminham para o desuso.

Estilo favorável das questões de múltipla escolha empregadas nas avaliações de conhecimentos, que visam avaliar níveis cognitivos mais elevados e assuntos clinicamente relevantes.

Abundância de informações sobre o desempenho clínico dos estudantes, fornecidas pelos exames clínicos estruturados por estações (Osce), que auxiliam a calibração do ensino clínico.

Devolutivas dadas aos autores das estações após os exames clínicos estruturados, que incluem resultados sobre o desempenho dos estudantes e sobre o próprio desempenho da estação na avaliação.

Abundância de oportunidades para dar devolutivas aos estudantes, tanto individuais como em grupos.

Honestidade dos professores e supervisores ao darem devolutivas aos estudantes.

QUADRO 5
Resumo das percepções dos professores sobre aspectos do programa local de avaliação que requerem aperfeiçoamentos

Ênfase excessiva nos exames finais, induzindo nos estudantes comportamentos subordinados às avaliações.

Falta de clareza sobre o que deve ser avaliado, em termos de objetivos nucleares de aprendizagem e de desfechos esperados.

Insuficiência das avaliações feitas no dia a dia em relação a habilidades e valores profissionais mais abrangentes, como raciocínio clínico, raciocínio ético e desempenho em situações reais mais desafiadoras.

Ausência de qualquer avaliação de algumas habilidades importantes, como trabalho em equipe multiprofissional.

Escassez de devolutivas aos professores sobre o desempenho geral dos estudantes nas questões e estações relacionadas às áreas em que eles ensinam.

Ênfase excessiva na detecção de estudantes em dificuldades, com mecanismos insuficientes para recompensar a excelência no desempenho de alguns estudantes.

Dificuldades em lidar com estudantes que trapaceiam nos exames ou que exibem comportamentos inadequados.

Excessiva burocratização dos procedimentos da avaliação formativa, que criaram demandas exageradas para dar devolutivas aos estudantes.

Dificuldade de reprovar estudantes.

Escassez de oportunidades para avaliar habilidades cirúrgicas e procedimentais.

Artificialidade e excesso de tarefas em algumas estações dos exames clínicos estruturados (Osce); escassa utilização de pacientes reais nas estações.

Excessiva variabilidade das devolutivas (feedback) dadas aos estudantes.

Dificuldades em dar devolutivas individuais baseadas em observações acuradas, dado o elevado número de estudantes.

Dificuldades em criticar estudantes que exibem deficiências importantes em seu desempenho.

De modo geral, tanto os estudantes como os professores compartilharam percepção bastante positiva do sistema local para a avaliação programática do estudante e tiveram impressões semelhantes sobre aspectos positivos e pontos carecedores de aperfeiçoamento. Em especial, ambos os grupos de participantes valorizaram o sistema de avaliação em seus aspectos de efetividade, transparência e senso de justiça. Adicionalmente, tanto os estudantes como os professores expressaram opiniões positivas sobre o componente formativo da avaliação programática local, destacando as devolutivas aos estudantes (feedback individual) como uma das principais fortalezas do programa de avaliação.

Por outro lado, ambos os grupos de participantes apontaram limitações e inadequações relacionadas à aplicação de métodos específicos de avaliação empregados no programa, tanto no seu componente formativo como no somativo. Em especial, tanto os estudantes como os professores apontaram o risco de os frequentes procedimentos avaliativos formativos realizados nos ambientes de formação e treinamento se transformarem em exercícios burocráticos desprovidos de maior valor.

Além disso, estudantes e professores destacaram as limitações do programa em promover a avaliação de aspectos afetivos de maior abrangência, como valores profissionais e atitudes e comportamentos exigidos no mundo real de trabalho médico em que os estudantes são formados e onde devem futuramente trabalhar.

DISCUSSÃO

A avaliação programática do estudante é uma estratégia educacional relativamente recente, que tem como objetivo principal o aperfeiçoamento das condições de utilização dos diferentes métodos de avaliação, com vistas ao melhor cumprimento das funções somativa, formativa e informativa deste tipo de avaliação. Implementar um sistema de avaliação programática do estudante constitui tarefa complexa e consumidora de recursos humanos e materiais, que deveria ser recompensada pelo aumento da qualidade e da efetividade das práticas avaliativas referentes ao estudante. No entanto, as informações sobre a efetividade desses sistemas de avaliação programática do estudante são relativamente escassas. Embora a literatura especializada registre vários estudos sobre avaliação no ambiente de trabalho (estágios profissionalizantes e aperfeiçoamento profissional) em diferentes profissões da área da Saúde, são poucas as investigações sobre o tema em cursos de graduação em Medicina.

De fato, os poucos estudos publicados sobre a efetividade da avaliação programática incluíram estudantes do último ano do curso de Medicina em estágios clínicos profissionalizantes¹⁰, estudantes na fase clínica de um currículo de graduação em Veterinária⁶ e estudantes de pós-graduação matriculados em um programa de mestrado intitulado “Médico-Investigador Clínico”¹¹. Nosso estudo é, provavelmente, o primeiro a incluir estudantes das várias fases de um curso de graduação em Medicina.

Os resultados obtidos neste estudo de base essencialmente qualitativa demonstraram que tanto os estudantes como os docentes têm visões predominantemente positivas do sistema local de avaliação programática do estudante, apesar de apontarem a necessidade de melhorias em várias áreas. Em particular, estudantes e professores destacaram a natureza justa e a eficácia dos procedimentos de avaliação somativa e reconheceram os méritos dos diferentes procedimentos de avaliação formativa, expressos pela riqueza de oportunidades nas quais os estudantes recebem devolutivas construtivas de várias fontes. Curiosamente, tanto estudantes como professores também concordaram em que o feedback fornecido poderia ser melhorado. Isto está de acordo com os achados de estudos avaliativos recentes conduzidos na instituição que focalizaram os vários tipos de devolutivas que os estudantes recebem¹⁶,¹⁷. Os achados desses estudos anteriores tiveram o efeito de provocar discussões na instituição, que acabaram por levar à tomada de medidas específicas para melhorar a avaliação formativa.

Outros pontos de vulnerabilidade do sistema local de avaliação programática do estudante incluem particularidades de métodos específicos, sobretudo os empregados no componente somativo do programa. No entanto, deve ser ressaltado que os aspectos criticados, em grande parte, se relacionam a dificuldades que qualquer instituição de ensino superior pode enfrentar na avaliação da aprendizagem²-⁴, particularmente naquelas com grande número de estudantes em seus cursos. Constituem bons exemplos deste ponto as críticas feitas tanto pelos estudantes como pelos professores à construção dos exames práticos estruturados de habilidades clínicas (Osce), especialmente no que se relaciona aos conteúdos e tarefas de algumas estações. Estas dificuldades já se encontram registradas na literatura¹⁸. Ainda que conteúdos e tarefas que comporão as estações devam estar muito bem alinhados com o currículo, sua escolha para compor a amostragem representada em exames com número limitado de estações sempre constitui um desafio permanente para os envolvidos no planejamento dos exames. Não obstante, este método de avaliação de habilidades e competências clínicas é reconhecidamente efetivo, viável e altamente flexível¹⁹. Seu emprego em boas condições garante validade e fidedignidade, além de se revestir de alto impacto educacional positivo¹⁸,¹⁹.

Interessa comentar que tanto os estudantes como os participantes do corpo docente diferiram quanto às suas opiniões sobre a utilização de testes de múltipla escolha como o principal método para a avaliação somativa no domínio cognitivo. Embora os professores tenham destacado positivamente o estilo de elaboração das questões, que favorecem a avaliação de níveis cognitivos de ordem mais elevada, com conteúdos clinicamente relevantes, os estudantes expressaram criticismo, apontando a inadequação desta modalidade de questões para avaliar a compreensão mais profunda de mecanismos biológicos ou fisiopatológicos. Esta discrepância reflete, de certo modo, o real confronto entre as vantagens e as desvantagens e limitações do método²⁰. A opção da instituição por sua escolha e manutenção no programa de avaliação possivelmente representa maior valorização dos aspectos de validade e de fidedignidade, que usualmente se associam à adoção de boas práticas de elaboração dos itens²¹.

De qualquer modo, a utilização dos testes de múltipla escolha e dos exames estruturados de habilidades clínicas (Osce) como métodos de avaliação centrados nos conhecimentos e competências clínicas, respectivamente, coaduna-se com a diretriz geral do programa local de avaliação de utilização de métodos de acordo com as melhores evidências publicadas e com maior probabilidade de cumprir os requisitos de validade e confiabilidade (Quadro 1). No entanto, estudantes e professores expressaram preocupações sobre a insuficiência do programa para avaliar competências mais amplas, como raciocínio ético e trabalho em equipe multiprofissional, bem como valores, atitudes e comportamento em circunstâncias do mundo real. Embora algumas destas competências possam ser avaliadas no local de trabalho²², particularmente quando se utiliza uma abordagem formativa, é reconhecido que são necessários mais estudos antes de poder definir melhores métodos e critérios de avaliação para estas importantes competências, de natureza mais geral¹⁵.

Além da escolha e da utilização dos métodos mais apropriados para avaliar os conhecimentos e as habilidades clínicas do estudante, a introdução e a gestão de um programa institucional de avaliação do estudante implicam lidar com uma série de dificuldades, que foram bem ressaltadas e expressas pelos participantes do presente estudo. Elas incluem a familiarização dos estudantes ingressantes com o funcionamento e os procedimentos do programa de avaliação, introduzi-los às maneiras efetivas de compor portfólios individuais e fazê-los compreender o papel dos seus tutores e os modos de interação com eles. Em especial, na percepção dos estudantes, é essencial que estejam muito bem familiarizados com os diferentes tipos de exames a que serão submetidos, em especial quando se considera a vertente somativa do programa de avaliação. Adicionalmente, deve ser reconhecida a dificuldade do exercício contínuo da avaliação formativa para populações discentes muito grandes, fornecendo devolutivas construtivas a um grande número de estudantes em contextos diferentes dos estágios clínicos, onde a avaliação programática já tem sido mais bem testada³,⁶,¹⁰.

Este estudo tem duas limitações principais: os dados vieram de uma amostra relativamente pequena de estudantes e professores, e foi conduzido em uma única escola de Medicina. No entanto, o número de participantes foi bem semelhante ao de outros estudos comparáveis, que também utilizaram uma abordagem qualitativa⁶,¹⁰,¹¹. Além disso, trabalhou-se com amostra seletiva propositada¹³, cujos integrantes foram escolhidos tendo como critério a provável relevância das informações que permitiram obter. Tendo em vista, porém, o tamanho reduzido dos grupos de estudantes e de professores, não foi possível utilizar o critério de saturação teórica para cessação da série de entrevistas, desejável nas pesquisas com métodos qualitativos¹².

A limitação referente ao estudo ter sido feito em uma única instituição, embora não menos importante, pode ser minimizada considerando-se que é relativamente pequeno o número de escolas em todo o mundo que vem adotando ou que já implementou de forma definida a abordagem programática para a avaliação dos seus estudantes. Deste modo, os resultados do presente estudo podem trazer informações e conclusões preliminares úteis e interessantes tanto para as instituições que já adotam a avaliação programática, como para outras que podem vir a adotar esta abordagem inovadora.

Apesar dessas limitações, nosso estudo forneceu dados úteis, emanados das percepções de professores e estudantes, para estimar as fortalezas e os pontos a melhorar em um sistema de avaliação programática do estudante recentemente implementado em um curso de graduação em Medicina. Os estudos anteriores semelhantes a este, realizados em outros contextos, demonstraram a viabilidade de uma abordagem programática para a avaliação de estudantes e estagiários em formação pós-graduada⁶,¹⁰. Mostraram ainda as dificuldades que podem ocorrer na implementação desses programas, especialmente no que diz respeito às questões de organização e de capacitação e desenvolvimento do corpo docente⁶,¹⁰.

CONCLUSÃO

Os resultados do presente estudo indicam que, nas percepções de estudantes e de professores, a complexidade e os custos associados à introdução e à consolidação de sistemas de avaliação programática dos estudantes de Medicina e de outras profissões da saúde podem ser compensados pelo aumento da qualidade geral da avaliação e dos previsíveis benefícios decorrentes.

AGRADECIMENTO

Agradecimentos são devidos à professora Jane Dacre e às doutoras Allison Sturrock e Deborah Gill pelo auxílio à realização deste estudo. O autor é também grato à miss Deanne Attreed por tê-lo assistido durante todo o período de estudo.

REFERÊNCIAS

• ¹
  Van der Vleuten CP, Schuwirth LW. Assessing professional competence: from methods to programmes. Med Educ. 2005; 39 (3):309-17.
• ²
  Schuwirth LWT, Van der Vleuten CPM. Programmatic assessment: From assessment of learning to assessment for learning. Med Teach. 2011; 33 (6): 478–485.
• ³
  Van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, van Tartwijk J. A model for programmatic assessment fit for purpose. Med Teach. 2012: 34 (3): 205–214.
• ⁴
  Dijkstra J, Galbraith R, Hodges BD, McAvoy PA, McCrorie P, Southgate LJ, Van der Vleuten CP, Wass V, Schuwirth LW. Expert validation of fit-for-purpose guidelines for designing programmes of assessment. BMC Med Educ. 2012; 12:20.
• ⁵
  Schuwirth L, Ash J. Assessing tomorrow’s learner: In competency-based education only a radically different holistic method of assessment will work: Six things we could forget. Med Teach. 2013; 35 (7): 555-60.
• ⁶
  Bok HG, Teunissen PW, Favier RP, Rietbroek NJ, Theyse LF, Brommer H, Haarhuis JC, van Beukelen P, van der Vleuten CP, Jaarsma DA. Programmatic assessment of competency-based workplace learning: When theory meets practice. BMC Med Educ. 2013; 13:123.
• ⁷
  Van der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. 12 tips for programmatic assessment. Med Teach. 2015: 37 (7):641–46.
• ⁸
  General Medical Council. Assessment in undergraduate medical education. Advice supplementary to “Tomorrow’s Doctors”. 2011. London: General Medical Council.
• ⁹
  Troncon LEA. Estruturação de Sistemas para Avaliação Programática do Estudante de Medicina. Revista Brasileira de Educação Médica 2016; 40 (1): 30-42.
• ¹⁰
  Driessen EW, van Tartwijk J, Govaerts M, Teunissen P, van der Vleuten CP. The use of programmatic assessment in the clinical workplace: a Maastricht case report. Med Teach. 2012; 34 (3): 226-31.
• ¹¹
  Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015; 49 (5): 487-98.
• ¹²
  Hanson JL, Balmer DF, Giardino AP. Qualitative research methods for medical educators. AcadPediatr. 2011; 11 (5): 375-86.
• ¹³
  Coyne IT. Sampling in qualitative research. Purposeful and theoretical sampling; merging or clear boundaries? J AdvNurs. 1997;26(3):623-30.
• ¹⁴
  World Federation of Medical Education. Basic Medical Education WFME Global Standards for Quality Improvement – The 2012 Revision, WFME Office, University of Copenhagen, Denmark 2012; 25.
• ¹⁵
  Norcini J, Brownell Anderson, Bollela V, Burch V, Costa MJ, Duvivier R et al. Criteria for good assessment: Consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach. 2011; 33 (3): 206-14.
• ¹⁶
  Nesbitt A, Baird F, Canning B, Griffin A, Sturrock A. Student perception of workplace-based assessment. Clin Teach. 2013; 10 (6): 399-404.
• ¹⁷
  Nesbitt A, Pitcher A, James L, Sturrock A, Griffin A. Written feedback on supervised learning events. Clin Teach. 2014; 11 (4): 279-83.
• ¹⁸
  Casey PM, Goepfert AR, Espey EL, Hammoud MM, Kaczmarczyk JM, Katz NT, Neutens JJ, Nuthalapaty FS, Peskin E et al. To the point: reviews in medical education--the Objective Structured Clinical Examination. Am J Obstet Gynecol. 2009; 200(1):25-34.
• ¹⁹
  Patrício MF, Julião M, Fareleira F, Carneiro AV. Is the OSCE a feasible tool to assess competencies in undergraduate medical education? Med Teach. 2013; 35 (6):503-14.
• ²⁰
  Schuwirth LW, van der Vleuten CP. Different written assessment methods: what can be said about their strengths and weaknesses? Med Educ. 2004;38(9):974–979.
• ²¹
  Case SM, Swanson DB. Constructing Written Test Questions for the Basic and Clinical Sciences. 3rd Edition. National Board of Medical Examiners, Philadelphia, PA, USA. 2002. (disponível em: http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf
  » http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf
• ²²
  Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31.Med Teach. 2007;29(9):855-71.

• APOIO FINANCEIRO
  Capes – Processo BEX 1918/14-1.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2018

Histórico

• Recebido
  18 Out 2017
• Aceito
  4 Jan 2018