Teste de Progresso em Consórcios para Todas as Escolas Médicas do Brasil

Consortia of Cross-Institutional Progress Testing for All Medical Schools in Brazil

RESUMO

O Teste de Progresso é uma ferramenta de avaliação longitudinal do ganho de conhecimento de estudantes que tem sido aplicada no Brasil há mais de dez anos. O teste situa o estudante em seu processo evolutivo de ensino-aprendizagem e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino. Com base na experiência de um consórcio de escolas, a Associação Brasileira de Educação Médica (Abem) propôs um projeto que tinha como um de seus objetivos incentivar escolas de todo o País a adotarem o Teste de Progresso como uma de suas ferramentas de avaliação. Reportamos a estratégia adotada para constituir núcleos interinstitucionais de avaliação com Teste de Progresso, bem como os resultados da primeira prova nacional do Teste de Progresso, que contou com a participação de 58 escolas e 23.065 estudantes. A implantação de núcleos interinstitucionais de Teste do Progresso com processos colaborativos de realização da prova representou um avanço para as escolas envolvidas. As escolas iniciaram um processo de colaboração não apenas para o Teste de Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma. O projeto funcionou como o início de um movimento para que escolas médicas de todas as regiões do País adotem o Teste de Progresso como uma ferramenta de avaliação com potencial para reorientar a formação médica, ao fornecer um diagnóstico de formação em nível individual e institucional.

Teste de Progresso; Avaliação do Aprendizado; Avaliação de Estudantes; Escolas Médicas

ABSTRACT

Progress Testing has been applied in Brazil for more than ten years. It is a tool for longitudinal evaluation of students’ knowledge across levels of training. The test situates the student in his evolutionary teaching-learning process and allows the institution to diagnose its deficiencies throughout the curricular structure. It can be used to evaluate curricular changes and specific assessments of disciplines or teaching modules. From the experience of a consortium of schools, the Brazilian Association of Medical Education (ABEM) proposed a project that aimed to encourage schools throughout the country to adopt Progress Testing as one of its evaluation tools. We report on the strategy adopted to establish interinstitutional evaluation nuclei with Progress Testing, as well as the results of the first national exam, administered by 58 schools to 23,065 students. The implantation of cross-institutional Progress Testing triggered collaborative processes among the schools involved. Schools have begun a collaborative process not only for the Progress Testing, but also for the exchange of information. The project served as the beginning of a movement for medical schools in all regions of the country to adopt Progress Testing as an assessment tool with the potential to reorient medical training by providing information regarding institutional and individual performances.

ProgressTesting; Assessment of Learning; Student Evaluation; Medical Schools

INTRODUÇÃO

O Teste de Progresso é uma avaliação cognitiva que verifica se o ganho de conhecimento por parte do estudante está sendo contínuo e progressivo, e como o conhecimento está sendo elaborado e consolidado nas áreas básicas e clínicas, importantes para o aproveitamento do internato e o desenvolvimento final do profissional¹,².

Esse teste foi introduzido nos cursos de Medicina na década de 1970 pela Kansas City Medical School da Universidade de Missouri (EUA)³ e pela então University of Limburg, hoje Universidade de Maastricht (Holanda)⁴. Desde então, várias outras escolas de Medicina passaram a utilizar esse método de avaliação de forma isolada⁵ ou em associação colaborativa⁶,⁷.

O Teste de Progresso situa o estudante em seu processo evolutivo de ensino-aprendizagem e permite à instituição realizar o diagnóstico de suas deficiências ao longo da estrutura curricular. Ele pode ser utilizado pelos órgãos colegiados competentes para avaliação de alterações curriculares e avaliações específicas de disciplinas ou módulos de ensino.

O conteúdo do teste não está ligado a nenhum modelo de curso específico e, portanto, ele avalia os objetivos finais do currículo como um todo⁸. O conteúdo de todos os tópicos do curso vai sendo continuadamente revisado, pois não se entende essa metodologia sem uma devolutiva consistente (feedback), na qual seja possível corrigir as falhas apresentadas durante o processo formativo. Os estudantes são incentivados a adotar um estilo de aprendizado longitudinal autodirigido e entendem que até o final de sua formação os conhecimentos elaborados deverão estar consolidados para o bom exercício da profissão¹,²,⁹.

Espera-se que o estudante atinja o domínio total do conhecimento e responda corretamente a todas as questões. Entretanto, considerando-se que o desenho das questões e a confiança do teste são perfeitos apenas na teoria, escores de 70-80% de acertos são considerados adequados para estudantes do sexto ano¹⁰-¹². Devemos lembrar que, mesmo que os estudantes obtenham escores elevados nesse teste, podem ter deficiências importantes no domínio de outras habilidades e atitudes. Assim, torna-se necessária uma avaliação mais completa da formação do estudante, sendo o Teste de Progresso uma das ferramentas utilizadas no processo avaliativo do ensino-aprendizagem e do currículo.

A parceria entre escolas tem contribuído para a confecção de questões com alta qualidade, além de combinar benefícios econômicos com vantagens educacionais globais, pois tira do processo de avaliação o efeito da endogenia e permite uma comparação salutar dos avanços e limitações entre as instituições participantes, sempre evitando qualquer tipo de ranqueamento⁶,⁸.

A experiência do Núcleo Interinstitucional de Estudos e Práticas de Avaliação em Educação Médica (Niepaem) há mais de dez anos com o Teste de Progresso, realizado em parceria entre nove escolas médicas (Unicamp, Unesp, USP-Ribeirão Preto, Unifesp, Ufscar, Famema, Famerp, UEL e Furb), vem mostrando eficiência e a viabilidade do processo com aprimoramento a cada ano.

Entidades como o Conselho Federal de Medicina (CFM) apoiaram e recomendaram que as escolas realizassem o Teste de Progresso como uma das avaliações do curso e do estudante, reforçando assim que esse teste é importante para aprimorar o processo de ensino-aprendizagem e do próprio curso¹³.

Com a exitosa experiência do Niepaem, foi realizado um projeto nacional para que todas as escolas do Brasil participassem de um consórcio e realizassem a prova do Teste de Progresso conjuntamente, aprimorando a elaboração de itens para uma avaliação de qualidade com confiabilidade. Neste relato, apresentamos a experiência da realização da prova nacional.

OBJETIVOS

Em 2014, a Associação Brasileira de Educação Médica (Abem) lançou o projeto “Abem 50 anos / 10 Anos de Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina”. O objetivo era desenvolver ações que impulsionassem mudanças curriculares nas escolas médicas para melhoria da formação do médico e, consequentemente, da qualidade na assistência à saúde da população brasileira¹⁴.

Uma das ações visava instituir o Teste de Progresso Interinstitucional para todas as escolas do Brasil. Para isso, objetivou-se capacitar núcleos de escolas para a elaboração da prova do Teste de Progresso, supervisionar e auxiliar na operacionalização da aplicação desse teste em todas as escolas e analisar os resultados de sua aplicação, garantindo o não ranqueamento das escolas. Como subsídio para as escolas, foi proposta e realizada uma prova nacional para todas as escolas do País.

MÉTODOS

Todas as escolas associadas à Abem foram convidadas a participar de reuniões nas regionais da Abem para as oficinas a fim de obter esclarecimento conceitual sobre o Teste de Progresso e sobre como melhorar a elaboração de itens para uma prova de qualidade. Escolas não associadas foram convidadas a se associar e, então, também participar das reuniões.

A formação dos núcleos de escolas deveria obedecer a critérios que facilitariam o processo da parceria permanente mesmo após a conclusão do projeto. Um dos critérios adotados foi a distância física entre as escolas, um fator importante para o sucesso dos encontros presenciais e que deve ser considerado na formação dos núcleos. Após a formação dos núcleos, foram organizadas oficinas para o desenvolvimento da capacidade de elaboração da prova, com ênfase na elaboração de itens de qualidade e estratégias de aplicação das provas.

As reuniões presenciais (três a quatro) foram pautadas para elaboração da prova, editoração e ajustes da prova final, análise dos resultados e programação de agenda futura.

A prova constou de 120 questões de múltipla escolha, elaboradas com base na prática clínica e visando a problemas que exigem aplicação de princípios ou soluções que requeiram processo mental complexo (raciocínio e reflexão). O foco da avaliação foi o conhecimento cognitivo por meio de perguntas que abrangem todas as áreas de amplo domínio do conhecimento: ciências básicas, ciências clínicas (Saúde Coletiva, Clínica Médica, Pediatria, Tocoginecologia e Cirurgia) e ciências do comportamento e comunicação (Ética Médica e Humanidades). A prova foi aplicada a todos os estudantes do primeiro ao sexto ano ao mesmo tempo, na mesma hora e com as mesmas regras.

A correção da prova e as análises dos dados foram realizadas por uma empresa especializada, a fim de garantir o sigilo do processo. Os resultados foram inicialmente apresentados no Congresso Brasileiro de Educação Médica.

Os dados foram analisados considerando-se o desempenho médio dos estudantes (em porcentagem), agrupados de acordo com os consórcios e com cada ano de graduação. Não houve divulgação do desempenho de cada consórcio, mas cada um foi informado sobre seu desempenho. Similarmente, não houve divulgação do desempenho de cada escola participante, mas cada uma delas recebeu um relatório com seu desempenho e a comparação com o desempenho nacional. Finalmente, estudantes com desempenho inferior a 25% foram excluídos da análise, considerando-se este o ponto de corte para o acerto casual em cada questão (com quatro alternativas).

RESULTADOS

Oitenta escolas do Brasil (quase 40% das escolas então existentes – de acordo com o CFM, à época, havia 216 escolas¹⁵) aderiram ao Teste de Progresso em núcleos interinstitucionais. As escolas que participaram das oficinas regionais foram capacitadas para a elaboração da prova. Algumas escolas solicitaram nova oficina ou a participação de um representante do projeto para esclarecimentos em seus órgãos colegiados e auxílio para operacionalizações técnicas. Com a iniciativa foram criados oito novos consórcios de Teste de Progresso (já existiam três).

Também foi elaborada, em duas oficinas nacionais, uma matriz única de conteúdo, tarefas e competências, a qual subsidiou a prova nacional, que foi baseada em questões previamente testadas e com melhores índices psicométricos (dificuldade de discriminação).

A prova nacional foi realizada no dia 30 de setembro de 2015, com a participação de 58 escolas com 23.065 estudantes que tiveram seus gabaritos analisados.

A análise do desempenho dos estudantes mostrou o esperado aumento progressivo de acertos ao longo dos seis anos de graduação, com a média inicial do primeiro ano de 32,38%, atingindo 61,28% no sexto ano (Figura 1).

FIGURA 1
Desempenho dos 23.065 estudantes distribuídos por ano de graduação na prova nacional do Teste de Progresso em 2015

Também foi possível verificar o desempenho médio dos estudantes de acordo com o núcleo ao qual pertenciam suas escolas. Como o projeto, enfaticamente, não previa o ranqueamento das escolas, os núcleos não foram identificados, embora os coordenadores de núcleo soubessem a qual pertenciam, o que possibilitou a comparação apenas de seu núcleo com os demais (Figura 2).

FIGURA 2
Desempenho dos 23.065 estudantes distribuídos por ano de graduação e de acordo com os núcleos de escolas. Cada coordenador de núcleo tomou conhecimento de qual era o seu núcleo (de A a H), mas não de quais eram os núcleos individualmente.

DISCUSSÃO

A implantação de núcleos interinstitucionais de Teste de Progresso com processos colaborativos de realização da prova representou um avanço para as escolas envolvidas. Elas iniciaram um processo de colaboração não apenas para o Teste de Progresso, mas também para o intercâmbio de informações e experiências que trocam com base no conhecimento de cada uma.

Com o uso rotineiro do Teste de Progresso, a aplicação e a análise dos resultados podem proporcionar aos cursos e aos estudantes uma avaliação externa cognitiva, na medida em que deixa de haver a endogenia resultante de questões feitas sempre pelos mesmos professores.

Além disso, a adoção do Teste de Progresso como prática avaliativa oferece ao estudante um aprendizado do que ele teria de conhecer numa avaliação porque se deve entregar aos estudantes o gabarito comentado com referências bibliográficas.

O Teste de Progresso também possibilita ao curso rever seu projeto pedagógico e conteúdos tendo por base análises gerais e por área. Permite, também, o desenvolvimento docente para a elaboração de questões objetivas de múltipla escolha por meio de oficinas e orientações técnicas para a formulação dos testes.

Ao longo do desenvolvimento do projeto, a avaliação dos professores envolvidos na coordenação e participação nos núcleos por suas escolas foi muito positiva, recomendando-se que o processo de participação no Teste de Progresso seja reconhecido pelos órgãos reguladores e preocupados com a formação dos egressos.

Com relação à prova nacional, esta foi a maior versão de um Teste de Progresso já aplicada em todo o mundo de que se tem registro na literatura. De fato, os consórcios existentes na Holanda, Alemanha, Reino Unido, Estados Unidos e Canadá não contam com a participação de um número tão grande de escolas e de estudantes⁶,⁷,¹⁶,¹⁷. Para a operacionalização do Teste de Progresso de forma constante e regular, não é viável o número de 58 escolas, especialmente se o teste for aplicado várias vezes ao ano, como ocorre na experiência internacional¹⁸. No entanto, os resultados desta iniciativa pioneira fornecem dados robustos sobre a curva de ganho de conhecimento entre os estudantes brasileiros e pode servir como referência para escolas e estudantes avaliarem seu desempenho em outras edições do Teste de Progresso.

Reconhecemos neste projeto o início de um movimento que pode se espalhar por todo o País, fortalecendo métodos avaliativos intra- e inter-institucionais. Como defendido nos grandes centros de educação médica no mundo, o Teste de Progresso tem potencial para ser uma alternativa à criação de exames de proficiência para o exercício da Medicina¹⁶ e é uma ferramenta capaz de quebrar o efeito de direcionamento dos estudos dos estudantes apenas para as avaliações somativas, incentivando um aprendizado mais profundo e com sentido¹⁹-²².

Futuramente, espera-se que as escolas que não aderiram aos consórcios então formados e as escolas criadas após este projeto também passem a utilizar o Teste de Progresso como ferramenta de avaliação. Com a adesão de maior número de escolas, será possível repetir uma prova nacional do Teste de Progresso, a qual fornecerá dados mais consistentes a respeito da formação médica no Brasil. Outros desafios para o Teste de Progresso no País são: aprimorar a análise dos dados obtidos com a prova, refletir sobre a possibilidade de empregar o Teste de Progresso também com finalidade somativa, a exemplo do que ocorre na Europa, e aumentar o número de provas a cada ano.

Em conclusão, o projeto ora apresentado incentivou escolas médicas de todas as regiões do País a adotarem o Teste de Progresso como uma ferramenta de avaliação com potencial de reorientar a formação médica, ao fornecer um diagnóstico de formação em nível individual e institucional.

REFERÊNCIAS

• ¹
  Verhoeven BH, Snellen-Balendong HAM, Hay IT, Boon JM, Van Der Linde MJ, Blitz-Lindeque JJ, Hoogenboom RJI, Verwijnen GM, Wijnen WHFW, Scherpbier AJJA, van der Vleuten CPM. The versatility of progress testing assessed in an international context: a start for benchmarking global standardization? Medical Teacher 2005; 27(6):514–520.
• ²
  McHarg J, Bradley P, Chamberlain S, Ricketts C, Searle J, Mclachlan JC. Assessment of progress tests. Medical Education 2005; 39(2):221–227.
• ³
  Arnold L, Willoughby TL. The quarterly profile examination. Acad Med. 1990; 65(8):515-516.
• ⁴
  Van der Vleuten CPM, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem based learning curriculum. Med Teach. 1996; 18(2):103–109.
• ⁵
  Blake JM, Norman GR, Keane DR, Muelle CB, Cunnington J, Didyk N. Introducing progress testing in McMaster university’s problem-based medical curriculum: psychometric properties and effect on learning. Acad Med. 1996; 71(9):1002–1007.
• ⁶
  Van der Vleuten CPM, Schuwirth LWT, Muijtjens AMM, Thoben A, Cohen-Schotanus J, van Boven CPA. Cross institutional collaboration in assessment: A case on progress testing. Med Teach 2004; 26(8):719–725.
• ⁷
  Nouns ZM, Georg W. Progress testing in German speaking countries. Medical Teacher 2010; 32(6):467-70.
• ⁸
  Friedman-Ben DM, Hunter I, Harden R. Introduction of a progress test as a tool for defining core undergraduate curriculum. Educación Médica 2001; 4:97–99.
• ⁹
  Coombes L, Ricketts C, Freeman A, Stratford J. Beyond assessment: feedback for individuals and institutions based on progress test. Med Teach 2010; 32(6):486-490.
• ¹⁰
  Verhoeven BH, Verwijnen GM, Scherpbier AJJA, van der Vleuten CPM. Growth of medical knowledge. Med Educ. 2002; 36(8):711-717.
• ¹¹
  Tomic ER, Martins MA, Lotufo PA, Benseñor IM. Progress testing: Evaluation of four years of application in the school of Medicine, University of São Paulo. Clinics 2005; 60(5):389-96.
• ¹²
  Maffei CML, Troncon LEA. Progress testing in a traditional medical school. In: Association for Medical Education in Europe (AMEE), Malaga–Espanha. Book of Abstracts for the AMEE Conference 2009. p.S189.
• ¹³
  Conselho Federal de Medicina. CFM reafirma apoio à avaliação de estudantes por meio de testes de progresso. CFM, 14/11/2012. Disponível em: http://portal.cfm.org.br/index.php?option=com_content&view=article&id=23390%3Acfm-reafirma-apoio-a-avaliacao-de-estudantes-por-meio-de-testes-de-progresso&catid=3%3Aportal&Itemid=1 Acesso em 24.jan.2019
  » http://portal.cfm.org.br/index.php?option=com_content&view=article&id=23390%3Acfm-reafirma-apoio-a-avaliacao-de-estudantes-por-meio-de-testes-de-progresso&catid=3%3Aportal&Itemid=1
• ¹⁴
  Lampert JB, Bicudo AM. 10 Anos de Diretrizes Curriculares Nacionais dos cursos de graduação em Medicina. Rio de Janeiro/RJ: Associação Brasileira de Educação Médica, 2014.
• ¹⁵
  Conselho Federal de Medicina. I ENCM 2014: Brasil multiplica número de escolas médicas e a qualidade no atendimento é ameaçada. CFM, 20/03/2014. Disponível em: http://portal.cfm.org.br/index.php?option=com_content&id=24570:brasil-multiplica-numero-de-escolas-medicas-e-a-qualidade-no-atendimento-e-ameacada Acesso em 01.abr.2019.
  » http://portal.cfm.org.br/index.php?option=com_content&id=24570:brasil-multiplica-numero-de-escolas-medicas-e-a-qualidade-no-atendimento-e-ameacada
• ¹⁶
  Van der Vleuten C, Freeman A, Collares CF. Progress test utopia. Perpect Med Educ. 2018; 7(2):136-138.
• ¹⁷
  Freeman A, van der Vleuten C, Nouns Z, Ricketts C. Progress testing internationally. Med Teach. 2010; 32(6):451-455.
• ¹⁸
  Ricketts C, Freeman A, Pagliuca G, Coombes L, Archer J. Difficult decisions for progress testing: how much and how often? Med Teach. 2010; 32(6):513-515.
• ¹⁹
  Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv in Health Sci Educ. 2016; 21(1):221-234.
• ²⁰
  Norman G, Neville A, Blake JM, Mueller B. Assessment steers learning down the right road: impact of progress testing on licensing examination performance. Med Teach 2010; 32(6):496-499.
• ²¹
  Matsuyama Y, Muijtjens AMM, Kikukawa M, Stalmeijer R, Muramaki R, Ishikawa S, Okazaki H. A first report of East Asian setudents’ percepction of progress testing: a focus group study. BMC Med Educ. 2016; 16(1):245.
• ²²
  Neeley SM. Ulman CA, Sydelko BS. Borges NJ. The value of progress testing in undergraduate medical education: a systematic review of the literature. Med Sci Educ. 2016; 26(4):617-622.

Datas de Publicação

• Publicação nesta coleção
  14 Out 2019
• Data do Fascículo
  Oct-Dec 2019

Histórico

• Recebido
  2 Abr 2019
• Aceito
  13 Maio 2019