Teste de Progresso como ferramenta de intervenção curricular na implementação de um curso de Medicina

Progress Test as a curricular interventional tool in the implementation of a medical course

Resumo:

Introdução:

O Teste de Progresso (TP) é uma modalidade de avaliação longitudinal composta por questões de múltipla escolha que permite a avaliação do estudante com realização do feedback individual e a análise do processo de ensino-aprendizagem institucional. O presente estudo relata a experiência do uso do TP como ferramenta de gestão e aprendizado na implementação de um curso de Medicina de currículo integrado e baseado em metodologias ativas.

Relato de experiência:

Desde 2014, o curso de Medicina de uma capital do país utiliza o TP como ferramenta de avaliação para estimular a autonomia do estudante, baseado em seu desempenho longitudinal, possibilitar ao docente a reflexão e ação adequadas ao processo de ensino-aprendizagem e fornecer elementos significativos para a tomada de decisão institucional relacionada à adequação curricular e à implementação do curso. Com diversas estratégias, como a formação de uma Comissão de Avaliação do Estudante e do Curso (Caec), oficinas com professores e estudantes e consórcios interinstitucionais, os atores que compõem o curso refletem seu papel na consolidação do conhecimento para o futuro profissional médico e se engajam nesse processo em diferentes momentos e de diferentes formas.

Discussão:

O TP é uma ferramenta com potenciais e limites que devem considerar a segurança, a confiabilidade e validade da avaliação, utilizando-se de estratégias qualificadoras, incluindo o ambiente virtual. O TP possibilita a autodeterminação e o autoaperfeiçoamento do estudante, do docente e do curso ao estabelecer comparações entre médias de desempenho longitudinais dos discentes em diversos estágios de aprendizado e instituições.

Conclusão:

A experiência demonstrou a importância do TP como ferramenta de avaliação e trouxe vantagens e benefícios na implantação do curso e orientação de intervenções para a melhoria do processo de ensino-aprendizagem.

Palavras-chave:
Avaliação Educacional; Aprendizagem; Aquisição de Conhecimento

Abstract

Introduction:

The Progress Test (PT) is a longitudinal assessment modality composed of multiple-choice questions and allows the assessment of the student with individual feedback and the analysis of the institutional teaching-learning process. The present study aims at reporting the experience of using the progress test as a management and learning tool in the implementation of a medical course with an integrated curriculum based on active methodologies.

Experience report:

Since 2014, a medical school in a capital of the country uses the PT as an assessment tool to stimulate student autonomy, based on their longitudinal performance, allowing the teacher to reflect on and take the appropriate actions aimed at the teaching and learning process and providing significant elements for institutional decision-making related to curricular adequacy and course implementation. Using several strategies, such as the formation of a student and course evaluation committee (CAEC), workshops with teachers and students and inter-institutional consortia, the actors that make up the course reflect on their role in consolidating knowledge for the future medical professional and engage in this process at different times and in different ways.

Discussion:

The progress test is a tool with potentials and limits that must consider the safety, reliability and validity of the evaluation, using qualifying strategies, including the virtual environment. The PT enables the students, the faculty and the course self-determination and self-improvement by establishing comparisons between longitudinal performance averages of students at different stages of learning and institutions.

Conclusion:

The experience demonstrated the importance of the PT as an evaluation tool, brought advantages and benefits in the course implementation and guidance on interventions aimed at improving the teaching-learning process.

Keywords:
Educational Evaluation; Learning; Knowledge Acquisition

INTRODUÇÃO

O Teste de Progresso (TP) é uma avaliação longitudinal realizada periodicamente por meio de questões de múltipla escolha (QME)¹. Foi introduzido nos anos 1970 pelas Universidades de Maastricht e Missouri num contexto de reflexão e mudança das metodologias de ensino e de avaliação^2),(3.

Desde então, o TP foi incorporado a um número crescente de escolas em todos os continentes^2),(3. Em 2014, a Associação Brasileira de Educação Médica (Abem) implementou ações de fortalecimento da educação médica de modo a ampliar o TP⁴. Em 2019, 40% das escolas médicas realizaram essa avaliação, e atualmente em torno de 200 instituições participam por meio de 18 núcleos ou consórcios interinstitucionais no Brasil⁵.

Realizado anualmente, o TP é composto por 120 QME divididas em cinco grandes áreas (clínica, pediatria, cirurgia, tocoginecologia e saúde pública). Trata-se de questões que integram conhecimentos básicos e aplicados, incluindo bioética³.

Dentro de uma nova filosofia educacional, a problem-based learning (PBL) surge como proposta de metodologia ativa que reestrutura o processo de ensino-aprendizagem em várias escolas, com foco no estudante ativo e participativo^2),(6. Além disso, a metodologia de avaliação torna-se parte do processo e precisa ser repensada de modo a proporcionar elementos para o autoaperfeiçoamento do estudante^5),(6.

As avaliações por meio de QME sempre foram amplamente utilizadas durante a graduação. As QME permitem a elaboração de um grande número de questões que abrangem diferentes conteúdos, podem ser administradas em um período relativamente curto de tempo e possibilitam a correção dos gabaritos com o auxílio de programas computacionais^1),(6. Apesar de esse tipo de avaliação ser um método limitado, principalmente no que se refere a habilidades e atitudes, é um componente crítico do processo de ensino-aprendizagem e, quando usado corretamente, pode ter um importante papel para atingir os objetivos curriculares desejados^3),(6.

Entretanto, o TP possui características distintas da avaliação habitual por meio de QME: utiliza questões relacionadas aos objetivos finais de aprendizagem do curso que são aplicadas a todos os estudantes do programa desde o primeiro ano, de forma igualitária e em intervalos regulares durante todo o curso. Com essas características, o TP permite uma avaliação mais aprofundada em relação ao ganho de conhecimento de forma longitudinal durante toda a formação e a aquisição dos objetivos de aprendizagem do curso^2),(3.

Além disso, a forma como o feedback é executado também preenche as necessidades em relação à percepção de lacunas e dificuldades e serve como instrumento para o docente, o discente e a instituição estabelecerem estratégias de condução do processo de ensino-aprendizagem^3),(6.

O TP consiste em uma ampla ferramenta que cumpre as funções diagnóstica e formativa⁵. Embora ainda não seja frequente, pode ser utilizada também como avaliação somativa, por apresentar o resultado em porcentagens ajustadas de acordo com o período do curso e as competências esperadas para o estágio⁴.

O TP vem sendo utilizado como importante ferramenta de análise do currículo, objetivos de aprendizagem, avaliação docente e institucional quando os dados são analisados comparativamente a outras instituições e de maneira contínua^3),(4.

Objetivo

Este artigo relata a experiência do uso do TP como ferramenta de gestão e aprendizado na implementação de um curso de Medicina de currículo integrado e baseado em metodologias ativas.

METODOLOGIA

Trata-se de um relato de experiência desenvolvido com professores e alunos do curso de Medicina das Faculdades Pequeno Príncipe (FPP), na cidade de Curitiba, no Paraná.

O curso de Medicina das FPP iniciou sua primeira turma em julho de 2014. Em seu planejamento, apresentava como base o uso exclusivo de metodologias ativas de ensino (incluindo principalmente a PBL) em diferentes unidades curriculares que compunham um currículo integrado.

Os temas e as competências de aprendizagem foram definidos pelas Diretrizes Curriculares Nacionais (DCN) e distribuídos ao longo de seis anos, sendo os dois últimos dedicados ao internato (estágio curricular obrigatório para os cursos de Medicina).

Em 2015, a instituição participou pela primeira vez do TP com as três turmas (150 estudantes) existentes na ocasião. A partir disso, a instituição passou a participar todos os anos sempre com número crescente de estudantes que foram sendo incorporados até completar os seis anos do curso. Anualmente, a instituição indica diferentes professores que atuam na etapa de elaboração de QME e participam das oficinas de avaliação e seleção das questões e de qualificação do teste, enquanto os discentes são constantemente estimulados a aderir à proposta.

Em 2020, não houve TP por conta da situação pandêmica. Em 2021, a instituição participou do TP Nacional, realizado em plataforma on-line por causa da necessidade de manter o distanciamento social imposto pela pandemia da coronavirus disease 2019 (Covid-19), com consórcios de todo o país.

A FPP participa do Núcleo de Apoio Pedagógico Interinstitucional Sul II (Napisul II), composto por 13 instituições, entre públicas e privadas, com metodologias tradicionais ou ativas, do Paraná e de Santa Catarina.

As atividades a serem relatadas referem-se a todas as etapas desde o início do curso, nas quais se utilizou o TP para auxiliar na gestão, implementação e avaliação do curso de Medicina.

• Etapa 1 - Avaliações do TP como ferramenta avaliativa na Caec: Desde o início, o processo avaliativo foi uma preocupação constante na instituição, motivo pelo qual se criou já no primeiro semestre do curso uma Comissão de Avaliação do Estudante e do Curso (Caec). O intuito da Caec é promover estudos, oficinas e educação continuada e permanente para todo o corpo docente em relação a diversas formas de avaliação, assim como estabelecer os padrões de avaliação institucional do curso. Assim, além das questões avaliativas institucionais internas, o TP também passou a ser acompanhado e interpretado por essa comissão. Os docentes pertencentes à Caec participam do processo de elaboração do TP em parceria com o consórcio, organizam a execução do teste dentro da instituição com conscientização dos estudantes e posteriormente realizam a análise dos resultados e gráficos gerados.

• Etapa 2 - Atividades da semana pedagógica dos docentes: Palestras, oficinas e grupos de trabalho relacionados ao TP são realizados desde então no início de cada semestre, durante a semana pedagógica, para treinamento continuado e melhoria na qualidade das diferentes formas de avaliação utilizadas pela instituição. Além disso, os docentes discutem e analisam os ajustes dos objetivos de aprendizagem e planejamento das atividades a serem desenvolvidas em cada unidade curricular.

• Etapa 3 - Adesão dos estudantes: A estratégia para melhorar a adesão dos discentes ao longo dos anos envolve lideranças estudantis e docentes que são convidados a participar da divulgação e sensibilização dos pares, em mídias sociais, eventos e abordagem direta em salas de aula de todos os semestres da graduação. As devolutivas dos resultados obtidos pela instituição em comparação à média das demais instituições do consórcio são fornecidas anualmente aos estudantes como forma de motivar a participação deles. A instituição passou a bonificar também com pontuação na unidade curricular vigente aqueles estudantes que participam do TP e com pontuação mais expressiva os que ficam com média acima da média de sua turma. Dessa forma, temos tido adesão significativa dos estudantes (Tabela 1), o que contribui para melhor análise dos resultados.

• Etapa 4 - Utilização das questões do TP em outras etapas avaliativas: Em nossa instituição, as questões do TP são utilizadas no período pré-internato, nas avaliações teóricas curriculares, em provas de múltipla escolha. Para o internato, o TP passou a ter caráter também somativo desde 2018. A avaliação teórica é realizada no segundo semestre por meio do TP Externo - promovido pelo consórcio Napisul 2 - e no primeiro semestre por meio de um TP Interno - planejado, elaborado e aplicado por professores e supervisores que compõem o corpo docente do internato. A partir da primeira turma do internato, essa avaliação passa a fazer parte do portfólio de ferramentas que compõem a nota final do internato.

• Etapa 5 - Ajustes curriculares baseados no TP: A partir da análise das questões, das oficinas com docentes e das devolutivas com docentes e discentes, algumas alterações e adequações foram feitas no currículo.

Tabela 1
Adesão dos estudantes ao Teste de Progresso

Adesão	2017	2018	2019	2020	2021	2022
1o período	97,9	98,1	88,2	-------	88	100
2o período	100	96,2	64	-------	68	84,6
3o período	72,9	97,8	89,1	-------	94	96,2
4o período	96,6	94	98	-------	80	76,6
5o período	95,7	71,4	90,9	-------	94	100
6o período	93,6	91,5	81,3	-------	75	91,6
7o período	86,3	83,3	66	-------	90	90
8o período	-------	95,9	85,4	-------	96	60,7
9o período	-------	100	100	-------	100	100
10o período	-------	-------	100	-------	100	100
11o período	-------	-------	97,9	-------	100	100
12o período	-------	-------	-------	-------	100	98
TOTAL	91,9	92	87,3	-------	91	91,6

• Fonte: Elaborada pelos autores.

RESULTADOS E DISCUSSÃO

A etapa 1 foi um importante passo para a aquisição das habilidades necessárias para que o TP pudesse efetivamente ser utilizado como ferramenta de gestão auxiliar na implantação do curso.

Nessa etapa, os resultados do TP são amplamente discutidos com estudantes em várias instâncias colegiadas e com os docentes de modo a analisar os resultados e planejar as intervenções necessárias para possibilitar o alcance dos objetivos de aprendizagem previstos pelas DCN e definidos no currículo do curso.

A análise dos resultados e gráficos é feita por equipe formada por docentes representantes do TP, pela coordenação do curso e pelos estatísticos. Por meio dessas análises dos resultados, a instituição acompanha o ganho de conhecimento dos estudantes ao longo do curso que tem se mostrado crescente. Essa análise é feita por meio de gráficos comparativos entre os períodos e entre as médias dos mesmos períodos de outras instituições do consórcio.

O modelo de currículo utilizado pela instituição proporciona um desafio e uma grande oportunidade para a elaboração do TP, já que prescinde da integração dos temas e da abordagem ampla que interligue objetivos de aprendizagem de diversos estágios do curso.

Assim, essa etapa tem se mostrado uma base de apoio importante para a gestão do curso, sendo o TP uma das ferramentas utilizadas por essa comissão.

Os grupos de trabalhos e as oficinas realizadas na etapa 2 habilitam os docentes que fazem uma análise crítica das questões e com isso conseguem fornecer um feedback formativo aos discentes, com explicações e esclarecimentos de dúvidas, contribuindo de forma importante para uma aprendizagem significativa. A abordagem das questões nos momentos de aula é sistematicamente utilizada como estratégia de ensino e bastante valorizada, já que são elaboradas a partir de uma perspectiva construtivista que integra conhecimentos e se alinha à proposta curricular do curso.

Nas oficinas, um feedback sobre as questões e os resultados também é fornecido de forma rotineira para professores e estudantes. Esse feedback individual e coletivo é realizado no sentido de orientar ações que possam ajudar docentes e discentes a alcançar os objetivos de aprendizagem, de modo a reforçar temas de questões com desempenho inadequado dos estudantes e adequar os conteúdos de cada unidade curricular.

Por meio dessa experiência, o corpo docente passou a ter consciência da importância do processo avaliativo e engajou-se em treinamentos e construções com o olhar crítico para a elaboração de questões, além de dar a devida atenção aos objetivos da docência de proporcionar o alcance dos objetivos finais de aprendizagem do curso de Medicina.

Os aprendizados advindos da elaboração do TP, da participação em oficinas de formação e da qualificação de questões refletiram positivamente nas avaliações internas do curso. À medida que a experiência dos professores aumentava, tornava-se mais fácil a execução de avaliações com maior qualidade e capacidade discriminatória ao longo do semestre. Esse fato foi evidenciado na análise da qualidade das questões realizada por meio do método Angoff, que consiste em uma classificação quanto ao grau de dificuldade e distribuição na prova, e em uma classificação quanto ao índice de acerto e grau de discriminação dos itens elaborados.

Por esse motivo, as oficinas de elaboração de QME tornaram-se rotina anual para o desenvolvimento docente, nas quais se incluíram a elaboração, a discussão e a avaliação das assertivas e questões a partir de objetivos de aprendizagem, além de exercícios formativos de feedback e autoavaliação, baseados em evidências científicas.

Oficinas de avaliação de edições anteriores do TP também são realizadas anualmente para avaliação dos objetivos das unidades curriculares. Oficinas de blueprinting associadas a elas foram realizadas para análise do currículo.

Assim, na etapa 2, as oficinas, os grupos de trabalho e as palestras relacionadas ao TP serviram para consolidar e formalizar a utilização ampla do instrumento na implantação do curso.

Na etapa 3, a estratégia consistiu na ampla divulgação do TP e no envolvimento direto dos professores, de modo a sensibilizar os alunos a participar do TP, ressaltar os benefícios diretos e indiretos ao estudante e enfatizar o uso do TP como ferramenta dinâmica de construção de conhecimentos durante a formação acadêmica.

Os resultados obtidos com as abordagens realizadas na etapa 3 geraram uma adesão dos estudantes que em média ultrapassa 90%, conforme pode ser observado na Tabela 1, e conferiram uma confiabilidade tal ao TP que permite a compreensão profunda sobre a aquisição e retenção do conhecimento por parte dos estudantes, e valida a tomada de decisão que nele se baseia.

Assim, o engajamento dos estudantes reflete o compromisso institucional com o aprendizado deles. Os discentes reconhecem esse esforço e participam ativamente do processo avaliativo em parceria com os docentes, pois o TP promove a melhoria do aprendizado individual e o fortalecimento do ensino no curso.

Na etapa 4, a utilização de questões do TP em avaliações teóricas e de todo o teste como avaliação semestral no internato foi de notada importância na adesão dos estudantes. Temos com isso a adesão de 100% dos estudantes do internado (quinto e sexto anos) e uma excelente adesão dos demais, o que confere maior confiabilidade dos resultados na análise institucional. Essa etapa motivou também os docentes a se familiarizar com o teste para que possam utilizar as questões em suas avaliações. Os docentes participaram ativamente dos debates referentes às melhorias do currículo com base nos resultados das questões.

Na etapa 5, realizaram-se ajustes importantes relacionados à forma e ao momento em que cada tema era abordado. Esses temas foram indicados pelas comissões e implementados nos primeiros anos do curso para sua qualificação. Por exemplo, identificou-se como falha a abordagem da dengue e das emergências oftalmológicas no currículo, e ambos os assuntos foram revistos e reforçados nas unidades curriculares pertinentes.

O desempenho dos estudantes, aquém do desejado em alguns períodos e abaixo da média do consórcio, nas áreas de pediatria e ginecologia/obstetrícia nos anos de 2016 e 2017, também foi motivo de reestruturação e revisão da linha do tempo dessas áreas. O ensino clínico de pediatria foi inserido no quinto período do curso, e reorganizaram-se alguns temas de ginecologia/obstetrícia.

Na área cirúrgica, alguns temas estavam sendo abordados apenas precocemente no currículo durante o segundo período e necessitaram de reforço dos conceitos e da aplicabilidade clínica mais no final do curso, como a classificação de feridas operatórias e cirurgias quanto ao grau de contaminação. A punção de acesso venoso central também foi um tema que ganhou atenção não somente do ponto de vista teórico, mas também o treinamento dessa habilidade em simuladores foi reforçado após discussões realizadas nas oficinas docentes.

Os bons resultados dos discentes da instituição, quando comparados com as médias das demais instituições do consórcio, comprovam a consolidação do conhecimento dos estudantes ao longo do curso e reforçam as fortalezas da metodologia e do currículo integrado em promover o alcance dos objetivos de aprendizado no curso.

Até o momento, pôde-se observar que a complexidade do processo de ensino-aprendizagem se expressa na complexidade dos currículos, dos processos de ensino e de avaliação. Portanto, é importante reforçar que o processo de avaliação deve ser capaz de diagnosticar a aquisição de competências e permitir a tomada de decisão de modo a potencializar o aprendizado. Diante do uso de metodologias ativas, a avaliação deve permitir aos atores desse contexto a adoção de novas estratégias de ensino-aprendizagem⁵.

Embora o TP seja um modelo limitado³, é passível de automação⁶, como ocorreu em 2021 por força da pandemia da Covid-19, e carece de um cuidado ampliado em sua preparação que garanta a sua confiabilidade e validade. Oliveira et al.⁷ apresentam uma série de adaptações que foram realizadas na preparação para o TP Nacional, com especial atenção à segurança na realização do teste e na divulgação dos dados dos participantes.

Ranganath et al.⁸ estudaram a percepção dos estudantes sobre o uso das ferramentas on-line para a aplicação de testes de múltipla escolha e consideraram o exame suficiente para avaliação do conhecimento, desde que observados os cuidados referidos por Oliveira et al.⁷.

Entre as limitações do TP, podemos citar o fato de o processo organizacional ser complexo e depender de várias horas e atores em dedicação e agendas institucionais^3),(6, e a importância de estar alinhado aos objetivos institucionais³ e ao currículo dos cursos². Prioritariamente as instituições devem valorizar um Core Curriculum para a eleição de temas relevantes de maneira integrada e comprometida com a avaliação formativa.

O TP é um instrumento de avaliação do estudante que permite aferir a retenção do conhecimento³ por meio da medida de desempenho e de questões qualificadas que discriminam o conhecimento em vários níveis de dificuldade e aprofundamento e evitam distratores⁹. Além de permitir a avaliação, é parte do processo de aprendizado que promove a autonomia do discente a partir da autodeterminação e do autoaperfeiçoamento⁵.

As oficinas de elaboração de QME devem seguir requisitos mínimos de qualificação, partindo da definição clara de quais objetivos de aprendizagem serão avaliados e de sua relevância no contexto da formação médica e na evidência científica para sua aplicação¹⁰.

Como ferramenta de gestão acadêmica, o TP oferece a possibilidade de avaliar o curso internamente correlacionando-se o currículo, as unidades curriculares, os temas das questões e o desempenho dos estudantes. Possibilita também a avaliação externa por meio de comparação com as médias das escolas do consórcio³.

Outras avaliações relacionadas à adoção de novas estratégias metodológicas para ensino já foram realizadas em comparação com metodologias tradicionais³. No estudo de Cecílio-Fernandes et al.³, a instituição que utiliza currículo integrado e metodologia ativa de ensino com exclusividade apresenta desempenho superior a outras escolas, incluindo as que priorizam metodologias tradicionais.

CONSIDERAÇŌES FINAIS

A experiência aqui descrita mostrou-se de extrema importância como ferramenta de avaliação dos discentes, do curso e da instituição, permitindo novos aprendizados e intervenções de melhorias.

O TP trouxe importantes vantagens e benefícios na implantação do curso, na formação docente e na adequação de currículo por meio da participação da instituição desde a implantação do curso.

Com o decorrer dos anos, a participação continuada permitiu avaliar o ganho de conhecimento dos estudantes e implantar ações de melhoria no currículo e nos processos avaliativos da instituição, bem como constatar resultados satisfatórios de desempenho da instituição como um todo.

REFERÊNCIAS

• ¹
  Epstein RM. Assessment in medical education. N Engl J Med. 2007 Jan 25;356(4):387-96.
• ²
  Van der Vleuten CPM, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18:103-9.
• ³
  Cecílio-Fernandes D, Bicudo AM, Hamamoto Filho PT. Progress test as a pattern of excellence for the assessment of medical students knowledge: concepts, history and perspective. Medicina (Ribeirão Preto). 2021;54(1):e-173770.
• ⁴
  Guaraná CVPS, Duque TB, Lima TRM. Desempenho no teste de progresso e coeficiente são preditores da aprovação na residência médica? Medicina (Ribeirão Preto) . 2022;55(2):e-182110.
• ⁵
  Laluna MCMC, Ferraz CA. Finalidades e função da avaliação na formação de enfermeiros. Rev Bras Enferm. 2007;60(6):641-5.
• ⁶
  Olayemi E. Multiple choice questions as a tool for assessment in medical education. Ann Biomed Sci. 2013;12(1):15-23.
• ⁷
  Oliveira SS, Postal EA, Afonso DH, Merss CE, Cyrino EG, Abreu Junior AF, et al. Teste de Progresso da Abem: consolidando uma estratégia de avaliação para o ensino médico. Rev Bras Educ Med. 2022;46(1):e-061.
• ⁸
  Ranganath R, Rajalaksmi C, Simon MA. Medical student’s perceptions of e- assessment: multiple choice questions used as a tool of assessment for preclinical years. J Med Educ. 2017;16(1):35-43.
• ⁹
  Licona-Chavez AL, Boehringer PKM, Velazquez-Liano LR. Quality assessment of a multiple choice test though psychometric properties. MedEdPublish. 2020;9(91):1-17.
• ¹⁰
  Salam A, Yousuf R, Abu Bakar SM. Multiple choice questions in medical education: how to construct high quality questions. International Journal of Human and Health Sciences. 2020;4(2):79-88.

• 2
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos não haver financiamento.

Editado por

Editor: Valdes Roberto Bollela.

Datas de Publicação

• Publicação nesta coleção
  27 Mar 2023
• Data do Fascículo
  2022

Histórico

• Recebido
  19 Set 2022
• Aceito
  15 Nov 2022