Reflexões sobre a utilização do Teste de Progresso na avaliação programática do estudante

Resumo:

Introdução:

O Teste de Progresso (TP) constitui modalidade estabelecida e bem-sucedida de avaliação de conhecimentos do estudante das profissões da saúde, principalmente os de Medicina, com potencial de contribuir substancialmente para as finalidades formativa e informativa (controle de qualidade e indicação de melhoria nos processos de ensino e aprendizagem). Adicionalmente, o TP apresenta características adequadas à sua inclusão em sistemas institucionais de avaliação que privilegiem a finalidade formativa, como a avaliação programática (AP), mas que cumprem também a somativa. Nas escolas que vêm definindo ações visando à introdução da AP em seus cursos de graduação, é necessária a reflexão sobre as fortalezas e limitações da utilização do TP no sistema de avaliação.

Desenvolvimento:

A partir das considerações de um grupo de trabalho representativo de toda a instituição, incumbido de propor meios de introdução da AP em um novo currículo para o curso de Medicina, contando com assessoria internacional com experiência tanto no TP como na AP, elaborou-se reflexão sobre esse tema, baseada na experiência dos autores e em dados da literatura. Propõe-se que, dentro da perspectiva longitudinal da AP, o TP constitua um dos pilares na avaliação de conhecimentos. O TP pode servir de base para acompanhamento do estudante, no contexto da sua turma (coorte), e seus resultados devem ser discutidos com o mentor que o acompanha e lhe dá suporte. O TP deve ter também papel central na gestão, como fonte de informações para eventual revisão e qualificação do currículo e das suas atividades de ensino e aprendizagem. É previsível que a utilização do TP na AP traga diferentes desafios e barreiras, que serão mais facilmente superados se houver na instituição experiências já consolidadas de aplicação de exames institucionais e de desenvolvimento docente para a elaboração de questões objetivas de boa qualidade.

Conclusão:

A efetividade do TP dentro do sistema institucional de AP vai depender de medidas que visem aumentar a sua efetividade na avaliação e que estimulem a participação ativa do estudante, refletindo sobre seu desempenho no TP, com o apoio do seu mentor, de modo a se engajar em ações que fomentem a autorregulação da aprendizagem.

Palavras-chave:
Avaliação Educacional; Teste de Progresso; Educação Médica

Abstract:

Introduction:

The Progress Test (PT) is a well-established and mostly successful modality of student knowledge assessment in the health professions, mainly those in the medical area, with the potential to contribute substantially to the formative and informative purposes (quality control and indication of improvement in the teaching-learning processes). Additionally, the PT has characteristics that are adequate for its inclusion in institutional evaluation systems that facilitate the formative purpose, such as programmatic assessment (PA), but that also meet the summative purpose. In schools that have defined actions aimed at introducing PA in their undergraduate courses, it is necessary to reflect on the strengths and limitations of using PT in the evaluation system.

Development:

based on the considerations of a working group representative of the entire institution, tasked with proposing means of introducing PA in a new curriculum for the medical course, with international advice with experience in both PT and PA, we generated a reflection on this topic, based on the authors’ experience and data from the literature. It is proposed that, within the longitudinal perspective of the PA, the PT constitutes one of the pillars in the assessment of knowledge. The PT can be used as a basis for monitoring the students, in the context of their class (cohort), and its results should be discussed with the mentors who accompanies and supports them. The PT must also play a central role in management, as a source of information for eventual review and qualification of the curriculum and its teaching-learning activities. It is predictable that the use of the PT in PA will bring different challenges and barriers, which will be more easily overcome if the institution has already consolidated experiences in the application of institutional exams and in faculty development for the production of good quality objective questions.

Conclusion:

the effectiveness of the PT within the institutional PA system will depend on measures aimed at increasing its effectiveness in the assessment and that encourage the student’s active participation, reflecting on their performance in the PT, with the support of their mentor, aiming to engage in actions that encourage learning self-regulation.

Keywords:
Educational Measurement; Student Assessment; Progress Test; Undergraduate Medical Education

INTRODUÇÃO

O Teste de Progresso (TP) constitui modalidade de avaliação de conhecimentos aplicada institucionalmente a todas as turmas de um curso, no mesmo horário. Compõe-se de questões objetivas contextualizadas, com conteúdos e nível de complexidade ajustados ao estudante prestes a se graduar^1)-(5.

O TP constitui importante instrumento de avaliação e controle da qualidade das atividades de ensino-aprendizagem do currículo, permitindo verificar o nível de conhecimento dos estudantes de cada turma, especialmente daqueles que estão concluindo o curso^1)-(5. Permite ainda verificar, pelas sucessivas aplicações, o progresso na aquisição de conhecimentos, no plano individual e no das várias coortes^1)-(5. Essa informação auxilia estudantes e gestores do currículo a identificar fortalezas e fragilidades na aprendizagem nos domínios cognitivos e de raciocínio clínico, tomada de decisão, manejo diagnóstico e terapêutico, promoção, proteção e reabilitação da saúde. Os resultados das provas sequenciais ajudam o estudante a fazer a autoavaliação e acompanhar a evolução do seu desempenho, contribuindo para a autorregulação da aprendizagem e para a finalidade formativa da avaliação^1)-(5.

Recentemente, tem sido crescente o interesse das escolas médicas na implantação em seus cursos da avaliação programática (AP) do estudante. A AP constitui maneira inovadora de praticar a avaliação do estudante, visando melhor cumprir as suas finalidades, mas favorecendo fortemente o escopo formativo^6)-(8. A AP é praticada por meio diferentes instrumentos, de acordo com as recomendações de boas práticas, sob coordenação centralizada e responsabilidade institucional bem definida⁸.

Muitas das escolas precursoras na implantação da AP foram também pioneiras na introdução do TP^1),(3) e o utilizam como importante fonte de obtenção de informações sobre o desempenho do estudante no domínio cognitivo. Na última década, a Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRP-USP) tem investido intensamente no aprimoramento da avaliação educacional no âmbito dos seus sete cursos de graduação. Esse investimento tomou forma na criação, em 2014, do seu centro de avaliação do ensino de graduação, que rege institucionalmente a avaliação da qualidade das disciplinas e dos estágios dos cursos e a avaliação do estudante. Em 2016, foi criado o centro de desenvolvimento docente para o ensino, que, entre as suas diferentes atividades, tem as que se enquadram em uma linha de trabalho específica, voltada à capacitação dos professores, visando à implantação futura da AP. Em 2018, a meta de introduzir a AP nos cursos de graduação foi incluída no projeto acadêmico da instituição, no âmbito do planejamento estratégico plurianual.

O movimento institucional, com o propósito de reestruturar o currículo do curso de graduação em Medicina da FMRP-USP, iniciado em 2020, proveu a oportunidade ímpar para mudanças na avaliação do estudante dentro dos princípios da AP. Nas discussões desse tema, propôs-se incluir o TP entre os principais instrumentos a serem empregados na obtenção de informações sobre o desempenho do estudante. A aceitação dessa proposta trouxe a demanda da reflexão sobre vantagens, limitações e desafios relacionados ao papel do TP na AP.

Este artigo tem como objetivo divulgar as reflexões que tomaram forma a partir das discussões que envolveram inúmeros professores, os quais compuseram um grupo representativo de toda a instituição, que contou com a assessoria de professoras de uma escola pioneira tanto na introdução do TP¹ como da AP⁶ e teve o respaldo da literatura internacional.

História sucinta e difusão do Teste de Progresso

O TP vem sendo utilizado em todo mundo a partir do seu emprego pioneiro, nos anos 1980, na Kansas City Medical School (Estados Unidos)⁹ e na atual Universidade de Maastricht (Holanda)¹, em currículos fundamentados na aprendizagem baseada em problemas.

No Brasil, o TP começou a ser empregado, ainda no século passado, na Faculdade de Medicina da Universidade de São Paulo (USP) e no curso de Medicina da Universidade Estadual de Londrina (UEL), no Paraná^4),(5. Em 2005, graças ao empenho da professora Angélica Maria Bicudo, da Faculdade de Ciências Médicas da Universidade Estadual de Campinas (Unicamp), foi formado o primeiro consórcio brasileiro para a aplicação do TP aos estudantes de nove escolas médicas das regiões Sudeste e Sul^4),(5, ao qual a FMRP-USP logo aderiu. A experiência bem-sucedida desse consórcio inspirou iniciativas em outras regiões do país, até a concretização da proposta de realização do TP em todas as escolas médicas do Brasil pela Associação Brasileira de Educação Médica (Abem)⁴. Em 2021, em recente aplicação do TP nacional da Abem, participaram 48.496 estudantes, de 130 escolas médicas, o que resultou em 18 consórcios de TP nas diferentes regiões do Brasil, congregando 182 escolas médicas¹⁰.

Atualmente, esses 18 consórcios que se mantêm ativos congregam 220 escolas e representam um universo de cerca de 50 mil estudantes, o que caracteriza uma estratégia muito bem-sucedida¹¹.

Essa difusão tem contribuído para aperfeiçoar a cultura avaliativa no âmbito da educação médica brasileira, como também para aumentar o conhecimento sobre o TP e o significado dos seus achados, além de ensejar outras aplicações inovadoras, como demonstram os artigos de coletânea recentemente publicada pela Revista Brasileira de Educação Médica¹².

No exterior, são inúmeros os países, dos vários continentes, em que a introdução do TP foi bem-sucedida em escolas médicas, além dos registros da sua utilização em programas de formação de especialistas médicos e em outros cursos da área da saúde, como Enfermagem, Farmácia, Medicina Veterinária e Odontologia¹³.

Características e funcionamento da avaliação programática

Na AP, o uso articulado e organizado de instrumentos variados, sob supervisão centralizada, cumpre predominantemente a finalidade formativa da avaliação do estudante, mas fornece também dados sobre o seu desempenho nos vários domínios da aprendizagem e em relação às várias competências que os objetivos curriculares determinam^6)-(8. Esses dados podem ser “triangulados” e fornecer informações robustas que dão subsídio às tomadas de decisão de natureza somativa^6),(7. Estas devem privilegiar a remediação e não, simplesmente, o binômio aprovação-reprovação. Essas decisões são de responsabilidade de instância institucional e não somente das unidades curriculares (disciplinas, módulos e estágios) ^(6)-(8.

A prática da AP contribui para mudar os paradigmas que regem a avaliação do estudante. A Figura 1 mostra os pontos principais dessa mudança, saindo do modelo de avaliação da aprendizagem e caminhando para a avaliação para a aprendizagem, uma das metas da AP^6)-(8.

Figura 1
Comparação das características principais da avaliação tradicional (atual) e da proposta de avaliação programática (futura).

Na avaliação mais tradicional do estudante de Medicina, predominam exames e provas com mais foco no domínio cognitivo no âmbito das unidades curriculares, em geral ao final das suas atividades, com a finalidade exclusiva de tomar decisões sobre aprovação ou reprovação. Alguns desses eventos têm forte impacto sobre o estudante, sendo denominados high stakes¹⁴. Na AP, ao contrário, devem predominar, com maior frequência e continuidade, avaliações mais abrangentes, focalizando não só os conhecimentos, mas, preferencialmente, as habilidades clínicas e procedimentais, e as competências no seu domínio afetivo-comportamental^6)-(8. Deve, também, predominar na AP a finalidade formativa das avaliações, visando contribuir para a aprendizagem e o desenvolvimento do estudante, por meio de devolutivas de boa qualidade, que devem envolver e engajar o estudante^6)-(8. As informações obtidas nessas avaliações contribuem também para as decisões de caráter somativo, mas com peso reduzido e de menor impacto na vida do estudante do que aqueles do tipo high stakes, sendo então denominados de low stakes¹⁴.

O estudante participa ativamente da AP, sendo o alvo das várias devolutivas que recebe, como também da gestão de alguns eventos avaliativos, sobretudo nas atividades clínicas, e, principalmente, fazendo registros das suas atividades e exercitando a reflexão e a autoavaliação em seu portfólio individual, apoiado pelo seu mentor^6)-(8.

Uma proposta de introdução da AP em que o TP constitua um componente importante

Para a efetiva introdução da AP em um currículo de um curso de graduação nas profissões da saúde, é necessário elaborar um programa de avaliação do estudante que, entre outros objetivos, descreva detalhadamente os seus principais componentes. O Quadro 1 apresenta, como exemplo, medidas propostas para introduzir os principais componentes na implementação da AP na FMRP-USP.

Quadro 1
Exemplo de medidas para introduzir os principais componentes de um programa de avaliação baseado nos princípios da avaliação programática para um currículo de curso de Medicina, incluindo o Teste de Progresso.

PROPOSIÇÕES
• Organizar os eventos avaliativos e, em especial, tomar decisões associadas à finalidade somativa. Essas ações passam a ser responsabilidades da instituição e não somente dos coordenadores das unidades curriculares (disciplinas, módulos, estágios).
• Criar núcleos ou centros institucionais de avaliação nas diferentes etapas do curso, como instâncias centralizadas de gestão dos eventos avaliativos e de análise integradas dos seus resultados.
• Criar comitês de tomada de decisão para as diferentes etapas do curso, com recomendação de privilegiar a remediação de aspectos deficientes e não simplesmente os desfechos de aprovação e reprovação.
• Adotar como referência, na organização dos eventos avaliativos, análise dos dados obtidos e de tomadas de decisão, e os três principais domínios da formação (cognitivo, clínico-procedimental e afetivo-comportamental).
• Planejar a ocorrência frequente de eventos avaliativos low stakes com finalidade formativa, em todos os semestres, cobrindo os três principais domínios da formação.
• Investir na utilização uniforme, nas várias áreas de formação, de métodos consagrados de avaliação, seguindo as recomendações de boas práticas no seu emprego.
• Organizar calendário com momentos predefinidos para a realização das avaliações somativas das unidades curriculares, para evitar a competição entre elas e as atividades de ensino-aprendizagem e diminuir o efeito de retenção fugaz na aprendizagem.
• Organizar menor número de exames somativos high stakes voltados aos conhecimentos e às habilidades clínicas e procedimentais em dois momentos estratégicos do curso (meio e final do curso).
• Incluir o TP entre os principais eventos avaliativos formais a serem considerados no programa, para o domínio cognitivo.
• Acoplar o programa de avaliação a esquema de mentoria, que tenha como meta o desenvolvimento da capacidade de reflexão e autoavaliação do estudante, utilizando portfólio reflexivo e a interação com o mentor.

• Fonte: Elaborado pelos autores.

Para maior efetividade da avaliação no novo paradigma, é essencial que as ações do programa de avaliação se articulem com atividades de um eixo curricular de desenvolvimento pessoal e profissional, contendo atividades regulares próprias de um programa de mentoria, com uso extensivo de um portfólio eletrônico reflexivo, que medeie a interação de cada estudante com o seu mentor^6)-(8. Esse portfólio deve contemplar a autoavaliação do estudante e as suas reflexões em diferentes momentos, servindo, também, de repositório das informações quantitativas e qualitativas pertinentes à avaliação de cada estudante, registradas ao longo de todo o curso^6)-(8.

O papel do TP em um programa de avaliação baseado nos princípios da AP

A proposta apresentada prevê que, diferentemente do que ocorre na maioria das escolas brasileiras que aplicam o TP^4),(5),(10, este constitua um elemento importante do programa de avaliação (Quadro 1), com a participação compulsória de todos os estudantes e os resultados obtidos registrados nos portfólios individuais. Isso facilitará que cada estudante acompanhe a progressão do seu desempenho. Os resultados serão analisados no geral e em cada área da formação, estimulando, dessa maneira, a autorregulação da aprendizagem. Isso será potencializado pela interação do estudante com seu mentor, nos processos de reflexão e de autoavaliação do desempenho.

Os dados obtidos no TP, para cada estudante, serão levados em conta, com outras informações da avaliação de desempenho e de atitudes, nas decisões relativas à progressão ou indicação de remediação. Cada aplicação do TP permitirá a obtenção de um conjunto relativamente grande e variado de informações relevantes (Quadro 2).

Quadro 2
Informações de cada estudante que podem ser obtidas com a inclusão do Teste de Progresso em um sistema de avaliação programática.

INFORMAÇÕES
• Escore total no teste
• Escores em cada uma das áreas testadas
• Posição do estudante em relação à sua coorte
• Posição do estudante em relação ao conjunto dos participantes do mesmo período das demais escolas incluídas no teste
• Magnitude da progressão individual do estudante, em relação ao seu escore no teste anterior
• Magnitude da progressão individual do estudante, em relação ao progresso médio da sua coorte, desde o teste anterior
• Magnitude da progressão individual do estudante, em relação ao progresso médio dos participantes das demais escolas, matriculados no mesmo período, desde o teste anterior

• Fonte: Elaborado pelos autores.

Assim, as sucessivas aplicações do TP fornecerão, para cada estudante, diversos elementos low-stakes relevantes nas tomadas de decisão. Nestas, a triangulação dos resultados do TP com as avaliações realizadas nas várias unidades curriculares auxiliará na identificação de estudantes com necessidade de remediação e de áreas em que isso será necessário. Os escores globais do estudante nos TP realizados no meio e no final do curso serão utilizados como elementos high stakes, em triangulação com os exames institucionais de conhecimentos previstos nesses momentos.

Na finalidade informativa (avaliação da qualidade do currículo e de suas atividades), o TP continuará a ser importante. Adicionalmente, como a proposta está inserida na reestruturação curricular, o TP poderá constituir uma ferramenta importante para comparação do novo currículo com o anterior (atual).

Desafios e limitações previstos

A inclusão formal do TP no novo programa de avaliação do estudante, nos princípios da AP, deverá trazer contribuições positivas, mas oferecerá alguns desafios e barreiras a serem considerados, entre os quais aqueles que são apresentados e comentados sucintamente no Quadro 3.

Quadro 3
Alguns dos possíveis desafios e limitações à introdução do Teste de Progresso entre os componentes da avaliação programática.

DESAFIO OU LIMITAÇÃO	COMENTÁRIOS
Cultura de avaliação (valores, hábitos e práticas que privilegiam a avaliação somativa fragmentada)	A resistência à inclusão do TP entre os eventos formais do programa de avaliação poderá surgir tanto entre professores como entre estudantes, acostumados a considerar como relevantes somente as avaliações somativas de cada unidade curricular.
Necessidade de investimento adicional na produção de questões e na logística	No contexto da AP, seria desejável maior número de aplicações do TP a cada semestre ou ano. Conferir maior relevância institucional ao TP implica também maior cuidado com a sua qualidade das questões e com a logística das aplicações.
Maior custo financeiro	A inclusão do TP na AP poderá trazer repercussões no custo financeiro para a instituição, com necessidade de maior investimento, seja na maior participação dos professores, seja com eventual aumento do número anual de aplicações do teste.
Alinhamento dos conteúdos das questões a serem produzidas com os objetivos instrucionais das unidades curriculares locais	O TP terá maior validade se houver evidências de que a matriz de avaliação em que se baseia, tal como utilizada pelo consórcio responsável pelo teste, alinha-se com os objetivos instrucionais das unidades curriculares ou módulos do novo currículo do curso de Medicina.
Produção de questões	Com a inclusão do TP como um componente importante da AP, será necessário engajar maior número de professores na produção de questões de boa qualidade, o que demandará maior disponibilização de tempo, seja para participação em desenvolvimento docente, seja na própria elaboração de questões.

• Fonte: Elaborado pelos autores.

Atualmente, o TP é utilizado em nossa instituição nas finalidades formativa e informativa. A primeira demanda a participação e o engajamento voluntários do estudante ao refletir sobre os seus resultados e investir para que melhorem, sendo incerto o seu grau de envolvimento nesses processos. Na segunda finalidade, o TP é visto como interessando somente à gestão dos cursos e não ao conjunto dos professores. Assim, o TP tende a ser considerado como iniciativa de menor importância pelos professores e estudantes, e a proposta de incluir os resultados para a finalidade somativa, contribuindo para decisões relativas à progressão do estudante, que deverá participar compulsoriamente das aplicações, pode gerar resistências. Estas serão particularmente relevantes se a utilização do TP na finalidade somativa afastar o estudante da reflexão sobre o seu desempenho.

A aplicação do TP somente uma vez ao ano constitui importante limitação ao seu emprego como fonte de informações relevantes sobre a aquisição de conhecimentos pelos estudantes. Porém, a expansão da utilização desse teste traz desafios organizacionais, logísticos e de custo. Mesmo com uma única aplicação anual, os esforços institucionais e a demanda de investimento na logística de participação dos estudantes em um único dia são consideráveis e serão previsivelmente maiores como o desejável aumento do número de aplicações do TP no ano. Isso implica também engajar mais professores na produção de maior número de questões de boa qualidade, o que demandará maior disponibilização de tempo, seja para participação em desenvolvimento docente, seja na própria elaboração de questões.

Finalmente, restam desafios ligados à validade e à fidedignidade (confiabilidade) do TP, que foram muito bem discutidos em recente revisão⁵. Esses desafios relacionam-se, entre outros aspectos, ao grau de alinhamento entre o currículo local e a matriz de avaliação em que o TP se baseia, elaborada pelo consórcio responsável pelo teste, que precisará ser determinado. Na mesma linha, a preocupação com a validade e a fidedignidade relaciona-se à frequência de aplicações anuais e também ao número de questões por aplicação, que, no Brasil, são inferiores aos de outras instituições do exterior e, principalmente, ao que seria idealmente desejável^15)-(17. Por exemplo, em escolas holandesas e alemãs, o alinhamento entre os objetivos instrucionais do currículo e o TP (validade) é buscado com exames que chegam a ter 200 questões por aplicação, e se procura garantir a reprodutibilidade e a estabilidade dos resultados indicativos do perfil de desempenho dos estudantes (fidedignidade ou confiabilidade) com aplicações na frequência de quatro ao ano¹⁶.

DISCUSSÃO

As reflexões apresentadas são fruto de trabalho em desenvolvimento, cujo progresso poderá revelar outros aspectos. O sucesso na introdução do TP como elemento importante da AP dependerá da superação dos desafios previstos e de outros que possam surgir. Vale também considerar a existência de fatores facilitadores das mudanças pretendidas. Entre elas, está a boa reputação que o TP desfruta na instituição, especialmente entre os envolvidos na gestão do currículo e o corpo discente, que reconhece a sua contribuição ao fomento da aprendizagem. Outro fato a se considerar é que a instituição já vem aplicando exames supradisciplinares de avaliação de conhecimentos e habilidades em momentos específicos do curso, com finalidades formativa, somativa e informativa, a depender do exame e do momento de aplicação. Para isso tem havido grande investimento do centro de desenvolvimento docente da instituição, que conta com pessoal qualificado e experiência estabelecida no preparo de professores para a avaliação do estudante e, especificamente, para a tarefa de elaborar questões objetivas de boa qualidade^18),(19.

No desenvolvimento da proposta do programa institucional de avaliação do estudante, procurou-se caracterizá-lo como construção coletiva, como se recomenda para a elaboração do projeto político-pedagógico de um curso²⁰ e, especialmente, para a introdução da AP²¹. É incerto se essa intenção se concretizou, mas, na sua busca, procurou-se também investir na cultura educacional e avaliativa da instituição, sobretudo na dos professores, o que pode vir a diminuir resistências futuras.

As proposições para o novo programa de avaliação foram embasadas nos princípios e conceitos básicos da AP^6)-(8, em recomendações gerais internacionais para a avaliação do estudante^22)-(25 e naquelas para o uso de métodos específicos^14),(23. A experiência das consultoras estrangeiras e a de um dos autores desse artigo, vivenciada em outra instituição²⁶, contribuíram adicionalmente para o delineamento das proposições e reflexões.

Embora os conceitos e a prática da AP sejam relativamente recentes^6)-(8, uma revisão integrativa de 27 estudos quantitativos e qualitativos em cursos e programas das profissões da saúde em que essa modalidade de avaliação do estudante foi implantada mostrou sua efetividade no fomento à aprendizagem e ao desenvolvimento do estudante, para quem a tomada de decisões em bases mais sólidas tem papel importante²⁷. Porém, muitos dos estudos abrangidos nessa revisão assinalam que a introdução da AP pode gerar tensões no seio da comunidade educacional local²⁷.

A inclusão do TP no programa de avaliação é justificada por suas vantagens incontestáveis, que foram recentemente reafirmadas em importantes revisões da literatura publicadas no Brasil⁵ e no exterior²⁸, que são concordantes com a experiência claramente positiva da instituição, oriunda da sua participação ativa, desde há cerca de 15 anos, no primeiro consórcio brasileiro a aplicar o TP.

Em especial, a utilização sistemática do TP nas escolas médicas pode trazer benefícios claros aos estudantes, que podem aprender mais e melhor com as devolutivas e se informar sobre o seu grau de domínio cognitivo dos temas abordados em cada exame, em comparação tanto com os seus resultados anteriores e os dos seus pares, nas aplicações seriadas⁵. A gestão do curso, por sua vez, pode, a partir do desempenho dos estudantes, obter inferência sobre a efetividade do currículo em promover a aprendizagem, detectando, assim, as suas fortalezas e vulnerabilidades²⁸.

No contexto de mudanças abrangentes nas práticas de avaliação do estudante, que se pretende com a introdução de um programa baseado na AP, em que o TP tem papel relevante, é importante destacar que, além de fornecer informações relevantes para a gestão do currículo e para o estudante, pode identificar áreas em que o investimento autodirecionado no estudo e na aprendizagem é maior (avaliação formativa), e a participação regular nas sucessivas aplicações do TP pode ter outras repercussões de cunho educacional. Entre elas, está a possibilidade de contribuir para que os estudantes abandonem o hábito de somente estudar para as provas para depois esquecerem o que aprenderam (cramming-and-dumping)^29),(30, bem como enfrentem a avaliação de conhecimentos com menor nível de estresse³⁰.

Outra provável contribuição da inclusão do TP no programa institucional de avaliação do estudante é o incentivo à aprendizagem mais profunda e significativa, decorrente do uso de questões contextualizadas em situações e problemas concretos, o que desestimula o estudo voltado para a memorização e a aprendizagem superficial^5),(28. Nesse programa de avaliação, o estudante deverá ser constantemente estimulado a refletir sobre o seu desempenho e, em parceria com o seu mentor, estabelecer estratégias de manutenção ou aperfeiçoamento.

Quanto à gestão, é importante considerar que registros de participação e de desempenho no TP têm se mostrado bons indicadores do desempenho do estudante em exames futuros do tipo high stakes^5),(28),(31.

O uso exclusivamente somativo do TP apresenta limitações já assinaladas na literatura⁵ e, adicionalmente, parece ser menos efetivo para essa finalidade, resultando em escores menores e menor engajamento do estudante, conforme mostrou estudo desenhado especificamente para avaliar a inclusão do TP em um programa de avaliação configurado nos moldes da AP³². Nesse estudo, foram comparados dois cursos de Medicina, com a utilização exclusivamente somativa do teste em um deles e com a inclusão do TP na AP, com outras medidas, semelhantes ao que aqui se propõe, no outro curso³². Desse modo, mesmo com o uso somativo do teste, será importante tomar medidas que estimulem o estudante a refletir sobre os seus resultados e engajar-se no aperfeiçoamento do seu desempenho. O acoplamento do programa de avaliação com o esquema de mentoria e o estímulo à utilização pelo estudante de portfólio reflexivo pode contribuir para superar esse desafio.

CONCLUSÃO

A proposta de incluir o TP entre os procedimentos formais de um programa de avaliação do estudante no novo currículo do curso de Medicina, baseado nos conceitos e práticas da AP, considera que as características desse teste se adaptam a sistemas e programas institucionais de avaliação e podem facilitar a sua implementação. Preveem-se, porém, desafios, barreiras e limitações de ordem prática, especialmente os ligados à “cultura avaliativa” prevalente entre professores e estudantes, que tendem a considerar como relevantes somente as avaliações somativas do âmbito das unidades curriculares (disciplinas, módulos e estágios). Essas barreiras deverão ser superadas em função dos fatores facilitadores presentes na instituição, que vem discutindo a temática da avaliação há vários anos, reorganizando as suas instâncias de gestão para introduzir a AP e pelas experiências já consolidadas de participação no TP, de aplicação de exames institucionais e de desenvolvimento docente para a avaliação do estudante. De qualquer modo, a efetividade do TP dentro do sistema institucional de AP vai depender de medidas que estimulem a participação ativa do estudante, que necessitará registrar os seus resultados e ser capaz de refletir sobre seu desempenho no TP de modo a engajar-se em ações que fomentem a aprendizagem.

REFERÊNCIAS

• ¹
  van der Vleuten CPM, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18(2):103-10.
• ²
  Freeman A, van der Vleuten CPM, Nouns Z, Ricketts C. Progress testing internationally. Med Teach . 2010;32(6):451-5.
• ³
  Schurwirth L, Bosman G, Henning R, Rinkel R, Wenink A. Collaboration on progress testing in medical schools in the Netherlands. Med Teach . 2010;32(6):476-9.
• ⁴
  Bicudo AM, Hamamoto Filho PT, Abbade JF, Hafner MLMB, Maffei CML. Consortia of cross-institutional progress testing for all medical schools in Brazil. Rev Bras Educ Med. 2019;43(4):151-6.
• ⁵
  Cecílio-Fernandes D, Bicudo AM, Hamamoto-Filho PT. Teste de Progresso como padrão de excelência para avaliação de conhecimento dos alunos de medicina - conceitos, história e perspectivas. Medicina (Ribeirão Preto). 2021;54(1):e-173770.
• ⁶
  Schuwirth LWT, van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Med Teach . 2011;33(6):478-85.
• ⁷
  van der Vleuten CPM, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, et al. A model for programmatic assessment fit for purpose. Med Teach . 2012;34 (3): 205-14.
• ⁸
  Troncon LEA. Estruturação de sistemas para avaliação programática do estudante de Medicina. Rev Bras Educ Med . 2016;40(1):30-42.
• ⁹
  Arnold L, Willoughby TL. The quarterly profile examination. Acad Med. 1990;65(8): 515-6.
• ¹⁰
  Oliveira SS de, Postal EA, Afonso DH, Merss CE, Cyrino EG, Abreu Júnior A, et al. Brazilian assessment with ABEM 2021 National Progress Test. Oral presentation at the Ottawa Conference, Lyon, France; 2022.
• ¹¹
  Oliveira SS de, Postal EA, Afonso DH, Merss CE, Cyrino EG, de Abreu Junior AF, et al. Teste de Progresso da Abem: consolidando uma estratégia de avaliação para o ensino médico. Rev Bras Educ Med . 2022;46(1):e061.
• ¹²
  Palhares Neto AA, Batista NA, Diniz RVZ, Oliveira SS de, Bollela VR. Teste de Progresso: avanços e perspectivas. Rev Bras Educ Med . 2022;46(supl 1): e160. doi: https://doi.org/10.1590/1981-5271v46.supl.1
  » https://doi.org/10.1590/1981-5271v46.supl.1
• ¹³
  Green DJ, Heales CJ. Progress testing: an educational perspective exploring the rationale for progress testing and its introduction into a diagnostic radiography curriculum. J Med Imaging Radiat Sci. 2023;54:35-42.
• ¹⁴
  Norcini J, McKinley DW. Assessment methods in medical education. Teach Teach Educ. 2007;23:239-50.
• ¹⁵
  Rademakers J, Ten Cate T, Bär P. Progress testing with short answer questions. Med Teach . 2005;27(7):578-82.
• ¹⁶
  Wrigley W, van de Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues. Med Teach . 2012;34(9):683-97.
• ¹⁷
  Albanese M, Case S. Progress testing: critical analysis and suggested practices. Adv in Health Sci Educ. 2016;21(1):221-34.
• ¹⁸
  Bollela VR, Borges MC, Troncon LEA. Avaliação somativa de habilidades cognitivas: experiência envolvendo boas práticas para a elaboração de testes de múltipla escolha e a composição de exames. Rev Bras Educ Med . 2018;42(4):74-85.
• ¹⁹
  Feliciano CS, Elias LLK, Osako MK, Guimarães FS, Troncon LEA, Bollela VR. Oficina para elaboração de testes de múltipla escolha de ciências básicas aplicadas: relato de experiência. Rev Bras Educ Med . 2023; 47 (2): e067 .
• ²⁰
  Veiga IPA. Projeto político-pedagógico da escola: uma construção coletiva. In: Veiga IPA, organizadora. Projeto político-pedagógico da escola: uma construção possível. 17a ed. Campinas: Papirus; 2004. p. 11-35.
• ²¹
  van der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. 12 tips for programmatic assessment. Med Teach . 2015:37(7):641-6.
• ²²
  Wass V, van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet. 2001;357(9260):945-9.
• ²³
  Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, et al. Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach . 2011;33(3):206-14.
• ²⁴
  Norcini J, Brownell-Anderson M, Bollela V, Burch V, Costa MJ, Duvivier R, et al. 2018 consensus framework for good assessment. Med Teach . 2018,40(11):1102-9.
• ²⁵
  World Federation for Medical Education. Basic Medical Education WFME Global Standards for Quality Improvement. The 2020 Revision. Assessment. WFME; 2020 [acesso em 27 de outubro de 2022]. Disponível em: Disponível em: http://www.wfme.org
  » http://www.wfme.org
• ²⁶
  Troncon LEA. Efetividade da avaliação programática do estudante de medicina: estudo de caso baseado nas impressões de estudantes e professores de uma escola médica britânica. Rev Bras Educ Med . 2018;42(3):153-61.
• ²⁷
  Schut S, Maggio LA, Heeneman S, van Tartwijk J, van der Vleuten C, Driessen E. Where the rubber meets the road: an integrative review of programmatic assessment in health care professions education. Perspect Med Educ 2021;10:6-13.
• ²⁸
  Neeley S. The value of progress testing in undergraduate medical education: a systematic review of the literature. Med Sci Educ. 2016;26:617-22.
• ²⁹
  Coombes L, Ricketts C, Freeman A, Stratford J. Beyond assessment: feedback for individuals and institutions based on the progress test. Med Teach . 2010;32(6):486-90.
• ³⁰
  Chen Y, Henning M, Yielder J, Jones R, Wearn A, Weller J. Progress testing in the medical curriculum: students’ approaches to learning and perceived stress. BMC Med Educ. 2015;15:e147.
• ³¹
  Hamamoto-Filho PT, Lourenção PLTA, Valle AP do, Abbade JF, Bicudo AM. The correlation between students’ Progress Testing scores and their performance in a residency selection process. Med Sci Educ . 2019;29:1071-5.
• ³²
  Heeneman S, Schut S, Donkers J, van der Vleuten C, Muijtjens A. Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Med Teach . 2017;39(1):44-52.

• 2
  Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Fundação de Apoio ao Ensino, Pesquisa e Assistência (Faepa) do Hospital das Clínicas da FMRP-USP.

Editado por

Editora-chefe: Rosiane Viana Zuza Diniz. Editora associada: Maria Helena Senger.

Datas de Publicação

• Publicação nesta coleção
  17 Jul 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  08 Dez 2022
• Aceito
  31 Mar 2023