Acessibilidade / Reportar erro

Teste de Progresso: a percepção do discente de Medicina

Progress Test: the perception of the medical student

Resumo:

Introdução:

O Teste de Progresso (TP) como instrumento de avaliação na educação médica constitui-se em relevante subsídio para avaliar a eficiência do programa. Contudo, a percepção do aluno quanto ao seu desempenho e o impacto do TP na aprendizagem podem variar de acordo com contextos pessoais, educacionais, sociais e culturais.

Objetivo:

Esta pesquisa descritiva de abordagem qualitativa objetivou analisar a percepção dos estudantes do curso de graduação em Medicina de um centro universitário do noroeste paulista sobre o seu desempenho no TP, bem como o impacto dessa percepção em curto prazo sobre suas estratégias de estudo.

Método:

A amostra de conveniência foi constituída por 20 participantes após aprovação da pesquisa no Comitê de Ética em Pesquisa. Utilizou-se a técnica de grupos focais em dois momentos distintos para a coleta de dados: um grupo foi constituído por dez estudantes do quinto período, e o outro, por dez estudantes do oitavo período. A análise de dados fundamentou-se na análise de conteúdo temática descrita por Bardin et al.

Resultado:

Identificou-se que os estudantes entrevistados consideram: 1. as condições de realização do TP inadequadas; 2. o TP uma ferramenta pedagógica relevante que permite a autoavaliação e a correção das lacunas de aprendizagem, mas sugerem que seja aprimorado; 3. a participação no TP determinou sentimentos contraditórios para os estudantes, conforme o período que estão cursando.

Conclusão:

O TP é considerado pelos estudantes uma “ferramenta pedagógica” relevante. Entretanto, o impacto dos resultados de desempenho obtidos e o feedback recebidos não promoveram em curto prazo mudanças no plano de estudo dos estudantes entrevistados. A prática da autoavaliação ainda não se constitui cultura na vida acadêmica. É preciso considerar novas estratégias para a entrega do feedback formativo que permita a discussão das questões e dos resultados do curso/das turmas de forma reflexiva, de modo a potencializar o processo ensino-aprendizagem.

Palavras-chave:
Educação Médica; Aprendizagem; Avaliação Educacional; Estudantes de Medicina; Percepção

Abstract:

Introduction:

The Progress Test (PT) as an assessment tool in medical education is an important tool to evaluate the efficiency of the program. However, students’ perception of their performance and the impact of the PT on learning may vary according to personal, educational, social and cultural contexts.

Objective:

This descriptive research with a qualitative approach aimed to analyze the perception of undergraduate medical students of a University Center in northwestern São Paulo about their performance in the PT, as well as the impact of this perception in the short term on their study strategies.

Method:

The convenience sample was composed of twenty participants, after approval of the research by the Research Ethics Committee. The focus group technique was used in two different moments for data collection; one group consisted of ten fifth-period students and the other, of ten eighth-period students. Data analysis was based on content analysis, thematic modality, as described by Bardin (2011).

Results:

It was identified that the interviewed students consider: 1. the PT performance conditions as inadequate; 2. the PT a relevant pedagogical tool, which allows self-assessment and the correction of learning gaps, but they suggest that it should be improved; 3. sitting the PT determined contradictory feelings for the students, according to their period of study.

Conclusion:

The Progress Test is considered by students a relevant “pedagogical tool”. However, the impact of the performance results obtained and the feedback received did not promote changes in the study plan of the interviewed students in the short term. The practice of self-assessment is not yet a culture in academic life. It is necessary to consider new strategies for the delivery of formative feedback, allowing for reflective discussion of the issues and the course/class results in order to enhance the teaching-learning process.

Keywords:
Medical Education; Learning; Educational Measurement; Students Medical; Perception

INTRODUÇÃO

O Teste de Progresso (TP) tem sido aplicado desde os anos 1970, com a finalidade de avaliar longitudinalmente o desenvolvimento cognitivo dos estudantes de Medicina. Esse processo não tem caráter de aprovação, reprovação ou classificação, mas possibilita a tomada de decisões curriculares assertivas e a autoavaliação pelo estudante11. Van der Vleuten CPM, Verdwijnen GM. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18(2):103-9.),(22. Sakai MH, Ferreira Filho OF, de Almeida MJ, Mashima DA, Marchese MDC. Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev Bras Educ Med. 2008;32(2):254-63.. Essa avaliação, habitualmente, utiliza questões objetivas de múltipla escolha construídas conforme os conteúdos que compõem a matriz curricular do curso. É aplicada, simultaneamente, com a mesma composição para todos os estudantes do primeiro ao último período curricular, refletindo o conteúdo final do curso33. Cecilio-fernandes D, Kerdijk W, Jaarsma ADDC, Tio RA. Development of cognitive processing and judgments of knowledge in medical students : analysis of progress test results. Med Teach . 2016;38:1125-9.),(44. Plessas A. Validity of progress testing in healthcare education. Int J Humanit Soc Sci Educ. 2015;2(8):23-33..

O TP, como instrumento de avaliação na educação médica, apresenta características singulares55. Vantini I, Benini L. Models of learning, training and progress evaluation of medical students. Clin Chim Acta. 2008;393(1):13-6.. Ao estudante, possibilita uma análise crítica do seu desempenho no curso, identificando fragilidades e potencialidades na sua formação a cada etapa em que o teste é realizado6. Para os docentes, o resultado apresenta a média da turma em relação à etapa, possibilitando modificações nos processos e adequações nos conteúdos. À gestão acadêmica, permite a identificação de potenciais problemas, possibilitando a tomada de decisão assertiva e implementação de ações de correção22. Sakai MH, Ferreira Filho OF, de Almeida MJ, Mashima DA, Marchese MDC. Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev Bras Educ Med. 2008;32(2):254-63.),(33. Cecilio-fernandes D, Kerdijk W, Jaarsma ADDC, Tio RA. Development of cognitive processing and judgments of knowledge in medical students : analysis of progress test results. Med Teach . 2016;38:1125-9..

Com os objetivos de avaliar o processo ensino-aprendizagem e garantir a qualidade e execução dos objetivos curriculares, o curso de Medicina do Centro Universitário de Votuporanga (Unifev) instituiu em 2015 acordo de cooperação com outras duas instituições de educação médica visando à realização do TP interinstitucional11. Van der Vleuten CPM, Verdwijnen GM. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18(2):103-9.),(66. Van Der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ. 2005;39(3):309-17..

O TP realizado pelo consórcio interinstitucional é composto por 120 questões de múltipla escolha com quatro alternativas, construídas no contexto da vivência prática, e visa à resolução de problemas por meio da aplicação de princípios que requeiram raciocínio e reflexão, de modo a evitar a simples memorização ou retenção da informação77. Wrigley W, Van Der Vleuten CPM, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach . 2012;34(9):683-97.),(88. Lampert JB, Bicudo AM, organizadoras. 10 anos das Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. Rio de Janeiro: Associação Brasileira de Educação Médica; 2014. p. 80..

Os discentes que realizam o TP recebem individualmente o resultado da prova com a análise de desempenho por categoria das questões, o índice de dificuldade e o gabarito processado, em que se destacam as respostas corretas e a bibliografia correspondente. Os estudantes que efetuaram dois ou mais testes recebem um segundo relatório analítico que indica a evolução de seu desempenho a cada teste realizado99. Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv Health Sci Educ Theory Pract. 2016;21(1):221-34..

O primeiro TP elaborado pelo consórcio interinstitucional ocorreu em outubro de 2015. Na Unifev, foi aplicado aos estudantes do primeiro, terceiro, quinto e sétimo períodos do curso de Medicina. Em 2016, o segundo TP elaborado pelo consórcio foi aplicado também aos estudantes do nono período do curso de Medicina da Unifev.

A participação dos alunos é voluntaria e sem caráter de promoção ou recompensas.

Para a gestão do curso de Medicina, o TP constitui-se em relevante subsídio para avaliar a eficiência do programa. Contudo, a percepção do aluno quanto ao seu desempenho e o impacto do TP na aprendizagem podem variar de acordo com contextos pessoais, educacionais, sociais e culturais1010. Chen Y, Henning M, Yielder J, Jones R, Wearn A, Weller J. Progress testing in the medical curriculum: students’ approaches to learning and perceived stress. BMC Med Educ . 2015;15(147):30-38.),(1111. Cilliers FJ, Schuwirth LW, Adendorff HJ. The mechanism of impact of summative assessment on medical students’ learning. Adv Health Sci Educ Theory Pract . 2010;15(5):695-715..

O objetivo deste estudo foi analisar a percepção do aluno sobre seu desempenho no TP, bem como o impacto dela em curto prazo sobre suas estratégias de estudo.

METODOLOGIA

Como público-alvo do presente estudo, elegeram-se os estudantes do curso de Graduação em Medicina da Unifev que realizaram o TP interinstitucional e cursavam o quinto e o sétimo período no momento da aprovação do projeto de pesquisa. O Comitê de Ética em Pesquisa (CEP) da Unifev aprovou o estudo em 10 de outubro de 2016 - Certificado de Apresentação para Apreciação Ética (CAAE) nº 60884116.0.0000.0078. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).

Os alunos participaram de forma voluntária, e a seleção foi aleatória, conforme a manifestação do desejo de cada discente. Excluíram-se os alunos que apresentavam doença infectocontagiosa ou impossibilidade de comunicar-se na data agendada para a realização dos grupos focais (GF).

Trata-se de pesquisa qualitativa com análise de conteúdo, e os dados foram coletados em entrevistas por meio de GF.

A técnica GF possibilita discutir e avaliar um tema proposto de modo flexível, dinâmico com a compreensão de contraposições, contradições, diferenças e divergências1212. Gatti BA. Grupo focal na pesquisa em ciências sociais e humanas. Brasília: Liber Livro; 2005. p. 1-11..

Composição e realização dos grupos focais

Realizaram-se dois GF distintos com dez participantes em cada grupo: um grupo composto por discentes do quinto período (G1) e outro composto por discentes do oitavo período (G2). Os estudantes foram agrupados de acordo com o período que estavam cursando, por conveniência de horário livre, o que permitiu manter a uniformidade do grupo e potencializar as reflexões acerca de experiências comuns1313. Backes DS, Colomé JS, Erdmann RH. Grupo focal como técnica de coleta e análise de dados em pesquisas qualitativas. Mundo Saúde. 2011;35(4):438-42..

A data para a realização dos GF foi previamente agendada, para que não houvesse prejuízo acadêmico aos discentes. As entrevistas foram realizadas em uma sala de sessão tutorial climatizada, com uma mesa retangular e 13 cadeiras, de modo a acomodar confortavelmente todos os participantes e possibilitar a visualização de todos pelo moderador e dos participantes entre si.

Forma de condução dos grupos focais

Ofereceram-se aos participantes, antes do início da entrevista, sucos e lanches para evitar interrupções posteriores, proporcionar descontração e facilitar a interação entre os membros1414. Zimmermann MH, Martins PLO. Grupo focal na pesquisa qualitativa: relato de experiência. Anais do 8o Congresso Nacional de Educação Educere. Curitiba: PUCPR; 2008. p. 12115-25..

A equipe de trabalho na realização do GF foi composta de uma moderadora, um observador e uma relatora ou auxiliar de pesquisa. No primeiro GF, realizado com alunos do quinto período, a moderadora foi uma docente externa, com grande experiência na condução de GF1515. Leopardi MT. Metodologia da pesquisa na saúde. 2a ed. Florianópolis: UFSC/Pós-Graduação em Enfermagem; 2002. 290 p.; na qualidade de observador, participou um docente da Unifev; e a pesquisadora, na qualidade de auxiliar de pesquisa ou relatora.

No segundo GF, realizado com alunos que cursavam o oitavo período, os papéis da moderadora e da relatora foram desenvolvidos por duas docentes da Unifev, ambas com experiência na condução de GF, e a pesquisadora participou na qualidade de observadora.

Após a apresentação do moderador e dos auxiliares (relator e observador) e depois da explicação dos objetivos que norteiam o trabalho do grupo, foi definido que os participantes seriam identificados por numerais de 1 a 10 (de N.1 a N.10) para garantir o anonimato de todos.

Na sequência, a moderadora fez a leitura do TCLE, o qual foi preenchido e assinado pelos sujeitos da pesquisa; distribuíram-se os crachás numerados; e reafirmou-se a importância do sigilo para garantir a liberdade de expressão.

O moderador é responsável pela condução e pelos direcionamentos necessários, e deve facilitar a interação entre os participantes para que se aprofundem as discussões1616. Gondim SMG. Grupos focais como técnica de investigação qualitativa: desafios metodológicos. Paidéia (Ribeirão Preto). 2002;12(24):149-61.. O papel do observador é perceber a linguagem não verbal e registrar as impressões relevantes1515. Leopardi MT. Metodologia da pesquisa na saúde. 2a ed. Florianópolis: UFSC/Pós-Graduação em Enfermagem; 2002. 290 p..

O desenvolvimento da entrevista foi orientado por questões norteadoras. O relator registrou a intenção de participação de cada aluno e coordenou a sequência de fala dos participantes. As entrevistas foram gravadas para posterior transcrição.

No encerramento dos grupos, ao ocorrer a saturação do tema, as moderadoras realizaram uma síntese da discussão e deixaram o assunto em aberto para que todos realizassem suas considerações finais sobre o tema.

As falas dos participantes foram registradas e transcritas na íntegra pela pesquisadora e por uma assistente de pesquisa.

Questões norteadoras e procedimento de análise de dados

Utilizaram-se as seguintes perguntas norteadoras para auxiliar o desenvolvimento da discussão:

  • O que você realmente acha do TP? Qual é a sua percepção acerca do TP?

  • O resultado do TP mudou a sua vida estudantil? De que forma?

Os dados coletados por meio do GF são de natureza qualitativa. De acordo com Gatti1212. Gatti BA. Grupo focal na pesquisa em ciências sociais e humanas. Brasília: Liber Livro; 2005. p. 1-11., o GF “permite emergir uma multiplicidade de pontos de vista e processos emocionais, pelo próprio contexto de interação e significados”.

O referencial teórico utilizado para a exploração e análise dos dados coletados foi a análise de conteúdo temática, segundo os conceitos de Bardin1717. Bardin L, Reto LA, Pinheiro A. Análise de conteúdo. São Paulo: Edições 70; 2011. p. 229..

RESULTADOS E DISCUSSÃO

O primeiro GP a colaborar foi composto por estudantes que cursavam o quinto período, com idade média de 23,42 anos (de 22 a 32 anos e desvio padrão de 3,08 anos). Participaram do segundo GP estudantes que cursavam o oitavo período, com idade média de 24,57 anos (de 22 a 29 anos e desvio padrão de 1,96 ano). Em ambos, havia sete estudantes do gênero feminino e três do gênero masculino.

Categorização do discurso do grupo focal

Organizaram-se os registros com base na contextualização das falas dos participantes, como foco na divergência e na semelhança dos relatos. Realizou-se a posterior categorização das mensagens e/ou dos fragmentos de falas por meio de vinculações entre os agrupamentos com características comuns.

Foram identificadas três categorias a partir da síntese interpretativa desses agrupamentos:

  1. As condições de realização do TP são inadequadas.

  2. O TP é uma ferramenta pedagógica relevante e deve ser aprimorada.

  3. A participação no TP determina sentimentos contraditórios.

Essas categorias são resultantes da associação de sete subcategorias descritas no Quadro 1.

Quadro 1
Categorias e subcategorias resultantes dos grupos focais.

As subcategorias “frustração e segurança” que compõem a terceira categoria - “sentimentos contraditórios” - resultaram de cinco unidades de contexto descritas no Quadro 2.

Quadro 2
Subcategorias e unidades de contexto da terceira categoria.

Compreendendo as categorias identificadas

As condições de realização do TP são inadequadas

Os discentes participantes da pesquisa consideram as circunstâncias em que ocorre a aplicação do TP inadequadas para avaliar o seu desenvolvimento cognitivo durante o curso. Os dois grupos de alunos entrevistados, do quinto e do oitavo período, questionaram o número de questões, o tempo concedido para fazer a prova e a época da sua realização.

A prova é muito extensa

A primeira citação do GF realizado com alunos do quinto período enfatiza que a prova é muito cansativa em razão do número de itens - 120: “acho que é uma prova assim muito extensa [...] ficou uma prova muito cansativa, são 120 questões, num dia só, então eu acho que isso pesa [...]” (G1 - N.7).

Sucessivamente, nos dois GF, foi referido pelos estudantes que o número de questões e o tamanho dos enunciados são fatores limitantes ao bom desempenho na prova.

[...] também acho que a prova é muito extensa, as questões muito longas [...]. A gente sai da prova muito cansado, muitas vezes já chega no fim da prova sem nem conseguir ler as questões [...] (G1 - N.8).

[...] é um teste muito cansativo, são 120 questões [...] a primeira parte, as 60 primeiras, 70 você faz concentrado, quando vai chegando nas últimas, você já está totalmente cansado, exausto, e aí meio que você não consegue prestar muita atenção (G2 - N.6).

Em uma revisão crítica sobre as principais características do TP, Albanese et al.99. Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv Health Sci Educ Theory Pract. 2016;21(1):221-34. citam que os TP geralmente são longos e variam de 180 itens a 400 itens de múltipla escolha. Testes muito curtos podem refletir um conteúdo sub-representado e comprometer a validade e a confiabilidade da avaliação77. Wrigley W, Van Der Vleuten CPM, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach . 2012;34(9):683-97..

O tempo é insuficiente

No segundo GF, realizado com os discentes do oitavo período, além de considerarem a avaliação estafante pela extensão de cada item, mencionaram que o tempo disponibilizado para a realização do TP é insuficiente para o número total de questões aplicadas.

[...] o tempo a gente percebe que não é o adequado pra fazer todas as questões, então tem perguntas que a questão tem, sei lá, cinco, seis linhas pra você pensar e raciocinar [...] (G2 - N.6).

[...] chega no fim da prova, e a gente não consegue responder às últimas questões, [...] pelo tempo e por estar cansado, desse jeito umas 20 questões deixam de ser respondidas, no meu caso [...] (G2 - N.10).

No AMEE Guide nº 71,77. Wrigley W, Van Der Vleuten CPM, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach . 2012;34(9):683-97. os autores referem que a experiência holandesa na aplicação do TP evidenciou que são necessários aproximadamente de 75 a 85 segundos para responder a um único item.

O TP do consórcio interinstitucional tem duração de quatro horas, que correspondem a 120 segundos para cada questão. Apesar de ser considerado pelos alunos como insuficiente, o tempo disponibilizado para fazer a prova é teoricamente adequado e maior que a média internacional.

As questões de múltipla escolha com enunciados extensos e/ou alternativas muito longas demandam maior tempo para a leitura e podem comprometer o desempenho dos alunos, especialmente em avaliações longas como o TP. A construção de bons itens, que concentrem somente informações importantes, pode otimizar o tempo necessário para a resolução da prova e diminuir o desgaste físico relatado pelos alunos1818. Al-Wardy NM. Assessment methods in undergraduate medical education. SQU Med J. 2010;10(2):203-9..

Época da aplicação é inadequada

O período letivo em que se aplicaram os TP, próximo ao das avaliações somativas bimestrais do curso, foi citado pelos entrevistados do quinto período como um fator prejudicial ao bom desempenho acadêmico, pois encontram-se excessivamente cansados, o que, somado ao fato de a participação ser voluntária, pode ser um dos fatores para justificar as ausências: “por estar sempre coincidindo perto do nosso horário de provas, a gente está sempre mais cansado para realizar a prova” (G1 - N.8).

A possibilidade de falharem nas avaliações somativas e a ansiedade determinada pelo risco de não progredirem na graduação induzem os discentes a intensificar as horas de estudo na véspera das provas. Assim como a expectativa por boas notas, com vistas ao sucesso em curto prazo, podem corroborar o estresse associado a essa percepção. Para Al-Kadri1919. Al-Kadri HM. Does assessment drive students’ learning? Clinical context assessment and students’ approaches to learning. [Doctoral Thesis, Maastricht University]. 2012;187:93-116., as avaliações somativas são fatores de ansiedade e a experiência mais estressante para o aluno.

Teste de Progresso como ferramenta pedagógica relevante

Os alunos entrevistados nos dois GF consideram o TP uma ferramenta útil e importante para monitorar o seu processo de ensino-aprendizagem, pois lhes permite reconhecer as dificuldades e o progresso no decorrer do curso.

[...] eu acho a prova de progresso uma coisa muito boa porque você começa a se avaliar... a intenção da prova eu acho muito boa [...] (G1 - N.3).

Eu acho que é um teste muito bom, que avalia a nossa evolução desde o primeiro até o sexto ano [...] eu acho que é muito importante (G2 - N.6).

Entretanto, acreditam que, para potencializar o impacto dessa avaliação, é preciso aperfeiçoá-la, com mais aplicações durante o ano e fornecimento de feedbacks específicos para cada período.

Realizar com mais frequência

Os alunos do oitavo período entendem que o TP deveria ser aplicado com mais frequência, duas ou mais vezes ao ano, e com menos itens. Essa estratégia de acordo com os alunos contribuiria para melhorar o desempenho individual e facilitar a correção de lacunas evidenciadas.

Uma sugestão seria que a gente tivesse vários testes do progresso (G2 - N.9).

A sugestão de separar ela em dois dias eu acho que seria a melhor [...] melhor opção mesmo, pra que esse teste seja 100% válido (G2 - N.10).

Essa percepção discente encontra sustentação em pesquisa realizada por Wade et al.2020. Wade L, Harrison C, Hollands J, Mattick K, Ricketts C, Wass V. Student perceptions of the progress test in two settings and the implications for test deployment. Adv Heal Sci Educ Theory Pract. 2012;17(4):573-83. que demonstrou um impacto positivo na percepção dos estudantes submetidos ao TP quatro vezes por ano2121. Al Kadri HM, Al-Moamary MS, Magzoub ME, Roberts C, van der Vleuten CPM. Students’ perceptions of the impact of assessment on approaches to learning: a comparison between two medical schools with similar curricula. Int J Med Educ . 2011;2:44-52.. A realização do TP repetidamente com o objetivo de avaliar o conhecimento estimula a revisão dos conteúdos por meio do feedback e pode promover a aprendizagem profunda77. Wrigley W, Van Der Vleuten CPM, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach . 2012;34(9):683-97..

Disponibilizar feedback com especificidade

Na percepção dos alunos do quinto período, o feedback realizado pelo curso é insuficiente para a autoavaliação. Acreditam que o feedback deveria ser específico para cada período do curso, com a descrição dos conteúdos mais importantes de cada item para o efetivo aprendizado.

[...] eu queria ter um retorno tipo: “Tal questão vocês já viram isso, só que vocês erraram, o que que aconteceu?”. É assim... assim e assim. [...] aqueles gráficos, mas não têm tanta utilidade mesmo, porque, por exemplo, você não sabe se aquilo que você acertou tá bom [...] (G1 - N.1).

[...] tinha que ter esse direcionamento, [...] a gente não sabe se era pra ter visto, se não era pra ter visto, e aí vai deixando e acumulando mesmo (G1 - N.6).

Em currículos integrados com ênfase na aprendizagem centrada no aluno, espera-se que o crescimento do conhecimento ocorra progressivamente ao longo do tempo. O TP é uma avaliação longitudinal e abrangente, orientada para os objetivos finais do curso, e, portanto, está desacoplado das especificidades do que os alunos aprenderam ou estão aprendendo em qualquer momento 9 9. Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv Health Sci Educ Theory Pract. 2016;21(1):221-34. .

A dificuldade de interpretar os resultados (feedback) disponibilizados pode estar relacionada a uma análise pontual equivocada e/ou não realizada de modo reflexivo. Wade et al.2020. Wade L, Harrison C, Hollands J, Mattick K, Ricketts C, Wass V. Student perceptions of the progress test in two settings and the implications for test deployment. Adv Heal Sci Educ Theory Pract. 2012;17(4):573-83., ao avaliarem a percepção dos alunos de duas escolas médicas do Reino Unido sobre o TP, constataram que em ambas os alunos sentiam que o feedback que recebiam era insuficiente.

Sentimentos contraditórios

A percepção da magnitude do impacto, positivo ou negativo, sobre a realização do TP aparenta ter correlação com o período que os estudantes estão cursando. Os estudantes do oitavo período valorizam e consideram que a realização do TP tem um impacto positivo em seu processo de ensino-aprendizagem e proporciona sentimentos de segurança por constatarem o seu desenvolvimento ao longo do curso.

Para os alunos do quinto período, os sentimentos são opostos; referem que a realização do TP provoca frustração por não compreenderem a forma como é elaborada a prova, dificuldade em interpretar o feedback fornecido e insegurança quanto à validade dos resultados.

Frustração

A motivação pessoal para obter altas notas pode contribuir para os estudantes do quinto período apresentarem sentimentos de frustração com o fraco desempenho inicial e demonstrarem dificuldade para compreender o TP como uma avaliação diagnóstica e formativa do desempenho cognitivo longitudinal.

[...] a prova eu acho que é até interessante, [...] como ela avalia os seis anos, ela acaba prejudicando quem está muito no começo (G1 - N.7)

A gente fica meio assim: “Ah, eu sei que fui mal em fisiologia, mas e agora como faço para melhorar?”. Será que isso a culpa é da faculdade ou será que é culpa minha [...]. A gente fica meio na dúvida [...] (G1 - N.8).

Os estudantes argumentaram que, pelo fato de a avaliação ser realizada em cooperação com outras escolas médicas, sentem insegurança quanto à validade dos resultados, pois o desempenho deles é comparado ao de alunos de escolas médicas que utilizam diferentes matrizes curriculares e estratégias de ensino-aprendizagem: “a gente tem [...] uma faculdade com um tema no segundo ano, que a outra viu no terceiro, e a gente é comparado com as outras faculdades, então esse resultado acaba não sendo tão fidedigno, né?” (G1 - N.2).

Segurança

Os participantes do oitavo período evidenciam efetivamente no TP que os conteúdos solicitados foram estudados e conseguem avaliar se o seu desempenho está adequado ou se há lacunas de aprendizagem a serem remediadas, além de perceberem que o processo ensino-aprendizagem do curso está sendo monitorado.

[...] eu consigo enxergar muito bem as matérias que a gente viu, consigo lembrar e elencar as dificuldades que eu tive naquela matéria já vista, e consigo também ver aquilo que nem passou pela minha frente, então eu acho bastante proveitoso (G2 - N.8).

[...] o Teste de Progresso não serve só pra ver o nosso progresso, serve pra ver... é eu tenho certeza que o NDE - Núcleo Docente Estruturante, tá olhando pra essa prova que a gente faz e vê onde que a gente tá falhando [...] (G2 - N.10).

O feedback na percepção dos estudantes estimula a autoavaliação e pode determinar mudanças no modo de estudar. Heeneman et al.2222. Heeneman S, Schut S, Donkers J, van der Vleuten C, Muijtjens A. Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Med Teach . 2017;39(1):44-52. concluíram que incorporação do TP em programa de avaliação programática de maneira formativa afeta positivamente as pontuações do TP e a aprendizagem significativa.

[...] é um teste muito importante pro nosso desempenho durante todo o passar do curso, e até mesmo pra avaliar se está sendo realmente aproveitado o nosso estudo, e até mesmo modificar a maneira com que a gente estuda [...] (G2 - N.2).

[...] a autocrítica, né?, que a gente acaba desenvolvendo, não que eu tenha mudado a minha forma de estudar, mas a visão que a gente tem do nosso estudo pode acabar diferenciando, você vê se você melhorou ou não, de um ano pro outro [...] (G2 - N.1).

CONCLUSÃO

Os estudantes entrevistados consideram o TP uma “ferramenta pedagógica” relevante, que permite a autoavaliação e a correção das lacunas de aprendizagem. Porém, acreditam que as características estruturais da prova - número de questões, abrangência do conteúdo e tempo para realização - afetam negativamente o desempenho deles. E propõem mudanças: aumentar a frequência de realização, diminuir o número de itens e fornecer um feedback orientado para o período que estão cursando.

Os resultados de desempenho do TP e o feedback recebido determinaram sentimentos contraditórios de acordo com o período que estavam cursando: de frustração para os alunos do quinto período e de segurança para os do oitavo período.

O impacto determinado pelo desempenho no TP, em curto prazo, não promoveu mudanças no plano de estudo dos discentes entrevistados.

É necessário promover discussões sobre os objetivos, os benefícios e as desvantagens da aplicação do TP e dos seus resultados com docentes e discentes, e implementar estratégias para a entrega do feedback, de modo dirigido e reflexivo, que permita a autoavaliação e a melhoria contínua do processo de ensino-aprendizagem.

CONSIDERAÇÕES FINAIS

A percepção e a prática de autoavaliação dos alunos são habilidades instáveis que podem ser afetadas por diferentes variáveis, e o impacto que determinam pode ter magnitude positiva ou negativa2323. Al-Kadri HM, Al-Moamary MS, Roberts C, Van der Vleuten CPM. Exploring assessment factors contributing to students’ study strategies: literature review. Med Teach . 2012;34(Suppl 1):S42-50.. É fundamental oferecer um feedback ao aprendiz, para que o processo avaliativo desempenhe uma dimensão orientadora2424. Panúncio-Pinto MP, Troncon LEA. Avaliação do estudante: aspectos gerais. Med (Ribeirão Preto). 2014;47(3):314-23.),(2525. Vassar M, Wheeler DL, Davison M, Franklin J. Program evaluation in medical education: an overview of the utilization-focused approach. J Educ Eval Health Prof. 2010;7:1.. Embora os alunos recebam um feedback detalhado do seu desempenho no TP, ele é subutilizado.

O TP é uma ferramenta valiosa que pode ser utilizado como uma avaliação formativa que monitore o crescimento do conhecimento e associe aspectos de avaliação somativa. É uma rica fonte de informações que precisa ser mais bem aproveitada pelos alunos, pelos professores e pelas instituições de ensino2222. Heeneman S, Schut S, Donkers J, van der Vleuten C, Muijtjens A. Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Med Teach . 2017;39(1):44-52.),(2626. Tio RA, Schutte B, Meiboom AA, Greidanus J, Dubois EA, Bremers AJA. The progress test of medicine: the Dutch experience. Perspect Med Educ . 2016;5(1):51-5..

REFERÊNCIAS

  • 1
    Van der Vleuten CPM, Verdwijnen GM. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18(2):103-9.
  • 2
    Sakai MH, Ferreira Filho OF, de Almeida MJ, Mashima DA, Marchese MDC. Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev Bras Educ Med. 2008;32(2):254-63.
  • 3
    Cecilio-fernandes D, Kerdijk W, Jaarsma ADDC, Tio RA. Development of cognitive processing and judgments of knowledge in medical students : analysis of progress test results. Med Teach . 2016;38:1125-9.
  • 4
    Plessas A. Validity of progress testing in healthcare education. Int J Humanit Soc Sci Educ. 2015;2(8):23-33.
  • 5
    Vantini I, Benini L. Models of learning, training and progress evaluation of medical students. Clin Chim Acta. 2008;393(1):13-6.
  • 6
    Van Der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ. 2005;39(3):309-17.
  • 7
    Wrigley W, Van Der Vleuten CPM, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach . 2012;34(9):683-97.
  • 8
    Lampert JB, Bicudo AM, organizadoras. 10 anos das Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. Rio de Janeiro: Associação Brasileira de Educação Médica; 2014. p. 80.
  • 9
    Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv Health Sci Educ Theory Pract. 2016;21(1):221-34.
  • 10
    Chen Y, Henning M, Yielder J, Jones R, Wearn A, Weller J. Progress testing in the medical curriculum: students’ approaches to learning and perceived stress. BMC Med Educ . 2015;15(147):30-38.
  • 11
    Cilliers FJ, Schuwirth LW, Adendorff HJ. The mechanism of impact of summative assessment on medical students’ learning. Adv Health Sci Educ Theory Pract . 2010;15(5):695-715.
  • 12
    Gatti BA. Grupo focal na pesquisa em ciências sociais e humanas. Brasília: Liber Livro; 2005. p. 1-11.
  • 13
    Backes DS, Colomé JS, Erdmann RH. Grupo focal como técnica de coleta e análise de dados em pesquisas qualitativas. Mundo Saúde. 2011;35(4):438-42.
  • 14
    Zimmermann MH, Martins PLO. Grupo focal na pesquisa qualitativa: relato de experiência. Anais do 8o Congresso Nacional de Educação Educere. Curitiba: PUCPR; 2008. p. 12115-25.
  • 15
    Leopardi MT. Metodologia da pesquisa na saúde. 2a ed. Florianópolis: UFSC/Pós-Graduação em Enfermagem; 2002. 290 p.
  • 16
    Gondim SMG. Grupos focais como técnica de investigação qualitativa: desafios metodológicos. Paidéia (Ribeirão Preto). 2002;12(24):149-61.
  • 17
    Bardin L, Reto LA, Pinheiro A. Análise de conteúdo. São Paulo: Edições 70; 2011. p. 229.
  • 18
    Al-Wardy NM. Assessment methods in undergraduate medical education. SQU Med J. 2010;10(2):203-9.
  • 19
    Al-Kadri HM. Does assessment drive students’ learning? Clinical context assessment and students’ approaches to learning. [Doctoral Thesis, Maastricht University]. 2012;187:93-116.
  • 20
    Wade L, Harrison C, Hollands J, Mattick K, Ricketts C, Wass V. Student perceptions of the progress test in two settings and the implications for test deployment. Adv Heal Sci Educ Theory Pract. 2012;17(4):573-83.
  • 21
    Al Kadri HM, Al-Moamary MS, Magzoub ME, Roberts C, van der Vleuten CPM. Students’ perceptions of the impact of assessment on approaches to learning: a comparison between two medical schools with similar curricula. Int J Med Educ . 2011;2:44-52.
  • 22
    Heeneman S, Schut S, Donkers J, van der Vleuten C, Muijtjens A. Embedding of the progress test in an assessment program designed according to the principles of programmatic assessment. Med Teach . 2017;39(1):44-52.
  • 23
    Al-Kadri HM, Al-Moamary MS, Roberts C, Van der Vleuten CPM. Exploring assessment factors contributing to students’ study strategies: literature review. Med Teach . 2012;34(Suppl 1):S42-50.
  • 24
    Panúncio-Pinto MP, Troncon LEA. Avaliação do estudante: aspectos gerais. Med (Ribeirão Preto). 2014;47(3):314-23.
  • 25
    Vassar M, Wheeler DL, Davison M, Franklin J. Program evaluation in medical education: an overview of the utilization-focused approach. J Educ Eval Health Prof. 2010;7:1.
  • 26
    Tio RA, Schutte B, Meiboom AA, Greidanus J, Dubois EA, Bremers AJA. The progress test of medicine: the Dutch experience. Perspect Med Educ . 2016;5(1):51-5.
  • 2
    Avaliado pelo processo de double blind review
  • FINANCIAMENTO

    Bolsa do Programa Institucional de Qualificação e Capacitação Docente (PIQCD) do Centro Universitário de Votuporanga

Editado por

Editor: Aristides Augusto Palhares Neto.

Datas de Publicação

  • Publicação nesta coleção
    02 Dez 2022
  • Data do Fascículo
    2022

Histórico

  • Recebido
    05 Set 2022
  • Aceito
    04 Out 2022
Associação Brasileira de Educação Médica SCN - QD 02 - BL D - Torre A - Salas 1021 e 1023 | Asa Norte, Brasília | DF | CEP: 70712-903, Tel: (61) 3024-9978 / 3024-8013, Fax: +55 21 2260-6662 - Brasília - DF - Brazil
E-mail: rbem.abem@gmail.com