Percepção dos Acadêmicos de Medicina sobre o Teste de Progresso

Resumo:

Introdução:

O Teste de Progresso serve para medir a consolidação do conhecimento ao longo da formação acadêmica médica. O teste é administrado periodicamente a todos os alunos de um currículo, com o propósito de avaliar o crescimento cognitivo deles na graduação. Além de avaliar o estudante de forma individual, o teste avalia a instituição, de modo a mostrar em quais áreas a sua base curricular deve ser melhorada. O objetivo deste estudo foi avaliar a percepção de acadêmicos de Medicina da Universidade do Extremo Sul Catarinense em relação ao Teste de Progresso.

Método:

Realizou-se um estudo transversal, em que se coletaram dados por meio de questionários elaborados pelos pesquisadores, aplicados aos alunos do curso de Medicina - que fizeram o Teste de Progresso em algum momento do curso - no período de 15 de outubro a 30 de novembro de 2018. A análise estatística foi realizada com um nível de confiança de 95%.

Resultados:

Obteve-se uma taxa de resposta de 70,41%, com um número de 424 questionários incluídos na pesquisa. Os dados demográficos revelam uma população de predominância feminina (60,4%), branca (96,2%), com uma média de 23 anos de idade. Nas fases iniciais, intermediárias e finais da pesquisa, os participantes sabiam o objetivo do Teste de Progresso, bem como a maioria dos estudantes, em todas as fases, considerou-o importante. Observou-se também que a maioria dos estudantes considera clínica cirúrgica e saúde coletiva como seu pior desempenho no Teste de Progresso. Já nas áreas de clínica médica, pediatria e ginecologia obstetrícia, os estudantes das fases intermediárias e finais se consideram satisfeitos com seu nível de conhecimento. “Avaliar a evolução/o desempenho do acadêmico” foi o ponto positivo mais citado. Já entre os negativos, destacou-se “diminuir o número de questões para que a prova não fique tão extensa”.

Conclus

ões: Os estudantes da amostra consideram o Teste de Progresso importante e conhecem o objetivo dele. Reconheceram que se sentiram mais preparados nas fases finais. As principais áreas a que os estudantes atribuíram seu pior desempenho foram: clínica cirúrgica e saúde coletiva. Já nas áreas de clínica médica, pediatria e ginecologia obstetrícia, eles se mostraram satisfeitos com o próprio nível de conhecimento.

Palavras-chave:
Teste de Progresso; Educação Médica; Conhecimento; Percepção; Alunos

Abstract:

Introduction:

The Progress Test was created to address the necessity of measuring the level of knowledge consolidation along the years of Medical school. The test is administered periodically to all students in a curriculum, assessing the student’s cognitive growth throughout their journey at undergraduate level. In addition to assessing the student individually, the test evaluates the institution, showing in which areas its curriculum base should be improved. The aim is to assess the Universidade do Extremo Sul Catarinense student’s perception of the Progress Test.

Methods:

A cross-sectional study was performed. Data was collected through questionnaires created by the researchers and applied to medical students - the ones who took the Progress Test at least once - from October 15^th to November 30^th, 2018. The statistical analysis was performed with a 95% confidence interval.

Results:

A response rate of 70.41% was obtained, with a total of 424 questionnaires being included in the research. Demographic data showed a predominance of female gender (60,4%) and white ethnicity (96,2%) in the population and a mean age of 23 years. In all semesters (early, intermediate and final ones) the participants knew the goal of the progress test, and most students consider it important. It was also observed that the majority of the students considered clinical surgery and collective health as their worst performance in the test. In clinical medicine, pediatrics, and gynecology-obstetrics, the students of the intermediate and final semesters were satisfied with their level of knowledge. “To evaluate the student’s progress/performance” was highlighted as the most positive point. Among the negative ones “decrease the number of questions so the test is not as extensive” was emphasized.

Conclusion:

The students of the sample consider the Progress Test important and know about its purpose. The final third of the Medical School is the one who feels most prepared to face the test. The main fields to which the students attributed their worst performance were clinical surgery and collective health. Regarding clinical medicine, pediatrics, gynecology, and obstetrics the students were satisfied with their knowledge.

Keywords:
Progress Test; Medical Education; Knowledge; Perception; Students

INTRODUÇÃO

Com o avanço da educação médica em direção à educação baseada em competências, a avaliação visa ao acompanhamento do processo de aprendizagem do aluno de forma contínua e sistemática. O Teste de Progresso (TP) foi introduzido no final da década de 1970¹. Vem sendo utilizado para avaliar de forma longitudinal a habilidade cognitiva do estudante por meio de itens de múltipla escolha aplicados periodicamente a todos os alunos², sendo uma importante forma de avaliação especialmente em matrizes curriculares baseadas em metodologias ativas centradas no aluno³.

O TP tem como objetivo avaliar não só o desempenho dos alunos no crescimento do conhecimento longitudinal, mas também o próprio curso, permitindo aos gestores uma ampla análise, orientando sobre possíveis mudanças que beneficiariam a graduação como um todo⁴. Quando várias escolas participam do TP, informações comparativas podem ser obtidas, o que é ainda mais útil para a avaliação curricular⁵. Nos Países Baixos, seis das oito escolas de Medicina combinaram forças e colaborativamente desenvolvem e administram testes de progresso^{6), (7}.

O curso de Medicina da Universidade do Extremo Sul Catarinense (UNESC) faz parte do Núcleo de Apoio Pedagógico Interinstitucional Sul II (Napisul II), formado em 2011, e participou de todas as edições do TP⁸. Atualmente existem no Brasil 12 núcleos de TP em funcionamento. O TP vem sendo aplicado no curso de Medicina da UNESC com o intuito de avaliar a instituição e a evolução individual dos estudantes que recebem individualmente a sua análise comparando com a sua fase e com a média da respectiva fase de todas as escolas que compõem o núcleo. A percepção do aluno quanto à importância do teste é fundamental para a adesão, assim como o comprometimento para responder aos itens.

O objetivo do presente estudo foi conhecer a percepção dos acadêmicos de Medicina da UNESC sobre a importância do TP.

MATERIAIS E MÉTODOS

Realizou-se um estudo observacional transversal, com coleta de dados primários e abordagem quantitativa. O projeto foi aprovado pelo Comitê de Ética em Pesquisa da UNESC: pareceres nº 2.744.900 (Certificado de Apresentação para Apreciação Ética - CAAE nº 91936318.7.0000.0119) de 2018 e 3.286.259 (CAAE nº 91936318.7.0000.0119) de 2019. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).

No cálculo da amostra, utilizou-se a fórmula proposta por Callegari-Jacques⁹, em que P é a proporção que maximiza o tamanho mínimo da amostra, 0,5; z, a estatística normal padronizada atrelada ao nível de significância α = 0,05, que é 1,96; ε, o erro amostral máximo tolerável, 0,05; e n₀, o tamanho mínimo da amostra, que resultou em 385 questionários. Considerando que a população-alvo desta pesquisa foi composta por 622 acadêmicos, fez-se o ajuste do valor encontrado anteriormente por meio da fórmula proposta por Barbetta¹⁰, o que resultou numa amostra mínima de 238 participantes, que foram distribuídos em todas as fases do curso. As fórmulas utilizadas estão elucidadas a seguir:

$n_0=\frac{P.\left(1-P\right).{z_{\frac{\alpha }{2}}}^2}{{\epsilon }^2}$

$n=\frac{N.n_0}{N+n_0}$

Quanto ao critério de inclusão, os alunos deveriam ter realizado o TP pelo menos uma vez, em qualquer momento do curso.

O TP aplicado pelo Napisul II é composto por 12 escolas médicas, está na oitava edição e contém 120 questões, com diferentes níveis de dificuldade, divididas em seis áreas principais: clínica médica, clínica cirúrgica, pediatria, ginecologia e obstetrícia, saúde coletiva e ciências básicas. O TP deve ser respondido em quatro horas. As questões têm uma matriz de referência e apresentam justificativa com bibliografia que se torna acessível aos estudantes após a aplicação do teste^{8), (11}. O teste é feito em intervalos anuais ao longo do curso, e o que se espera é uma curva ascendente dos resultados ao final da formação². Os participantes recebem, após a realização do teste, um escore do seu desempenho que lhes permite compará-lo com o de sua série e com a média da mesma série do núcleo, o que proporciona uma autoavaliação¹².

A coleta de dados foi feita por meio de questionários aplicados para as 12 fases de estudantes de Medicina na UNESC, que está localizada na cidade de Criciúma, no estado de Santa Catarina, no período de 15 de outubro a 30 de novembro de 2018, após a disposição aos alunos do gabarito do TP aplicado em 2018. O questionário, elaborado pelos autores, foi aplicado aos alunos, nos intervalos das aulas, por duas acadêmicas de Medicina. O questionário continha questões fechadas e abertas relacionadas ao perfil dos acadêmicos (idade, sexo, fase, raça), às percepções em relação ao TP (objetivo, importância, influência na carreira profissional, preparação dos alunos, leitura das questões, acesso ao gabarito e dedicação), ao nível de satisfação dos estudantes nas áreas avaliadas no teste e aos pontos fortes e fracos do teste (^{Anexo 1}).

Na análise estatística, as respostas abertas foram distribuídas em categorias de acordo com os temas aos quais os estudantes fizeram referência. Transcreveram-se e analisaram-se os dados obtidos no software IBM Statistical Package for the Social Sciences (SPSS) versão 21.0. A idade (anos) foi expressa por meio de média e desvio padrão. Já as variáveis qualitativas foram expressas por meio de frequência e porcentagem. Realizaram-se as análises inferenciais com nível de significância α = 0,05 e, portanto, confiança de 95%. A distribuição da idade (anos) foi avaliada quanto à normalidade por meio da aplicação do teste de Kolmogorov-Smirnov.

A associação entre as variáveis qualitativas foi investigada por meio dos testes qui-quadrado de Pearson e razão de verossimilhança, seguidos de análise de resíduo quando observada significância estatística.

RESULTADOS

Os questionários foram respondidos por 438 estudantes de Medicina da UNESC, o equivalente a uma taxa de resposta de 70,41%, sendo esse n superior ao cálculo amostral estimado. Desses alunos, 14 foram excluídos por não atenderem ao critério de inclusão referente à realização do teste em algum momento do curso. Dessa forma, incluíram-se na pesquisa 424 questionários.

Os dados demográficos revelam uma população de predominância feminina (60,4%), branca (96,2%), com uma média de 23 anos de idade. Desses alunos, 33,25% (n = 141) eram das fases iniciais (da primeira à quarta), 33,25% (n = 141) das fases intermediárias (da quinta à oitava) e 33,49% (n = 142) das fases finais (da nona à 12ª). A adesão na amostra estudada ao último teste realizado na universidade foi de 83,3% (Tabela 1).

Tabela 1
Características demográficas

	Média ± desvio padrão, n (%)
	n = 424
Idade (em anos)	23,03 ± 3,49
Sexo
Feminino	256 (60,4)
Masculino	168 (39,6)
Raça
Branco(a)	408 (96,2)
Pardo(a)/mulato(a)	13 (3,1)
Amarelo(a)/origem oriental	2 (0,5)
Negro(a)	1 (0,2)
Semestre
1ª Fase	42 (9,9)
2ª Fase	31 (7,3)
3ª Fase	26 (6,1)
4ª Fase	42 (9,9)
5ª Fase	36 (8,5)
6ª Fase	31 (7,3)
7ª Fase	47 (11,1)
8ª Fase	27 (6,4)
9ª Fase	33 (7,8)
10ª Fase	34 (8,0)
11ª Fase	33 (7,8)
12ª Fase	42 (9,9)
Você realizou o teste do dia 3/10/18?
Sim	353 (83,3)
Não	71 (16,7)

• Fonte: Elaborada pelos autores.

A Tabela 2 representa as percepções dos alunos sobre o TP relacionadas com as fases em que se encontram. Nas fases iniciais, intermediárias e finais, os participantes sabiam o objetivo do TP (p = 0,570). Entre as sete questões avaliadas, obteve-se significância estatística em cinco delas: Q2, Q3, Q4, Q5 e Q6 (p < 0,05). Os alunos que mais consideram o TP importante (Q2) são os pertencentes às fases iniciais (p = 0,031). Novamente, os alunos de fases iniciais são os que mais acreditam que o TP possa contribuir positivamente para a sua carreira profissional (Q3); já entre os que não acreditam nisso, os de fases finais são os principais (p < 0,001). Por sua vez, os estudantes das fases finais são os que mais se sentem preparados para realizar o teste (Q4), e o oposto é observado nas fases iniciais e intermediárias, em que a maioria dos alunos dessas fases não se sente preparada (p < 0,001). Os estudantes que mais leem todas as questões do teste para responder a ele (Q5) são os estudantes das séries finais; já entre os que não costumam ler todas as questões do teste, as fases iniciais são os principais (p = 0,014). No que diz respeito ao acesso ao gabarito após realização do teste (Q6), os acadêmicos das fases finais são os que mais costumam acessá-lo, enquanto os das fases iniciais são os que mais costumam não fazê-lo (p = 0,009). Em todas as fases da amostra, a maioria dos alunos não costuma aumentar sua dedicação às áreas em que seu desempenho foi pior no teste (Q7) (p = 0,107).

Tabela 2
A percepção dos alunos sobre o Teste de Progresso relacionada às fases

	Fases, n (%)			Valor-p†
	Iniciais*	Intermediárias**	Finais***
Q1 (n = 423)
Sim	129 (91,5)	126 (89,4)	131 (92,9)	0,570
Não	12 (8,5)	15 (10,6)	10 (7,1)
Q2 (n = 421)
Sim	131 (92,9)b	119 (85,0)	116 (82,9)	0,031
Não	10 (7,1)	21 (15,0)	24 (17,1)
Q3 (n = 422)
Sim	92 (65,7)b	53 (37,6)	55 (39,0)	<0,001
Não	15 (10,7)	38 (26,9)	44 (31,2)b
Talvez	33 (23,6)	50 (35,5)	42 (29,8)
Q4 (n = 421)
Sim	18 (12,9)	49 (34,8)	115 (82,1)b	<0,001
Não	122 (87,1)b	92 (65,2)b	25 (17,9)
Q5 (n = 421)
Sim	90 (64,3)	101 (71,6)	112 (80,0)b	0,014
Não	50 (35,7)b	40 (28,4)	28 (20,0)
Q6 (n = 420)
Sim	60 (43,2)	73 (51,8)	86 (61,4)b	0,009
Não	79 (56,8)b	68 (48,2)	54 (38,6)
Q7 (n = 420)
Sim	56 (40,3)	44 (31,2)	60 (42,9)	0,107
Não	83 (59,7)	97 (68,8)	80 (57,1)

• ^†Valores obtidos por meio da aplicação do teste qui-quadrado de Pearson.^bValor estatisticamente significativo encontrado após análise de resíduo. Q1: Você sabe qual é o objetivo do Teste de Progresso? Q2: Você considera o Teste de Progresso importante? Q3: Você acredita que o Teste de Progresso pode de alguma forma contribuir positivamente para a sua carreira profissional? Q4: Você se sente preparado para realizar o teste? Q5: Você costuma ler todas as questões do Teste de Progresso para resolvê-lo? Q6: Após a realização da prova, você costuma acessar o gabarito? Q7: Você procura se dedicar mais às áreas em que seu desempenho foi pior no teste? *Fases iniciais: da primeira à quarta. **Fases intermediárias: da quinta à oitava. ***Fases finais: da nona à 12ª.Fonte: Elaborada pelos autores.

Foram coletados dados sobre a satisfação dos estudantes com seu nível de conhecimento em cada grande área da medicina. Todos os participantes responderam a essas questões (n = 424). A maioria dos estudantes assinalou estar satisfeita com seu conhecimento nas áreas de clínica médica (50,6%), pediatria (40,3%), ginecologia e obstetrícia (44,0%), saúde coletiva (36,2%) e ciências básicas (46,7%). Mas em clínica cirúrgica a maioria dos participantes (40,9%) citou estar insatisfeita com seu nível de conhecimento

Abordou-se também em que área o participante considera que obteve o pior desempenho, e o “n” total dessa questão foi de 405, pois houve não respondentes. A área mais citada foi clínica cirúrgica (42,2 %), seguida de saúde coletiva (25,7%), ginecologia e obstetrícia (12,8%), pediatria (9,1%), ciências básicas (6,4%) e clínica médica (3,7%).

A Tabela 3 relaciona as fases com a satisfação dos alunos com seu nível de conhecimento em cada grande área abordada no TP. Em Clínica Médica, observou-se que os alunos que mais se consideram muito insatisfeitos, insatisfeitos ou indiferentes com seu nível de conhecimento são aqueles das fases iniciais, ao contrário do que referem os alunos de fases mais adiantadas. (p < 0,001). Em Clínica Cirúrgica, os alunos das fases iniciais intermediárias foram os que mais responderam que estavam muito insatisfeitos com seu desempenho. Porém foi observado que também os alunos das fases finais, em sua maioria (40,7%), declararam-se insatisfeitos com seus desempenhos na Clínica Cirúrgica (p < 0,001). Na grande área de Pediatria, os discentes mais satisfeitos com o próprio conhecimento fazem parte das fases intermediárias e finais (p < 0,001). O mesmo resultado se observa em Ginecologia e Obstetrícia cujos alunos das fases intermediárias e finais, consideraram que seus conhecimentos na área os satisfazem, com tendência para a muita satisfação nas fases finais (p < 0,001). Em relação à Saúde Coletiva, os mais indiferentes foram os alunos das fases iniciais, os pertencentes às fases intermediárias foram os mais insatisfeitos, e, entre os que alegaram nível de muita insatisfação, os alunos das fases finais foram os mais numerosos (p < 0,001). Em todas as fases, os participantes estavam satisfeitos com seu conhecimento em Ciências Básicas, não demonstrando diferença estatisticamente significativa (p = 0,345).

Tabela 3
Satisfação com o nível de conhecimento relacionado com as fases

	Fases, n (%)			Valor- p
	Iniciais*	Intermediárias**	Finais***
Clínica médica (n = 421)
Muito insatisfeito	12 (8,6)b	1 (0,7)	1 (0,7)	<0,001†
Insatisfeito	37 (26,4)b	31 (22,0)	17 (12,1)
Indiferente	59 (42,1)b	18 (12,8)	16 (11,4)
Satisfeito	29 (20,7)	86 (61,0)b	98 (70,0)b
Muito satisfeito	3 (2,1)	5 (3,5)	8 (5,7)
Clínica cirúrgica (n = 421)
Muito insatisfeito	22 (15,7)b	10 (7,1)	9 (6,4)	<0,001†
Insatisfeito	43 (30,7)	72 (51,1)b	57 (40,7)
Indiferente	57 (40,7)b	23 (16,3)	21 (15,0)
Satisfeito	17 (12,1)	31 (22,0)	47 (33,6)b
Muito satisfeito	1 (0,7)	5 (3,5)	6 (4,3)
Pediatria (n = 419)
Muito insatisfeito	35 (25,2)b	2 (1,4)	0 (0,0)	<0,001†
Insatisfeito	26 (18,7)	31 (22,0)	17 (12,2)
Indiferente	69 (49,6)b	33 (23,4)	24 (17,3)
Satisfeito	9 (6,5)	69 (48,9)b	91 (65,5)b
Muito satisfeito	0 (0,0)	6 (4,3)	7 (5,0)
Ginecologia e obstetrícia (n = 420)
Muito insatisfeito	36 (25,9)b	1 (0,7)	0 (0,0)	<0,001†
Insatisfeito	27 (19,4)b	22 (15,6)	5 (3,6)
Indiferente	70 (50,4)b	21 (14,9)	14 (10,0)
Satisfeito	5 (3,6)	83 (58,9)b	97 (69,3)b
Muito satisfeito	1 (0,7)	14 (9,9)	24 (17,1)b
Saúde coletiva (n = 420)
Muito insatisfeito	7 (5,0)	25 (17,7)	27 (19,3)b	<0,001†
Insatisfeito	18 (12,9)	43 (30,5)b	35 (25,0)
Indiferente	48 (34,5)b	27 (19,1)	23 (16,4)
Satisfeito	58 (41,7)	42 (29,8)	52 (37,1)
Muito satisfeito	8 (5,8)	4 (2,8)	3 (2,1)
Ciências básicas (n = 420)
Muito insatisfeito	6 (4,3)	8 (5,7)	7 (5,0)	0,345‡
Insatisfeito	16 (11,5)	28 (19,9)	29 (20,7)
Indiferente	45 (32,4)	30 (21,3)	31 (22,1)
Satisfeito	63 (45,3)	67 (47,5)	66 (47,1)
Muito satisfeito	9 (6,5)	8 (5,7)	7 (5,0)

• ^†
  Valores obtidos por meio da aplicação do teste de razão de verossimilhança. ^‡Valores obtidos por meio da aplicação do teste de qui-quadrado de Pearson. ^bValor estatisticamente significativo encontrado após análise de resíduo. *Fases iniciais: da primeira à primeira à quarta. **Fases intermediárias: da quinta à oitava. ***Fases finais: da nona à 12ª.Fonte: Elaborada pelos autores.

Quando questionados sobre qual área consideravam ter sido seu pior desempenho (Tabela 4), os alunos das fases iniciais predominantemente acreditavam ter sido clínica cirúrgica e também foram os principais entre os que consideraram pediatria e ginecologia e obstetrícia. Entre os alunos de fases intermediárias, a área mais citada também foi clínica cirúrgica. No que diz respeito aos que citaram saúde coletiva como pior desempenho, destacaram-se os alunos das fases intermediárias e finais. A área mais escolhida pelos alunos das fases finais foi a saúde coletiva. Entre os que citaram as ciências básicas como pior desempenho, os mais numerosos foram os das fases finais (p < 0,001).

Tabela 4
Área de pior desempenho relacionado com as fases

	Fases, n=405, n (%)			Valor- p
	Iniciais*	Intermediárias**	Finais***
Clínica médica	5 (3,9)	7 (5,0)	3 (2,2)	<0,001†
Clínica cirúrgica	54 (42,2)	66 (46,8)	51 (37,5)
Pediatria	18 (14,1)b	11 (7,8)	8 (5,9)
Ginecologia e obstetrícia	43 (33,6)b	6 (4,3)	3 (2,2)
Saúde coletiva	7 (5,5)	45 (31,9)b	52(38,2)b
Ciências básicas	1 (0,8)	6 (4,3)	19 (14,0)b

• ^†Valor obtido por meio da aplicação do teste de razão de verossimilhança. ^bValor estatisticamente significativo encontrado após análise de resíduo. *Fases iniciais: da primeira à quarta. **Fases intermediárias: da quinta à oitava. ***Fases finais: da nova à 12ª. Fonte: Elaborada pelos autores.

Havia duas questões abertas em que foi solicitado que cada participante citasse três pontos positivos do TP e três pontos em que o TP precisaria melhorar. Porém, nem todos os pesquisados citaram três itens em cada questionamento, e, dessa forma, obtiveram-se 968 respostas para pontos positivos e 703 citações de pontos que necessitam de melhoras. As frequências com que as respostas foram citadas estão relacionadas ao “n” total da amostra na Tabela 5. Quando se solicitou que destacassem três pontos positivos sobre o TP, os participantes, em sua maioria, mencionaram “avaliar a evolução/o desempenho do acadêmico”, resposta citada 286 vezes, ou seja, 67,5% dos alunos citaram esse item. O segundo ponto positivo mais frequente foi “avaliar o ensino da instituição apontando melhorias”, referenciado por 178 (42,0%) dos pesquisados. Um total de 153 (36,0%) estudantes apontaram que o TP “auxilia a busca pelo conhecimento identificando déficits pessoais”.

Tabela 5
Pontos positivos e sugestões de melhorias para o Teste de Progresso

	n (%)*
Destaque três pontos positivos do Teste de Progresso:	n = 424
Avaliar a evolução/o desempenho do acadêmico.	286 (67,5)
Avaliar o ensino da instituição apontando melhorias.	178 (42,0)
Auxilia a busca pelo conhecimento identificando déficits pessoais.	153 (36,0)
Treinar para provas no futuro, como as de residência.	112 (26,4)
Autoavaliação.	78 (18,4)
Comparar os resultados com outras faculdades.	74 (17,5)
Questões bem formuladas.	42 (9,9)
Avaliar as fases entre si.	42 (9,9)
Outros.	3 (0,7)
Destaque três pontos em que o Teste de Progresso precisa melhorar:	n = 424
Diminuir o número de questões para que a prova não fique tão extensa.	179 (42,2)
Melhorar a formulação das questões e/ou dos assuntos.	89 (21,0)
Testes específicos de acordo com as fases.	69 (16,3)
Formular questões mais objetivas.	65 (15,3)
Incentivar os alunos esclarecendo o propósito do teste.	47 (11,0)
Ter correção das questões em salas com professores.	38 (9,0)
Questões mais parecidas com as de concurso/residência.	36 (8,5)
Ser efetivo para mudanças no curso.	31 (7,3)
Gerar algum benefício para os alunos ou valer pontos nas fases ou na residência.	30 (7,1)
Deveria melhorar a adesão à prova ou ser obrigatória a realização do teste.	28 (6,6)
Iniciar em fases mais avançadas.	28 (6,6)
Evitar que a realização do teste seja em semana de provas.	23 (5,4)
Gabarito comentado deveria sair mais rápido e com respostas mais claras.	22 (5,2)
Deixar levar o caderno de questões resolvidas embora.	9 (2,1)
Outros.	9 (2,1)

• *Porcentagem calculada em relação ao “n” total da amostra (n = 424). Fonte: Elaborada pelos autores.

Quando questionados sobre possíveis melhorias no TP, as principais respostas dos alunos foram: “diminuir o número de questões para que a prova não fique tão extensa” (179 = 42,2%), “melhorar a formulação das questões e/ou dos assuntos” (89 = 21,0%) e “testes específicos de acordo com as fases” (69 = 16,3%).

DISCUSSÃO

Nosso estudo demonstrou que os acadêmicos do curso de Medicina da UNESC têm uma média de idade de 23 anos, com predominância do gênero feminino e caucasianos, o que vai ao encontro do perfil demográfico verificado em outros estudos realizados com estudantes de Medicina em Santa Catarina⁸ e também em outros estados, como Goiás¹³, Paraíba¹⁴ e Rio Grande do Norte¹⁵.

Como em todos os estudos transversais, o nosso também tem algumas limitações. O fato de não existir um questionário validado para a investigação realizada, o que implica o uso de um instrumento próprio e a não abrangência da totalidade dos estudantes, pode ser considerado uma limitação importante, já que o estudo abrangeu 438 (70,41%) dos matriculados no segundo semestre de 2018, dos quais 424 foram incluídos, totalizando 68,16% dos matriculados. A aplicação de questionários abre a possibilidade para uma série de dados ausentes, o que aconteceu em partes do nosso estudo.

No quesito sobre o conhecimento em relação ao objetivo do TP, a maioria dos estudantes respondeu afirmativamente, o que pode ser atribuído a uma ampla divulgação e informação acerca dos objetivos do teste pelo curso. Da mesma forma, os alunos consideram o TP uma importante forma de avaliação. Dados semelhantes foram encontrados no estudo de Ali, Cockerill, Zahra, Tredwin e Ferguson¹⁶ realizado com estudantes de graduação em Medicina, Odontologia e Terapia Dentária. Nesse estudo, os participantes foram convidados a responder anonimamente a um questionário on-line, cujo propósito era compartilhar as percepções e experiências deles em relação aos testes de progresso. Os participantes dessa pesquisa também consideraram o TP como uma forma de avaliação útil para aprimorar seus conhecimentos.

Este estudo também identificou que, em fases mais adiantadas do curso, os alunos costumam sentir-se mais seguros para a realização do teste, tendo também mais interesse pela busca das respostas corretas após o fim da prova. Dados semelhantes foram encontrados no estudo de Nascimento et al.¹³, do qual participaram 152 acadêmicos do segundo ao 12° período de um curso de Medicina de uma universidade filantrópica da cidade de Goiânia (GO). Os alunos do terceiro e quinto anos, em comparação com aqueles do segundo ano, foram os que mais consideraram o TP uma forma importante para garantir o conhecimento por meio da memorização e consequentemente a apropriação dele. Também houve uma demanda por parte desses alunos para que após o teste houvesse discussões com os professores sobre o teste e gabarito. Esses dados eram esperados, uma vez que, no decorrer do curso, há a expectativa de que novos conhecimentos sejam adquiridos, e, dessa forma, os alunos se sintam mais preparados. Da mesma forma, o interesse deles por questões e gabaritos também aumenta, uma vez que já deveriam dominar tal conhecimento abordado. Em fases iniciais, muitas vezes os alunos, por ainda não terem tido contato com o conteúdo exigido, são menos interessados, mesmo sendo os que mais consideram o TP importante e alegam em sua maioria conhecer seus objetivos.

Esses dados mostram que a dificuldade em responder adequadamente ao TP não se relaciona com a falta de conhecimento sobre os objetivos e a importância do teste, mas pode estar associada à falta de uma contribuição objetiva para o currículo, seja por meio de acréscimo nas notas das avaliações semestrais do currículo ou na pontuação em provas de residência médica e concursos. Já nas fases finais, os estudantes costumam ler o teste e buscar o gabarito, apesar de não considerarem que o teste possa contribuir para sua carreira profissional. Isso ocorre por conta de uma maior preocupação e proximidade com as provas de residência médica e concursos que serão prestados ao fim da graduação, e, dessa forma, o TP atua como uma forma de preparação para tais avaliações.

Como nas fases iniciais se constatou que o grande problema é a falta de interesse na realização do teste, sugerem-se aqui algumas medidas: iniciar o teste em fases mais avançadas, quando o aluno já tem um domínio maior do conhecimento para analisar as questões, e validar o teste como pontuação nas provas de ingresso em residências médicas, de modo a aumentar o peso do teste no currículo do aluno.

Em todas as fases, observou-se, entre os estudantes da amostra, um grau de insatisfação com o nível de conhecimento na área de clínica cirúrgica. Dado semelhante foi encontrado em um estudo transversal realizado por Pinheiro et al.¹⁰⁾ que analisaram o desempenho de estudantes de Medicina no TP. Nesse estudo, aplicaram-se dois testes: um em 2008 e outro inalterado em 2011. O resultado revelou que houve pouca ou nenhuma progressão do conhecimento na área de clínica cirúrgica.

Com relação a este estudo, nas áreas de clínica médica, pediatria e ginecologia obstetrícia, os estudantes das fases intermediárias e finais se consideraram satisfeitos com seu nível de conhecimento na área, uma vez que, de acordo com a matriz curricular nº 05¹⁷ da universidade pesquisada, pediatria e obstetrícia começam a ser estudadas na quinta fase, ginecologia na sexta e clínica médica é principalmente abordada no decorrer das fases intermediárias. As áreas de clínica cirúrgica e saúde coletiva foram as mais citadas como aquelas em que o estudante, segundo ele, tem o seu pior desempenho no teste. Entre as fases iniciais e intermediárias, a clínica cirúrgica foi a principal; e, nas finais, a área de saúde coletiva. Esses dados são condizentes com aqueles encontrados no estudo de Rosa et al.⁸, realizado também na UNESC, no qual o TP aplicado em 2011 teve a média geral da Faculdade de Medicina dessa instituição em comparação com a média geral das escolas do Napisul II na área de saúde coletiva, que era anteriormente classificada como saúde pública. Esse resultado foi abaixo do esperado na maioria das fases do curso. Embora os alunos sejam inseridos na rede básica de saúde desde a primeira fase, isso se mostrou insuficiente. Dessa forma, novas atividades, como palestras, seminários e aulas teóricas, foram implementadas na universidade⁸.

A pesquisa observou que os pontos positivos mais citados pelos acadêmicos foram a possibilidade de avaliar a evolução/ o desempenho dos estudantes ao longo do curso, como também avaliar o ensino da instituição, de modo a auxiliar em melhorias. Tais afirmações condizem com os objetivos do TP encontrados nos estudos de Van Der Vleuten, Verwijnen e Wijnen³ e Ito e Janowski¹⁸ que citam, entre as vantagens do teste, a capacidade de fornecer informações de desempenho individual para os alunos e também avaliar o currículo da universidade e compará-lo com outras escolas. O terceiro ponto positivo mais citado foi o auxílio à busca pelo conhecimento que o teste proporciona, já que ele estimula retenção de conhecimento em longo prazo.

Quando questionados sobre aspectos em que o TP precisaria melhorar, o ponto mais citado foi a extensão da prova, o que vai ao encontro do afirmado em um trabalho em que é exposto como tempo mínimo necessário um valor de três minutos por questão para que todos os discentes sejam capazes de ler e tentar resolver as questões em tempo hábil¹⁹. É necessário um maior intervalo por questão, pois a prova é aplicada a todo o corpo discente, o qual possui diferentes níveis de conhecimento sobre os assuntos, e, sendo assim, alguns grupos necessitam de mais tempo para entendimento e resolução da prova. Os estudantes também frequentemente citaram que é necessário melhorar a formulação das questões e que elas deveriam ser mais objetivas, o que condiz com as recomendações de Teixeira²⁰: elaboração de questões de múltipla escolha mais sucintas, enunciado com todas as informações pertinentes, alternativas de fácil entendimento e apenas uma resposta correta.

O terceiro ponto mais citado pelos alunos referiu-se ao fato de que os testes deveriam ser específicos de acordo com as fases, o que vai contra o principal objetivo do teste de ser uma forma de avaliação da evolução dos acadêmicos ao longo do curso, tornando-o apenas mais uma avaliação dentro do currículo. Além disso, perderia a possibilidade de comparação com outras escolas médicas que possuem a grade escolar diferente^{21), (22}. Porém, para os alunos de fases iniciais, que têm um menor nível de conhecimento, os testes se tornam difíceis, o que faz com que percam a confiabilidade. Como base nisso, uma alternativa que está sendo pesquisada para as áreas médicas é o uso dos Testes Computadorizados Adaptativos (Computer Adaptive Test - CAT), os quais, por meio de algoritmos, criam provas personalizadas e adaptativas com base nas respostas dadas pelos alunos, de modo a adequá-las aos diversos níveis de conhecimento²³. Essa forma de avaliação vem demonstrando estimativas de confiabilidade mais homogêneas durante as diversas fases. Em muitos casos, os CAT podem reduzir o número de questões e a duração do teste, o que é particularmente vantajoso para os alunos do primeiro ano, um período conhecido por ter menor confiabilidade nas provas tradicionais em papel. Os CAT otimizariam as avaliações de acordo com o nível de conhecimento do aluno, auxiliando assim na principal reclamação dos estudantes, que é o tempo estendido dos testes de progresso tradicionais^{23), (24}.

Nossa pesquisa é uma das poucas sobre esse assunto e precisa ser lapidada ao longo do tempo para permitir uma compreensão mais qualificada da percepção dos alunos sobre o TP. Para isso, novas pesquisas são necessárias em outras escolas médicas para comparar e solidificar os resultados obtidos, e também para solidificar novas formas avaliativas e compará-las com as atuais.

REFERENCES

• ¹
  Bierer SB, Dannefer EF, Taylor C, Hall P, Hull AL. Methods to assess students’ acquisition, application and integration of basic science knowledge in an innovative competency-based curriculum. Med. teach. 2008;30(7):e171-7.
• ²
  Blake JM, Norman GR, Keane DR, Mueller CB, Cunnington J, Didyk N. Introducing progress testing in McMaster University’s problem-based medical curriculum: psychometric properties and effect on learning. Acad. med. 1996;71(9):1002-7.
• ³
  Van Der Vleuten CPM, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med. teac. 1996;18(2):103-9.
• ⁴
  Pugh D, Regehr G. Taking the sting out of assessment: is there a role for progress testing? Med. educ. 2016;50:721-9.
• ⁵
  Muijtjens AM, Timmermans I, Donkers J, Peperkamp R, Medema H, Cohen-Schotanus J, Van der Vleuten CP. Flexible electronic feedback using the virtues of progress testing. Med. teach . 2010;32:491-5.
• ⁶
  Van der Vleuten CP, Schuwirth LW, Muijtjens AM, Thoben AJ, Cohen-Schotanus J, van Boven CP. Cross institutional collaboration in assessment: a case on progress testing. Med. teach . 2004;26:719-25.
• ⁷
  Van der Vleuten CP, Heeneman S. On the issue of costs in programmatic assessment. Perspect Med Educ 2016;5:303-7.
• ⁸
  Rosa MI da, Isoppo CC, Cattaneo HD, Madeira K, Adami F, Ferreira FOF. O Teste de Progresso como indicador para melhorias em curso de graduação em Medicina. Rev. bras. educ. med. 2017;41(1):58-68.
• ⁹
  Callegari-Jacques S. Bioestatística: princípios e aplicações. Porto Alegre: Artmed; 2004.
• ¹⁰
  Barbetta PA. Estatística aplicada às ciências sociais. 7a ed. Florianópolis: UFSC; 2007.
• ¹¹
  Sakai MH, Filho OFF, Almeida MJ, Mashima DA, Marchese MC. Teste de Progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev. bras. educ. med . 2008;32(2):254-63.
• ¹²
  Pinheiro OL, Spadella MA, Moreira HM, Ribeiro ZMT, Guimarães APC, Almeida Filho OM, et al. Progress Test: an evaluative tool for academic management. Rev. bras. educ. med . 2015;39(1):68-78.
• ¹³
  Nascimento HCF, Ferreira Júnior WA, Silva AMTC, Carvalho IGM, Bastos GCFC, Almeida RJ. Análise dos níveis de empatia de estudantes de Medicina. Rev. bras. educ. med . 2018; 42(1):150-8.
• ¹⁴
  Costa GPO, Herculano TB, Gama ALH, Cabral RP, Campos DB, Oliveira DVS. Enfrentamentos do estudante na iniciação da Semiologia Médica. Rev. bras. educ. med . 2018; 42(2):79-88.
• ¹⁵
  Cardoso Filho FAB, Magalhães JF, Silva KML, Pereira ISSD. Perfil do estudante de Medicina da Universidade do Estado do Rio Grande do Norte (UERN). Rev. bras. educ. med . 2015;39(1):32-40.
• ¹⁶
  Ali K, Cockerill J, Zahra D, Tredwin C, Ferguson C. Impact of Progress Testing on the learning experiences of students in medicine, dentistry and dental therapy. BMC med. educ. 2018;18(1):218-53.
• ¹⁷
  Colegiado Unasau. Resolução nº 01/2015/Unasau. Criciúma: Unidade Acadêmica de Ciências da Saúde-UNESC; 2015 [acesso 20 maio 2019]. Disponível em: Disponível em: http://www.unesc.net/portal/capa/index/20/8842
  » http://www.unesc.net/portal/capa/index/20/8842
• ¹⁸
  Ito K, Janowski E. Resultados dos Testes de Progresso da medicina realizados no período de 1998 a 2002. Londrina: Colegiado de Medicina da Universidade Estadual de Londrina; 2003.
• ¹⁹
  Morgado F, Barbosa NM, Mota EFRO. Criando, validando e aplicando testes de progresso nos cursos de engenharia do Unifeso. Anais do 40° Congresso Brasileiro de Educação em Engenharia; 2012 set 3-6; Belém, Brasil; 2012.
• ²⁰
  Teixeira G. Avaliação da aprendizagem. Practical Suggestions for Writing Multiple-Choice Questions. 2012 [acesso 20 maio 2019]. Disponível em: Disponível em: https://www.academia.edu/5716219/WRITING_MULTIPLE
  » https://www.academia.edu/5716219/WRITING_MULTIPLE
• ²¹
  Morgan HL, Petry AF, Licks PAK, Ballester AO, Teixeira KN, Dumith SC. Consumo de estimulantes cerebrais por estudantes de Medicina de uma universidade do Extremo Sul do Brasil: prevalência, motivação e efeitos percebidos. Rev. bras. educ. med . 2017;41(1):102-9.
• ²²
  Matsuyama Y, Muijtjens AMM, Kikukawa M, Stalmeijer R, Murakami R, Ishikawa S, et al. A first report of East Asian students’ perception of progress testing: a focus group study. BMC med. educ . 2016;16(1):216-45.
• ²³
  Collares CF, Fernandes DC. When I say ... computerised adaptive testing. Med. educ. 2019;53(2):115-6.
• ²⁴
  Vleuten C, Freeman A, Collares CF. Progress test utopia. Perspect Med Educ 2018; 7(2):136-8.

ANEXO 1

Este é um questionário para fins acadêmicos, o qual será utilizado como instrumento de pesquisa para o Trabalho de Conclusão de Curso (TCC) em Medicina da UNESC das acadêmicas Laís Büttner Sartor e Luana Lanzarini da Rosa, orientadas pelo Prof. Dr. Kristian Madeira. Todos os dados aqui colhidos serão utilizados de forma sigilosa e é muito importante sua resposta sincera para a qualidade de nosso trabalho.

PERFIL

A1. Qual a sua idade? _______ anos

A2. Qual seu sexo?

( ) Masculino ( )Feminino

A3. Como você se declara?

( ) Branco(a)

( ) Negro(a)

( ) Pardo(a)/mulato(a)

( ) Amarelo(a)/origem oriental

( ) Indígena/origem indígena

( ) Outro:________________________________________________

A4. Qual fase você está cursando atualmente? ______________ fase

A5. Você já realizou algum Teste de Progresso?

( ) Sim ( ) Não

A6. Você realizou o Teste de Progresso que aconteceu no dia 3/10/2018?

( ) Sim ( ) Não

Se não, por quê? ______________________________________________________.

PERCEPÇÕES

B1. Você sabe qual é o objetivo do Teste de Progresso?

( ) Sim ( ) Não

Se sim, qual __________________________________________________________________.

B2. Você considera o Teste de Progresso importante?

( ) Sim ( ) Não

Por quê?

___________________________________________________________________________

B3. Você acredita que o Teste de Progresso pode de alguma forma contribuir positivamente para a sua carreira profissional?

( ) Sim ( ) Não ( ) Talvez

Por quê?

___ ___________________________________________________________________________

B4. Você se sente preparado(a) para realizar o teste?

( ) Sim ( ) Não

Por quê?

__ _____________________________________________________________________________

B5. Você costuma ler todas as questões do Teste de Progresso para resolvê-lo?

( ) Sim ( ) Não

Por quê?

__ ___________________________________________________________________________

B6. Após a realização da prova, você costuma acessar o gabarito?

( ) Sim ( ) Não

Por quê?

______________________________________________________________________________

B7. Você procura se dedicar mais às áreas em que seu desempenho foi pior no teste?

( ) Sim ( ) Não

Por quê?

__________________________________________________________________________

AVALIAÇÃO DE SATISFAÇÃO

Nas próximas seis questões, assinale a alterativa que representa a sua satisfação com o nível de conhecimento que possui em cada uma das seguintes áreas:

C1. Clínica médica:

( ) Muito insatisfeito ( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito satisfeito

C2. Clínica cirúrgica:

( ) Muito insatisfeito ( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito satisfeito

C3. Pediatria:

( ) Muito insatisfeito ( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito satisfeito

C4. Ginecologia e obstetrícia:

( ) Muito insatisfeito ( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito satisfeito

C5. Saúde coletiva:

( ) Muito insatisfeito ( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito satisfeito

C6. Ciências básicas:

( ) Muito insatisfeito ( ) Insatisfeito ( ) Indiferente ( ) Satisfeito ( ) Muito satisfeito

C7. Qual área você considera que foi seu pior desempenho?

( ) Clínica médica ( ) Clínica cirúrgica ( ) Pediatria ( ) Ginecologia e obstetrícia ( ) Saúde coletiva ( ) Ciências básicas

C8. Destaque três pontos positivos do Teste de Progresso:

1 ___________________________________________________________________________

2 ___________________________________________________________________________

3 ___________________________________________________________________________

C9. Destaque três pontos em que o Teste de Progresso precisa melhorar:

1 _____________________________________________________________________________

2 _____________________________________________________________________________

3 ________________________________________________________________________

Agradecemos a participação.

Datas de Publicação

• Publicação nesta coleção
  08 Maio 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  20 Jan 2020
• Aceito
  26 Fev 2020