Percepção e desempenho de graduandos de enfermagem em avaliação de metodologias ativas

Percepción y desempeño de alumnos avanzados de enfermería en evaluación de metodologías activas

Resumo

Objetivo:

Conhecer o desempenho e a percepção dos estudantes de enfermagem na prova de progressão e verificar a existência de relação entre o desempenho e a série em curso e entre o desempenho e o grau de dificuldade da prova.

Métodos:

Trata-se de um estudo descritivo de abordagem quantitativa, utilizou-se um instrumento constituído por questões sócio demográficas, classificação do grau de dificuldade da prova e duas perguntas sobre vantagens e desvantagens da prova de progressão.

Resultados:

A população constituiu-se de 78 estudantes. Apresentaram idade média de 24,4 anos e predomínio do sexo feminino, 89,7%. Os estudantes que consideraram a prova fácil tiveram desempenho maior (p=0.036), os estudantes do segundo ano destacaram-se em relação ao primeiro (p=0,014). Consideraram vantagem: conteúdo da prova 32,0%, progressão e desempenho 25,7%, questões de múltipla escolha 23,1%, e preparo para concursos 7,7%. As desvantagens, 39,7% prova muito extensa, 26,9% ausência de conhecimento, 15,3% temática e estrutura inadequadas e 6,4%pouco tempo para realização da prova.

Conclusão:

A Prova de Progressão avalia o desempenho do estudante longitudinalmente, identifica potencialidades e fragilidades curriculares, além de avaliar a instituição. Compreende um dos instrumentos avaliativos no uso de metodologias ativas de ensino e deve ser incentivada quanto à sua aplicabilidade nos cursos de graduação.

Descritores
Bacharelado em enfermagem; Avaliação educacional; Aprendizagem baseada em problemas; Educação baseada em competências; Tecnologia educacional

Resumen

Objetivo:

Conocer desempeño y percepción de estudiantes de enfermería en la prueba de progresión, y verificar existencia de relación entre desempeño y la serie en curso, y entre desempeño y grado de dificultad de la prueba.

Métodos:

Estudio descriptivo, de abordaje cuantitativo, utilizando instrumento constituido por cuestiones sociodemográficas, clasificación de grado de dificultad de la prueba y dos preguntas sobre ventajas y desventajas de la prueba de progresión.

Resultados:

Población constituida por 78 estudiantes. Su media etaria era de 24,4 años, con predominio de sexo femenino (89,7%). Los estudiantes que consideraron la prueba como fácil tuvieron mejor desempeño (p=0,036), los estudiantes de segundo año se destacaron respecto de los de primero (p=0,014). Mencionaron como ventajas: contenido de la prueba (32,0%), progresión y desempeño (25,7%), preguntas de elección múltiple (23,1%) y preparación para concursos (7,7%). Las desventajas, prueba muy extensa (39,7%), falta de conocimientos (26,9%), temática y estructura inadecuadas (15,3%) y tiempo insuficiente para realizar la prueba (6,4%).

Conclusión:

La Prueba de Progresión evalúa el desempeño del estudiante longitudinalmente, identifica potencialidades y debilidades curriculares, además de evaluar la institución. Constituye uno de los elementos evaluativos para uso de metodologías activas de enseñanza, debiendo incentivarse su aplicabilidad en los cursos de grado.

Descriptores
Bachillerato en enfermería; Evaluación educacional; Aprendizaje basado en problemas; Educación basada en competencias; Tecnología educacional

Abstract

Objective:

To identify the performance and perception of nursing students on the progression test, and to verify the existence of a relationship between performance and the current series, and between the performance and the degree of difficulty of the test.

Methods:

This was a descriptive study with a quantitative approach. An instrument was administered with socio-demographic information, classification of the degree of the test difficulty, and two questions about the advantages and disadvantages of the progression test.

Results:

The population consisted of 78 students. The mean age was 24.4 years, with a predominance of females (89.7%). The students, who classified the test as easy, showed higher performance (p = 0.036), the second-year students stood out in relation to the first-one (p = 0.014). The advantage stated was, test content 32.0%, progression and performance 25.7%, multiple choice questions 23.1%, and preparation for competitive entrance examinations 7.7%. The disadvantages were: 39.7% were very extensive, 26.9% lack of knowledge, 15.3% stated inadequate thematic content and structure, and insufficient time to complete the test for 6.4%.

Conclusion:

The progression test evaluates, longitudinally, the student's performance, identifies curricular strengths and weaknesses, and evaluates the institution. As one of the assessment instruments in use of active teaching methodologies, its applicability should be encouraged in undergraduate courses.

Keywords
Education, nursing, baccalaureate; Educational measurement; Problem-based learning; Competency-based education; Educational technology

Introdução

O mundo contemporâneo exige que as Instituições de Ensino apresentem resultados de qualidade, documentem eficiência e eficácia no processo de formação de seus estudantes. Assim, estamos sendo cobrados em ofertar uma educação mais reflexiva, que busque respostas a desafios de saúde da população. Para além das competências técnicas, as diretrizes nacionais do ensino brasileiro, apontam a necessidade de formação universitária direcionada ao mercado de trabalho, que requer profissionais competentes e capazes de atuar com responsabilidade social, comprometimento com a cidadania, exercendo o papel de promoção à saúde integral do ser humano.

Diferentes estratégias metodológicas podem ser adotadas pelo docente, para todas é importante atenção para o contexto social e político dos estudantes, inseridos no cenário macro. A adoção de metodologias ativas no ensino superior contribui para a formação deste perfil de estudantes, em especial quando utilizada a Problematização e Aprendizagem Baseada em Problemas (ABP) como estratégias de aprendizagem.

A ABP é uma proposta pedagógica desenvolvida no final da década de 60 em McMaster University (Canadá) e na Universidade de Maastrich (Holanda). É centrada no estudante, objetivando o aprendizado autônomo e independente. Busca atender às necessidades de conhecimento e aquisição de habilidades para atingir os objetivos de aprendizado frente às mais diversas situações de formação profissional.

A ABP tem o propósito de tornar o estudante capaz de construir o aprendizado conceitual, procedimental e atitudinal, preparando-o para o mercado de trabalho.⁽¹⁾ Esse método proporciona aprendizes autônomos, estudantes críticos e aptos a liderar e trabalhar em equipe, quando comparados a estudantes de enfermagem submetidos ao currículo do ensino tradicional.⁽²⁾

Além do conhecimento aprendido, a ABP e a Problematização possibilitam ao estudante contato com a comunidade e com o mundo exterior à sala de aula, proporciona acessos aos recursos da comunidade, promove intrinsicamente a cidadania e o exercício político-social.⁽³⁾ Para o aprendizado cognitivo, a retenção de conhecimento e transferência do saber são estimulados e desenvolvidos nas metodologias de ensino problematizadoras e baseadas em problemas.⁽⁴⁾

O ensino fundamentado em metodologias ativas requer a utilização de diversos métodos de avaliação, entre eles, a Prova de Progressão (PP), também, chamada de avaliação progressiva ou teste de progresso. Caracteriza-se como uma prova composta por testes de múltipla escolha formada pelo conteúdo de todas as áreas que compõem o currículo do curso.

Esse tipo de avaliação permite ao estudante o conhecimento real de seu desempenho e progressão nas séries do curso, através do número de acertos e erros na prova. Para a gestão acadêmica, é uma valiosa ferramenta de diagnóstico do aprendizado relacionado à retenção de conhecimento sobre todas as áreas do currículo de formação do aluno.^(5,6)

O teste de progresso é considerado uma avaliação longitudinal, constituída de questões objetivas do conteúdo total pedagógico, aplicado a todos os estudantes, independentemente da série.⁽⁷⁾ Wrigley, et al⁽⁸⁾ descreve a prova de progressão como uma prova teste de 200 a 100 questões, variando de curso e universidade.

O curso de Enfermagem da Pontifícia Universidade Católica de São Paulo (PUCSP) possui 67 anos de existência e 10 anos de implantação de um currículo alicerçado em Metodologias Ativas de Ensino, destacando-se como uma das escolas pioneiras no país a trabalhar com essa metodologia. Tem como principal característica, um currículo integrado que utiliza como estratégia de aprendizagem, a Problematização e ABP. Fundamenta-se na construção do conhecimento cognitivo, afetivo e comportamental dos estudantes de Graduação em Enfermagem.

O processo de avaliação dos estudantes do curso de enfermagem é bastante complexo, envolve capacitação continuada docente e discente. Assim como nos métodos tradicionais, na ABP e na Problematização, a avaliação é um dos maiores problemas de implementação e manutenção curricular. A literatura aponta preocupações e explicações quanto aos procedimentos e características das metodologias; poucos estudos analisam e sinalizam as trajetórias dos processos avaliativos.

Assim entendemos que as dimensões pedagógicas das avaliações devem ser compreendidas como integrantes do processo de ensino aprendizagem, de maneira consciente e sistematizada, focada no processo de formação de seus estudantes.

Além da PP, outros métodos avaliativos são utilizados na Universidade, destacam-se os formativos: a autoavaliação, avaliação entre pares, avaliação pelo tutor, portfólio e mapa conceitual. As avaliações somativas compõem-se de avaliação escrita, prática e a PP.

Na instituição estudada, as provas de progressão possuem, em média, 60 questões relacionadas ao conteúdo ensinado e descrito no Projeto Pedagógico do Curso (PPC), é realizada anualmente, no segundo semestre letivo, exigindo a participação de todos os estudantes regularmente matriculados.

Considerando a complexidade da PP como uma ferramenta de avaliação formativa global e a escassez de literatura científica e evidências práticas, circunscrevemos esta investigação, como uma primeira iniciativa de pesquisa, aos seguintes questionamentos: Como ocorre o desempenho do estudante por série do curso? Há relação entre o desempenho e a série, tal como a evolução esperada? Como o estudante avalia a PP quanto ao grau de dificuldade? Quais vantagens e desvantagens os estudantes percebem na PP?

Nesse sentido, esse estudo tem como finalidade aprofundar o conhecimento sobre a PP para aprimorar sua aplicação prática, sendo seus objetivos, conhecer o desempenho e a percepção dos estudantes de enfermagem na prova de progressão e verificar a existência de relação entre o desempenho e a série em curso e entre o desempenho e o grau de dificuldade da prova.

Métodos

Trata-se de um estudo descritivo, de abordagem quantitativa, realizado na PUCSP.

Dos 106 estudantes matriculados, em 2015, nos quatro anos do Curso de Enfermagem da Universidade, participaram deste estudo 78 (73,5%), destes 21 do primeiro ano (26,9%), 19 do segundo (24,3%), 20 do terceiro (25,7%) e 18 do quarto (23,1%). Os dados foram coletados por uma das pesquisadoras, no mês de outubro de 2015, após a realização da prova de progressão, pré-agendada e divulgada em calendário acadêmico.

Para coleta de dados foi elaborado um questionário composto: - pela caracterização sócio demográfica, que correspondeu à idade, sexo, série no curso, atividade remunerada e inserção em programas de auxílio a estudos/fomentos; - pela percepção do estudante sobre a prova, em que classificaram o grau de dificuldade da prova em Muito fácil, Fácil, Média, Difícil e Muito difícil e responderam a duas perguntas estruturadas, “Quais as vantagens da prova de progressão?” e “Quais as desvantagens da prova de progressão?”.

Os dados referentes ao desempenho dos estudantes nas provas foram extraídos da plataforma de correção de provas da Universidade, transportados para uma planilha de dados do Excel for Windows (versão 2013), e inseridos no programa SAS (System for Windows Version 9.2). Foi empregada estatística descritiva com medidas de dispersão para caracterização da população, desempenho e percepção dos estudantes na PP.

Para comparação das variáveis categóricas foram utilizados o teste Qui-Quadrado de Pearson ou o teste exato de Fisher, para valores esperados menores que 5. Para comparação das variáveis numéricas entre dois grupos, foi utilizado o teste de Mann-Whitney, e entre três ou mais grupos, foi usado o teste de Kruskal-Wallis, devido à ausência de distribuição normal das variáveis. O nível de significância adotado para os testes estatísticos foi de p<0.05.

A caracterização da população e a classificação das questões da prova foram tratadas por meio de estatística descritiva, também empregada para as duas perguntas sobre as vantagens e desvantagens, além das medidas de dispersão. As respostas a cada pergunta foram agrupadas por frequência, formando os grupos descritos a seguir.

Primeira pergunta - Vantagens da prova de progressão, quatro grupos: 1.1 Conteúdo da PP - respostas relacionadas à temática das questões; Grupo 1.2 Desempenho e progressão - caracterizada pela percepção de performance e de evolução dos estudantes; 1.3 Tipo de prova - referente às questões de múltipla escolha; 1.4 Preparo para concursos - representado pelo possível treino para processos seletivos.

Segunda pergunta - Desvantagens da prova de progressão, três grupos: 2.1 Estrutura da PP -atributos à formulação das questões; 2.2 Duração da PP - tempo dedicado à realização da prova; 2.3 Ausência do conhecimento - relacionado à série em curso.

À apresentação destes resultados, foram inseridos exemplos que discriminam cada grupo, as respostas foram codificadas com a letra E e numeradas de 1 a 78.

A realização do estudo se deu após a aprovação do Comitê de Ética em Pesquisa da PUCSP, número CAAE nº 43861115.5.0000.5373, obedecendo aos preceitos da Resolução N° 466/2012 e Norma Operacional N°001/2013. Todos os participantes que concordaram em responder ao questionário, assinaram o Termo de Consentimento Livre e Esclarecido (TCLE), com garantia do sigilo e anonimato de sua participação.

Resultados

Dos 78 estudantes participantes, 70 (89,7%) eram do sexo feminino e 8 (10,3%) do masculino; a idade variou de 17 a 51 anos, apresentando média de 24,4 anos, desvio padrão 6.6.

A maioria dos estudantes, 60,3% possuíam vínculo empregatício com atividade remunerada; 70,5% bolsa auxílio dos programas: Programa Universidade para Todos (PROUNI), Fundação São Paulo (FUNDASP) e Fundo de Financiamento Estudantil (FIES) e 12,8% em programas de fomentos de pesquisa: Conselho Nacional de Pesquisa (CNPq) e Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP).

O desempenho dos estudantes relacionado ao número de acertos em percentil (%) nas PP está demonstrado na tabela 1.

Tabela 1
Desempenho dos estudantes na PP, por ano do curso

Ano do Curso	n	Média	DP	Mínimo	Máximo	Mediana	p-value *
Primeiro Ano	21	42,06	8,67	25,00	58,33	43,33	P=0.014 -> 1≠2
Segundo Ano	19	50,00	5,58	43,33	65,00	50,00
Terceiro Ano	20	47,33	9,39	31,67	63,33	47,50
Quarto Ano	18	49,07	7,57	36,67	65,00	48,33

• ^*
  p-value referente ao teste de Kruskal-Wallis para comparação das variáveis entre 3 ou mais grupos

Os estudantes do primeiro ano apresentaram melhor desempenho quando comparados aos demais anos, com significância estatística quando comparado ao segundo (p=0.014).

No que se refere à percepção do graduando quanto ao grau de dificuldade da prova de progressão, 4 estudantes (5,1%) classificaram-na como Fácil, sendo 2 estudantes do primeiro ano e 2 do terceiro; como Média foram 50 estudantes (64,2%), sendo 15 (7,5%) do primeiro ano, 12 (6,0%) do segundo, 12 (6,0%) do terceiro e 11 (5,5%) do quarto ano; 22 estudantes (28,2%) consideraram a prova Difícil, sendo 2 (0,4%) do primeiro ano, 7 (1,5%) do segundo; 6 (1,3%) do terceiro e 7 (1,5%) do quarto ano; prova muito difícil foi mencionada por 2 estudantes (2,5%) do primeiro ano.

Quando comparado o número de acertos e a classificação das questões em fáceis, médias, difíceis ou muito difíceis, houve diferença estatística significativa (p=0.036), sendo que os estudantes que consideraram a prova fácil tiveram um desempenho maior do que os que acharam a prova muito difícil, médias de acertos 54,0% e 32,0%, respectivamente.

Ao compararmos os desempenhos dos estudantes nas quatro séries, diferenças estatisticamente significantes foram encontradas somente entre a primeira e segunda (p= 0,014), de modo que a segunda série apresentou melhor desempenho, média de acertos de 50,0%, enquanto a primeira obteve média de 42,1% acertos.

Dentre os participantes, 9 (11,6%) não responderam às perguntas relativas às variáveis qualitativas, os demais 69 (88,4%) manifestaram, por escrito, sua percepção quanto às vantagens e desvantagens da PP.

• Primeira pergunta - Vantagens da prova de progressão - 69 estudantes - 100%

Quanto ao Conteúdo da PP, 25 (36,2%) estudantes apontaram-no como subsunçores, demonstrando a necessidade de articulação de saberes.

• –

  “A oportunidade que temos de utilizar os conhecimentos que tivemos durante os módulos passados para responder às perguntas, pois utilizamos novos conhecimentos e reforçamos nosso aprendizado, podendo retomar assuntos desde o primeiro ano” (E 37).

• –

  “A grande maioria do conteúdo das questões está relacionada ao conteúdo do dia a dia da enfermagem, quanto à atenção primária, secundária e terciária” (E 66).

• –

  “A maior vantagem é ter nas provas, perguntas que fazem parte do nosso currículo” (E 74).

• –

  No que se refere ao Desempenho e Progressão, 20 (28,9%) estudantes mostraram a perspectiva de avaliação progressiva do estudante, do método e do curso.

• –

  “Possibilita avaliar a progressão do aluno durante o curso de acordo com cada ano” (E 27).

• –

  “Prova muito boa para a avaliação do curso e desempenho dos alunos e a sua progressão durante os quatro anos; possibilita, também, a avaliação do método” (E 28).

• –

  “Acredito que a própria prova em si é um aspecto facilitador, podendo o aluno ter o parâmetro nos quatro anos do curso, avaliando dessa forma se progrediu, regrediu ou permaneceu com relação a conhecimentos adquiridos” (E 69).

Em relação ao Tipo de prova, 18 (26,1%) estudantes registraram a vantagem de ser um teste de múltipla escolha.

• –

  “Para mim, as questões de múltipla escolha agilizam a realização da prova e podemos treinar para futuras provas testes” (E 52).

• –

  “Achei o aspecto mais facilitador o fato da prova ser teste, pois assim ganhamos mais tempo para responder às questões” (E 17).

• –

  “O fato da prova ser com questões alternativas faz com que eu consiga avaliar as opções e, caso eu não saiba a questão, eu consigo me aproximar da resposta que achar a mais correta” (E 75).

Atinente ao Preparo para concursos, 6 (8,7%) estudantes comentaram que a PP simula provas de concurso, por abordar todo o conteúdo do curso de graduação.

• –

  “Acho bom ter a oportunidade de realizar uma prova diferente das que executamos durante os módulos, pois ela aborda todo o conteúdo, simulando prova de concurso” (E 78).

• –

  “A prova possibilita treinamento para concurso, testa como nos encontramos em relação aos estudos e aprendizado. Acho que o quarto ano é o ano mais apto para ir bem na prova, pois, teoricamente, já estão preparados” (E 25).

• –

  “Essa prova proporciona treinamento de uma prova em futuros processos seletivos, pois nos ajuda a relembrar assuntos que já vimos em semestres anteriores e ajuda a termos conhecimentos do que ainda vamos ver futuramente” (E 26).

• Segunda pergunta - Desvantagens da prova de progressão - 69 estudantes - 100%

A respeito da Estrutura da PP, argumentaram ser uma prova extensa, cansativa e trabalhosa - 43 (62,3%) estudantes.

• –

  “Para mim, a maior desvantagem está no fato dos textos que compõem a prova serem muito extensos” (E 48).

• –

  “Eu acho que questões muito extensas faz com que no final da prova ocorra falta de concentração” (E 65).

• –

  “Achei as questões muito longas e eu não consegui focar por muito tempo” (E 13).

• –

  “Dificuldade encontrada foi na elaboração das questões, pois havia algumas alternativas extensas” (E 17).

• –

  “A formulação de algumas questões que apresentam divergências nas respostas” (E 37).

• –

  “As questões, algumas vezes, são desatualizadas, ambíguas e as informações fornecidas inconsistentes, as questões são maçantes” (E 38).

Além disso, 5 (7,3%) estudantes consideraram a Duração da PP insuficiente para sua realização.

• –

  “Tempo da prova é curto para a sua realização e o conteúdo é muito extenso, com isso acaba ficando cansativo” (E 43).

• –

  “Tempo de prova curto para questões de textos longos” (E 44).

• –

  “Tenho dificuldade em entender muitas questões em pouco tempo” (E 63).

Como suposto, 21 (30,4%) estudantes discerniram sobre a Ausência do Conhecimento a depender da série em curso.

• –

  “Acredito que devido ao ano em curso e ao fato de algumas questões serem correspondentes aos próximos anos dos cursos, não soube responder, essa, para mim, foi a maior dificuldade” (E 1).

• –

  “Não ter conteúdo suficiente dos anos seguintes para realizar a prova” (E 6).

• –

  “Para mim, o mais difícil foi responder questões relacionadas aos próximos semestres, já que o fato de eu não saber os conteúdos, me deixa insatisfeita com meu resultado” (E 7).

• –

  “Eu encontrei dificuldades nos assuntos que eu ainda não tinha conhecimento, mesmo assim, procurei responder por dedução, o que, muitas vezes, pode ter atrapalhado o meu resultado” (E 9).

Discussão

O predomínio do sexo feminino e a média de idade dos estudantes foram semelhantes ao da literatura brasileira, que mostra que 85,1% do contingente profissional de enfermagem é do sexo feminino; 40% representam idade entre 36 e 50 anos; 38% entre 26 e 35 anos e 2% acima de 61 anos.⁽⁹⁾

O número elevado de estudantes que possuem vínculo empregatício com atividade remunerada e auxílio por programas de fomentos ilustra uma parte da realidade brasileira vivenciada pelo estudante trabalhador. O conhecimento do perfil do alunado, idade, sexo e atividade laboral proporciona o desenvolvimento de estratégias de aprendizagem direcionadas, atividades de prática crítico – reflexivas e procedimentos de ensino inovadores inter-relacionados com a realidade sócio político econômica e institucional.

A escassez de publicações em relação à prova de progressão realizada por estudantes de enfermagem, a diversidade de definições, as características da prova e as particularidades dos projetos pedagógicos dos Cursos de Graduação em Saúde dificultam a comparação com a literatura. Os estudos encontrados apontam para área de formação médica.⁽¹⁰⁾

A PP é um instrumento avaliativo com finalidade de medir as competências finais do curso, a mensuração deve ser feita por meio da avaliação do aprendizado do estudante quanto aos aspectos essenciais à sua formação. Apesar de estar alicerçado na memorização, os escores individuais dos estudantes obtidos na PP devem ser utilizados como avaliação formativa e não somativa, desse modo, a avaliação deve ser realizada por meio de vários instrumentos e não em um único teste.⁽¹¹⁾

Quanto ao grau de dificuldade da prova, esse questionamento ainda não foi respondido pela literatura satisfatoriamente, uma vez que a percepção do estudante é caracterizada pela subjetividade da resposta. Entretanto, há necessidade de estudos relacionados a percepção e desempenho dos estudantes monitorados de forma seriada, com variáveis estatísticas métricas, procedimentos analíticos como a Teoria de Resposta ao Item, para que possamos considerar consenso nos resultados.

A construção da PP deve ser feita para possibilitar a mensuração do desempenho dos estudantes de maneira longitudinal e progressiva.^(7,8,10)

Desse modo, e pelo volume e complexidade do conteúdo crescente ao longo dos anos, espera-se que o desempenho dos estudantes da segunda série seja melhor que da primeira e assim, sucessivamente, findando na quarta série, que deve ser melhor que todas as anteriores.

Neste estudo, esse fato foi constatado somente no desempenho da segunda série em relação à primeira, o que sugere a necessidade de aprofundar a investigação quanto à eficiência da PP para diferenciar a evolução progressiva do aprendizado e a possibilidade de acertos ao acaso – ‘chute’; a distribuição do conteúdo nas questões, no que se refere à série em curso, também, carece de uma avaliação. Ademais, lembramos que o número de respondentes pode ter sido insuficiente para esse tipo de análise estatística.

Conhecer as percepções dos estudantes em relação à PP, nos faz refletir sobre os comportamentos de aprendizagem e a avaliação do ensino. O conteúdo, diretamente relacionado ao aprendizado, ter sido considerado como vantagem remete à ideia de que o estudante esteja relacionando a temática das questões abordadas na prova à sua capacidade de responder pautada em seu aprendizado.

Por esse ângulo, estudos apontam a percepção de alunos sobre a PP como sendo uma prova útil, que permite avaliar a memorização e repetição, conduzindo ao melhor aprendizado, de maneira direcionada pelo feedback.^(11,12)

A metodologia ABP de ensino, porém, não está restrita à memorização, pois propicia a liberdade para que os estudantes busquem seu próprio aprendizado, enfocando em escolhas e necessidades pessoais e individuais de estudo e aprendizado.^(12–14)

Ressaltamos que os estudantes são estimulados a estudarem os conteúdos principais de cada módulo que compõem o currículo, facilitando a aquisição de conhecimento e a retenção do mesmo em longo prazo.

A oportunidade de demonstrar progressão e desempenho foi outra vantagem citada pelos estudantes, o que é consonante à finalidade precípua da PP, embora não se tenha observado esse resultado no desempenho comparado entre as séries.

Consideraram a PP útil para medir conhecimentos adquiridos durante a realização do curso, apoiados na formulação curricular⁽¹⁵⁾ e estabelece importante relação entre o grau de conhecimento do estudante e seu desempenho neste modelo avaliativo.⁽¹⁶⁾

Outro estudo⁽¹⁷⁾ acerca da percepção dos acadêmicos sobre a PP, mostrou que a prova avalia a aprendizagem acadêmica, que é uma prova justa e válida e que gostariam de ter mais tempo para realizarem as provas. A realização do feedback levou esses estudantes a dedicarem mais tempo de seus estudos para este tipo de avaliação.

A importância do desenvolvimento cognitivo na formação dos profissionais de saúde é considerada um processo contínuo de aquisição e consolidação de um conjunto de componentes necessários ao domínio do conhecimento em uma ou mais áreas de desempenho. Demonstra além do crescimento cognitivo, uma maior participação dos estudantes na realização das provas.⁽⁷⁾

A PP é considerada um instrumento de orientação aos estudos, principalmente, quando relacionada à avaliação de conteúdo e à retenção deste conhecimento em longo prazo,⁽¹³⁾ nesse sentido, os estudantes perceberam a prova como uma espécie de treino para provas e concursos futuros, principalmente, pelo fato desta prova ser constituída totalmente por questões de múltipla escolha. Destacamos que todas as avaliações escritas que compõem o PPC da PUCSP são constituídas por questões abertas, a única exceção é a prova de progressão.

Tal como encontrado neste estudo, observamos que, na área de medicina, a PP é tida como um “treinamento” para que os estudantes, após a conclusão da graduação, estivessem mais bem preparados para realizar as provas de habilitações médicas.⁽¹⁸⁾

A construção eficaz dessas questões, no entanto, é tão trabalhosa que foi construído⁽¹⁹⁾ um software capaz de medir conhecimento cognitivo em provas testes com questões de múltipla escolha.

Ao considerar a estrutura das questões em relação ao seu conteúdo e forma, a elaboração dos testes está a cargo dos professores do curso nas universidades brasileiras, posteriormente, essas questões são agrupadas e revisadas por uma comissão designada para este fim.^(20,21)

Em comparação a estudos internacionais, isso é bastante diferenciado e discutido. As provas são construídas ou por um banco de dados (programa de computador) como em MacMaster⁽²²⁾ que possui um banco de questões com 3500 itens selecionados e revisados por um docente responsável. Após a realização da prova, os estudantes avaliam cada item da prova, que, posteriormente, são mantidos ou não no banco de questões.

Como as experiências brasileiras, em Maastricht,⁽²³⁾ o processo de criação dos testes é trabalhoso e envolve um grande número de docentes que realizam a redação dos enunciados e alternativas, a revisão e montagem final dos testes.

Além disso, é essencial a verificação de evidências de validade para mensurar o desempenho dos estudantes sobre determinados conhecimentos.^(24,25)

A estruturação dos enunciados e das alternativas nos testes de múltipla escolha para utilização na PP constitui também um aspecto importante para a fidedignidade dos resultados. Neste sentido, os enunciados dos testes não devem exigir do estudante apenas a memorização, mas, principalmente, abordar categorias taxonômicas mais elevadas, como a síntese ou a avaliação.⁽⁵⁾

A PP é projetada para testar habilidades finais, abordadas por exercícios complexos que demostrem habilidades em resoluções de problemas. Tais itens podem ser difíceis de serem construídos e exigem dos professores preparo e habilidades, além de um bom entendimento quanto aos objetivos do teste.⁽¹¹⁾ Esta análise ainda não foi realizada nas PP da Universidade estudada.

A caracterização da prova como extensa e com pouco tempo para sua realização pode estar associada à percepção de ser cansativa.

Apesar disso, a prova analisada possuía 60 questões, número aquém das recomendações dos estudos internacionais. A Universidade de MacMaster recomenda a aplicação de 180 questões de múltipla escolha. A Universidade de Missouri – Kansas recomenda a aplicação de 400 itens e a Universidade de Maastricht o uso de 250 questões do tipo verdadeiro ou falso.^(11,22,23) Estudos brasileiros recomendam a PP com a estrutura de múltipla escolha com a variação de 120 a 150 questões.^(20,21)

Ao propor sugestões práticas para a aplicação da PP, alguns autores descrevem que, apesar das PP terem a finalidade de avaliar as competências gerais curriculares, uma das desvantagens está relacionada à construção, aplicação, correção e feedback, processos avaliativos de alto custo às instituições de ensino.⁽¹¹⁾

Quanto ao tempo, na PUCSP, os estudantes podem fazer a prova em até 4 horas, não podendo se ausentar antes da primeira hora. Em média, calculam-se quatro minutos para realização de cada questão, o que se opõe às Universidades de MacMaster e Missouri, onde o estudante tem, em média, um minuto para resolver cada questão. Em apenas uma universidade brasileira, há registro de tempo, com a média 80 segundos.^(20,21) O tempo mínimo preconizado para responder questões de PP são de aproximadamente 75 – 85 segundos.⁽⁸⁾

A ausência de conhecimento e a temática e estrutura inadequadas podem estar relacionadas ao fato de não conhecerem todo o conteúdo para responderem a prova, uma vez que apenas um quarto dos graduandos pertenciam ao quarto ano e, portanto, somente essa parcela de estudantes havia tido todo o conteúdo do curso.

Uma desvantagem relatada pelos estudantes foi quanto à construção das questões por terem características de enunciado com alternativas extensas, questões com divergências nas respostas, ambíguas, informações fornecidas inconsistentes e cansativas. Vale ressaltar que estes aspectos não são apontados na literatura.

A aplicação da PP como processo avaliativo de conhecimento está inserida na metodologia de ensino ABP. A construção do conhecimento e aprendizado preconizada nesta metodologia está alicerçada em saberes e experiências prévias, considerando a importância do senso comum interpelado pelo científico em um diálogo constante na transformação do aprendizado. A metodologia ABP é amparada na aprendizagem significativa, na qual todo conhecimento para ser significativo necessita da inter-relação dos saberes prévios dos alunos. A aprendizagem reflexiva considera a importância das respostas cognitivas, entretanto, os pensamentos e sentimentos devem ser revelados, pois estão envolvidos no processo de aprender.⁽²⁶⁾ Os participantes deste estudo perceberam que dependem de subsunçores para responderem às questões da PP.

Podemos compreender esses achados, também, pela dimensão cultural e entender que os “nossos estudantes” precisam se acostumar com esse tipo de avaliação. Nos estudos internacionais, por exemplo, a aplicação da PP, em Maastricht e University of Missouri Kansas City (UMKC), ocorre quatro vezes ao ano e em MacMaster e Utrecht três vezes ao ano.^(11,27)

Estudos consideram que a PP traz estabilidade nos procedimentos de avaliação, auxilia nas mudanças e ajustes curriculares, promove alteração de conteúdo e deve ser analisada sob estas dimensões, tanto por alunos como professores, não objetivando apenas desempenho e progressão.⁽⁸⁾

Diante dos aspectos favoráveis e dos problemas identificados, acreditamos que a formação de uma comissão docente para a elaboração, aplicação, correção da PP e realização do feedback aos estudantes possa contribuir como uma ferramenta de gestão acadêmica eficaz nos processos avaliativos do curso. A construção da PP de maneira objetiva e inter-relacionada com as matrizes curriculares podem proporcionar a redução de custos institucionais e maior credibilidade da PP como instrumento avaliativo.

Conclusão

Tal como recomenda a literatura, a Prova de Progressão proporcionou ao estudante, reflexões quanto a seu desempenho e progressão nas séries do curso, embora tenham sido apontados problemas, ratificamos sua importância como ferramenta para avaliação diagnóstica e formativa na formação discente. As falas dos estudantes esclarecem aspectos formativos da PP, evidencia sob a ótica da percepção discente as vantagens e desvantagens da avaliação. Destacam-se a necessidade de articulação de saberes dos conteúdos das questões, bem como a oportunidade de realizarem provas testes do conteúdo global do curso. Esses aspectos, por sua vez, amparam o docente no planejamento e na tomada de decisões relativos ao processo ensino aprendizagem e de avaliação. A Problematização e a ABP, com sustentação do Construtivismo, refuta o aprendizado restrito à transmissão e memorização de conhecimentos, desse modo, é essencial, aprofundar a investigação a respeito da PP para que, de fato, cumpra seu papel avaliativo na construção do profissional crítico e ativo. Para ganhar novos insights sobre este processo, a evidência de pesquisas sólidas é necessária e devem focar-se em análise das necessidades, monitoramento de aprendizagem e metas de avaliação. Assumimos como fatores limitantes desta pesquisa, a regionalização e pequeno tamanho da população que não foi estratificada e, portanto, pode ter tendenciado os resultados, além de impedir a realização de testes estatísticos mais refinados, o que desfavorece a generalização dos achados.

Apesar dessas limitações, consideramos como contribuições do estudo, a identificação de importantes aspectos a serem investigados, não somente para Universidade campo do estudo, como também, para as instituições de ensino superior que já a utilizam possam fazer revisões de sua prática e para as que pretendem implantar a PP como uma ferramenta de avaliação formativa e longitudinal. D e mais a mais, a divulgação de uma análise sobre a PP, ainda que incipiente, é essencial, visto que não há literatura a respeito na área da enfermagem, todos os estudos citados são provenientes da área médica. Por fim, ressaltamos que este estudo motivou as pesquisadoras a aprofundarem a investigação, resultando em uma tese de doutorado.

Agradecimentos

Isabel Cristina Campos Feitosa. Bibliotecária da Faculdade de Ciências Médicas e da Saúde (FCMS) da Pontifícia Universidade Católica de São Paulo (PUCSP) Campus Sorocaba.

Referências

• ¹
  Borochovicius E, Tortella JC. Aprendizagem Baseada em Problemas: um método de ensino-aprendizagem e suas práticas educativas. Ensaio: Aval Pol Públ Educ. 2014; 22(83):263–94.
• ²
  Kong L-N, Qin B, Zhou Y, Mou S, Gao H-M. The effectiveness of problem-based learning on development of nursing students' critical thinking: a systematic review and meta-analysis. Int J Nurs Stud. 2014; 51(3):458–69.
• ³
  Sousa SO. Aprendizagem baseada em problemas como estratégia para promover a inserção transformadora na sociedade. Acta Scientiarum Educ. 2010; 32(2):237–45.
• ⁴
  Yew EH, Goh K. Problem-based learning: an overview of its process and impact on learning. Health Prof Educ. 2016; 2(2):1–5.
• ⁵
  Pinheiro OL, Spadella MA, Moreira HM, Ribeiro ZM, Guimarães AP, Almeida Filho OM, et al. Teste de progresso: uma ferramenta avaliativa para a gestão acadêmica. Rev Bras Educ Med. 2015; 39(1):68–78.
• ⁶
  Finucane P, Flannery D, Keane D, Norman G. Cross-institutional progress testing: feasibility and value to a new medical school. Med Educ. 2010; 44(2):184–6.
• ⁷
  Sakai MH, Ferreira Filho OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de medicina: aplicação do teste de equalização no teste de progresso. Rev Bras Educ Med. 2011; 35(4):493–501.
• ⁸
  Wrigley W, Van Der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012; 34(9):683–97.
• ⁹
  Machado MH, Aguiar Filho W, Lacerda WF, Oliveira E, Lemos W, Wermelinger M, et al. Características gerais da enfermagem: o perfil sócio demográfico. Enferm Foco. 2016; 7(esp 686.):9–14.
• ¹⁰
  Neeley SM, Ulman CA, Sydelko BS, Borges NJ. The value of progress testing in undergraduate medical education: a systematic review of the literature. Med Sci Educ. 2016; 26(4):617–22.
• ¹¹
  Albanese M, Case SM. Progress testing: critical analysis and suggested practices. Adv Health Sci Educ Theory Pract. 2015; 21(1):221–34.
• ¹²
  Matsuyama Y, Muijtjens AMM, Kikukawa M, Stalmeijer R, Murakami R, Ishikawa S, et al. A first report of East Asian students' perception of progress testing: a focus group study. BMC Med Educ. 2016; 16(1):245.
• ¹³
  Heijne-Penninga M, Kuks JBM, Hofman WHA, Muijtjens AMM, Cohen-Schotanus J. Influence of PBL with open-book tests on knowledge retention measured with progress tests. Adv Health Sci Educ Theory Pract. 2013; 18(3):485–95.
• ¹⁴
  Cónsul-Giribet M, Medina-Moya JL. Strengths and weaknesses of problem based learning from the professional perspective of registered nurses. Rev Lat Am Enfermagem. 2014; 22(5):724–30.
• ¹⁵
  Muijtjens AMM, Schuwirth LWT, Cohen-Schotanus J, Van Der Vleuten CPM. Differences in knowledge development exposed by multi-curricular progress test data. Adv Health Sci Educ Theory Pract. 2008; 13(5):593–605.
• ¹⁶
  Verhoeven BH, Verwijnen GM, Scherpbier AJJ, Holdrinet RSG, Oeseburg B, Bulte JA, et al. An analysis of progress test results of PBL and nonPBL students. Med Teach. 1998; 20(4):310–6.
• ¹⁷
  Wade L, Harrison C, Hollands J, Mattick K, Ricketts C, Wass V. Student perceptions of the progress test in two settings and the implications for test deployment. Adv Health Sci Educ Theory Pract. 2012; 17(4):573– 83.
• ¹⁸
  Norman G, Neville A, Blake JM, Mueller B. Assessment steers learning down the right road: impact of progress testing on licensing examination performance. Med Teach. 2010; 32:496–9.
• ¹⁹
  Pugh D, Bhanji F, Cole G, Dupre J, Hatala R, Humphrey-Murto S, et al. Do OSCE progress test scores predict performance in a national high-stakes examination? Med Educ. 2016; 50(3):351–8.
• ²⁰
  Sakai MH, Ferreira Filho OF, Almeida MJ, Mashima DA, Marchese MC. Teste de progresso e avaliação do curso: dez anos de experiência da medicina da Universidade Estadual de Londrina. Rev Bras Educ Med. 2008; 32(2):254–63.
• ²¹
  Tomic ER, Martins MA, Lotufo PA, Benseñor IM. Progress testing: evaluation of four years of application in the school of medicine, University of São Paulo. Clinics (Sao Paulo). 2005; 60(5): 389–96.
• ²²
  Blake JM, Norman GR, Keane DR, Mueller CB, Cunnington J, Didyk N. Introducing progress testing in McMaster University's problem-based medical curriculum: psychometric properties and effect on learning. Acad Med. 1996; 71(9):1002–7.
• ²³
  Van der Vleuten CPM, Verwijnen WH, Wijnen WHFW, Verwijnen GM, Wijnen WHFW. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996; 18(2):103–9.
• ²⁴
  Findyartini A, Werdhani RA, Iryani D, Rini EA, Kusumawati R, Poncorini E, et al. Collaborative Progress Test (cPT) in three medical schools in Indonesia: the validity, reliability and its use as a curriculum evaluation tool. Med Teach. 2015; 37(4):366–73.
• ²⁵
  De Rijdt C, Stes A, van der Vleuten C, Dochy F. Influencing variables and moderators of transfer of learning to the workplace within the area of staff development in higher education: research review. Rev Educ Res. 2013; 8:48–74.
• ²⁶
  Campos LR, Ribeiro MR, Depes VB. Autonomia do graduando em enfermagem na (re)construção do conhecimento mediado pela aprendizagem baseada em problemas. Rev Bras Enferm. 2014; 67(5):818–24.
• ²⁷
  Freeman A, Van Der Vleuten C, Nouns Z, Ricketts C. Progress testing internationally. Med Teach. 2010; 32(6):451–5.

Datas de Publicação

• Publicação nesta coleção
  Jan-Feb 2018

Histórico

• Recebido
  07 Nov 2017
• Aceito
  15 Fev 2018