Avaliação Critério-Referenciada em Medicina e Enfermagem: Diferentes Concepções de Docentes e Estudantes de uma Escola Pública de Saúde de Brasília, Brasil

Criterion-Referenced Measurement in Medicine and Nursery: Different Understandings of Teachers and Students at a Public College of Brasília, Brazil

RESUMO

Introdução

A avaliação critério-referenciada analisa o desempenho acadêmico sem comparar um estudante com outro, diferindo, assim, da avaliação normo-referenciada, que objetiva determinar os melhores e os piores desempenhos. A Escola Superior de Ciências da Saúde (ESCS) do Distrito Federal adota a avaliação critério-referenciada como único sistema avaliativo, buscando analisar o desempenho dos estudantes de forma integral e sem estimular a competitividade.

Objetivo

Analisar a concepção de docentes e estudantes de Medicina e Enfermagem acerca destes tipos avaliativos.

Metodologia

Estudo quali-quantitativo, descritivo, com delineamento transversal, por aplicação de questionários semiestruturados ao corpo acadêmico da primeira à quarta série da ESCS, realizado em 2013. Foram comparados estudantes, docentes e cursos utilizando-se o teste Qui-Quadrado. Resultados e Discussão: Obteve-se uma amostra de 413 participantes (n = 55,9%), totalizando 54 docentes e 344 estudantes. Observou-se fragilidade do conceito de avaliação critério-referenciada em todo o corpo acadêmico e insatisfação quanto aos critérios avaliativos adotados na escola (323 ou 79,6%). Entre os motivos apontados, destacam-se a subjetividade na correção dos exames empregados e dificuldades ao concorrer em concursos de residência. Outros autores relatam que o método critério-referenciado tende a inflacionar as menções dos estudantes, embora os avalie de maneira mais integral. Por isso, recomendam a adoção dos sistemas critério e normo-referenciado para, respectivamente, aferir melhor o desempenho dos estudantes e compará-los entre si.

Conclusão

A comparação entre estudantes é necessária para processos seletivos dentro e fora da instituição de ensino superior estudada. Por isso, a avaliação critério-referenciada isoladamente não supre as necessidades desta instituição, gerando problemas durante e após a formação acadêmica. Diante disso, propõe-se a adoção de ambos os modelos (normo e critério-referenciado), com a aplicação de padrões de desempenho. Os instrumentos avaliativos também necessitam de critérios mais objetivos para uma correção de testes mais uniforme e justa. Para isso, propõe-se o incremento na capacitação dos docentes com discussões sobre a elaboração de instrumentos avaliativos, como a Teoria de Resposta ao Item.

Educação Médica; Avaliação Educacional; Ensino; Instituições Acadêmicas

ABSTRACT

Introduction

Criterion-referenced tests measure academic performance without comparing one student to another, therefore differing from the norm-referenced tests, which are designed to determine the highest and the lowest scores. The Escola Superior de Ciências da Saúde (ESCS) of Federal District, Brazil, uses criterion-referenced measurement as its only evaluative method, attempting to assess students in a more integrative way and to avoid stimulating competitiveness among students.

Objective

To analyze the interpretation students and teachers of Medicine and Nursery courses about this measurement.

Material and Methods

Cross-sectional, descriptive, quali-quantitative study, performed by application of semi-structured questionnaires to teachers and students from first to fourth year of Medicine and Nursery courses. We compared courses, students and professors using the Chi-Square test. Results and Discussion: The sample size was of 413 subjects (n = 55.9%), composing 54 teachers and 344 students. We observed fragility in the concept of criterion-referenced measurement, as well as dissatisfaction regarding the method of evaluation adopted by the Institution (323 or 79,6%). Most answers point subjectivity in the correction of exams and difficulties in competing for residency programs after graduation as the major problems. Other authors state that criterion-referenced measurement tends to inflate grades of students, although it also evaluates them in a more integrative way. They recommend the adoption of both measurements (criterion and norm-referenced) in order to respectively: obtain best assessment and to compare students’ performances.

Conclusion

Comparison of academic performance is necessary for selective processes inside and outside the studied institution. Therefore, criterion-referenced measurement alone cannot meet the needs of the institution, generating problems during and after graduation. We suggest the adoption of both methods (criterion and norm-referenced measurement) as well as the application of standard setting concepts for classification of students. Evaluative instruments also need objective criteria for correction of tests, in order to provide a uniform and fairer correction. For that, we propose an increase in teacher training by adding new discussions about elaboration of tests, like Item Response Theory.

Medical Education; Educational Measurement; Teaching; University

INTRODUÇÃO

A avaliação é essencial no processo educacional, pois permite identificar se o currículo está evoluindo da forma planejada, por meio de informações sobre estudantes, docentes, programas, estrutura física, apoio didático-social e questões administrativas e pedagógicas da instituição¹.

O processo de avaliação deve ser realizado de forma global, sistematizada e periódica, contendo principalmente três etapas: mensuração do processo educacional; julgamento dos resultados mediante o estabelecimento de padrões de fortalezas e fragilidades; implementação de medidas de forma a qualificar o processo educacional^1,2.

Segundo Glaser³, os métodos de avaliação proporcionam dois tipos de informação: o critério-referenciado, relacionado ao desempenho do estudante quanto à capacidade de realizar determinada tarefa (por exemplo, resolver um problema de aritmética); e o normo-referenciado, relacionado à comparação dos desempenhos dos educandos e sua ordenação (por exemplo, se o estudante A consegue resolver o problema mais rapidamente que o estudante B)³.

Segundo Perrenoud, o feedback ao estudante deve abordar aspectos relacionados ao alcance dos objetivos, conceitos, conteúdos e dificuldades vivenciadas pelo estudante durante o processo de aprendizagem. Influenciam esse processo a integração da teoria e da prática, os recursos didáticos e a experiência e receptividade do professor para receber críticas e elogios, bem como fornecê-las aos estudantes de forma técnica, afetuosa, produtiva e oportuna⁴.

Historicamente, os primeiros professores avaliavam seus estudantes somente com base no aspecto critério-referenciado⁵. Esse método seria conceituado posteriormente por Robert Glaser como “avaliação critério-referenciada”. Baseia-se em um conceito absoluto de qualidade, de modo que a aprovação de um aluno não depende da comparação dele com os outros^3,5.

Essa maneira de avaliar teria sido abandonada desde1920, quando a lógica de individualizar a instrução de cada estudante levou os professores a desenvolverem formas de comparar o rendimento de seus alunos e ordená-los de acordo com seus escores (interpretados como níveis estimados de conhecimento). Esses métodos deram origem ao que foi definido posteriormente como “avaliação normo-referenciada”^3,5,6.

A partir de 1950 – em meio a movimentos educacionais como a Escola Nova, que tinha base nos trabalhos de John Dewey e em métodos pedagógicos como Montessori e Waldorf –, todo o método tradicional de ensino começou a ser criticado e passou-se a questionar a efetividade da avaliação normo-referenciada. Ela é eficiente em verificar se um estudante é mais ou menos proficiente do que o outro, mas não garante que eles saibam plenamente a matéria que foi ensinada^5,7.

Em 1963, Glaser³ chamou atenção para o fato de que a avaliação nas instituições de ensino estava sendo feita de maneira errônea, já que o método principal utilizado era a avaliação normo-referenciada.

No Brasil, as ideias da Escola Nova e do Construtivismo de Piaget foram transmitidas principalmente por Anísio Teixeira, que, junto com Darcy Ribeiro, influenciou a elaboração da Lei de Diretrizes e Bases da Educação Nacional, de 1961⁷.

Em 1968, Paulo Freire escreve o livro Pedagogia do oprimido, que propõe um relacionamento entre professor, estudante e sociedade, e critica o método de ensino e avaliação utilizado na época. Deu o nome de “educação bancária” ao didatismo praticado pelos professores^7,8.

Os anos 1980 foram marcados pela organização de educadores em resistência ao movimento da ditadura militar, em que lutaram pela democratização da sociedade e, assim como Paulo Freire, criticaram os modelos dominantes em um contexto social, político e cultural. Essas manifestações foram contempladas, ainda que parcialmente, com a Constituição Brasileira de 1988 e com a Lei de Diretrizes e Bases da Educação Nacional, de 1996⁹.

No campo da saúde, as novas estratégias de ensino foram implementadas no Brasil, pioneiramente, pela Faculdade de Medicina de Marília, em 1997, e pela Universidade Estadual de Londrina, em 1998¹⁰.

Em 2001 e em 2009, os cursos de Medicina e de Enfermagem, respectivamente, da Escola Superior de Ciências da Saúde (ESCS), em Brasília, foram concebidos para atender a uma demanda do Sistema Único de Saúde (SUS), visando à formação de profissionais com uma visão mais humanista, orientada para a atenção básica de saúde e cientes das necessidades sociais do Distrito Federal e entorno nos diferentes níveis de assistência e promoção da saúde. Planejou-se um currículo inovador, com metodologias ativas de ensino-aprendizagem, como Aprendizagem Baseada em Problemas (ABP) e Problematização^11,12.

Durante a formação acadêmica na ESCS, os educandos também passam por estágios de atualização, conhecidos como Eletivas ou Práticas Complementares de Ensino. Eles compõem um conjunto de atividades complementares que têm como características essenciais serem escolhidas pelos próprios discentes e ministradas por meio da inserção do estudante em um serviço que tenha relação com as ciências básicas ou clínicas da saúde¹³.

Para avaliar os resultados dessas metodologias ativas de ensino-aprendizagem, os cursos de Medicina e de Enfermagem da ESCS adotam o sistema de avaliação critério-referenciado, com instrumentos formativos e somativos validados pela própria escola^11,12.

A avaliação formativa aborda competências que não estão diretamente ligadas às matérias ensinadas no curso, tais como postura em sala de aula, pontualidade, compromisso ético e capacidade de trabalho em equipe. Este tipo de avaliação ajuda o educando a aprender e a desenvolver habilidades, propiciando um feedback contínuo do processo educacional e evitando fracassos ao término da atividade educativa. Entre os métodos de avaliação formativos adotados na ESCS, destacam-se a avaliação oral de desempenho e o Teste de Progresso^14,15.

A avaliação oral de desempenho é realizada verbalmente e aplicada ao final de todas as atividades de trabalho em pequenos grupos do curso, sendo composta pela autoavaliação de cada estudante e pela avaliação pelo docente responsável^14,15.

O Teste de Progresso é uma avaliação objetiva, estruturada em 100 a 150 questões de múltipla escolha, elaborada de modo a promover uma avaliação das competências cognitivas esperadas ao final do curso. Ele deve ser aplicado no mesmo dia a todos os discentes, a fim de que seja possível comparar os resultados entre as séries e analisar a performance evolutiva do conhecimento ao longo do curso. Em 2013, o Teste de Progresso passou a ser elaborado e aplicado em parceria com outras dez escolas de Medicina do Centro-Oeste^14,15.

A avaliação somativa verifica habilidades diretamente relacionadas às unidades educacionais oferecidas pelo curso, no caso, Medicina e Enfermagem. Tem a finalidade de verificar a aprendizagem efetivamente ocorrida, de modo a permitir a decisão sobre a progressão do aluno no curso ou a certificação ao final dele. Entre as avaliações desse tipo, destaca-se o Exercício de Avaliação Cognitiva (EAC), constituído de questões dissertativas formuladas com base em problemas que simulam casos clínicos ou situações problematizadas, com o objetivo de estimar o desempenho individual dos estudantes^14,15.

O desempenho acadêmico é expresso pelos conceitos “satisfatório” ou “insatisfatório”. O primeiro indica que o aluno foi aprovado e pode prosseguir com o curso. Já o segundo indica ser necessária mais atenção ao conteúdo em estudo, de modo que o discente deve ser reavaliado posteriormente^14,15.

Tendo como base essas premissas, buscou-se compreender como a avaliação critério-referenciada se insere no modelo pedagógico da ESCS, partindo-se do pressuposto de que este método avaliativo por si só não supre todas as necessidades acadêmicas dessa instituição.

OBJETIVO GERAL

Analisar a concepção de docentes e estudantes de Medicina e de Enfermagem da primeira à quarta série referente ao sistema de avaliação adotado pela ESCS.

OBJETIVOS ESPECÍFICOS

1.Investigar a concepção dos participantes sobre avaliação critério-referenciada e normo-referenciada;

2.Investigar a satisfação quanto ao método de avaliação utilizado pela ESCS;

3.Investigar a opinião dos entrevistados sobre a relação entre a metodologia avaliativa utilizada pela ESCS, o processo seletivo para as eletivas e a competitividade acadêmica na instituição;

4.Investigar se a ausência de distinção entre alunos de médio desempenho e de alto desempenho na avaliação critério-referenciada influencia o modo como o estudante se sente valorizado;

5.Identificar o posicionamento do corpo acadêmico acerca do fato de os estudantes da ESCS receberem a mesma menção (i.e “satisfatório”), independentemente de serem aprovados com ou sem reavaliação;

6.Simular uma conversão em nota numérica para a menção “satisfatório” utilizada nas avaliações da ESCS.

MATERIAL E MÉTODOS

Trata-se de um estudo descritivo, com delineamento transversal, por meio da aplicação de questionários semiestruturados a todo o corpo docente e discente dos cursos de Medicina e Enfermagem da primeira à quarta série, realizado no ano de 2013.

A amostra foi obtida entre os membros que compõem o corpo acadêmico da ESCS, contando com 413 participantes (n = 55,9%), contemplando 54 docentes e 344 estudantes de ambos os cursos. O número necessário era de 23,8% (219 participantes). Não foi necessária randomização devido ao fato de todos os integrantes da ESCS terem sido abordados pelos pesquisadores. Os excluídos deste estudo são compostos somente por aqueles que se recusaram a participar da pesquisa e dos integrantes da quinta e sexta séries do curso de Medicina. Estes últimos foram excluídos devido ao difícil acesso a estes estudantes durante o período do internato.

O questionário foi composto por dez questões objetivas e quatro semiestruturadas elaboradas pelos pesquisadores, sendo aplicado nos cenários de ensino da instituição referida. As questões investigaram o conceito de avaliação critério-referenciada e normo-referenciada, a satisfação quanto ao método avaliativo utilizado na ESCS e a opinião sobre a eficiência do método com relação a determinados temas (como competitividade acadêmica, critérios de seleção das eletivas e valorização do estudante). Além disso, investigou-se também a opinião dos entrevistados sobre que menção numérica (de 1 a 10) equivaleria ao conceito satisfatório.

Antes da aplicação dos questionários, foi feita uma breve explicação sobre a pesquisa e a metodologia utilizada. Após os esclarecimentos, os participantes receberam um Termo de Consentimento Livre e Esclarecido (TCLE), que foi assinado em duas vias, ficando a primeira em posse do entrevistado, e a segunda, dos pesquisadores. Foi resguardado o anonimato de todas as pessoas entrevistadas.

A pesquisa foi iniciada após aprovação pelo Comitê de Ética em Pesquisa da Fundação de Ensino e Pesquisa em Ciências da Saúde em 2012 com o registro nº 04952912.8.0000.5553. O trabalho foi apoiado financeiramente pela própria escola, na forma de Projeto de Iniciação Científica. Os dados foram coletados em 2013 e analisados utilizando-se o software SPSS (Statistical Package for the Social Sciences) – 23.0.

Foram realizadas comparações entre cursos, docentes, discentes e as duas primeiras e as duas últimas séries, por meio do teste de Qui-Quadrado, sendo consideradas significativas aquelas com valor de p < 0,05.

RESULTADOS E DISCUSSÃO

A amostra totalizou 413 participantes, correspondendo a 55,9% do corpo acadêmico da primeira à quarta série da ESCS, e distribuiu-se conforme apresentado na Tabela 1.

TABELA 1
Distribuição da amostra do estudo

Pessoas entrevistadas
Curso	Categoria	1ª série	2ª série	3ª série	4ª série
Medicina	Docentes	8	2	3	1
	Discentes	52	46	42	70
Enfermagem	Docentes	13	9	10	8
	Discentes	24	40	20	50

Conceitos de avaliação critério-referenciada e normo-referenciada

Os conceitos em questão foram investigados por meio de perguntas subjetivas. As respostas foram categorizadas de duas formas: as que contemplavam os conceitos de avaliação critério-referenciada e normo-referenciada propostos por Glaser foram classificadas como “conceito esperado”; e aquelas que formulavam conceitos diferentes do proposto por esse autor foram classificadas como “outros conceitos”³.

Avaliação critério-referenciada

Observa-se que 55,8% (203 participantes) do corpo acadêmico apresentou conceitos diferentes dos observados na literatura científica³, enquanto somente 44,2% (161 participantes) apresentaram o conceito esperado. Não houve diferença estatisticamente significativa entre cursos, docentes, estudantes ou séries. Tendo em vista a homogeneidade entre os grupos, depreende-se que as estratégias de ensino mencionadas parecem ser insuficientes para consolidar este conceito entre a população entrevistada.

Ambas as categorias de respostas apresentaram visões subjetivas a respeito do assunto, contendo a opinião dos entrevistados frente aos métodos avaliativos.

Entre as respostas obtidas com conceito esperado sobre avaliação critério-referenciada, destacam-se as seguintes:

Não compara o aluno com os demais, mas com sua própria capacidade.

Avaliação que, teoricamente, acompanha todo o processo de aprendizado.

Estabelece critérios para determinar se o estudante possui conhecimento satisfatório sobre determinado assunto ou se deve revisá-lo.

As respostas categorizadas como “outros conceitos” abordavam principalmente uma possível subjetividade da avaliação critério-referenciada. Vale destacar que algumas dessas respostas se referem à metodologia de ensino e aprendizagem como um todo, e não somente aos métodos de avaliação:

Avaliação que visa a qualificar o discente para a vida profissional.

Avaliação que abarca questões subjetivas. Utiliza-se de julgamento e observação do todo.

Avaliação aberta e que cobra do estudante o máximo que este pode oferecer.

Com base nesses dados, supõe-se que a vivência que os acadêmicos têm da avaliação critério-referenciada seja diferente do que é apresentado na teoria – como descrito pelos próprios participantes desta pesquisa –, o que progressivamente distorce tal conceito e justifica o número pequeno de conceitos esperados.

O conceito de avaliação normo-referenciada

A maioria (249 ou 70,7%) dos participantes apresentou conceito esperado. Atribui-se este fenômeno ao maior contato destes com este tipo de avaliação ao longo da vida, tendo em vista que este método avaliativo é aplicado na maioria das escolas de ensino tradicional do Brasil⁷.

Entre as duas primeiras e as duas últimas séries de ambos os cursos, notou-se aumento de 24,4% na frequência de conceitos esperados (p < 0,01; IC_95% = 19,9-28,9%). É possível que o contato com o modelo de avaliação critério-referenciado ao longo do curso ressalte as diferenças entre os dois métodos avaliativos e reforce as características do conceito de avaliação normo-referenciada ao longo do curso, explicando o maior número de conceitos esperados entre a teceira e a quarta série.

Entre as respostas com conceito esperado obtidas ao se investigar o conceito de avaliação normo-referenciada destacam-se:

Avaliação baseada em nota numérica, em que o estudante é avaliado apenas pelo seu conhecimento teórico, permitindo que ele estude apenas o suficiente para atingir a nota necessária para passar; sem necessariamente atingir a nota 10.

Avaliação em que o estudante tem seu desempenho comparado ao dos demais alunos para classificá-lo de acordo com a média geral.

As respostas categorizadas como “outros conceitos” questionavam, em sua maior parte, a efetividade dessa forma de avaliação do aprendizado do estudante. Também referem o estímulo à competitividade dado por essa metodologia:

É uma avaliação em que uma média preestabelecida como padrão deve ser alcançada, de modo que o aluno, atingindo um valor de pontos igual ou acima dessa nota, está satisfatório, porém os conteúdos que foram insatisfatórios não voltarão a ser cobrados; logo, podem existir lacunas de conhecimento.

Baseada em nota, estimula a competição e leva os alunos a estudar somente para não reprovar.

Satisfação quanto ao método de avaliação utilizado pela ESCS

Investigou-se a satisfação dos entrevistados com o método de avaliação critério-referenciado utilizado pela ESCS. A maioria (323 ou 79,6%) do corpo acadêmico encontra-se insatisfeita com o método.

Entre as duas primeiras e as duas últimas séries, houve acréscimo de 16,8% (p < 0,01; IC_95% = 13,1-20,5%) no número de insatisfeitos. Infere-se que a insatisfação com o método aumenta com o progredir do curso. Não houve divergência estatisticamente significativa entre os demais grupos.

Entre os que se consideraram insatisfeitos, as principais justificativas se referem à falta de uniformização e clareza dos critérios de correção do Exercício de Avaliação Cognitiva (EAC) e às dificuldades enfrentadas pelos egressos ao concorrerem a uma vaga de residência em Medicina e Enfermagem.

Destacaram-se as seguintes respostas:

A avaliação é pouco clara. Muitas vezes, o estudante não recebe o feedback de sua prova. Tutores agem de forma diferente. Alguns avaliam por problema, outros por questões. Alguns discutem com os estudantes após a prova, outros não. Uns permitem a vista da prova, outros não. Falta padronização na conduta dos tutores.

Acredito que o método atinge os seus objetivos, porém prejudica os estudantes em relação aos das outras instituições no que diz respeito a currículo e residência médica.

Os alunos entrevistados afirmaram que a avaliação é pouco clara, sendo essas queixas voltadas sobretudo à correção do EAC. O principal motivo é que, frequentemente, eles não são informados com clareza sobre os objetivos de aprendizagem preestabelecidos, o que não atende a um dos princípios do sistema de avaliação da ESCS, tendo como consequência o fato de que o discente tem de adivinhar as expectativas do docente que elaborou seu exame^14,15.

A insatisfação dos educandos especificamente quanto ao EAC também pode ser explicada por uma possível ineficiência da avaliação desse teste por eles. Isto porque, apesar de haver um formato avaliativo específico para que os estudantes apontem os aspectos positivos e negativos do exame, as queixas dos alunos quanto à falta de clareza na correção e na formulação das perguntas deste exame se repetem em todas as séries de ambos os cursos. Isto pode sugerir que haja falha no sistema de retroalimentação dos métodos avaliativos, causando insatisfação recorrente entre os discentes^14,15.

A pouca clareza nos objetivos de aprendizagem durante a construção do EAC pode recair sobre os próprios professores, evidenciando falta de padronização em suas condutas e dificultando a verificação da competência esperada durante a avaliação.

Talvez essa situação se deva à fragilidade encontrada quanto ao conceito de avaliação critério-referenciada entre os participantes desta pesquisa, o que dificulta a construção dos exames de avaliação de desempenho elaborados pelos docentes. Nesse caso, o aprofundamento desse conceito e a aquisição de conhecimentos correlatos, como a Teoria de Resposta ao Item e a padronização de desempenhos (standard setting), facilitariam a obtenção de clareza nos objetivos de aprendizagem e uniformidade na correção dos testes¹⁶.

As respostas mais frequentes entre aqueles que se consideravam totalmente satisfeitos foram:

Apesar de perceber que a avaliação nem sempre é feita de acordo com o que propõe a literatura, acredito que o método adotado pela ESCS é um modelo que permite o crescimento profissional, com base na responsabilidade individual para reconhecer as próprias falhas.

Acredito que esse método avaliativo possibilita que o aluno só prossiga no curso após ter adquirido todas as habilidades esperadas.

Competitividade acadêmica

A opinião sobre a competitividade acadêmica foi avaliada realizando-se a seguinte pergunta: “Como você avalia as menções satisfatório e insatisfatório em relação à competitividade acadêmica? ( ) Aumenta a competitividade ( ) Diminui a competitividade ( ) Não altera a competitividade ( ) Não sei avaliar”.

A maioria (180 ou 43,9%) do corpo acadêmico afirmou que o método não altera a competitividade acadêmica, 33,2% (136) acreditam que a competitividade diminui, e 20,2% (83) acreditam que a competitividade aumenta; 11 participantes (2,7%) não souberam avaliar. Entre os cursos de Medicina e Enfermagem, embora haja divergência estatisticamente significante (p = 0,01), os posicionamentos mais frequentes assumiram ordem similar ao posicionamento do corpo acadêmico geral. As demais distribuições são expostas no Gráfico 1 (p < 0,02 para todas as comparações).

GRÁFICO 1
Posicionamentos sobre competitividade acadêmica frente às menções “satisfatório e insatisfatório”

Conforme exposto no Gráfico 1, a maior parte dos educadores considerou que há diminuição da competitividade, enquanto a maioria dos alunos acredita que a competitividade acadêmica não se altera. Esses dados vão ao encontro da proposta do método avaliativo critério-referenciado, que é a de minimizar a competição entre os estudantes comumente causada pela classificação por meio de notas¹¹.

No entanto, o estudante egresso pode sofrer um choque de realidade ao se deparar com provas de concursos de residência e um mercado altamente competitivo, onde não basta ser “satisfatório”, pois lhe é exigido estar entre os melhores para ingressar em um programa de residência^17,18. Para ingressar na residência Médica ou de Enfermagem, ele é submetido a um processo seletivo que utiliza uma prova objetiva e, algumas vezes, uma prova prática^19,20. Ambas têm caráter normo-referenciado. Além disso, vários concursos de residência consideram em edital a análise do currículo acadêmico do candidato como critério de ingresso, pontuação ou desempate^21-24.

Como o currículo de todos os alunos possui o conceito “satisfatório” no histórico escolar e a tradução numérica exata desse conceito não existe, esse fato impede que esses concursos comparem os estudantes da ESCS entre si ou com outros candidatos. Algumas vezes, os concursos atribuem a esse conceito a nota mínima para ser aprovado em qualquer curso de metodologia tradicional (normalmente cinco)²². Dessa maneira, os discentes da ESCS são prejudicados ao concorrerem a vagas nos programas de residência oferecidos no Brasil, já que estes valorizam a competitividade acadêmica no processo seletivo.

Competitividade acadêmica e eletivas

Quando o número de estudantes que escolhem uma atividade complementar excede o número de vagas disponíveis, estas são distribuídas mediante critérios que tentam selecioná-los de acordo com seu desempenho acadêmico. Como não há uma avaliação normo-referenciada que compare o desempenho dos alunos ao longo do ano, os resultados dos EAC são utilizados como avaliação normo-referenciada: o estudante que tiver obtido maior número de conceitos satisfatórios tem preferência para a vaga¹³.

Levando-se em conta os princípios da avaliação critério-referenciada³, usar o número de reavaliações feitas por cada discente como meio de seleção poderia ser considerado um critério competitivo, ou seja, uma transgressão ao método de avaliação adotado na escola^14,15.

Esse método de seleção não é o ideal, pois na ESCS o EAC não é elaborado com enfoque normo-referenciado. Apesar de todo teste conter informações normo-referenciadas e critério-referenciadas, ele deve ser elaborado com a finalidade de avaliar somente um desses componentes. Isto se deve ao fato de a variabilidade dos escores nos exames ocupar espaço central na determinação da eficiência dessas abordagens^3,16.

Se a avaliação normo-referenciada for o objetivo, a eficácia do teste dependerá basicamente da comparação e ordenamento dos escores obtidos. Dessa maneira, quanto maior a variação de escores, melhor é a eficácia do teste. Por isso, um teste normo-referenciado deve ser construído de modo a refletir a composição dos escores da maneira o mais detalhada possível¹⁶.

Caso o enfoque seja a avaliação critério-referenciada, a variação nos escores será irrelevante, pois o maior interesse estará em determinar se houve ou não aquisição das capacidades esperadas¹⁶.

Por isso, o EAC (de enfoque critério-referenciado) não é um parâmetro adequado para utilizar como processo seletivo de alunos para compor as disciplinas eletivas. Este uso inadequado poderia contribuir para a distorção no conceito de avaliação critério-referenciada dos participantes desta pesquisa, conforme observado anteriormente.

O critério de seleção de eletivas utilizado na ESCS também é observado em outras instituições com metodologia de ensino e avaliação semelhantes. Nesses locais, o estudante que cursa os semestres mais avançados tem prioridade, sendo sua média de rendimento o critério de desempate^25,26. No caso da ESCS, cada série tem sua disciplina eletiva exclusiva, de modo que este critério não se aplica a esta instituição.

Diante disso, os entrevistados foram questionados sobre esses critérios de seleção com a seguinte pergunta: “Como você avalia os critérios de seleção para as eletivas empregados na ESCS com relação à competitividade acadêmica?”.

A maioria dos participantes da pesquisa (280 ou 68,8%) considerou que este método de seleção aumenta a competitividade; 86 participantes (21,1%) acreditam que ela não se altera; 14 (3,4%) consideram que ela diminui; e 27 (6,6%) não souberam avaliar. Não houve diferença estatística entre os cursos de Medicina e Enfermagem (p = 0,052).

Entre as duas primeiras e duas últimas séries de ambos os cursos, apesar de haver divergência estatisticamente significante (p = 0,01) os posicionamentos mais frequentes assumiram ordem similar ao posicionamento do corpo acadêmico geral.

Como mostrado no Gráfico 2, as principais divergências se deram entre docentes e discentes (p < 0,001). Enquanto 43,5% dos docentes consideraram que os critérios de seleção para as eletivas aumentam a competitividade, 73,3% dos estudantes se posicionaram desta forma.

GRÁFICO 2
Posicionamento sobre a relação entre competitividade acadêmica e os critérios de seleção para as eletivas

Com base nesses dados, pode-se considerar que o método de seleção para as eletivas adotado na ESCS tende a aumentar a competição entre os alunos, de modo semelhante ao que ocorre na avaliação normo-referenciada³, fato que contraria a proposta metodológica da escola⁸.

Valorização do estudante

Investigou-se se a ausência de distinção entre alunos de médio desempenho e de alto desempenho na avaliação critério-referenciada influencia o modo como o estudante se sente valorizado.

Entre todos os participantes da pesquisa, 238 (71,7%) acreditaram que o estudante não é plenamente valorizado, contrastando com outros 94 (28,3%). Notou-se aumento de 12% entre os estudantes da terceira e quarta séries em comparação aos estudantes da primeira e segunda séries (p = 0,016; IC95% = 8,5-15,5%), sugerindo um crescimento da sensação de desvalorização ao longo do curso. Não houve divergência estatisticamente significativa entre os outros grupos (docentes e discentes ou cursos).

O Exame de Avaliação Cognitiva e as reavaliações

Os entrevistados foram questionados também acerca do fato de os estudantes receberem a mesma menção, independentemente de serem aprovados com ou sem reavaliação. Isto foi indagado da seguinte maneira: “É adequado que o estudante aprovado diretamente na primeira avaliação receba a mesma menção que o estudante aprovado nas reavaliações?”. A maioria (259 ou 63,5%) dos participantes considerou tal fato adequado, enquanto 149 (36,5%) não o consideraram.

Entre as duas primeiras e as duas últimas séries, houve um acréscimo de 13,6% (p = 0,005; IC95% = 10,2-17,0%) entre os que julgam tal prática inadequada. Infere-se que a importância de diferenciar o desempenho de estudantes aumente ao longo do curso, tendo-se em vista, possivelmente, a pressão do mercado de trabalho e dos concursos de residência em Medicina e Enfermagem.

As principais respostas entre os entrevistados que consideraram adequado o sistema de menções vigente foram:

Acho justo por dois motivos: 1) o segundo estudante pode ter sido vítima de uma avaliação errada do docente; 2) a função primeira da escola é pedagógica, de ensinar. Por isso, premiar os melhores é um fator de pouca importância. Além disso, o discente que estudou de novo para o R1 ou R2 pode aprender até mais do que o que passou direto no EAC, sendo este fato o mais importante.

Acho adequado porque o fato de haver a mesma menção significa que os dois estudantes alcançaram os objetivos propostos.

O resultado descrito condiz com a proposta do método avaliativo da escola, que objetiva qualificar alunos que alcançaram os padrões de competências considerados satisfatórios sem diferenciá-los quanto ao baixo ou alto desempenho¹¹. No entanto, entre os entrevistados há quem considere a avaliação inadequada, destacando-se as seguintes respostas:

Não acho adequado porque o estudante mais esforçado e o menos esforçado ficam com um currículo idêntico ao final do curso.

Não acho adequado porque o esforço e o empenho pessoal não são valorizados.

A nota atribuída ao conceito “satisfatório”

O último questionamento aos entrevistados foi para que fizessem uma comparação entre sistema critério-referenciado e normo-referenciado da seguinte maneira: “Supondo que a avaliação utilizada na ESCS fosse normo-referenciada, a que nota equivaleria o conceito de satisfatório?”.

Conforme exposto no Gráfico 3, uma grande parcela dos integrantes opinou pelas notas de 7 a 10 (372 ou 93%), sendo de “7 a 8,9” a opção mais frequente (141 ou 35,3%).

GRÁFICO 3
O conceito de satisfatório e sua equivalência no sistema de notas na visão da ESCS

A maioria dos alunos de Medicina e Enfermagem também estipulou notas entre 7 e 10 (93,3%). Porém, a nota de “7 a 8,9” predominou entre os primeiros (40,0%), enquanto a nota “10” predominou entre os últimos (50,0%), o que mostra certa divergência entre as a visões dos diferentes cursos (p < 0,01). Considerando a amostra total, a média ponderada da nota atribuída ao conceito satisfatório foi de 8,8.

Algumas instituições com metodologia de ensino e avaliação semelhantes à adotada na ESCS consideram que o estudante é aprovado quando domina os conteúdos e objetivos educacionais, de modo que o conceito satisfatório é considerado como nota dez²⁷.

Além dessa definição, também são utilizados conceitos estratificados com base na porcentagem de domínio do conteúdo. O conceito A corresponde a 90-100% de domínio, sendo o conceito B equivalente a 80-90%, e assim por diante²⁸. A ausência de estratificação do conceito “satisfatório” na metodologia utilizada pela ESCS pode repercutir nas diferentes notas atribuídas a ele pelos entrevistados.

A aplicação de ambos os princípios avaliativos com finalidades diferentes seria necessária: o enfoque critério-referenciado decidiria se o estudante deve prosseguir no curso ou não; e o normo-referenciado teria sua utilidade em comparar o desempenho do aluno com o dos demais estudantes. Desta forma, os processos seletivos (tanto para a composição das disciplinas eletivas como para os concursos) se dariam de maneira mais justa.

Lok et al.²⁹ afirmam que adotar somente um dos métodos avaliativos é sempre prejudicial, já que ambos os enfoques apresentam vantagens e desvantagens. Para os autores, a dicotomia critério/normo-referenciada não deveria existir, pois há complementaridade entre os métodos²⁹.

Duas proposições principais são feitas com relação ao modo de avaliar o estudante: primeiro, ambos os enfoques podem ser apresentados no sistema de notas da instituição de ensino (por exemplo: o estudante A foi capaz de dominar as competências esperadas, e seu desempenho está entre os 25% melhores da turma)²⁹.

Alternativamente, um instrumento (teste) com enfoque normo-referenciado seria aplicado, porém com base em critérios preestabelecidos. Tais critérios seriam constantemente discutidos entre professores e estudantes, a fim de torná-los mais claros e aplicar testes mais acurados nas próximas turmas. Após a aplicação deste teste, padrões de desempenho podem ser estabelecidos (por exemplo: A para os 25% com melhor desempenho, B para o quartil seguinte e assim por diante). Tal modelo é chamado pelos autores de feedback loop (em tradução livre: alça de retroalimentação)²⁹.

Um sistema interno de garantia de qualidade nos cursos da ESCS, inexistente atualmente, possibilitaria avaliar e discutir tecnicamente o trabalho da gerência de avaliação, cobrando o estabelecimento de padrões de qualidade e validade pela gestão da escola, como sugerido por diferentes autores^4,29. A auditoria externa complementaria esta análise e proporia sugestões e prazos para a sua viabilização. Consequentemente, com o compromisso dos atores envolvidos no processo educacional, a avaliação seria valorizada e os parâmetros e instrumentos avaliativos seriam mais factíveis. Isso tornaria estes instrumentos mais respeitados no que diz respeito a fornecimento de informações, alimentação e feedback pelo sistema de avaliação e gestão da escola^30,31,32.

CONCLUSÃO

Esta pesquisa contribuiu para o conhecimento e análise crítica dos sistemas de avaliação da ESCS e da gestão destas informações, identificando fortalezas e fragilidades que poderiam ser utilizadas para a sua revisão, amadurecimento e reformulação. Entre elas, destaca-se a fragilidade do conceito de avaliação critério-referenciada, identificada em todo o corpo acadêmico, bem como a fragilidade dos critérios de avaliação do EAC, mencionada pelos estudantes.

Confirma-se a hipótese dos autores de que a avaliação critério-referenciada não supre as necessidades de verificar as competências acadêmicas adquiridas, gerando problemas durante o processo seletivo dos alunos para as disciplinas eletivas e prejudicando os egressos da ESCS em concursos de residência. Sugere-se que a instituição avalie seus estudantes mediante ambos os enfoques (critério e normo-referenciado) e/ou elaborando um instrumento avaliativo adequado para a avaliação e estabelecimento de padrões de desempenho, conforme proposto por Lok et al.²⁹.

Propõe-se também que os docentes adotem critérios de avaliação menos subjetivos, por meio da discussão de tais critérios com os estudantes, bem como por meio do aprofundamento dos conceitos dos dois tipos avaliativos (critério-referenciado e normo-referenciado) e da aquisição de conhecimentos correlatos, como a Teoria de Resposta ao Item e a padronização de desempenhos (standard setting).

REFERÊNCIAS

• ¹
  Morrison J. ABC of learning and teaching in medicine: Evaluation. British Medical Journal; 2003. 15;326(7385):385-7. Disponível em: http://www.ncbi.nlm.nih.gov/pubmed/12586676
  » http://www.ncbi.nlm.nih.gov/pubmed/12586676
• ²
  Dolmans, D. The effectiveness of PBL: the debate continues. Some concerns about the BEME movement. Medical education. 2003. 37(12), 1129-1130.Disponível em: http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2923.2003.01724.x/abstract
  » http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2923.2003.01724.x/abstract
• ³
  Glaser R. Instructional technology and the measurement of learning outcomes: some questions. American Psychologist. 1963; 18(8): 519-521.
• ⁴
  Marsh HW; Roche LA. Making students’ evaluations of teaching effectiveness effective: The critical issues of validity, bias, and utility. American Psychologist. 1997; 52(11), 1187.Disponível em: http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2923.2003.01724.x/abstract
  » http://onlinelibrary.wiley.com/doi/10.1046/j.1365-2923.2003.01724.x/abstract
• ⁵
  Davis FB. Criterion-Referenced Tests. Annual Meeting of the American Educational Research Association; 1971 fev; Nova Iorque, NY, Estados Unidos (Inglês). Disponível em: http://eric.ed.gov/ERICWebPortal/detail?accno=ED050154 [Acessado 05 jun. 2012].
  » http://eric.ed.gov/ERICWebPortal/detail?accno=ED050154
• ⁶
  Glaser R, Nitko AJ. Measurement in Learning and Instruction. Pittsburgh Univ., Pa. Learning Research and Development Center. Washington, D.C. Psychological Sciences Div. Distribuído por ERIC Clearinghouse, 1970. Disponível em: http://eric.ed.gov/ERICWebPortal/detail?accno=ED038873 [Acessado 05 jun. 2012].
  » http://eric.ed.gov/ERICWebPortal/detail?accno=ED038873
• ⁷
  Silvio HVB. Cidadania: a educação que passa pela TV brasileira. São Paulo. Tese [Doutorado em Comunicação]. Universidade de São Paulo; 2005. Disponível em: http://www.pos.eca.usp.br/sites/default/files/file/bdt/2006/2006-do-barbosa_silvio.pdf [Acessado 05 jul. 2012].
  » http://www.pos.eca.usp.br/sites/default/files/file/bdt/2006/2006-do-barbosa_silvio.pdf
• ⁸
  Freire P. Pedagogia do Oprimido. 17. ed. Rio de Janeiro: Paz e Terra; 1987. Disponível em: .http://portal.mda.gov.br/portal/saf/arquivos/view/ater/livros/Pedagogia_do_Oprimido.pdf [Acessado 05 jul. 2012].
  » http://portal.mda.gov.br/portal/saf/arquivos/view/ater/livros/Pedagogia_do_Oprimido.pdf
• ⁹
  Bandeira HMM, Mendes BMM. Profissão docente: organização histórica do processo pedagógico. In: Ibiapina IMLM; CARVALHO MVC. A pesquisa como mediação de práticas socioeducativas. Teresina: UFPI; 2007.p. 97-106. Disponível em: http://www.ufpi.edu.br/subsiteFiles/ppged/arquivos/files/eventos/2006.g20/G20_19_2006.PDF [Acessado 05 jul. 2012].
  » http://www.ufpi.edu.br/subsiteFiles/ppged/arquivos/files/eventos/2006.g20/G20_19_2006.PDF
• ¹⁰
  Simas C, Vasconcelos F. Método ABP na Medicina: origem e desdobramentos. Revista Eletrônica de Jornalismo Científico. 2010 fev. Disponível em: http://www.comciencia.br/comciencia/?section=8&edicao=53&id=671 [Acessado 05 jul. 2012].
  » http://www.comciencia.br/comciencia/?section=8&edicao=53&id=671
• ¹¹
  Fundação de Ensino e Pesquisa em Ciências da Saúde, Escola Superior de Ciências da Saúde. Projeto Pedagógico do Curso de Graduação em Medicina da ESCS. Brasília: Fundação de Ensino e Pesquisa em Ciências da Saúde; 2012.
• ¹²
  Fundação de Ensino e Pesquisa em Ciências da Saúde, Escola Superior de Ciências da Saúde. Projeto político pedagógico do curso de graduação em enfermagem. Brasília: Fundação de Ensino e Pesquisa em Ciências da Saúde; 2010. Disponível em: http://www.escs.edu.br/arquivos/pppenferm2010.PDF [Acessado 05 jul. 2012].
  » http://www.escs.edu.br/arquivos/pppenferm2010.PDF
• ¹³
  Fundação de Ensino e Pesquisa em Ciências da Saúde, Escola Superior de Ciências da Saúde. Regulamento dos Módulos/Estágios de Atualização (eletivas). Brasília [29011]. Disponível em: http://www.escs.edu.br/arquivos/regulamentodosmodulosdeatualizacao.doc [Acessado 05 jun. 2012].
  » http://www.escs.edu.br/arquivos/regulamentodosmodulosdeatualizacao.doc
• ¹⁴
  Watanabe LM, et al. Manual de avaliação: curso de medicina. Brasília: Fundação de Ensino e Pesquisa em Ciências da Saúde; 2014.
• ¹⁵
  Neves RS, Farias LMR, Dios VC, et al. Manual de avaliação do curso de graduação de enfermagem da ESCS. Brasília: Fundação de Ensino e Pesquisa em Ciências da Saúde, 2009. Disponível em: http://www.escs.edu.br/arquivos/manualdeavaliacao.PDF [Acessado 05 jul. 2012].
  » http://www.escs.edu.br/arquivos/manualdeavaliacao.PDF
• ¹⁶
  Chris R. A Plea for the Proper Use of Criterion-Referenced Tests in Medical Assessment. Med Educ. 2009 Dec;43(12):1141.
• ¹⁷
  Silva SM, Rosa VF, Brandão PRP, Oliveira AC, Oliveira PG, Sousa JB. Cursos preparatórios para a residência médica: visão dos estudantes de medicina. RevColBras Cir. 2011; 38(5). Disponível em: http://www.scielo.br/rcbc [Acessado 13 abr. 14].
  » http://www.scielo.br/rcbc
• ¹⁸
  Ribeiro MMF, Leal SS, Diamantino FC, Bianchi HA. A opção pela medicina e os planos em relação ao futuro profissional de estudantes de uma faculdade pública Brasileira. Rev. bras. educ. med. [online]. 2011; 35(3) pp. 405-411. Disponível em: http://www.scielo.br/pdf/rbem/v35n3/15v35n3.pdf [Acessado 30 abr. 14].
  » http://www.scielo.br/pdf/rbem/v35n3/15v35n3.pdf
• ¹⁹
  Universidade Federal do Paraná. Residência médica hospital de clínicas da UFPR: guia do candidato 2011/2012. [Curitiba]; 2011. Disponível em: http://www.nc.ufpr.br/concursos_institucionais/corem31012/documentos/coreme_guia_2012.pdf [Acessado 05 jul. 2012].
  » http://www.nc.ufpr.br/concursos_institucionais/corem31012/documentos/coreme_guia_2012.pdf
• ²⁰
  Brasil, Secretaria de Estado de Saúde. Edital 01 Seleção para residência médica para o ano 2012: hospital de urgências de Goiânia. [Goiânia]; 2011. Disponível em: http://www.sgc.goias.gov.br/upload/links/arq_539_EDITAL-HUGO-2012.pdf [Acessado 05 jul. 2012].
  » http://www.sgc.goias.gov.br/upload/links/arq_539_EDITAL-HUGO-2012.pdf
• ²¹
  Brasil, Comissão Estadual de Residência Médica do Amazonas. Edital de seleção de candidatos para residência médica 2011/2012. [Manaus]; 2011. Disponível em: http://www.portal.netium.com.br/cermam/EditalConcurso2012.pdf [Acesso em 05 jul. 2012].
  » http://www.portal.netium.com.br/cermam/EditalConcurso2012.pdf
• ²²
  Santa Casa de Misericórdia de Goiânia. Edital nº 01/2011: Concurso 2012. [Goiânia]; 2011. Disponível em: http://www.santacasago.org.br/docs/publicacoes/coreme_edital%202012.pdf [Acessado 05 jul. 2012].
  » http://www.santacasago.org.br/docs/publicacoes/coreme_edital%202012.pdf
• ²³
  Faculdade de Medicina do ABC. Concurso de residência médica 2012. [Santo André, SP]; 2011. Disponível em: http://www.fmabc.br/residencia/images/pdf/EDITAL%202012%20residencia%20medica.pdf [Acessado em 05 jul. 2012].
  » http://www.fmabc.br/residencia/images/pdf/EDITAL%202012%20residencia%20medica.pdf
• ²⁴
  Brasil, Secretaria de Estado da Saúde, Hospital de Doenças Tropicais. Edital: seleção para residência médica/2012. [Goiânia]; 2011. Disponível em: http://www.ceremgoias.org.br/ceremgoias/2012/pdfs/hdt2012Edital.pdf [Acessado 05 jul. 2012].
  » http://www.ceremgoias.org.br/ceremgoias/2012/pdfs/hdt2012Edital.pdf
• ²⁵
  Brasil. Faculdade de Medicina de Marília. Regulamento de Estágios. Marília, SP. 2010.
• ²⁶
  Universidade Estadual de Londrina, Conselho de Medicina, Pesquisa e Extensão. Resolução Número 0203/2007. Londrina, 2007.
• ²⁷
  Faculdade de Medicina de Marília. Secretaria de Desenvolvimento Econômico, Ciência e Tecnologia. O Currículo da FAMEMA (2012). [documento na internet]. Marília – SP. [Acessado 27 abr 2014]. Disponível em: http://www.famema.br/ensino/cursos/docs/Texto_Curriculo_Medicina_2012.pdf
  » http://www.famema.br/ensino/cursos/docs/Texto_Curriculo_Medicina_2012.pdf
• ²⁸
  Russell MK, Airasian PW. Avaliação em Sala de Aula – conceitos e aplicações. 7ª edição. [livro na internet]. McGraw-Hill; Jan 2014 [Acessado 27 abr 2014]. Disponível em: http://books.google.com.br/books?id=HM9IAgAAQBAJ
  » http://books.google.com.br/books?id=HM9IAgAAQBAJ
• ²⁹
  Lok B, McNaught C, Young K. Criterion-referenced and norm-referenced assessments: compatibility and complementarity. Assessment & Evaluation in Higher Education. 2015 Março 27: p. 15.
• ³⁰
  Yorke M; Knight P. Self-theories: some implications for teaching and learning in higher education. Studies in Higher Education. 2004; 29(1), 25-37. Disponível em: http://www.tandfonline.com/doi/abs/10.1080/1234567032000164859#.VyemHfkrLcs
  » http://www.tandfonline.com/doi/abs/10.1080/1234567032000164859#.VyemHfkrLcs
• ³¹
  Brasil, Sistema Nacional de Avaliação da Educação do Ensino Superior (SINAES). Bases para uma proposta de Avaliação da Educação Superior. [Brasília]; 2003. Disponível em: http://portal.mec.gov.br/arquivos/pdf/sinaes.pdf
  » http://portal.mec.gov.br/arquivos/pdf/sinaes.pdf
• ³²
  Massy, W. F. Education quality audit as applied in Hong Kong. Public Policy for Academic Quality Research Program. Chapel Hill: University of North Carolina. 2005. Disponívelem: http://link.springer.com/chapter/10.1007/978-90-481-3754-1_11#page-1
  » http://link.springer.com/chapter/10.1007/978-90-481-3754-1_11#page-1

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2018

Histórico

• Recebido
  22 Jan 2018
• Aceito
  03 Mar 2018