Análise de conteúdo de duas avaliações externas brasileiras de cursos de medicina: Enade e Revalida

Content analysis of two Brazilian external evaluations of medical programs: ENADE and REVALIDA

Resumo:

Introdução:

O Enade é prova cognitiva que avalia o desempenho dos cursos de graduação por meio dos egressos. O Revalida é exame específico para egressos de cursos de Medicina do exterior. Apesar de possuírem atribuições diferentes, as duas avalições são direcionadas a públicos semelhantes, podendo ser consideradas análogas.

Objetivo:

Este estudo teve como objetivos identificar e comparar os conteúdos avaliados pelo Enade e Revalida.

Métodos:

Trata-se de estudo descritivo que comparou o conteúdo do Enade 2013 e 2016 e do Revalida 2015 e 2016, com base na Matriz de Correspondência Curricular do Revalida (MCCR). Na primeira etapa do estudo, dois médicos, professores de Medicina, analisaram de forma independente os itens das quatro avaliações e listaram os conteúdos abordados nos enunciados e nas alternativas. Posteriormente, consolidaram-se os resultados. A análise foi realizada por meio da distribuição de frequência de temas e áreas de concentração de acordo com o exame, da comparação entre as áreas de concentração e dos temas coincidentes em cada exame.

Resultados:

Das 46 áreas de concentração da MCCR, dez não foram abordadas no Enade 2013, seis no ENADE 2016 e duas no Revalida 2015. O Revalida 2016 abordou todas as áreas. Em relação aos 749 temas específicos da MCCR, as duas edições do Enade, em conjunto, abordaram 241 (32,2%) deles, enquanto as duas edições do Revalida abordaram 468 temas (62,5%). Na análise dos 241 temas abordados pelo Enade, 45 deles foram comuns às duas edições, enquanto, de um total de 468 temas, 247 foram abordados nas duas edições do Revalida. Quando se analisou a repetição de temas em cada edição dos exames, observou-se que cerca de 80,0% dos temas foram considerados apenas uma vez nas duas edições do Enade, em comparação com 50,0% nas edições do Revalida.

Conclusão:

Os resultados indicam que as edições 2013 e 2016 do Enade apresentam baixa abrangência de conteúdos em comparação com as edições 2015 e 2016 do Revalida, tendo como referência a MCCR. Identificaram-se também concentração da abordagem em grupos específicos de temas e repetição de um pequeno grupo de temas nas edições analisadas do Enade.

Palavras-chave:
Avaliação Educacional; Competência Profissional; Educação Médica

Abstract:

Introduction:

Enade is a cognitive test that evaluates the performance of undergraduate programs through its students. Revalida is a specific exam for graduates from foreign medicine programs. Despite having different functions, the two tests assess the same target audience and can be considered analogous.

Objective:

The objective was to identify and compare the contents of ENADE and REVALIDA.

Methods:

a descriptive study that compared the contents of ENADE 2013 and 2016 and REVALIDA 2015 and 2016 with reference to the contents of the REVALIDA Curriculum Correspondence Matrix (RCCM). In the first stage of the study, two doctors, professors of Medicine, independently analyzed the items of the four tests and listed the contents covered in the statements and alternatives. The results were subsequently consolidated. The content analysis of the exams was carried out using frequency distribution of the concentration areas and the themes according to the test and comparison between the areas of concentration and themes that coincided in each test.

Results:

considering the 46 areas of concentration of the RCCM, 10 areas were not covered in ENADE 2013, six in Enade 2016 and two in Revalida 2015. Revalida 2016 covered all areas. Regarding the 749 specific themes of the RCCM, the two editions of Enade, together, addressed 241 (32.2%) of them, whereas the two editions of Revalida addressed 468 (62.5%) themes. Analysis of the topics covered showed that of the 241 of Enade, 45 were common to both editions, while 247 of a total of 468 were addressed in both editions of Revalida. When considering repetition of the same topic in each edition of each exam, it was found that around 80.0% of the topics were considered only once in the two editions of ENADE compared to 50.0% in the editions of Revalida.

Conclusion:

the results indicate that ENADE has a lower content validity than Revalida. There was also a concentration in specific groups of themes, and repetition of a small group of themes in the analyzed editions of ENADE, which also reduces the reliability of the exam.

Keywords:
Educational Measurement; Professional Competence; Medical Education

INTRODUÇÃO

Um dos desafios do desenho de currículo nos cursos de graduação em Medicina é a definição dos temas que irão delimitar o conteúdo a ser abordado, mesmo nos dias atuais, em que se privilegia o currículo baseado em competências. As Diretrizes Curriculares Nacionais (DCN) para os cursos de graduação em Medicina, instituídas em 2001 e revisadas de acordo com a Resolução nº 3, de 20 de junho de 2014, estabelecem os princípios, os fundamentos e as finalidades da formação em Medicina no Brasil¹. As DCN reforçam a necessidade de articulação entre conhecimento, habilidades e atitudes requeridos para o futuro exercício profissional do médico e afirmam que os conteúdos fundamentais devem estar relacionados com o processo saúde-doença do cidadão, da família e da comunidade, referenciando-se na realidade epidemiológica e profissional e proporcionando a integralidade das ações do cuidar em saúde¹. No entanto, as DCN não fazem referência detalhada ao conteúdo a ser abordado. É responsabilidade das escolas médicas estabelecer os conteúdos necessários para o desenvolvimento de sua matriz curricular para atingir os objetivos de aprendizagem que culminarão nas competências apresentadas pelas DCN, respeitando-se as características epidemiológicas regionais de cada escola. As DCN de 2014 deixam claro que a orientação da formação deve se basear em competências, o que demanda adaptações curriculares, notadamente para os cursos com matriz curricular tradicional.

Como parte da construção do currículo, o processo de avaliação possui papel fundamental, pois é por meio dele que a aquisição dos objetivos específicos de aprendizagem é verificada, procurando garantir que os egressos tenham adquirido as competências necessárias para atuar e sejam capazes de atender às demandas e necessidades de saúde da sociedade^2),(3. Além do processo de avaliação interno ou próprio, adotado pelos cursos de acordo com o projeto pedagógico, pode haver avaliações externas, como o Teste de Progresso, o extinto exame do Conselho Regional de Medicina de São Paulo e o Exame Nacional de Desempenho dos Estudantes (Enade)^4)-(6.

É importante diferenciar avaliação interna de avaliação externa. As ações de iniciativa da própria escola - que visam avaliar, rever e melhorar regularmente seus programas educacionais - são classificadas como avaliação interna. Avaliações externas podem ser regulatórias ou uma opção da própria instituição que convida/contrata especialistas externos, que terão acesso às informações, aos documentos e aos profissionais, com ou sem visitas in loco, e que devem emitir parecer e recomendações para a tomada de decisão dos gestores dos cursos. Em sua função formativa, a avaliação identifica pontos fortes e fracos, de acordo com o diagnóstico que ela fornece sobre a aprendizagem, permitindo assim que mudanças sejam propostas ao longo do processo pedagógico. Fornece informações sobre a eficácia educacional, a partir do reconhecimento do processo de apropriação dos saberes pelos estudantes, os diferentes caminhos percorridos e a regulação da aprendizagem. Dessa forma, a avaliação permite reverter ou alterar rotas malsucedidas no percurso pedagógico³.

Atualmente, o Ministério da Educação (MEC) avalia as instituições de ensino superior (IES) por meio do Sistema Nacional de Avaliação da Educação Superior (Sinaes), que tem por objetivo “assegurar o processo nacional de avaliação das IES, dos cursos e do desempenho acadêmico dos estudantes ingressantes e concluintes” e contribuir para a melhoria da qualidade da educação superior⁵. A primeira iniciativa do governo brasileiro de avaliação do ensino superior começou em 1995, com a implantação do Exame Nacional de Cursos, conhecido como Provão, que era aplicado anualmente a todos os concluintes de áreas de conhecimento predefinidas. Posteriormente, foram criados o Centro de Educação Superior e a Avaliação das Condições de Ensino. Esse modelo persistiu até 2003, sendo substituído pelo Sinaes em 2004⁷.

O Sinaes busca articular os processos de avaliação e regulação, combinando a participação e responsabilização das IES com a ação reguladora do Estado. Possui o componente de avaliação in loco por avaliadores externos indicados pelo MEC, que, subsidiados por instrumentos públicos de avaliação, têm a missão de avaliar as instituições de ensino em sua globalidade, a denominada avaliação institucional, e/ou os cursos de graduação, de forma individualizada, a chamada avaliação de cursos de graduação. O Sinaes também avalia os cursos por meio do Enade. Tanto as avaliações in loco quanto o Enade são considerados no processo de reconhecimento e renovação de reconhecimento dos cursos de graduação no Brasil⁸.

O Enade é uma prova cognitiva que avalia o desempenho dos concluintes dos cursos de graduação, sendo componente curricular obrigatório para as redes federais e particulares de ensino superior e facultativo para as redes estaduais e municipais. A primeira aplicação do Enade ocorreu em 2004, e a periodicidade da avaliação é trienal para cada área do conhecimento. Ele é constituído por 40 itens divididos em dois componentes, o de avaliação da formação geral, comum a todos os cursos, com oito itens de múltipla escolha e dois discursivos, e o componente específico da área, com 27 itens de múltipla escolha e três discursivos⁵.

Para a elaboração das provas do Enade, são estabelecidas diretrizes pelas Comissões Assessoras de Avaliação de Áreas e Comissão Assessora de Avaliação da Formação Geral. Essas comissões são compostas por especialistas da comunidade acadêmica, assegurada a representatividade de instituições públicas e privadas, de diferentes organizações acadêmicas das cinco regiões do país, que definem conhecimentos e saberes a serem avaliados e todas as especificações necessárias à elaboração da prova a ser aplicada. Entre as atribuições das comissões, está a elaboração das diretrizes e matrizes de prova para a avaliação. Essas matrizes funcionam como instrumentos norteadores para a elaboração de itens que farão parte do Banco Nacional de Itens do Enade, que poderão ser utilizados na composição da prova a ser aplicada nesse exame. Essas matrizes são documentos sigilosos e de uso restrito do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), por indicarem detalhadamente conteúdo, objetivo e formato dos itens que serão encomendados aos elaboradores de cada área⁹.

A prova do Enade, por ser elaborada a partir de conteúdos que contemplam as DCN, deve ser considerada para as revisões curriculares e suas possíveis adequações. Noro et al.¹⁰ estudaram a relação entre conteúdos das disciplinas em um curso de Odontologia e os conteúdos abordados nas provas do Enade 2004 e 2010, a partir da percepção de alunos concluintes e professores, e a distribuição da carga horária dos conteúdos no currículo com questões dos referidos exames. Em sua análise, encontraram uma baixa quantidade de questões que tiveram disciplinas da área básica como componentes principais e como componentes secundários. Foi inferida, no resultado encontrado, a questão da desarticulação entre o ciclo básico e o ciclo profissionalizante, sinalizando a necessidade da integração curricular como meta a ser efetivamente concretizada, reforçando a visão de que os currículos dos cursos na área da saúde têm seu modelo historicamente organizado em disciplinas isoladas, voltadas para uma formação tecnicista e para especialidades, não formando profissionais que atendam às necessidades de saúde da sociedade¹⁰.

Outra avaliação realizada pelo INEP, específica para egressos de cursos de Medicina do exterior, é o Exame Nacional de Revalidação de Diplomas Médicos (Revalida). Apesar de possuir atribuições legais diferentes do Enade, pois trata-se de processo para reconhecimento de diplomas de Medicina de estudantes formados no exterior, o Revalida os habilita a atuarem como médicos no Brasil. Como as duas avalições são externas aos cursos e avaliam o mesmo público-alvo, podem ser consideradas análogas¹¹.

Antes do Revalida, médicos graduados no exterior precisavam procurar uma universidade pública brasileira para fazer o reconhecimento do diploma. Cada instituição adotava critérios próprios que poderiam incluir provas, análise de documentação e até mesmo a necessidade de o profissional cursar alguma disciplina extra para obter a revalidação. A introdução no Brasil das DCN, em 2001, configurou-se em oportunidade de construir um processo de revalidação isonômico, referenciado pelas DCN e baseado em processo de avaliação tecnicamente orientado, para contemplar a aquisição de conhecimentos, habilidades e competências requeridos para o exercício profissional adequado aos princípios e às necessidades do Sistema Único de Saúde (SUS)^11),(12.

Um trabalho integrado entre o MEC e o Ministério da Saúde, no âmbito da Comissão Interministerial de Gestão do Trabalho e da Educação na Saúde, instituída pela Subcomissão de Revalidação de Diplomas, representada por 16 universidades públicas do país¹³ e parte integrante da Comissão Interministerial de Gestão do Trabalho e da Educação na Saúde¹⁴, elaborou a Matriz de Correspondência Curricular em Medicina (Matriz Revalida), utilizada como referencial para a elaboração das provas do Revalida e que estabelece de forma mais clara e detalhada o conteúdo necessário para a formação médica, atendendo aos preceitos das DCN e às necessidades do SUS^12),(15.

A Matriz Revalida é considerada abrangente e contempla as competências necessárias ao exercício da Medicina, relacionando as áreas do conhecimento médico nas quais o graduado deve ter tido a possibilidade de, durante o seu curso médico, adquirir conhecimentos, habilidades e atitudes necessários ao seu exercício profissional, integrando as áreas clínicas e cirúrgicas quando requerido, tangenciando-se igualmente algumas especialidades que contribuem para a formação^12),(15.

As avaliações do Revalida, a partir de 2014, foram compostas por provas de caráter eliminatório em duas etapas: prova escrita objetiva com 100 a 110 itens de múltipla escolha com quatro opções de resposta e cinco itens discursivos. Em uma segunda etapa, é realizada prova de habilidades clínicas no modelo Objective Structured Clinical Examination (OSCE) com dez estações¹².

Apesar de o MEC realizar a avaliação reguladora dos cursos de Medicina de todo o país por meio do Enade, as DCN constituem o único documento norteador comum na construção da matriz curricular dos cursos de graduação em Medicina e estão sujeitas a interpretações e valoração diferentes pelos cursos. Por sua vez, os médicos formados em países estrangeiros que queiram trabalhar no Brasil precisam revalidar os seus diplomas em prova que tem por base a Matriz Revalida, especificamente elaborada para tal, norteada pelas mesmas DCN.

Considerando que o papel da avaliação é fundamental na tomada de decisões para o acompanhamento e a correção de rumos do currículo, e reconhecendo o Enade e o Revalida como dois importantes exemplos análogos da prática de avaliação no Brasil, este estudo teve como objetivos identificar e comparar os conteúdos avaliados por esses exames.

MATERIAIS E MÉTODOS

Trata-se de estudo descritivo que comparou o conteúdo do Enade de 2013 e 2016 e do Revalida de 2015 e 2016, tendo como referência os conteúdos da Matriz de Correspondência Curricular do Revalida^12),(15. Não foram utilizadas neste estudo as seções de competências gerais e competências específicas da Matriz Revalida. Analisaram-se questões de múltipla escolha e discursivas dos quatro testes, referentes a itens específicos da área médica. Os itens de conhecimentos gerais, constantes nas provas do Enade, não foram considerados nessa análise.

Matriz de Conteúdos do Revalida

A Matriz de Conteúdos do Revalida foi criada de forma modular, buscando destacar a importância da integração dos conteúdos e considerando que o curso médico é formado por dois ciclos: integração básico-clínica e internato supervisionado. Os conteúdos foram organizados em 46 áreas de concentração, como mostra a Tabela 1. Cada uma dessas áreas possui um conjunto de conteúdos específicos. No total, a Matriz possui 749 temas diferentes distribuídos entre as áreas concentração. Como se pode observar na Tabela 1, as áreas com maior número de temas são: saúde pública, medicina preventiva e comunitária; ginecologia e obstetrícia; pediatria e neonatologia; urgência e emergência; neurologia e neurocirurgia; e nefrologia e urologia. Essas seis áreas concentram 297 temas, que correspondem a 39,7% do total^14),(15.

Tabela 1
Áreas de concentração de conteúdos da Matriz de Correspondência Curricular do Revalida

Área de concentração	Número de temas	%	% acumulado
Saúde pública, medicina preventiva e comunitária	82	10,9	10,9
Ginecologia e obstetrícia	78	10,4	21,4
Pediatria e neonatologia	56	7,5	28,8
Urgência e emergência	28	3,7	32,6
Neurologia e neurocirurgia	27	3,6	36,2
Nefrologia e urologia	26	3,5	39,7
Clínica cirúrgica	18	2,4	42,1
Abordagem do paciente e bases fisiopatológicas e terapêuticas dos principais sintomas e sinais	17	2,3	44,3
Reumatologia	17	2,3	46,6
Terapia intensiva	17	2,3	48,9
Cirurgia ambulatorial	16	2,1	51,0
Semiologia	15	2,0	53,0
Cardiologia e cirurgia cardiovascular	15	2,0	55,0
Clínica e cirurgia do aparelho digestório	15	2,0	57,0
Traumato-ortopedia	15	2,0	59,0
Gênese e desenvolvimento	14	1,9	60,9
Sistema nervoso	14	1,9	62,8
Fundamentos da prática e da assistência médica	14	1,9	64,6
Psiquiatria	14	1,9	66,5
Aparelho locomotor	13	1,7	68,2
Sistema geniturinário	13	1,7	70,0
Medicina legal e deontologia	13	1,7	71,7
Geriatria	13	1,7	73,4
Sistema digestório	12	1,6	75,0
Hematologia	12	1,6	76,6
Sistema cardiovascular	11	1,5	78,1
Pneumologia	11	1,5	79,6
Sistema endócrino	10	1,3	80,9
Dermatologia	10	1,3	82,2
Doenças infecciosas e parasitárias	10	1,3	83,6
Oftalmologia	10	1,3	84,9
Biologia celular e molecular	9	1,2	86,1
Sistema respiratório	9	1,2	87,3
Processos patológicos gerais	9	1,2	88,5
Endocrinologia: clínica e cirurgia	9	1,2	89,7
Oncologia	9	1,2	90,9
Princípios de técnica operatória	9	1,2	92,1
Otorrinolaringologia	9	1,2	93,3
Bioética e cidadania	8	1,1	94,4
Psicologia do desenvolvimento humano	7	0,9	95,3
A evolução histórica, científica e ética da medicina	6	0,8	96,1
Princípios de farmacologia	6	0,8	96,9
Relação parasito-hospedeiro	6	0,8	97,7
Psicologia médica	6	0,8	98,5
Psicopatologia	6	0,8	99,3
Imunopatologia	5	0,7	100,0
Total	749	100,0	---

• Fonte: Brasil13^),(15.

Na primeira etapa do estudo, dois professores de Medicina, ambos médicos, identificaram os conteúdos de cada um dos quatro exames de forma independente. Cada um dos avaliadores analisou os exames com o propósito de identificar os temas abordados nos enunciados e nas alternativas de cada item com base na lista de temas da Matriz de Correspondência Curricular do Revalida. Não houve nenhum treinamento prévio, nem contato entre os avaliadores nessa fase do estudo. De acordo com a área de concentração do item, os avaliadores buscavam da Matriz de Correspondência os temas mais afeitos ao enunciado e às alternativas. Além dos temas explícitos nos itens, também foram considerados os temas que poderiam ser indiretamente necessários para a resolução deles. Posteriormente, os temas identificados por cada um dos avaliadores foram consolidados em uma única lista para cada exame, e somaram-se as frequências de observação de cada tema. Não se realizou nenhum tipo de consenso entre as duas listas originais.

Analisou-se o conteúdo dos exames por meio da distribuição de frequência das áreas de concentração e dos temas, de acordo com o tipo do exame (Enade e Revalida) e o ano de realização, e da comparação entre as áreas de concentração e dos temas coincidentes em cada tipo exame e edição. Avaliou-se também a representatividade dos conteúdos dos dois tipos de exame com o conteúdo total da Matriz de Correspondência Curricular do Revalida.

RESULTADOS

Dos 749 temas listados da Matriz de Correspondência Curricular do Revalida, os dois avaliadores identificaram 502 (67,2%) em pelo menos um dos quatro exames avaliados. Entre as 46 áreas de concentração da Matriz Revalida, dez não foram abordadas em nenhum item do Enade 2013, não se abordaram seis no Enade 2016, e não houve menção a duas no Revalida 2015 (Tabela 2). Considerando os dois exames do Enade, nenhum item abordou as áreas de bioética e cidadania e biologia celular e molecular. A área de biologia celular e molecular também não foi abordada em nenhum item do Revalida 2015. O Revalida 2016 abordou todas as 46 áreas.

Tabela 2
Número de áreas de concentração abordadas em cada um dos exames avaliados

Área de concentração	Enade 2013		Enade 2016		Revalida 2015		Revalida 2016
	N	%	N	%	N	%	N	%
Abordadas	36	78,3	40	87,0	44	95,7	46	100,0
Não abordadas	10	21,7	6	13,0	2	4,3	0	0,0
Total	46	100,0	46	100,0	46	100,0	46	100,0

A Tabela 3 apresenta as áreas mais abordadas nos dois tipos de exame, considerando o número de temas de cada área. Observa-se que as quatro áreas mais frequentes são as mesmas nos dois tipos de prova (ginecologia e obstetrícia; saúde pública, medicina preventiva e comunitária; pediatria e neonatologia e urgência e emergência), que correspondem a 39,0% do total de temas abordados nos dois tipos de exame.

Tabela 3
Frequência das áreas de concentração de acordo com a frequência de temas abordados em área e por tipo de exame

Área de concentração	Enade		Revalida
	Número de temas	%	Número de temas	%
Ginecologia e obstetrícia	29	12,0	54	11,5
Saúde pública, medicina preventiva e comunitária	27	11,2	61	13,0
Pediatria e neonatologia	23	9,5	44	9,4
Urgência e emergência	15	6,2	23	4,9
Semiologia	9	3,7	13	2,8
Clínica cirúrgica	9	3,7	14	3,0
Abordagem do paciente e bases fisiopatológicas e terapêuticas dos principais sintomas e sinais	8	3,3	13	2,8
Neurologia e neurocirurgia	8	3,3	10	2,1
Medicina legal e deontologia	7	2,9	9	1,9
Cardiologia e cirurgia cardiovascular	7	2,9	10	2,1
Nefrologia e urologia	6	2,5	12	2,6
Sistema nervoso	5	2,1	6	1,3
Princípios de farmacologia	5	2,1	4	0,9
Relação parasito-hospedeiro	5	2,1	5	1,1
Endocrinologia: clínica e cirurgia	5	2,1	6	1,3
Clínica e cirurgia do aparelho digestório	5	2,1	10	2,1
Psiquiatria	5	2,1	14	3,0
Sistema geniturinário	4	1,7	11	2,4
Dermatologia	4	1,7	4	0,9
Doenças infecciosas e parasitárias	4	1,7	8	1,7
Traumato-ortopedia	4	1,7	7	1,5
Fundamentos da prática e da assistência médica	3	1,2	9	1,9
Sistema cardiovascular	3	1,2	8	1,7
Sistema respiratório	3	1,2	6	1,3
Processos patológicos gerais	3	1,2	8	1,7
Psicopatologia	3	1,2	4	0,9
Geriatria	3	1,2	5	1,1
Oncologia	3	1,2	4	0,9
A evolução histórica, científica e ética da medicina	2	0,8	1	0,2
Sistema digestório	2	0,8	10	2,1
Imunopatologia	2	0,8	4	0,9
Psicologia do desenvolvimento humano	2	0,8	2	0,4
Psicologia médica	2	0,8	3	0,6
Pneumologia	2	0,8	5	1,1
Terapia intensiva	2	0,8	9	1,9
Princípios de técnica operatória	2	0,8	5	1,1
Cirurgia ambulatorial	2	0,8	10	2,1
Oftalmologia	2	0,8	3	0,6
Gênese e desenvolvimento	1	0,4	3	0,6
Aparelho locomotor	1	0,4	6	1,3
Sistema endócrino	1	0,4	6	1,3
Hematologia	1	0,4	7	1,5
Reumatologia	1	0,4	6	1,3
Otorrinolaringologia	1	0,4	2	0,4
Bioética e cidadania	0	0,0	3	0,6
Biologia celular e molecular	0	0,0	1	0,2
Total	241	100,0	468	100,0

As 20 áreas mais abordadas nos dois tipos de exame representam cerca de 75,0% dos temas de cada prova, sendo as mais mencionadas: sistema nervoso, princípios de farmacologia, relação parasito-hospedeiro e endocrinologia. As áreas clínicas e cirúrgicas estão entre as 20 mais frequentes no Enade e não constam das áreas avaliadas no Revalida. As áreas fundamentos da prática e da assistência médica, sistema cardiovascular, sistema digestório, terapia intensiva e cirurgia ambulatorial apresentam situação inversa, ou seja, estão entre as mais abordadas no Revalida. Deve-se destacar também que medicina legal e deontologia, psiquiatria e sistema geniturinário, apesar de figurarem entre as 20 principais áreas nos dois exames, apresentam posições ou pesos diferentes entre eles.

Quando se comparam os temas abordados de acordo com o tipo de exame, observa-se que 241 temas (32,2% da Matriz Revalida) foram abordados nas duas edições do Enade e 468 (62,5%) foram no Revalida, e 34 (4,5%) foram abordados apenas no Enade e outros 261 apenas no Revalida (Tabela 4).

Tabela 4
Número de temas abordados e não abordados por exame e por tipo de exame

Tipo de exame	Enade		Revalida		Total
	N	%	N	%	N	%
Temas abordados apenas em uma edição do exame	34	4,5	261	34,8	295	39,4
Temas abordados nas duas edições do exame	207	27,6	207	27,6	207	27,6
Total de temas abordados	241	32,2	468	62,5	502	67,0
Temas não abordados	508	67,8	281	37,5	247	33,0
Total	749	100,0	749	100,0	749	100,0
Enade	2013		2016		Total
	N	%	N	%	N	%
Temas abordados em apenas uma edição	64	8,5	132	17,6	196	26,2
Temas abordados nas duas edições	45	6,0	45	6,0	45	6,0
Total de temas abordados	109	14,6	177	23,6	241	32,2
Temas não abordados	640	85,4	572	76,4	508	67,8
Total	749	100,0	749	100,0	749	100,0
Revalida	2015		2016		Total
	N	%	N	%	N	%
Temas abordados apenas em uma edição	115	15,4	106	14,2	221	29,5
Temas abordados nas duas edições	247	33,0	247	33,0	247	33,0
Total de temas abordados	362	48,3	353	47,1	468	62,5
Temas não abordados	387	51,7	396	52,9	281	37,5
Total	749	100,0	749	100,0	749	100,0

Quando se avalia apenas o Enade, observa-se que a edição de 2013 cobriu apenas 14,5% dos temas da Matriz Revalida, enquanto a de 2016 cobriu 23,6% dos temas. Houve 45 temas comuns às duas edições, e 508 temas (67,8%) não foram abordados em nenhuma das duas edições.

Em relação ao Revalida, os resultados são mais homogêneos, as duas edições cobriram cerca de 48,0% dos temas da Matriz Revalida, e 281 temas (37,5%) não foram abordados em nenhuma das duas edições analisadas.

Quando se analisa o número de vezes que determinado tema foi abordado em cada exame (Tabela 5), observa-se que, no Enade, abordou-se a maior parte dos temas uma única vez, com 84,4% e 77,4% nas edições de 2013 e 2016, respectivamente. Quando se consideram os temas abordados uma ou duas vezes na mesma edição do Enade, esse percentual sobe para cerca 95,0% (Tabela 5). Já no Revalida, os temas se repetem com maior frequência: cerca de 50,0% apareceram apenas uma única vez em cada uma das edições do exame, enquanto aproximadamente 35,0% foram mencionados duas ou três vezes em cada uma delas.

Tabela 5
Número de vezes que cada tema abordado foi identificado de acordo com a edição dos exames avaliados

Número de observações	Enade 2013		Enade 2016		Revalida 2015		Revalida 2016
	n	%	n	%	n	%	n	%
1	92	84,4	137	77,4	180	49,7	184	52,1
2	11	10,1	29	16,4	83	22,9	61	17,3
3	5	4,6	7	4,0	51	14,1	55	15,6
4	1	0,9	3	1,7	25	6,9	26	7,4
5	---	---	1	0,6	14	3,9	17	4,8
6	---	---	---	---	6	1,7	4	1,1
7	---	---	---	---	1	0,3	2	0,6
8	---	---	---	---	1	0,3	2	0,6
9	---	---	---	---	1	0,3	1	0,3
12	---	---	---	---	---	---	1	0,3
Total	109	100,0	177	100,0	362	100,0	353	100,0

Entre os temas mais abordados nos dois tipos de exame, destacam-se:

• abdome agudo inflamatório;

• urgências cirúrgicas;

• conhecimento de conceitos básicos e as suas principais características semiológicas;

• elaboração do diagnóstico clínico: anatômico, sistêmico, sindrômico, nosológico e etiológico;

• hipertensão arterial e suas complicações;

• abordagem do paciente, bases fisiopatológicas e terapêuticas das grandes síndromes: insuficiência respiratória, insuficiência cardíaca, insuficiência circulatória aguda (choque), insuficiência renal, insuficiência hepática, coma.

DISCUSSÃO

No Brasil, as avaliações do Enade e do Revalida são de grande importância, pois analisam, respectivamente, a qualidade das escolas médicas brasileiras e certificam o exercício da medicina para egressos de escolas estrangeiras. Por seu caráter regulatório, o Enade influencia a qualidade, reputação e sobrevida das escolas médicas. No caso do Revalida, a relação estabelecida é com o destino individual do egresso de escolas estrangeiras, em seus diversos contextos de vida pessoal e profissional. Apesar dos objetivos distintos, as duas avaliações se propõem a mensurar a qualidade da formação profissional de médicos que atuarão em nossa sociedade, portanto é desejável que tenham semelhanças quanto à sua elaboração e abordagem. Alguns estudos brasileiros também compararam avaliações análogas, mas não idênticas, como foi proposto pelo presente trabalho. Hamamoto Filho et al.¹⁶ analisaram a correlação entre desempenho no Teste de Progresso e em provas de seleção para Residência Médica em um curso de Medicina. Os autores observaram que os alunos com desempenho mais elevado no Teste de Progresso também apresentavam pontuação mais elevada nas provas de residência. Eles concluíram que, apesar de serem instrumentos com objetivos diferentes, ambos avaliavam o conhecimento e a competência cognitiva, e, por isso, apresentaram resultados correspondentes.

Embora os resultados obtidos no Enade sejam utilizados para a classificação das IES, Gontijo et al.¹⁷ apontaram falhas metodológicas nos processos de avaliação do Enade de 2004 e 2007, especialmente no que concerne à variação das matrizes e das fórmulas utilizadas em cada ciclo de avaliação, o que inviabiliza a comparabilidade dos resultados, essencial para a melhoria permanente da qualidade da educação médica no país. Segundo os autores, a ausência de eixos de competências pode levantar questionamentos sobre o processo de elaboração das matrizes de referência das provas do Enade para os cursos de Medicina. Os autores ainda acrescentam que a Matriz de Avaliação do Enade, ao misturar conteúdos com competências, torna-se confusa e dificulta a elaboração do perfil da prova e, consequentemente, dos itens. A ausência de matriz de referência de acesso público, com definição das competências estruturantes da formação da graduação em Medicina, com base nas DCN, é apontada no artigo como uma das possíveis causas das falhas observadas nos exames de 2004 e 2007¹⁷.

Alguns atributos dos métodos e sistemas de avaliação podem ser avaliados quando se pretende analisar a sua qualidade. São eles: validade (propriedade de avaliar exatamente aquilo que se pretende avaliar e a abrangência do conteúdo avaliado em relação ao conteúdo total), confiabilidade ou fidedignidade (atributo que diz respeito a qualidades como a precisão, acurácia e reprodutibilidade), viabilidade (característica relacionada à existência dos recursos necessários para realizar a avaliação), aceitabilidade (característica que permite à avaliação ser reconhecida como adequada e justa), impacto educacional (repercussão sobre o próprio processo de ensino e aprendizado) e efeito catalisador (transformações positivas pelas quais as pessoas e as instituições podem passar)^3),(18.

Os resultados deste estudo indicaram maior abrangência do conteúdo pelo Revalida, quando comparado ao Enade em todas as análises realizadas. Observou-se maior número de temas abordados nas provas do Revalida, o que pode ser explicado pelo número maior de itens presentes em cada avaliação (de 100 a 110 no Revalida versus 30 no Enade). Além de abranger mais temas, o Revalida apresenta maior repetição de temas numa mesma edição, o que aumenta a validade e confiabilidade da avaliação.

A análise das áreas de concentração indicou que dez áreas não foram abordadas no Enade 2013 e seis não foram abordadas no Enade 2016. Em relação ao Revalida, duas áreas não foram abordadas em 2015 e todas as áreas foram contempladas na edição 2016, demonstrando maior abrangência da segunda avaliação.

Ainda em relação ao Enade, os resultados indicam que houve repetição de grande parte dos temas nas duas edições analisadas. Identificou-se concentração de grupos específicos de temas que, embora sejam comuns no dia a dia da atuação do médico, representam pequeno percentual da Matriz Revalida. Isso pode indicar pequena abrangência de conteúdos no Enade e/ou o superdimensionamento da Matriz Revalida, que procuraria cobrir todos os temas “possíveis” na tentativa de avaliar a qualificação dos médicos formados no exterior de maneira mais ampla. O número de edições avaliadas neste estudo pode ser um limitante dessa análise. Há a expectativa de que, com o aumento das edições, novos temas sejam incluídos ou excluídos. Contudo, como ainda há a expectativa de que o candidato realize a prova uma única vez, principalmente em relação ao Enade, é imprescindível que a validade do conteúdo de cada edição isolada seja considerada.

Além das questões já discutidas, relativas à validade de conteúdo, outra limitação do Enade é o fato de avaliar exclusivamente a dimensão cognitiva da formação do futuro médico. Será possível avaliar a qualidade da formação do concluinte, ou de um programa de ensino, em uma única avaliação pontual, apenas cognitiva, ao final do curso? Sabidamente, o aumento de número de avaliações e a realização de avaliações com enfoques diferentes sobre o mesmo tema aumentam a confiabilidade^3),(18. No Revalida, a inclusão da prova prática de habilidades e atitudes permite avaliação multidimensional e aumenta a confiabilidade do resultado.

No entanto, deve-se considerar que a inclusão de prova prática no Enade pode ser operacionalmente inviável, devido à complexidade logística e ao custo elevado, em razão do grande número de alunos a serem avaliados. Dessa forma, outras alternativas precisam ser analisadas, de modo a garantir maior confiabilidade à avaliação.

Embora não tenha sido objeto de análise neste estudo, devem-se considerar ainda a aceitabilidade, o impacto educacional e o efeito catalisador das duas avaliações, principalmente quando se considera o ranking estabelecido entre as escolas com base no resultado do Enade. O fato de o concluinte não ter a nota do Enade discriminada em seu histórico escolar, já que ela não interfere em sua graduação, pode levar ao descompromisso do concluinte com a avaliação do Enade e, como consequência, gerar um resultado negativo para a escola médica. Já no Revalida, por tratar-se de prova certificativa, há a expectativa de maior compromisso e interesse pessoal do participante, o que pode impactar significativamente e de modo divergente os resultados das duas avaliações. Os órgãos reguladores e as instituições de ensino precisam intensificar as discussões com o intuito de tornar mais fidedignos os resultados do Enade, gerando um impacto educacional e efeito catalisador positivos.

Para garantir um processo avaliativo efetivo, alguns cuidados precisam ser considerados, como a formulação de provas com maior abrangência de conteúdos, com itens que privilegiem o raciocínio clínico, a resolução de problemas e a tomada de decisão. Além disso, para que se possa tornar a avaliação confiável, válida e factível, em lugar de uma única avaliação ao final do curso, o ideal seria que essa avaliação ocorresse de forma progressiva em diferentes momentos do curso, tendo como base uma matriz de referência de conhecimento público, conforme proposto por Gontijo et al.¹⁹. A divisão do processo avaliativo poderia tornar viável a realização de provas práticas de habilidade e competências, seguindo o modelo do OSCE ou outros, que seriam complementares à avaliação cognitiva.

É necessário considerar também as características peculiares da atuação médica, carregada de valores morais e éticos. Embora tais características estejam também presentes em inúmeras outras profissões, pesa sobre o médico grande expectativa de êxito, o qual depende de formação acadêmica sólida. Cabe às escolas médicas a responsabilidade de oferecer essa boa formação, e aos órgãos públicos (MEC/INEP) ou às agências independentes (Sistema de Acreditação de Escolas Médicas (Saeme) vinculado ao Conselho Federal de Medicina e à Associação Brasileira de Educação Médica) criar e gerenciar mecanismos eficazes de avaliação que garantam a qualidade da formação.

Por fim, ressalta-se que os resultados deste estudo refletem a análise de apenas dois avaliadores que realizaram a decomposição dos itens, sendo possível que um terceiro avaliador obtivesse um resultado diferente, ainda que próximo. Além disso, embora alguns conteúdos não estejam presentes de forma explícita nos itens analisados, poderiam ser indiretamente necessários para a resolução destes, o que pode subestimar o número de temas da Matriz Revalida abordados nas avaliações. A análise de avaliações de anos anteriores ou posteriores pode também modificar os resultados obtidos neste estudo. No entanto, essas limitações não invalidam os achados do estudo, todas as avaliações foram analisadas pelos mesmos professores, o que torna os eventuais erros de análise comuns aos dois tipos de prova.

CONCLUSÃO

Os resultados indicam que as edições de 2013 e 2016 do Enade apresentam baixa abrangência de conteúdos em comparação com as edições de 2015 e 2016 do Revalida, tendo-se como referência a Matriz Revalida. Identificaram-se também concentração da abordagem em grupos específicos de temas e repetição de um pequeno grupo de temas nas edições analisadas do Enade.

REFERÊNCIAS

• ¹
  Brasil. Resolução CNE/CES nº 3/2014, de 20 de junho de 2014. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina e dá outras providências. Diário Oficial da União, Brasília; 23 jun 2014. Seção 1, p. 8-11.
• ²
  Troncon LEA. Avaliação do estudante de Medicina. Medicina (Ribeirão Preto). 1996;29:429-39.
• ³
  Panúncio-Pinto MP, Troncon LEA. Avaliação do estudante: aspectos gerais. Medicina (Ribeirão Preto) . 2014;47:314-23.
• ⁴
  Bicudo AM, Hamamoto Filho PT, Abbade JF, Hafner MLMB, Maffei CML. Teste de Progresso em consórcios para todas as escolas médicas do Brasil. Rev Bras Educ Med. 2019;43:151-6.
• ⁵
  Brasil. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - Sinaes e dá outras providências. Diário Oficial da União, Brasília; 15 abr 2004. Seção 1.
• ⁶
  Mota A, Carvalho B, Candido L, Lomanto R, Maia T. Exame do Cremesp como indicador da qualidade do ensino médico. Rev Bras Educ Med . 2014;38:150-9.
• ⁷
  Verhine RE, Dantas LMV, Soares JF. Do Provão ao Enade: uma análise comparativa dos exames nacionais utilizados no ensino superior brasileiro. Ensaio: Avaliação e Políticas Públicas em Educação. 2006;14:291-310.
• ⁸
  Bollela VR, Castro M. Avaliação de programas educacionais na área da saúde. Medicina (Ribeirao Preto). 2014;47:332-42.
• ⁹
  Campos FCS. Elaboração da prova do Enade no modelo do Banco Nacional de Itens [dissertação]. Juiz de Fora: Universidade Federal de Juiz de Fora; 2013.
• ¹⁰
  Noro LRA, Roncalli AG, Medeiros MCS, Farias-Santos BCS, Pinheiro IAG. Relação entre conteúdos das disciplinas de curso de Odontologia e os Enade 2004/2010. Avaliação (Campinas). 2017;22(1):125-39.
• ¹¹
  Brasil. Revalida. Brasília: INEP; 2017 [acesso em 15 2019]. Disponível em: Disponível em: http://inep.gov.br/web/guest/educacao-superior/revalida
  » http://inep.gov.br/web/guest/educacao-superior/revalida
• ¹²
  Brasil. Portaria Interministerial nº 278, de 17 de março de 2011. Institui o Exame Nacional de Revalidação de Diplomas Médicos expedidos por universidades estrangeiras (Revalida). Diário Oficial da União, Brasília; 18 mar 2011. Seção 1, p. 12-18.
• ¹³
  Brasil. Portaria Interministerial nº 383, de 19 de fevereiro de 2009. Institui a Subcomissão de Revalidação de Diplomas para aprimorar o processo de revalidação de diplomas expedidos por instituições de ensino estrangeiras, especificamente do curso de medicina. Diário Oficial da União; 20 fev 2009.
• ¹⁴
  Brasil. Decreto Presidencial nº 07, de 20 de junho de 2007. Institui a Comissão Interministerial de Gestão do Trabalho e da Educação na Saúde e dá outras providências. Diário Oficial da União; 21 jun 2007.
• ¹⁵
  Brasil. Matriz de correspondência curricular para fins de revalidação de diplomas de médico obtidos no exterior. Brasília: MEC, MS; 2009.
• ¹⁶
  Hamamoto Filho PT, Lourenção PLTA, de Valle AP, Abbade JF, Bicudo AM. The correlation between students’ progress testing scores and their performance in a residency selection process. Med Sci Educ. 2019;29:1071-5.
• ¹⁷
  Gontijo ED, Senna MIB, Lima LB, Duczmal LH. Cursos de graduação em Medicina: uma análise a partir do Sinaes. Rev Bras Educ Med . 2011;35:209-18.
• ¹⁸
  Norcini J, Anderson B, Bollela V, Burch V, Costa MJ, Duvivier R, et al. Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference. Med Teach. 2011;33:206-14.
• ¹⁹
  Gontijo ED, Alvim C, Megale L, Melo JRC, Lima MEICC. Matriz de competências essenciais para a formação e avaliação de desempenho de estudantes de Medicina. Rev Bras Educ Med 2013;37:526-39.

• Avaliado pelo processo de double blind review.

• FINANCIAMENTO

  Declaramos que não houve financiamento neste estudo.

Editado por

Editora-chefe: Daniela Chiesa. Editor associado: Pedro Tadao Hamamoto Filho

Datas de Publicação

• Publicação nesta coleção
  15 Fev 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  30 Ago 2020
• Aceito
  29 Dez 2020