Análise de conteúdo das questões de Fisiologia Humana da Prova de Ciências da Natureza e suas Tecnologias do Exame Nacional do Ensino Médio (1998-2016)

The content analysis of Human Physiology questions in the Examination of Natural Sciences and their Technologies in the Exame Nacional do Ensino Médio (1998-2016)

Resumo:

Sob a luz da análise quantitativa-qualitativa, este trabalho traça o perfil das questões de Fisiologia Humana abordadas no Exame Nacional do Ensino Médio - ENEM (1998-2016) e busca não apenas compreendê-las, mas também fornecer subsídios concisos e fidedignos para o debate acerca do tema. Ao empregar a análise de conteúdo como técnica metodológica, as questões foram categorizadas de acordo com o sistema fisiológico contextualizado e com as habilidades requeridas pelas competências 4 e 8 da Matriz de Referência da área de Ciências da Natureza. Os resultados indicaram que 38 das 294 questões de Biologia analisadas exigiram conhecimentos de, pelo menos, um dos sistemas fisiológicos definidos no conteúdo programático e de, pelo menos, uma das habilidades que integram a competência 4. As questões, bastante contextualizadas, apresentaram riqueza de gráficos, tabelas e diagramas, de maneira a auxiliar na interpretação de seus enunciados, representando um mérito em exigir do candidato a análise crítica em detrimento da memorização por repetição.

Palavras-chave:
Exame Nacional do Ensino Médio; Análise de questões; Biologia; Fisiologia humana; Análise de conteúdo

Abstract:

From the perspective of quantitative-qualitative analysis, this paper delineates the profile of the Human Physiology questions collected from the Exame Nacional do Ensino Médio - ENEM (1998-2016) not only seeking to understand them, but also to provide concise and reliable sources for the debate on the subject. With the use of content analysis as a methodological technique, the questions were categorized according to the physiological system involved and to the abilities required by skills 4 and 8 of the Reference Matrix for Natural Sciences. The results showed that 38 out of the 294 analyzed biology questions required the knowledge of at least one of the physiological systems defined in the program, and at least one of the abilities belonging to competence 4. The questions were contextualized and had a wealth of charts, tables and diagrams to aid in the interpretation of their statements, which represents an advantage since they require from candidates critical analysis instead of rote learning.

Keywords:
Exame Nacional do Ensino Médio; Analysis of questions; Biology; Human physiology; Content analysis

Introdução

O Exame Nacional do Ensino Médio (ENEM) é uma avaliação anual, diagnóstica e classificatória, de caráter voluntário, que tem como objetivo estimar o desempenho dos alunos concluintes ou que concluíram o Ensino Médio a partir das competências e habilidades capazes de conferir ao cidadão o pleno exercício da cidadania. A institucionalização da avaliação no Brasil hoje é sem dúvida um instrumento de prestação de contas à sociedade e de dados para o debate público sobre o processo educacional no país (CASTRO, 2009). Nascido no movimento de avaliação institucional em larga escala surgido no final dos anos 1980 e início dos anos 1990, o ENEM faz parte de uma postura em reconhecer que a responsabilidade pelo sucesso ou fracasso educacional não é exclusiva do educando como se pensava até pouco tempo. Essa responsabilidade é também do sistema educacional que, para evitar o fracasso, deve considerar as variáveis que garantem a qualidade do investimento na educação ofertada. Tais investimentos se traduzem no contingente suficiente de profissionais em educação, com qualificação e remuneração condizentes, e na adequada infraestrutura dos espaços educativos (LUCKESI, 2014).

No entanto, de acordo com Werle (2011), as avaliações em larga escala no Brasil atendem a interesses econômicos de organismos internacionais, como o Banco Mundial, restringindo as funções originais do Ministério da Educação (MEC) e subalternizando as posições dos agentes envolvidos nos processos de elaboração e operacionalização das mesmas. Para o autor, uma das hipóteses para as políticas de avaliação é a de que estas, longe de apenas produzirem comparações e emulações, respondem a estratégias gerencialistas de modernização e racionalização voltadas para resultados, além da possibilidade de centralização e controle dos dados educacionais emergida com as tecnologias digitais. Quanto aos aspectos sociológicos do ENEM, a falta daquilo que o sociólogo francês Pierre Bourdieu ((BOURDIEU, 1998) denominou de capital cultural, ou seja, o conhecimento sobre filosofia, ciências, arte, literatura, cinema, música e culinária aliada a condições financeiras deficitárias, contribui para o pior desempenho dos estudantes. Lima Junior (2015) analisou os efeitos da origem social sobre o desempenho dos egressos do Ensino Médio na prova de Ciências da Natureza do ENEM (2006-2012), demonstrando que mais da metade dos estudantes das classes populares cujos pais possuem pouca ou nenhuma instrução, que prestaram o exame em 2012, teriam o acesso ao ensino superior negado caso pleiteassem o financiamento de seus estudos porque a pontuação obtida por esses estudantes ficou abaixo da pontuação mínima exigida pelo programa.

Instituído pela Portaria Nº. 438, de 28 de maio de 1998, do Ministério da Educação (MEC), durante o governo do ex-presidente Fernando Henrique Cardoso (1995-2002), o ENEM sofreu uma profunda reformulação estrutural em 2009, durante o governo do ex-presidente Luiz Inácio Lula da Silva (2003-2010). Desde a sua institucionalização, coube ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) o planejamento e a operacionalização do exame, além da coordenação dos trabalhos de normatização, da supervisão das ações de implementação e da contínua avaliação do processo, em parceria com as instituições de ensino superior (IES) e as secretarias estaduais de educação (BRASIL, 1998; INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA, 2009a).

Em suas três primeiras edições (1998, 1999 e 2000) os participantes do ENEM, tanto os da rede pública quanto os da rede privada de ensino, não dispunham de gratuidade na inscrição para o exame. Só em 2001, na sua quarta edição, é que foi instituída a gratuidade para os participantes oriundos da rede pública de ensino. Essa gratuidade fez com que o número de participantes quadruplicasse. Com a criação em 2004 do Programa Universidade para Todos (PROUNI), institucionalizado pela Lei nº 11.096, em 23 de janeiro de 2005 (BRASIL, 2005), o ENEM deu o primeiro passo em direção ao protagonismo que exerce hoje dentro do processo educacional brasileiro. Ao vincular a concessão de bolsas de estudos para alunos de baixa renda nas IES privadas à pontuação obtida no ENEM, o PROUNI fez com que o número de inscritos no exame passasse de 1,5 milhão para 3 milhões já no ano seguinte ao de sua criação. Com o passar dos anos, outras políticas públicas voltadas para a área de educação foram sendo vinculadas ao exame. Em 2009, foi criado o Sistema de Seleção Unificada (SISU), que vem a ser um sistema informatizado criado pelo MEC por meio do qual as IES públicas oferecem vagas aos participantes do ENEM, mediante critérios por elas estabelecidos. Ainda em 2009, o ENEM passou a emitir a certificação do Ensino Médio na modalidade de Educação de Jovens e Adultos (EJA). Em 2010, foi criado o Fundo de Financiamento Estudantil (FIES), um programa de apoio financeiro aos estudantes de graduação matriculados em IES privadas em que a participação no ENEM passou a ser um dos pré-requisitos para a sua solicitação. Nesse mesmo ano, o ENEM passou a ser aplicado também para as pessoas privadas de liberdade e jovens que se encontravam cumprindo medida socioeducativa mediante a privação de liberdade, o ENEM PPL. Em 2011, foi criado o programa Ciência sem Fronteiras, programa de intercâmbio em que o resultado do ENEM foi um dos critérios estabelecidos para a concessão de bolsas aos alunos da graduação. Em 2014, o ENEM passou a ser usado para a obtenção do certificado do Ensino Médio para o público em geral, o que foi mantido somente até 2016.

Em função dessas políticas públicas vinculadas à sua realização, o ENEM chegou em 2016, na sua 19ª edição, com 8,6 milhões de inscritos, 600 mil pessoas mobilizadas em sua preparação e aplicação, 16 milhões de provas impressas, 17 mil locais de prova distribuídos em 1.727 municípios e um custo de R$ 788 milhões de reais, sendo considerada hoje a maior avaliação em larga escala aplicada no Brasil e a principal forma de ingresso ao ensino superior em diversas IES públicas e privadas do país (INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA, 2016). Ao longo das dezenove edições analisadas foi possível observar a tendência histórica de aumento do número de inscrições confirmadas no exame. O número de inscrições confirmadas evoluiu de 0,2 milhão em 1998, para 8,6 milhões em 2016, o que corresponde a um aumento de 4.300%.

A importância que o ENEM assumiu no cenário educacional brasileiro fica patente pelo número de IES, públicas e privadas, que substituíram seus vestibulares tradicionais pelo ENEM/SISU. De acordo com o Universia Brasil (2017), 127 IES aceitam a nota da prova do ENEM como forma de ingresso nos seus cursos de nível superior. Destas, apenas 5 das 63 instituições federais de ensino superior continuam a adotar seus vestibulares tradicionais. As outras 58 aderiram ao exame. Muitas aderiram de forma integral, abolindo completamente seus tradicionais vestibulares, outras aderiram de forma parcial, optando por mesclar a pontuação obtida no ENEM com critérios próprios de seleção.

A Matriz de Referência do ENEM

O que é uma Matriz de Referência? Quando e por que se deve utilizar uma Matriz de Referência? De acordo com Bonamino (2014), matriz de referência é um termo utilizado no contexto específico das avaliações em larga escala com o objetivo de destacar as habilidades a serem avaliadas em cada etapa da escolarização ao orientar a elaboração de itens de testes e provas que mensurem, por meio de escalas de proficiência, o aprendizado do aluno no contexto da avaliação.

Neste sentido, Matriz de Referência é um instrumento utilizado para orientar a elaboração de itens de avaliações em larga escala. Os itens, popularmente chamados de questões, avaliam o desenvolvimento de uma habilidade sobre uma determinada dimensão do conhecimento humano. Para mensurar a proficiência dos participantes, a atual Matriz de Referência do ENEM está estruturada a partir da relação entre cinco eixos cognitivos - Dominar Linguagens, Compreender Fenômenos, Enfrentar Situações-Problemas, Construir Argumentação e Elaborar Propostas - e quatro grandes áreas do conhecimento: Ciências da Natureza e suas Tecnologias, Ciências Humanas e suas Tecnologias, Matemática e suas Tecnologias e Linguagens, Códigos e suas Tecnologias. O produto dessa relação é o grupo de competências e habilidades que devem ser desenvolvidas. São essas habilidades que irão orientar e estruturar os itens que constituem a prova. Embora não haja um consenso estabelecido sobre uma definição clara de competência, de forma geral ela configura a capacidade de saber manejar uma série de recursos cognitivos diante de situações ou contextos variados (PERRENOUD, 2000) e habilidade é o princípio do saber fazer alguma coisa, sendo, portanto, mais restrita do que a competência (GARCIA, 2005). A Figura 1 ilustra a matriz de referência do ENEM com os seus componentes estruturais.

Figura 1
Fluxograma da Matriz de Referência do ENEM

A partir dessa premissa, cada questão do exame representa um item aferido estatisticamente para medir uma determinada habilidade que, por sua vez, é componente de uma determinada competência. Para Andriola (2011), os itens componentes da prova do ENEM buscam avaliar competências e habilidades cuja resolução depende não só do conhecimento formal do estudante, mas do que ele é capaz de fazer com o conjunto de informações que lhe é fornecido.

A matriz de referência do ENEM foi elaborada pelo Comitê de Governança do Novo ENEM, constituído pela Associação Nacional das Instituições Federais de Ensino Superior (ANDIFES), pelo MEC e pelo INEP, segundo o documento de aprovação da matriz de referência do Novo ENEM divulgado pelo MEC.

No que diz respeito à estrutura da prova e à matriz de referência, historicamente o ENEM pode ser dividido em dois períodos: o primeiro período é compreendido entre 1998 e 2008, período em que a prova manteve a sua estrutura original, constituída por 63 itens elaborados com base numa matriz de referência constituída por 21 habilidades distribuídas em 5 competências que se relacionavam com três áreas do conhecimento - Ciências da Natureza, Matemática e suas Tecnologias, Ciências Humanas e suas Tecnologias e Linguagens, Códigos e suas Tecnologias - originalmente estabelecidas (BRASIL, 1998).

O segundo período, que se iniciou em 2009 e vigora até hoje, implicou em profunda reformulação estrutural que deu origem ao Novo ENEM. Com essa reformulação, o exame passou a ser fundamentado em 5 (cinco) eixos cognitivos e 4 (quatro) áreas do conhecimento - Ciências da Natureza e suas Tecnologias, Ciências Humanas e suas Tecnologias, Matemática e suas Tecnologias e Linguagens, Códigos e suas Tecnologias - em cima de uma matriz de referência com 120 (cento e vinte) habilidades e um número de competências que varia de acordo com a área do conhecimento (competências de área). Cada área do conhecimento passou a ter 30 (trinta) habilidades, o que gerou, portanto, uma matriz por área do conhecimento (INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA, 2009a, 2009b). O Novo ENEM implicou também em uma mudança no padrão de correção da prova. O método de correção conhecido como Teoria Clássica dos Testes, que fornece o mesmo valor para cada questão acertada, deu lugar à Teoria de Resposta ao Item, um método de correção em que as questões, chamadas de itens, são calibradas estatisticamente para receber valores de acordo com o grau de dificuldade que apresentam.

O conteúdo de Fisiologia Humana exigido no ENEM

De acordo com os Parâmetros Curriculares Nacionais para o Ensino Médio (BRASIL, 2000), o estudo do corpo humano compreende a caracterização das funções vitais básicas que permitem sua adaptação nos diversos meios e suas relações com os outros grupos de seres vivos sob uma perspectiva evolutiva. Deve-se também dar destaque às relações existentes entre os diferentes sistemas fisiológicos que constituem o organismo, além de ressaltar as diferenças que caracterizam a individualidade de cada ser humano, de maneira que o educando desenvolva o apreço pelo próprio corpo, bem como pelo corpo do outro. Um estudo que possa contemplar a plenitude do corpo humano, incluídas as relações dele com o meio que o cerca.

A Fisiologia Humana possui uma enorme abrangência dentro do conteúdo geral de Biologia e em função disso não há um tópico dedicado exclusivamente a ela no conteúdo programático do ENEM. Entretanto, há subtópicos que a abordam diretamente, por meio de seus conceitos fundamentais, e há os que a abordam indiretamente, valendo-se da aplicabilidade desses conceitos fundamentais em fenômenos e processos relacionados ao cotidiano dos participantes do exame. Por meio deles, a abordagem do funcionamento do organismo humano é feita a partir de diferentes níveis de organização - molecular, celular, tecidual, orgânico, sistêmico e organísmico - e a partir de diferentes perspectivas - aspectos sociais da biologia, noções de primeiros socorros e exercícios físicos, e vida saudável.

Por meio do Programa Nacional do Livro Didático para o Ensino Médio (PNLEM), o governo federal subsidia e orienta o trabalho pedagógico dos professores por meio da distribuição ou recomendação de livros didáticos avaliados por especialistas do MEC (BRASIL, 2008).

Apesar da importância do tema e do destaque dado a ele no conteúdo programático do ENEM, a incipiência de análises qualitativas e quantitativas, e a falta de informação fidedigna sobre como o conteúdo de Fisiologia Humana vem sendo exigido na prova de Ciências da Natureza e suas Tecnologias (CNT) do ENEM, impedem que os professores de Biologia do Ensino Médio obtenham, com precisão e objetividade, informações sobre a sua abordagem. Neste sentido, este trabalho pretende quantificar, classificar e categorizar as questões de Fisiologia Humana abordadas na prova de Ciência da Natureza e suas Tecnologias do ENEM no período entre 1998 e 2016.

Metodologia

Inicialmente fez-se uma coleta documental das provas do ENEM, a partir do acervo de provas disponibilizado pelo INEP no seu portal da internet, por meio de download, correspondentes ao período de 1998 a 2016. Foram, portanto, coletados um total de 19 (dezenove) cadernos de questões do exame. Após coletados, os cadernos foram então classificados de acordo com os dois períodos em que o exame historicamente está dividido: ENEM (1998-2008) e Novo ENEM (2009-2016).

As provas correspondentes ao primeiro período tiveram seus cadernos de questões analisados integralmente, pois as questões da disciplina de Biologia estavam misturadas às questões das outras disciplinas. Quanto às provas correspondentes ao segundo período, apenas o caderno de questões referente à área de CNT foi analisado. As provas das edições de 2009 e 2010 que foram invalidadas em função do vazamento do caderno de questões e da falha de impressão, respectivamente, foram desconsideradas neste estudo. Sendo assim, foram analisadas 693 (seiscentos e noventa e três) questões referentes ao primeiro período e 360 (trezentos e sessenta) questões referentes ao segundo período, totalizando 1.053 (mil e cinquenta e três) questões analisadas. Ao se levar em conta todas as disciplinas, o número total de questões aplicadas pelo ENEM no período 1998-2016 é de 2.133 (duas mil, cento e trinta e três) questões.

Todos os cadernos de provas analisados, tanto os do primeiro período quanto os do segundo, possuíam rigorosamente a cor amarela⁴. Nas provas do período 1998-2008 eles estão identificados pelo número 1 e nas provas do período 2009-2016, pelo número 2. Após as provas terem sido impressas e encadernadas em ordem cronológica, todos os itens de Biologia contidos nelas foram identificados e selecionados, numa primeira triagem, por dois professores da área. As discrepâncias que eventualmente surgem quando se trabalha com análise de conteúdo foram mínimas e devidamente corrigidas pela análise de um terceiro professor. O mesmo procedimento foi adotado como critério para a identificação e seleção dos itens que continham habilidades relacionadas aos conteúdos de Fisiologia Humana. Após serem identificados, os itens relacionados com os conteúdos de Biologia e Fisiologia Humana foram quantificados, em valores absoluto e relativo.

Para analisar o conteúdo proposto neste estudo, empregou-se a técnica de Análise de Conteúdo desenvolvida por Laurence Bardin. De acordo com Bardin (2011), a análise do conteúdo pode ser dividida basicamente em três etapas: a primeira etapa consiste de uma pré-análise, a segunda etapa, na exploração do material e a terceira etapa, no tratamento dos resultados. A pré-análise consistiu em uma leitura flutuante dos cadernos de prova do ENEM correspondente ao período completo estudado com o propósito de um primeiro contato textual com o objeto analisado, no que diz respeito ao seu conteúdo programático e suas diretrizes organizacionais.

A exploração do material, num primeiro momento, consistiu na seleção dos itens que apresentavam os conteúdos relacionados à disciplina de Biologia - conceitos, processos e fenômenos - discriminados no edital do ENEM 2016. Após terem sido identificados, os itens de Biologia foram minuciosamente analisados e os que possuíam correlação com os conteúdos de Fisiologia Humana foram selecionados. Em um segundo momento, os itens com os conteúdos de Fisiologia Humana foram categorizados em nove sistemas fisiológicos: Sistema Cardiovascular (SC), Sistema Digestório (SD), Sistema Endócrino (SE), Sistema Genital (SG), Sistema Imunitário (SI), Sistema Nervoso (SN), Sistema Respiratório (SR), Sistema Urinário (SU) e Sistema Tegumentar (ST). Para esta categorização foram adotados os livros didáticos Biologia: volume 2, dos autores César da Silva Júnior, Sezar Sasson e Nelson Caldini Júnior (SILVA JÚNIOR; SASSON; CALDINI JÚNIOR, 2013) e Bio: volume 2, dos autores Sônia Lopes e Sergio Rosso (LOPES; ROSSO, 2013), ambos respaldados pelo PNLEM do ano de 2015 (BRASIL, 2014).

Além da categorização de cada um dos itens com o conteúdo de Fisiologia Humana em um dos nove sistemas fisiológicos, estes itens foram posteriormente analisados à luz da Matriz de Referência e categorizados de acordo com as habilidades por eles exigidas relacionadas no quadro 1.

Quadro 1
Competências 4 e 8 da Matriz de Referência da Área de CNT

Competência de área	Habilidades exigidas
Competência de área 4: Compreender interações entre organismos e ambiente, em particular aquelas relacionadas à saúde humana, relacionando conhecimentos científicos, aspectos culturais e características individuais.	H13 - Reconhecer mecanismos de transmissão da vida, prevendo ou explicando a manifestação de características dos seres vivos.
	H14 - Identificar padrões em fenômenos e processos vitais dos organismos, como manutenção do equilíbrio interno, defesa, relações com o ambiente, sexualidade, entre outros.
	H15 - Interpretar modelos e experimentos para explicar fenômenos ou processos biológicos em qualquer nível de organização dos sistemas biológicos.
	H16 - Compreender o papel da evolução na produção de padrões, processos biológicos ou na organização taxonômica dos seres vivos.
	H19 - Avaliar métodos, processos ou procedimentos das ciências naturais que contribuam para diagnosticar ou solucionar problemas de ordem social, econômica ou ambiental.
Competência de área 8: Apropriar-se de conhecimentos da biologia para, em situações problema, interpretar, avaliar ou planejar intervenções científico-tecnológicas.	H28 - Associar características adaptativas dos organismos com seu modo de vida ou com seus limites de distribuição em diferentes ambientes, em especial em ambientes brasileiros.
	H29 - Interpretar experimentos ou técnicas que utilizam seres vivos, analisando implicações para o ambiente, a saúde, a produção de alimentos, matérias primas ou produtos industriais.
	H30 - Avaliar propostas de alcance individual ou coletivo, identificando aquelas que visam à preservação e a implementação da saúde individual, coletiva ou do ambiente.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2009b)

Resultados e Discussão

Questões de Biologia do ENEM

Dos 2.133 (dois mil, cento e trinta e três) itens totais que constaram no ENEM entre 1998 e 2016, foram identificados 294 (duzentos e noventa e quatro) itens contendo pelo menos um dos conteúdos de Biologia, o que correspondeu a uma média percentual de 16,19% por exame. As características numéricas encontradas para os itens de Biologia foram expressas na Tabela 1.

Tabela 1
Características numéricas da distribuição das questões de Biologia do ENEM no período 1998-2016

Ano do Exame	Total de questões por exame	Número de questões de Biologia por exame	% das questões de Biologia por exame
1998	63	14	22.22
1999	63	10	15.87
2000	63	12	19.05
2001	63	11	17.47
2002	63	12	19.05
2003	63	12	19.05
2004	63	10	15.87
2005	63	21	33.33
2006	63	18	28.57
2007	63	15	23.81
2008	63	13	20.63
2009	180	20	11.11
2010	180	16	8.89
2011	180	20	11.11
2012	180	15	8.33
2013	180	15	8.33
2014	180	15	8.33
2015	180	16	8.89
2016	180	14	7.77
	Média	14.68	16.19

Fonte: elaborada pelos autores.

Essa média percentual de 16,19% encontrada para as questões de Biologia se mostrou significativa levando-se em consideração as treze disciplinas que constituem a prova do ENEM, incluindo Educação Física e Educação Artística. E mais significativa ainda quando foram levadas em conta apenas as edições dos exames realizados entre 1998 e 2008, compostas de apenas 63 questões em comparação com as 180 questões das edições realizadas no período entre 2009 e 2016. No entanto, vale ressaltar que 25% das 180 questões foram dedicados à disciplina de Matemática restando, portanto, 75% para as outras disciplinas.

No ENEM realizado em 2005 o percentual de questões de Biologia, em relação ao total de questões da prova, foi de 33,33%, o equivalente a um terço de todas as questões do exame, que na época possuía 63 questões. Esse percentual se manteve razoavelmente alto até 2008. A partir do exame de 2009 (Novo ENEM), ano em que houve a ampliação da matriz de referência do exame e adoção da metodologia do TRI para a correção da prova, o número de questões de Biologia passou a oscilar entre 7,77% e 11,11%. Apesar do declínio no percentual de questões da disciplina a partir de 2009, os valores absolutos das questões de Biologia se mantiveram relativamente altos.

Apesar de ter analisado quantitativamente as questões de Biologia do ENEM em um período menor (1998-2012) e levando em consideração a proposta curricular do Estado de São Paulo, ao invés das competências e habilidades da Matriz de Referência do ENEM, Sapatini (2014) encontrou exatamente os mesmos valores para as questões de Biologia que aqui foram demonstrados, quando se limita o período deste trabalho ao período da análise por ele realizada. Santos e Cortelazzo (2013) analisaram os conteúdos de Biologia Celular do ENEM e concluíram que muitas das questões estudadas por eles foram estruturadas de maneira a associar e contextualizar os conhecimentos obtidos pelo aluno na escola com situações corriqueiras de seu cotidiano.

Questões de Fisiologia Humana do ENEM

Em relação às questões que abordaram o conteúdo de Fisiologia Humana discriminado no conteúdo programático do exame, foram identificadas 38 (trinta e oito) questões. Essas questões foram proporcionalizadas em relação ao total de 294 (duzentos e noventa e quatro) questões de Biologia obtidas para todo o período analisado. A média percentual das questões de Fisiologia Humana encontrada no exame correspondeu a 13,21% das questões de Biologia ao longo das dezenove edições analisadas. Esses valores estão dentro das características numéricas expressas na Tabela 2.

Tabela 2
Características numéricas da distribuição das questões de Fisiologia Humana do ENEM (1998-2016)

Ano do Exame	Número de questões de Biologia por exame	Número de questões de Fisiologia Humana por exame	% de questões de Fisiologia Humana por exame
1998	14	2	14.29
1999	10	1	10
2000	12	2	16.67
2001	11	1	9.09
2002	12	0	0
2003	12	1	8.33
2004	10	0	0
2005	21	0	0
2006	18	1	5.56
2007	15	3	20
2008	13	2	15.39
2009	20	4	20
2010	16	3	18.75
2011	20	4	20
2012	15	0	0
2013	15	4	26.67
2014	15	3	20
2015	16	4	25
2016	14	3	21.42
	Média	2	13.21

Fonte: elaborada pelos autores.

Vale ressaltar que nas edições de 2002, 2004, 2005 e 2012 não foram identificadas quaisquer questões sobre o assunto, ou seja, em 21% das dezenove edições analisadas não constaram quaisquer questões de Fisiologia Humana. Não foi encontrada uma explicação aparente pelos autores deste trabalho para essa não exigência de questões de Fisiologia Humana nas edições de 2002, 2004 e 2005 do ENEM, já que o exame era composto por uma prova única. No entanto, com relação ao exame de 2012, é importante salientar que os autores observaram que na prova de Linguagens, Códigos e suas Tecnologias, que incluía questões da disciplina de Educação Física, a questão de número 132, do caderno 5, de coloração amarela, abordou a Fisiologia Humana ao relacionar a prática do exercício físico com alterações das frequências respiratória e cardíaca. Ainda na mesma prova, foi possível encontrar uma questão, a de número 171, em que a taxa de glicose sanguínea estava relacionada com o diabetes mellitus, tema pertinente também à Fisiologia Humana, mais especificamente ao Sistema Endócrino, de forma interdisciplinar contextualizando com a disciplina de Matemática. Assim, conceitos de Fisiologia Humana foram associados com outras áreas do conhecimento sendo possível que, a partir de 2009, o mesmo seja verificado em outras edições do exame. Como as provas de Linguagens, Códigos e suas Tecnologias e Matemática e suas Tecnologias ficaram fora da descrição e da delimitação do objeto de estudo deste trabalho, essa verificação não foi feita.

Análise estatística

Primeiramente calculou-se a média para cada um dos conjuntos de valores encontrados para as questões de Biologia e Fisiologia Humana. Com base nas médias encontradas, calculou-se a variância de cada conjunto. Como a análise de dados se deu com base em todas as provas do ENEM do período estudado, e não apenas em cima de uma amostra, utilizou-se a variância populacional. Pelo fato de serem encontrados valores maiores para as questões de Biologia do que os valores observados para as questões de Fisiologia Humana, a discrepância entre as variâncias populacionais encontradas para cada um deles foi grande, o que fornece uma percepção equivocada da dispersão desses dados. Evitou-se essa distorção calculando-se o desvio-padrão para cada uma das variâncias. A variância e o desvio- padrão são medidas de dispersão que indicam a regularidade de uma população de dados em função da média aritmética. Com base nos desvios-padrão encontrados, calculou-se o coeficiente de variação (CV) para cada um dos conjuntos de valores.

De acordo com Rigonatto (2017), por analisar a dispersão em termos relativos, o coeficiente de variação é dado em %. Sendo assim, quanto menor for o valor do coeficiente de variação, mais homogêneos serão os dados, isto é, menor será a dispersão em torno da média. De maneira geral, coeficiente de variação menor ou igual a 15% indica baixa dispersão e homogeneidade dos dados. Coeficiente entre 15 e 30%, indica média dispersão e coeficiente maior que 30%, indica alta dispersão e heterogeneidade dos dados.

Os valores encontrados para média, variância, desvio-padrão e coeficiente de variação dos dois conjuntos de valores foram expressos na Tabela 3.

Tabela 3
Características numéricas da distribuição das questões de Biologia e Fisiologia Humana do ENEM no período 1998-2016

Ano do Exame	Total de Questões do Exame	Total de Questões de Biologia	Total de Questões de Fisiologia Humana
1998	63	14	2
1999	63	10	1
2000	63	12	2
2001	63	11	1
2002	63	12	0
2003	63	12	1
2004	63	10	0
2005	63	21	0
2006	63	18	1
2007	63	15	3
2008	63	13	2
2009	180	20	4
2010	180	16	3
2011	180	20	4
2012	180	15	0
2013	180	15	4
2014	180	15	3
2015	180	16	4
2016	180	14	3
	Média	14.68	2
	Variância	10.21	2.10
	Desvio-Padrão	3.28	1.49
	CV %	21.76%	74.50%

Fonte: elaborada pelos autores.

Os coeficientes de variação encontrados para os dados das questões de Biologia e para os dados das questões de Fisiologia Humana foram, respectivamente, CV = 21,76% e CV = 74,50%. Isso sugere uma média dispersão para as questões de Biologia e uma alta dispersão para as questões de Fisiologia Humana. Com isso, conclui-se que os coeficientes de variação encontrados para os dois conjuntos de dados, questões de Biologia e questões de Fisiologia Humana, indicam que o número de questões de Biologia do exame apresentou uma tendência mais homogênea do que o número de questões de Fisiologia Humana.

Sistemas Fisiológicos

Os dados obtidos permitiram a conclusão de que não houve uma distribuição equitativa das questões de Fisiologia Humana entre os sistemas fisiológicos que constituem o corpo humano. Constatou-se, por exemplo, que o sistema imunitário foi o mais exigido ao longo das edições analisadas, em detrimento dos outros sistemas, que possuem igual importância. Quando se levou em consideração apenas o período 2009-2016 do exame, o percentual encontrado para as questões que contextualizam o sistema imunitário correspondeu a 32,00% do total de questões de Fisiologia Humana, o dobro, portanto, quando comparado com o período 1998-2008. Esses percentuais foram expressos na Tabela 4.

Tabela 4
Percentual de questões de Fisiologia Humana do ENEM, de acordo com a classificação em sistemas fisiológicos, nos períodos de 1998 a 2008 e de 2009 a 2016, e no período total (1998-2016)

Sistema fisiológico	1998-2008	2009-2016	1998-2016
Sistema Cardiovascular	23,07%	16,00%	18,42%
Sistema Digestório	7,69%	12,00%	10,52%
Sistema Endócrino	23,07%	12,00%	15,79%
Sistema Genital	0%	4,00%	2,63%
Sistema Imunitário	15,38%	32,00%	26,31%
Sistema Nervoso	0%	16,00%	10,52%
Sistema Respiratório	15,38%	4,00%	7,89%
Sistema Urinário	0%	4,00%	2,63%
Sistema Tegumentar	15,38%	0%	5,26%
Total	100%	100%	100%

Fonte: elaborada pelos autores.

Não há uma explicação assertiva sobre a maior relevância dada pelo ENEM ao sistema imunitário, no entanto, três hipóteses foram levantadas para este fato. A primeira é a de que o Brasil, pelas suas características climáticas, geográficas, ambientais e socioeconômicas, oferece as condições necessárias para a emergência e a reemergência de doenças infecciosas e parasitárias, o que torna importante que o candidato demonstre um conhecimento acerca da resposta imunológica para tais enfermidades. A segunda é a de que diante do avanço do movimento antivacina, o exame tem exigido um maior conhecimento sobre o tema por parte dos estudantes. A terceira diz respeito ao caráter transversal do sistema imunitário, propício para abordagens sob o foco de múltiplas perspectivas - fisiológica, evolutiva, bioquímica, biotecnológica, histórica e social - favorecendo uma maior exploração do seu conteúdo no exame. Dessa forma, alicerçado pela habilidade que exige a avaliação de propostas de alcance individual ou coletivo que impliquem na preservação da saúde, o tema manteve-se recorrente nas provas do exame no período analisado.

Habilidades e Competências

A categorização das 38 questões de Fisiologia Humana de acordo com as habilidades das competências 4 e 8 da Matriz de Referência da área de CNT foi relacionada na Tabela 5.

Tabela 5
Classificação das questões de Fisiologia Humana do ENEM, de acordo com as habilidades das competências de área 4 e 8 da Matriz de Referência da área de Ciências da Natureza e suas Tecnologias

Ano do ENEM	Número da questão	Competência de área 4	Competência de área 8
1998	Q-09	H14	H30
1998	Q-35	H14, H15	H30
1999	Q-43	H14, H15	H29
2000	Q-10	H14	H28
2000	Q-62	H14	H30
2001	Q-15	H14, H15	-
2003	Q-19	H14	H29
2006	Q-47	H14	H30
2007	Q-13	H14	-
2007	Q-45	H15	H28
2007	Q-46	H15	H28
2008	Q-43	H14	H30
2008	Q-44	H15	H30
2009	Q-02	H14, H15	H29
2009	Q-10	H14	H28
2009	Q-22	H13	-
2009	Q-37	H16	H28
2010	Q-50	H14, H15	H30
2010	Q-66	H14, H15	-
2010	Q-88	H14, H15	H28
2011	Q-46	H14, H15	H28
2011	Q-49	H14, H15	H29
2011	Q-58	H14	H30
2011	Q-73	H14	H30
2013	Q-46	H15	H30
2013	Q-47	H14, H15	-
2013	Q-62	H14, H15	H29
2013	Q-86	H14	H30
2014	Q-58	H15	-
2014	Q-84	H14	-
2014	Q-88	H14, H15	H29
2015	Q-48	H14	H28
2015	Q-58	H14, H15	-
2015	Q-66	H14	H30
2015	Q-84	H14	-
2016	Q-63	H14	H30
2016	Q-79	H14	H29
2016	Q-81	H14, H15	H29
Total	38

Fonte: elaborada pelos autores.

As habilidades da competência 4 foram exigidas 52 vezes e as da competência 8 foram exigidas 29 vezes. A proporção entre o número de vezes em que cada habilidade foi requisitada em relação ao total de questões analisadas teve como resultado os seguintes valores: H13 (1/38), H14 (31/38), H15 (19/38), H16 (1/38), H28 (8/38), H29 (8/38) e H30 (13/38). Esses valores demonstraram que "identificar", "interpretar" e "avaliar" foram as habilidades mais requeridas nas questões de Fisiologia Humana. A Figura 2 ilustra as duas questões utilizadas para exemplificar a metodologia de análise adotada neste trabalho.

Figura 2
Questão 88 do ENEM 2014, e questão 84 do ENEM 2015

A questão de número 88 é do ENEM 2014 e a questão de número 84 é do ENEM 2015. O critério de escolha dessas duas questões se deu pelo fato do Sistema Imunitário ter sido o que mais constou nas questões analisadas e do Sistema Urinário ter sido o que menos constou.

A questão 88, prova amarela de 2014, abordou o sistema imunitário e possui como gabarito oficial a alternativa D. A questão tratou da produção de insumos utilizados em processos distintos de imunização humana. Para ela, a competência de área 4 exigiu as habilidades H14 e H15. A primeira corresponde à capacidade de identificação de processos vitais relacionados à defesa do organismo e a segunda, à interpretação de modelos ou experimentos adotados em qualquer nível de organização dos sistemas biológicos. A competência de área 8 exigiu a habilidade 29, que corresponde à produção de insumos a partir da utilização de seres vivos e suas implicações para a área da saúde humana.

A questão 84, prova amarela de 2015, abordou o sistema urinário e possui como gabarito oficial a alternativa D. A questão, bastante pertinente ao cotidiano do participante do exame, abordou de maneira contextualizada o funcionamento do sistema urinário e as respostas que o organismo humano produz frente a condições ambientais adversas. A competência de área 4 exigiu a habilidade H14, que vem a ser a capacidade de interpretação, pelo participante, de padrões utilizados pelo organismo no seu esforço de manter a homeostase. Quanto à competência de área 8, não se verificou quaisquer habilidades exigidas para esta competência.

O modelo de análise utilizado para as questões 88 e 84 foi rigorosamente o mesmo adotado para todas as outras questões deste estudo. Em estudos em que os autores se propuseram a investigar as questões do ENEM sob a perspectiva de sua Matriz de Referência, pode-se destacar o estudo de Santos e Cortelazzo (2013) sobre as questões de Biologia Celular do ENEM. Esses autores identificaram questões que chegaram a exigir até cinco habilidades. Porém, para Barcellos (2014), que analisou os itens linguísticos do Novo ENEM, a Matriz de Referência do exame não deu conta das questões propostas na prova, o que a obrigou a criar competências e habilidades para enquadrar questões cujos conteúdos não satisfaziam ao exigido pela matriz do exame.

Considerações finais

Tendo como objetivo a identificação, quantificação e análise das questões de Fisiologia Humana do ENEM a partir do emprego da metodologia de Análise de Conteúdo de Bardin (2011), este trabalho permitiu a observação da discrepância presente na frequência com que os sistemas fisiológicos que constituem o conteúdo de Fisiologia Humana do Ensino Médio foram exigidos ao longo dos dezenove anos estudados do exame. Permitiu também a observação da frequência com que as habilidades da sua Matriz de Referência correlacionadas a esses conteúdos foram requisitadas e a forma como tem estruturado tais questões.

De maneira geral, as provas trazem questões contextualizadas, com temas científicos atuais, que desvalorizam a memorização por repetição e que possuem riqueza de infográficos, gráficos, tabelas, figuras e esquemas de forma a auxiliar o candidato a desenvolver as habilidades que dele são exigidas em cada questão através da análise crítica. A classificação das questões de Fisiologia Humana demonstrou que o sistema fisiológico mais abordado no exame é o Sistema Imunitário, correspondendo a pouco mais de um quarto da totalidade das questões de fisiologia, o que mostra a relevância dada ao assunto por parte dos examinadores.

Dada a importância dos conhecimentos básicos sobre o corpo humano por parte dos egressos do Ensino Médio, o percentual de 13,21% era esperado. No entanto, um equilíbrio na exploração dos sistemas fisiológicos por parte das questões do exame não foi verificado o que significa que o ENEM prioriza determinados sistemas fisiológicos em detrimento de outros dando a impressão de que há uma hierarquização das funcionalidades fisiológicas do organismo humano.

A categorização das questões de acordo com as competências analisadas permitiu, de forma clara e objetiva, a identificação das habilidades mais exploradas e das mais negligenciadas. Os valores encontrados demonstraram que a identificação de padrões em fenômenos e processos vitais dos organismos, como manutenção do equilíbrio interno, defesa, relações com o ambiente, sexualidade, entre outros, a interpretação de modelos e experimentos para explicar fenômenos ou processos biológicos em qualquer nível de organização dos sistemas biológicos e a avaliação de alcance individual ou coletivo visando à preservação e a implementação da saúde individual, coletiva ou do ambiente foram as habilidades mais requisitadas nas provas do exame no período estudado.

É necessário, no entanto, que estudos mais aprofundados sejam feitos sobre o distanciamento entre aquilo que o exame aborda e o que de fato é ensinado nas salas de aula, quer seja sobre a disciplina de Biologia e o conteúdo de Fisiologia Humana, quer seja sobre as competências e habilidades que estruturam a Matriz de Referência do ENEM. Estudos neste sentido têm o potencial de promover melhorias no processo de ensino-aprendizagem na área de Ciências da Natureza e suas Tecnologias.

• 4
  O caderno amarelo é o único disponibilizado pelo INEP em seu portal da internet, desde a primeira edição do ENEM, realizada em 1998.

Referências

• ANDRIOLA, W. B. Doze motivos favoráveis à adoção do Exame Nacional do Ensino Médio (ENEM) pelas instituições federais de ensino superior (IFES). Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 19, n. 70, p. 107-126, 2011. DOI: http://dx.doi.org/10.1590/S0104-40362011000100007
  » http://dx.doi.org/10.1590/S0104-40362011000100007
• BARCELLOS, R. S. Análise linguística no Novo ENEM: uma reflexão. Revista Philologus, Rio de Janeiro, ano 20, n. 60, p. 588-602, 2014. Supl. 1. Trabalho apresentado na 9ª Jornada Nacional de Linguística e Filologia da Língua Portuguesa, 2014, [Rio de Janeiro, RJ]. Disponível em: http://www.filologia.org.br/rph/ANO20/60SUP/048.pdf Acesso em: 13 jul. 2017.
  » http://www.filologia.org.br/rph/ANO20/60SUP/048.pdf
• BARDIN, L. Análise de conteúdo São Paulo: Edições 70, 2011.
• BONAMINO, A. C. Matriz de referência. In: UNIVERSIDADE FEDERAL DE MINAS GERAIS. Glossário Ceale: termos de alfabetização, leitura e escrita para educadores. Belo Horizonte, 2014. Disponível em: http://ceale.fae.ufmg.br/app/webroot/glossarioceale/verbetes/matriz-de-referencia Acesso em: 17 Abr. 2017.
  » http://ceale.fae.ufmg.br/app/webroot/glossarioceale/verbetes/matriz-de-referencia
• BOURDIEU, P. A escola conservadora: as desigualdades frente à escola e à cultura. In: NOGUEIRA, M. A.; CATANI, A. (org.). Escritos de educação: Pierre Bourdieu. Petrópolis: Vozes, 1998. p. 39-64.
• BRASIL. Lei nº 11.096, de 13 de janeiro de 2005. Institui o Programa Universidade para Todos - PROUNI, regula a atuação de entidades beneficentes de assistência social no ensino superior; altera a Lei nº 10.891, de 9 de julho de 2004, e dá outras providências. Diário Oficial da União [da] República Federativa do Brasil, Brasília, 14 jan. 2005.
• BRASIL. Ministério da Educação. Biologia: catálogo do Programa Nacional do Livro para o Ensino Médio: PNLEM/2009. Brasília: MEC, 2008.
• BRASIL. Ministério da Educação. Guia de livros didáticos: PNLD 2015: ensino médio: biologia. Brasília: MEC, 2014.
• BRASIL. Ministério da Educação. Parâmetros curriculares nacionais ensino médio Brasília: MEC, 2000.
• BRASIL. Ministério da Educação.Portaria MEC nº 438, de 28 de maio de 1998. Institui o Exame Nacional do Ensino Médio - ENEM. Diário Oficial da União, Brasília, 1 jun. 1998.
• CASTRO, M. H. G. Sistemas de avaliação da educação no Brasil: avanços e novos desafios. São Paulo em Perspectiva, São Paulo, v. 23, n. 1, p. 5-18, 2009. Disponível em: http://produtos.seade.gov.br/produtos/spp/v23n01/v23n01_01.pdf Acesso em: 25 abr. 2019.
  » http://produtos.seade.gov.br/produtos/spp/v23n01/v23n01_01.pdf
• GARCIA, L. A. M. Competências e habilidades: você sabe lidar com isso? Educação Pública, Rio de Janeiro, [2005]. Disponível em: http://www.educacaopublica.rj.gov.br/biblioteca/educacao/0023a.html Acesso em: 6 maio 2017.
  » http://www.educacaopublica.rj.gov.br/biblioteca/educacao/0023a.html
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Balanço da inscrição ENEM 2016 [Brasília]: INEP, [2016]. Disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=41461-balanco-inscricao-enem-2016-pdf&Itemid=30192 Acesso em: 2 fev. 2017.
  » http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=41461-balanco-inscricao-enem-2016-pdf&Itemid=30192
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. ENEM: microdados. Disponível em: http://portal.inep.gov.br/microdados Acesso em: 24 nov. 2016.
  » http://portal.inep.gov.br/microdados
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. ENEM: provas e gabaritos. Disponível em: http://portal.inep.gov.br/web/guest/provas-e-gabaritos Acesso em: 24 nov. 2016.
  » http://portal.inep.gov.br/web/guest/provas-e-gabaritos
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Exame Nacional do Ensino Médio: documento básico 2000. Brasília: INEP, 1999.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Matriz de referência ENEM Brasília: INEP, 2009b. Disponível em: http://download.inep.gov.br/download/enem/matriz_referencia.pdf Acesso em: 18 maio 2017.
  » http://download.inep.gov.br/download/enem/matriz_referencia.pdf
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Portaria nº 109, de 27 de maio de 2009. [Estabelece a sistemática para a realização do Exame Nacional do Ensino Médio no exercício de 2009]. Diário Oficial da União: seção 1, Brasília, n. 100, p. 56, 28 maio 2009a.
• LIMA JUNIOR, P. Crítica sociológica do exame nacional do ensino médio: uma análise bourdiana. In: ENCONTRO NACIONAL DE PESQUISA EM EDUCAÇÃO EM CIÊNCIAS, 10., 2015, Águas de Lindóia. Atas [...] São Paulo: ABRAPEC, 2015. p. 1-8.
• LOPES, S.; ROSSO, S. Bio: volume 2. 2. ed. São Paulo: Saraiva, 2013.
• LUCKESI, C. C. ENEM: avaliação, seleção e orientação para o ensino médio. Salvador: Blogspot, 2014. Disponível em: http://luckesi.blogspot.com.br/2014/09/enem-avaliacao-selecao-e-orientacao.html Acesso em: 11 mar. 2017.
  » http://luckesi.blogspot.com.br/2014/09/enem-avaliacao-selecao-e-orientacao.html
• PERRENOUD, P. Construindo competências: entrevista com Philippe Perrenoud, Universidade de Genebra [para] Paola Gentile e Roberta Bencini. Nova Escola, São Paulo, p. 19-31, set. 2000. Disponível em: http://www.unige.ch/fapse/SSE/teachers/perrenoud/php_main/php_2000/2000_31.html Acesso em: 6 maio 2017.
  » http://www.unige.ch/fapse/SSE/teachers/perrenoud/php_main/php_2000/2000_31.html
• RIGONATTO, M. Coeficiente de variação. Brasil Escola [2017]. Disponível em: http://brasilescola.uol.com.br/matematica/coeficiente-variacao.htm Acesso em: 25 abr. 2017.
  » http://brasilescola.uol.com.br/matematica/coeficiente-variacao.htm
• SAPATINI, J. R. Categorização e análise das questões de biologia do ENEM (1998-2012) 2014. 44 f. Trabalho de Conclusão de Curso (Especialização) - Universidade Tecnológica Federal do Paraná, Medianeira, 2014.
• SANTOS, J. S.; CORTELAZZO, A. L. Os conteúdos de biologia celular no Exame Nacional do Ensino Médio - Enem. Avaliação: revista da avaliação do ensino superior, Campinas, v. 18, n. 3, p. 591-612, 2013. DOI: https://doi.org/10.1590/S1414-40772013000300005
  » https://doi.org/10.1590/S1414-40772013000300005
• SILVA JÚNIOR, C.; SASSON, S.; CALDINI JÚNIOR, N. Biologia: volume 2. São Paulo: Saraiva, 2013.
• UNIVERSIA BRASIL. Todas as universidades brasileiras que aceitam o Enem [2017]. Disponível em: http://noticias.universia.com.br/destaque/noticia/2017/04/18/1151665/todas-universidades-brasileiras-aceitam-enem.html Acesso em: 30 abr. 2017.
  » http://noticias.universia.com.br/destaque/noticia/2017/04/18/1151665/todas-universidades-brasileiras-aceitam-enem.html
• WERLE, F. O. C. Políticas de avaliação em larga escala na educação básica: do controle de resultados à intervenção nos processos de operacionalização do ensino. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 19, n.73, p. 769-792, 2011.

Datas de Publicação

• Publicação nesta coleção
  01 Jul 2019
• Data do Fascículo
  Apr-Jun 2019

Histórico

• Recebido
  19 Mar 2018
• Aceito
  17 Nov 2018