Determinantes do desempenho educacional dos Institutos Federais do Brasil no Exame Nacional do Ensino Médio

Resumo

O objetivo do estudo é investigar em que medida os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM. Para a consecução do trabalho, optou-se por utilizar o ENEM como fonte de avaliação educacional, por apresentar características como funções somativa e proativa, de periodicidade pontual, com orientação a tomada de decisões, do tipo formal e de larga escala. O levantamento e a coleta de dados relativos aos contextos e aos desempenhos educacionais dos Institutos Federais do Brasil divulgados pelo INEP constituíram o conjunto amostral de 865 observações relativas aos anos de 2011, 2012, 2013, 2014 e 2015. O delineamento metodológico dispôs da aplicação de métodos univariados de medidas de tendência central e de dispersão, assim como de testes de comparação de médias amostrais; Teste t de Student para comparação de duas amostras; e Anova para comparação acima de duas amostras. Como principais achados da pesquisa, tem-se que a hipótese de que os contextos determinam diferenças significantes entre os desempenhos dos Institutos Federais do Brasil foi confirmada para os contextos regionais, para o espaço geográfico e para o perfil socioeconômico discente. Quanto ao contexto relativo ao porte escolar, mesmo não apresentando diferenças significativas de desempenho evidenciadas pelos testes, as áreas do conhecimento em Ciências Humanas e Redação apresentaram indícios de superioridade nos Institutos Federias de menor porte; já em Matemática e suas Tecnologias, o teste apresentou diferenças significativas, com desempenho superior nos Institutos de maior porte escolar. Outro achado da pesquisa foi a identificação do perfil dos Institutos Federais participantes do ENEM, o que foi fortemente percebido na zona urbana das regiões Nordeste e Sudeste, que apresentaram elevado quantitativo de alunos de classe média matriculados.

Avaliação educacional; Contexto escolar; Desempenho educacional; Institutos Federais do Brasil

Abstract

This study aims to investigate to what extent the context of the Brazilian Federal Institutes determines their performance in ENEM (High School National Examination). For the development of this work, we chose to use ENEM as a source of educational evaluation, since it features summing and proactive functions, with prompt frequency, and guidance to decision-making, it is a large scale formal assessment. Data collection and survey of the learning performance and context of the Brazilian Federal Institutes disclosed by INEP (National Institute for Educational Studies and Research) included a sample of 865 reports concerning the years 2011, 2012, 2013, 2014, and 2015. The methodological outline comprised the application of univariate methods of measures of central tendency and dispersion, as well as of sample mean comparison tests; Student’s T-Test to compare two samples; and Anova for more than two samples. The main findings of this present research show that its hypothesis has been confirmed to the extent that regional contexts, geographical location, and the socio-economic profile of students have strongly affected student performance in the Brazilian Federal Institutes. As for the context of school facility size, even not presenting significant general performance difference in test results, the fields of Humanities and Writing showed evidence of higher performance in smaller facilities; and for the fields of Mathematics and Technologies, the tests showed significant differences, with better performance in larger facilities. This research has also found a greater number of upper-middle class students enrolled in Federal Institutes that participate in ENEM, strongly perceived in the Brazilian Northeast and Southeast urban units.

Educational evaluation; School context; Educational performance; Brazilian Federal Institutes

Introdução

Aspecto primordial do processo de avaliação educacional é: “conocer el papel que desempeña, la función que cumple, saber quién se beneficia de ella y, en definitiva, al servicio de quién se pone” ( RUIZ, 1996 , p. 17). Andriola (1999) considera como essencial objetivo da avaliação educacional a determinação de elementos que aperfeiçoem a qualidade do ensino.

Identificam-se fatores endógenos e exógenos ao ambiente escolar, capazes de explicar a qualidade do ensino ( GADOTTI, 2010 ). Esses fatores evidenciam contextos em que as organizações de ensino estão inseridas e que determinam o estabelecimento de metas para o alcance da qualidade de ensino e, por consequência, do desempenho educacional.

Pesquisas educacionais mostram que diferenças entre os desempenhos dos alunos estão associadas a diferenças determinadas por contextos em que os grupos de discentes estão inseridos ( BRYK; LEE, 1989 ; FRANCO et al., 2007 ). Para verificar essas diferenças, o presente estudo selecionou os Institutos Federais do Brasil e os respectivos contextos em que estão inseridos, caracterizados por meio de informações emitidas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) relacionadas (i) à região; (ii) ao espaço geográfico; (iii) ao perfil socioeconômico discente; e (iv) ao porte da escola.

A diversidade entre as localidades em que uma organização escolar está instalada é contexto que pode revelar diferenças de oportunidade de ensino capazes de determinar o desempenho educacional ( BARROS et al., 2001 ). Da mesma forma, os resultados escolares podem ser determinados pela origem socioeconômica e cultural dos alunos matriculados nas escolas ( COLEMAN et al., 1966 ; BOURDIEU; PASSERON, 2008 ). Noutro turno, o porte das escolas é contexto que congrega alunos de diferentes níveis e modalidades de ensino, por necessitar de espaços físicos maiores, de mobiliário e de equipamentos adaptados aos alunos de diferentes faixas etárias e necessidades específicas, assim como maior número de profissionais e apoios variados ( ALVES; SOARES, 2013 ). Esse contexto é capaz de explicar o desempenho educacional dado à capacidade de atendimento, ou não, da demanda escolar.

O desenvolvimento do conhecimento, das habilidades e das competências deve ser estimulado para a construção do pensamento crítico e analítico ( LIMBERGER, 2013 ), possibilitando que a aprendizagem seja construtiva, contextual, colaborativa e autodirigida ( JONG et al., 2014 ). Avaliações promovidas em âmbito interno e externo ao ambiente escolar, para mensurar o desempenho (proficiência) educacional, são utilizadas para averiguar os resultados do processo de ensino-aprendizagem ( HANUSHEK, 1979 ; PRIMI; HUTZ; SILVA, 2011), mas não necessariamente o nível de aprendizado do estudante em sua plenitude.

Externamente, as avaliações de larga escala são utilizadas para compreender os fatores (contextos determinantes) relacionados ao maior (ou menor) desempenho, aferido com o intuito de gerar informações que possam auxiliar a promover ações capazes de aprimorar a educação ( CAMARGO et al., 2016 ). Desse modo, a presente pesquisa enfoca a avaliação da proficiência e utiliza, como parâmetro de desempenho educacional, os resultados das áreas do conhecimento e a média do Exame Nacional do Ensino Médio (ENEM).

O ENEM foi instituído em 1998 e é considerado instrumento de avaliação em larga escala, idealizado pelo Ministério da Educação e Cultura (MEC) com o objetivo de avaliar os conhecimentos e o desenvolvimento de habilidades e de competências dos egressos com êxito da Educação Básica nas seguintes áreas do conhecimento: Linguagens e Códigos; Matemática e suas Tecnologias; Ciências Humanas; Ciências da Natureza; e Redação ( COTTA, 2001 ).

Assim, considerando que o contexto em que as organizações escolares estão inseridas é determinante do desempenho educacional, emerge a seguinte questão de pesquisa: em que medidas os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM? Para responder ao questionamento, pretende-se, por meio do objetivo do estudo, investigar em que medida os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM.

Ponderando a diversidade do Brasil devido ao seu tamanho continental, a expectativa é de existência de diferenças significativas do desempenho educacional entre os Institutos Federais do Brasil, conforme a realidade determinada pelos contextos. Desse modo, a pesquisa assume como hipótese que os contextos determinam diferenças significantes entre os desempenhos dos Institutos Federais do Brasil no ENEM.

O estudo, aplicado no âmbito dos Institutos Federais do Brasil, é considerado relevante por: (i) apresentar resultados de testes estatísticos capazes de fornecer importante suporte informacional sobre os níveis de proficiência dos estudantes no ENEM, para a tomada de decisões dos gestores sobre as políticas públicas educacionais desenvolvidas; (ii) empregar indicadores levantados pelo INEP capazes de representar os contextos escolares; (iii) utilizar resultados obtidos no ENEM, avaliação educacional que apresenta função somativa e proativa, periodicidade pontual, orientação à tomada de decisões, tipologia formal e nível de larga escala; e (iv) verificar a evolução dos desempenhos educacionais entre os anos escolhidos.

O trabalho está organizado em quatro seções, incluindo esta introdução. Na seção 2, apresentam-se o referencial teórico, alguns possíveis contextos das organizações educacionais determinantes do desempenho educacional, o Exame Nacional do Ensino Médio (ENEM) e estudos anteriores. Na seção 3, descreve-se a metodologia utilizada. Na seção 4, mostram-se os resultados; e na seção 5, apresentam-se as principais conclusões do trabalho.

Referencial teórico

Contextos das organizações educacionais

As condições de oferta de ensino devem estar atreladas aos contextos nos quais as organizações educacionais estão inseridas. Conhecer os contextos regionais, geográficos, socioeconômicos dos discentes e de demanda de serviços educacionais é primordial para formular as práticas pedagógicas de ensino ( SOUZA et al., 2013 ).

As características da localidade onde se pretende implantar projetos educacionais é contexto estratégico em que se deve observar, entre outros fatores, a economia local, a carência de profissionais no mercado de trabalho, a expectativa de vida, a escolaridade, os níveis culturais da comunidade para implantação adequada de cursos, se a área é metropolitana ou não, urbana ou rural ( BARROS et al., 2001 ).

Outro contexto observado, segundo Alves e Soares (2009) , é o nível socioeconômico do discente, mensurado através da escolaridade, da posição ocupacional dos pais do aluno, da renda familiar evidenciada pela posse de bens, do acesso ao consumo de bens e serviços, e da diversidade de fontes de rendimento.

O porte da escola, medido pelo número de alunos matriculados, é contexto que determina quantidade de salas, quantidade de funcionários, oferta de modalidades de ensino e número de turmas. Os diferentes níveis e as modalidades de ensino – ensino regular, da creche ao Ensino Médio, e educação especial nos mesmos níveis – necessitam de mais espaço físico, de mobiliário e de equipamentos adaptados aos alunos de diferentes faixas etárias e com necessidades específicas, bem como de um número maior de profissionais e de apoios variados ( ALVES; SOARES, 2013 ).

Assim, o contexto é definido pela realidade conhecida no ambiente escolar e pode ser considerado fator determinante para o sucesso dos discentes e da organização de ensino, o que muitas vezes é mensurado pelo desempenho educacional em avaliações internas ou de larga escala, as quais evidenciam a qualidade da educação ofertada pelas escolas de acordo com regiões, estados, redes de ensino, dependências administrativas, perfil socioeconômico, localizações urbanas ou rurais, complexidade da gestão escolar etc.

Avaliação educacional

A avaliação educacional tem a função de conhecer a realidade do ambiente de ensino, com o objetivo de orientar tomadas de decisões e de aperfeiçoar os processos educativos ( CORRÊA, 2013 ). Desse modo, as funções avaliativas variam de acordo com concepções, métodos de coleta de dados e técnicas interpretativas (WORTHEN; SANDERS; FITZPATRICK, 2004).

Luckesi (2014) apresenta a avaliação com a função de diagnosticar. Para o autor, essa função verifica o nível inicial de aprendizado e a distância necessária a ser percorrida para atingir o ponto final estabelecido. Já Nevo (1997) apresenta duas funções, a formativa e a somativa. O enfoque formativo, de cunho processual, possibilita aprimorar métodos e técnicas que auxiliam o desenvolvimento ou a formação do projeto, do currículo, da organização e do estudante ( CORRÊA, 2013 ). Já o enfoque somativo enfatiza o produto resultante do processo, mensurando o alcance dos objetivos e das metas preestabelecidas a um programa, a uma instituição, a um currículo ou à aprendizagem ( SCRIVEN, 2000 ).

Pode-se também extrair dos conceitos mencionados que a periodicidade da avaliação pode ser definida como processual (diária) e ser classificada como formativa, ou definida como pontual (final) e classificada como somativa, possibilitando, no primeiro caso, a construção cotidiana da aprendizagem e, no segundo, a verificação das dificuldades já apontadas ( LUCKESI, 2014 ).

Stufflebean e Shinkfield (1987) sugerem, para a avaliação educacional, a função proativa, utilizada para a tomada de decisões, através da investigação do contexto dos alunos; e a retroativa, que é realizada através de intervenções do professor, identificando diferenças entre processos de aprendizagens anteriores e atuais, localizando deficiências no aprendizado.

Detectam-se também, na literatura, modelos de avaliação educacional segundo orientação: (i) aos objetivos ( TYLER, 1986 ); (ii) à tomada de decisões ( CRONBACH, 1963 ; SCRIVEN, 2000 ; STUFFLEBEAM, 2000); (iii) à negociação ( STAKE, 1978 ; PARLETT; HAMILTON, 1976 ; GUBA; LINCOLN, 1988 ); e (iv) ao empoderamento ( SAUL, 1988 ; FETTERMAN, 2001 ).

Por sua vez, o modelo de Tyler (1986) , orientado à concretização dos objetivos delineados, é resultado dos processos educacionais mensurados pelo nível de atingimento de metas traçadas pelo programa, sendo o resultado da avaliação utilizado como fonte para o processo decisório à estrutura educacional ofertada.

Já o modelo desenvolvido por Cronbach (1963) não prioriza critérios únicos para o diagnóstico de um programa, caracterizando os resultados como multidimensionais orientados ao processo de tomada de decisão. De modo análogo, Scriven (2000) pondera que os resultados das avaliações são utilizados para diversos fins decisórios. Seguindo essa orientação, Stufflebeam (2000) define que a avaliação é destinada a aprimorar processos e não a comprová-los, gerando informações que possibilitam a tomada de decisões.

O modelo elaborado por Stake (1978) , orientado à negociação, gera informações para grupos com interesses e com necessidades diferentes requeridas pelos tomadores da informação. Parlett e Hamilton (1976) compreendem que as interações diversas entre os atores da educação auxiliam nas decisões relacionadas ao desenvolvimento do ensino. Guba e Lincoln (1988) defendem que a avaliação é um processo negociado, com o escopo de fornecer informações requeridas pelo seu público-alvo.

A autoavaliação de Saul (1988) , orientada ao empoderamento, é reconhecida como atividade colaborativa da avaliação de sujeitos, de entidades ou de comunidades, com o fim de aperfeiçoar programas estabelecidos. Para Fetterman (2001 , p. 3), esse modelo avaliativo tem o objetivo de “ajudar pessoas a ajudar elas mesmas e melhorar seus programas, utilizando uma forma de autoavaliação e reflexão”.

De modo geral, Ristoff (2002 , p. 10) define que avaliar é

[...] antes de tudo um processo de autoconhecimento, de aprendizado institucional – um processo contínuo, permanente, global, democrático, legitimado politicamente, consolidado tecnicamente, e capaz de identificar os pontos fortes e fracos e as potencialidades da instituição no tempo e no espaço.

Em síntese, a avaliação propicia aos gestores a racionalização dos processos decisórios com foco na melhoria de programas educacionais.

Noutra classificação, Fernandes (2013) levanta que a avaliação educacional pode ser do tipo formal e informal. Para o autor, em ambos os casos verifica-se a geração de informações acerca dos conhecimentos adquiridos pelo indivíduo. Schmidt (1993) reconhece que esses tipos de avaliação são complementares na aquisição de conhecimento. A avaliação formal ocupa-se da verificação de assuntos relacionados à lógica científica, enquanto a avaliação informal volta-se à lógica do raciocínio do dia a dia ( HAMMERSLEY, 2003 ; POLKINGHOME, 2000).

A avaliação educacional também pode ser implementada em observância ao nível (i) de aprendizado; (ii) institucional; e (iii) de larga escala. A primeira, relacionada ao aprendizado, refere-se à avaliação do indivíduo submetido a processos ou a situações, com o objetivo de adquirir novo conhecimento ou habilidade ( BELLONI, 1999 ). A autora elenca que esse nível de avaliação também se destina à análise de currículo ou de programa de cursos, de modalidades de ensino e de atividades de qualificação profissional. Já a avaliação institucional enfoca as políticas, os projetos e as instituições educacionais e é considerada instrumento de aprimoramento da gestão administrativa e pedagógica das escolas e dos sistemas educacionais ( BELLONI, 1999 ). A autora corrobora também que devem ser considerados, na avaliação dos processos e dos resultados, fatores que envolvam os objetivos ou a missão da instituição, o contexto social, econômico, político e cultural. Quanto à avaliação em larga escala, sua elaboração visa a uma ampla abrangência, tanto de conteúdos, quanto de rigor técnico e metodológico, caracterizando-se pela padronização dos procedimentos de coleta e de processamento de dados ( COTTA, 2001 ).

A seguir apresenta-se a Tabela 1 , com a síntese dos conceitos levantados para a construção desta seção, sem, contudo, exaurir as diversas modalidades e classificações presentes na literatura sobre a temática da avaliação educacional.

Tabela 1
– Resumo da classificação e da tipologia da avaliação educacional

Classificação quanto a(o):	Tipologia	Autor(es) abordado(s)
Função	(i) diagnóstica	Luckesi (2014) .
	(ii) somativa	Nevo (1997) ; Scriven (2000) .
	(iii) formativa	Nevo (1997) ; Corrêa (2013) .
	(iv) proativa	Stufflebean e Shinkfield (1987).
	(v) retroativa	Stufflebean e Shinkfield (1987).
Periodicidade	(i) pontual	Luckesi (2014) .
	(ii) processual
Orientação	(i) aos objetivos	Tyler (1986) .
	(ii) à tomada de decisões	Cronbach (1963) ; Scriven (2000) ; Stufflebeam (2000).
	(iii) à negociação	Stake (1978) ; Parlett e Hamilton (1976) ; Guba e Lincoln (1988) .
	(iv) ao empoderamento	Saul (1988) ; Fetterman (2001) .
Tipo	(i) formal	Fernandes (2013) ; Schmidt (1993) ; Hammersley (2003) ; Polkinghome (2000).
	(ii) informal
Nível	(i) de aprendizado	Belloni (1999) .
	(ii) institucional
	(iii) de larga escala	Cotta (2001) .

• Fonte: elaborada pelos autores com base na literatura.

Exame Nacional do Ensino Médio (ENEM)

Compreende-se que a avaliação é um processo complexo. As avaliações promovidas em âmbito interno e externo à escola buscam, de algum modo, avaliar o domínio e a aptidão dos alunos (níveis de aprendizado) na educação formal. Nesse aspecto, uma forma de mensurar, objetivamente e de modo formal, o desempenho educacional é pelo aferimento da proficiência apresentada pelos estudantes nas avaliações educacionais externas de larga escala em nível nacional ( OLIVEIRA; ARAÚJO, 2005 ).

A avaliação de larga escala pode apresentar objetivos formativos e somativos, expostos na seção anterior. Sob o aspecto formativo, esse tipo de exame informa ao aluno tanto os conhecimentos adquiridos, quanto aqueles que precisam ser melhorados em posteriores exames. Já sob o aspecto somativo, por exemplo, o resultado da prova determina a pontuação necessária para acesso aos cursos disponíveis nas Instituições de Ensino Superior (IES).

Complementarmente, esse modelo de avaliação pode apresentar função proativa orientada à tomada de decisões, o que relaciona os resultados aferidos com os contextos presentes na realidade de estudantes e das organizações educacionais (STUFFLEBEAN; SHINKFIELD, 1987).

O governo federal propõe, por meio de provas de ampla abrangência, uma forma de avaliar e de mensurar o desempenho (proficiência) educacional de discentes e de organizações de ensino. O Exame Nacional do Ensino Médio (ENEM) faz parte do sistema nacional de avaliação educacional, em conjunto com o Sistema de Avaliação da Educação Básica (SAEB), o Exame Nacional de Desempenho de Estudantes (ENADE) e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Esses exames/sistemas avaliam os níveis de Ensino Médio, Fundamental, Superior e de Pós-Graduação, respectivamente, apresentando à sociedade parâmetros do sistema educacional nacional ( TRAVITZKI, 2013 ).

Instituído em 1998, o ENEM tem como escopo avaliar o nível de proficiência do discente egresso da Educação Básica, por meio de eixos cognitivos que buscam identificar competências e habilidades adquiridas – através de questões interdisciplinares sobre situações cotidianas, contidas nas provas de diferentes áreas do conhecimento –, bem como a capacidade de expressão e de compreensão, verificada pela redação (ADEODATO; SANTOS FILHO; RODRIGUES, 2014).

Nesse sentido, Cotta (2001) afirma que o exame fornece feedback , por meio de procedimentos padronizados de mensuração, de levantamento e de processamento de dados categorizados em larga escala, sobre o desenvolvimento dos conhecimentos, das competências e das habilidades do estudante egresso da Educação Básica para o ingresso no Ensino Superior ou no mercado de trabalho.

O ENEM utiliza uma matriz de referência de competências e de habilidades com eixos cognitivos que definem as áreas do conhecimento de: (i) Linguagens, Códigos e suas Tecnologias, que avalia um conjunto de 9 competências e 30 habilidades; (ii) Matemática e suas Tecnologias, com avaliação de 7 competências e 30 habilidades; (iii) Ciências da Natureza e suas Tecnologias, com avaliação de 8 competências e 30 habilidades; e (iv) Ciências Humanas e suas Tecnologias, com avaliação de 6 competências e 30 habilidades ( PRIMI et al., 2001 ).

Os resultados nas provas são mensurados pelo sistema de avaliação Teoria de Resposta ao Item (TRI), que avalia o quantitativo de acertos de questões, atribuindo pontuação em conformidade com os diferentes níveis de dificuldade ( QUARESMA, 2014 ).

Além do desempenho acadêmico do estudante, o ENEM tem sido parâmetro para avaliação do desempenho da organização escolar no Ensino Médio ( ANDRIOLA, 2011 ). Assim, as organizações de ensino necessitam harmonizar seus currículos com os princípios da interdisciplinaridade e da contextualização, voltados para o desenvolvimento de conhecimentos, de competências e de habilidades com o escopo de integrar áreas de relevância e inserção social, possibilitar o prosseguimento dos estudos e o ingresso no mercado de trabalho ( MACENO et al., 2011 ).

Em síntese, o desempenho educacional mensurado pela proficiência apresentada no ENEM tem tido o propósito de avaliar egressos da Educação Básica e, ao mesmo tempo, de nortear as organizações de ensino quanto à adequação das necessidades de conferir ao discente a capacidade de raciocínio, a habilidade e as competências requeridas para o planejamento da formação acadêmica e da trajetória profissional.

Estudos anteriores relacionados aos contextos e ao desempenho educacional

A seguir apresentam-se, na Tabela 2 , os principais resultados de pesquisas relacionadas aos contextos escolares e ao desempenho educacional, com o objetivo de expor a literatura desenvolvida sobre o tema e a apresentação da presente pesquisa, diferenciando-a por analisar, especificamente, o desempenho dos discentes pertencentes aos Institutos Federais do Brasil, a partir da proficiência apresentada no Exame Nacional do Ensino Médio (ENEM).

Tabela 2
– Estudos anteriores

Autores/Ano	Objetivo/Metodologia	Resultados
Barros et al. (2001)	Investigaram os determinantes do desempenho educacional brasileiro. A análise foi focalizada em um universo de indivíduos entre 11 e 25 anos de idade, restrito às áreas urbanas localizadas nas regiões Nordeste e Sudeste, em 1996.	Como resultado, tem-se que os melhores desempenhos educacionais dos discentes estão associados às melhores condições socioeconômicas familiares. Outro resultado é que os discentes localizados na região Sudeste apresentam melhores desempenhos.
Soares e Sátyro (2008)	Investigaram os efeitos da infraestrutura no desempenho escolar dos estudantes em escolas do Ensino Fundamental no período de 1998 a 2005.	Os insumos escolares, evidenciados pelo porte da infraestrutura escolar, mostraram-se relevantes para o atingimento dos melhores resultados educacionais.
Lee (2008)	Investigou o contexto escolar – constituído pelo compartilhamento das características dos alunos matriculados em cada escola –, comparando alunos de escolas católicas, particulares e públicas do Ensino Médio.	Como resultado, verificou-se que alunos matriculados em escolas de grande porte tendem a ter menores desempenhos do que alunos de escolas de menor ou de moderado porte.
Padilha et al. (2012)	Exploraram relações entre a qualidade do ensino público no Fundamental II, a partir do IDEB 2009, e características dos municípios.	O principal resultado está relacionado a diferenças de desempenho, sendo o Sudeste e o Sul superiores às demais regiões.
Alves (2013)	Investigou a associação das políticas públicas e o desempenho educacional de escolas das capitais brasileiras a partir dos dados relativos aos rendimentos obtidos no Sistema de Avaliação da Educação Básica (SAEB) nos anos de 1999, 2001 e 2003.	Controlado por fatores relacionados ao nível socioeconômico dos alunos e pela composição social das redes de ensino, notou-se expressiva associação entre a variável nível socioeconômico médio e o aumento do desempenho dos alunos.
Alves e Soares (2013)	Analisaram a relação entre o IDEB e o contexto escolar, considerando, para tanto, o perfil de seus alunos e as características do estabelecimento de ensino.	Os resultados mostram que as escolas que atendem alunos de menor nível socioeconômico têm piores resultados. Outro resultado está relacionado ao impacto da complexidade da escola, que indica que os resultados das escolas mais complexas – ou seja, dos estabelecimentos maiores e que atendem a mais níveis e modalidades de ensino – têm maiores dificuldades de atingir um IDEB mais alto.
Adeodato, Santos Filho e Rodrigues (2014)	Avaliaram a qualidade da educação secundária privada no Brasil, a partir das bases do ENEM e do Censo Escolar de 2011.	Os resultados apontam como principais fatores que influenciam a boa qualidade das escolas os aspectos econômico-financeiros e, indiretamente, a localização da escola.

• Fonte: Elaborada pelos autores com base na literatura.

De modo geral, os resultados evidenciam que, de fato, o desempenho educacional, mensurado de modo objetivo, pode diferir a partir dos contextos aos quais os discentes estão expostos. Assim, os resultados desta pesquisa podem ser confirmados, ou não, por resultados encontrados em outros trabalhos científicos a respeito da existência de diferenças de rendimento, dado o contexto escolar no qual o discente e a escola se inserem. Diferentemente desses estudos, abordamos um objeto de pesquisa ainda pouco explorado (Institutos Federais de Educação, Ciência e Tecnologia), além de analisar os dados a partir de uma perspectiva metodológica quantitativa, buscando proporcionar confiança estatística aos resultados.

Metodologia

A presente pesquisa, quanto ao objetivo, é classificada como descritiva; quanto aos procedimentos, é documental. De acordo com Sampieri, Collado e Lucio (2013, p. 102), “a pesquisa descritiva busca especificar propriedades e características importantes de qualquer fenômeno que se analise”. O procedimento documental, de acordo com Martins e Theóphilo (2009 , p. 85), “se assemelha à pesquisa bibliográfica, todavia não levanta material editado – livros, periódicos etc. –, mas busca material que não foi editado”. Assim, o trabalho utiliza dados emitidos pelo INEP para descrever os efeitos dos contextos no desempenho dos Institutos Federais do Brasil.

A abordagem do problema é de natureza quantitativa, pois utiliza os dados coletados para testar hipóteses através de testes estatísticos para estabelecer padrões de comportamento (SAMPIERI; COLLADO; LUCIO, 2013). Por meio dos testes estatísticos t de Student e Análise de Variância (Anova), especificados ao final desta seção, pretende-se verificar diferenças de desempenho em relação aos contextos levantados no estudo.

A amostra definida pela pesquisa está apresentada na Tabela 3 e foi definida conforme disponibilidade, no portal do INEP, de dados requeridos para a aplicação dos testes estatísticos. A escolha pelos Institutos Federais (IFs) deu-se em função da relevância de avaliação do desempenho (proficiência) dos discentes em uma rede de ensino em grande expansão iniciada em 2008, bem como pelo público-alvo diversificado de alunos dos IFs, justificando a análise comparativa do desempenho a partir de diferentes contextos (ver Tabela 2 ).

Tabela 3
– Amostra da pesquisa

Ano	2011	2012	2013	2014	2015	Total
Observações	124	84	215	227	215	865

• Fonte: Dados da pesquisa.

A seguir apresenta-se, na Tabela 4 , a operacionalização dos contextos definidos na pesquisa para classificar os Institutos Federais do Brasil. Os contextos expressos na Tabela 2 são apresentados pelo INEP e, normalmente, são utilizados como parâmetro comparativo de desempenho: socioeconômico, região e complexidade da escola (ADEODATO; SANTOS FILHO; RODRIGUES, 2014; ALVES; SOARES, 2013 ; BARROS et al., 2001 ).

Tabela 4
– Caracterização dos contextos

Regional	Espaço demográfico	Porte da escola	Socioeconômico discente
CO: Centro-Oeste; NE: Nordeste; N: Norte; SE: Sudeste; S: Sul.	Rural; Urbana.	A: de 1 a 30 alunos; B: de 31 a 60 alunos; C: de 61 a 90 alunos; D: acima de 90 alunos.	I: muito alto; II: alto; III: médio alto; IV: médio; V: médio baixo; VI: baixo.

• Fonte: Elaborada pelos autores com base em dados fornecidos pelo INEP.

O desempenho educacional coletado da base de dados do INEP é calculado conforme equação (1) a seguir,

$DESEM{P}_{ij}=\frac{(\Sigma Médiasindividuaisdosdiscentes)}{(Totaldealunos)}\left(1\right),$

onde os DESEMP são as médias atribuídas em cada Instituto Federal do Brasil (i) para cada ano (j) em: Linguagens e Códigos (LC); Matemática e suas Tecnologias (MT); Ciências Humanas (CH); Ciências da Natureza (CN); Redação (RED); e Exame Nacional do Ensino Médio (ENEM). Sendo assim, o desempenho educacional foi calculado pela razão entre a soma das notas de todos os itinerários formativos do ENEM e o total de alunos de cada Instituto Federal do Brasil. Esse procedimento foi realizado para os cinco períodos analisados (2011, 2012, 2013, 2014 e 2015).

Em atendimento ao objetivo da pesquisa, adotam-se procedimentos estatísticos univariados de medidas de tendência central e de dispersão para descrever a amostra, assim como se utilizam testes de comparação de médias (t de Student e Análise de Variância) para verificar possíveis diferenças de desempenho em relação ao contexto em que o Instituto Federal está inserido.

Enquanto o teste t de Student verifica a existência de diferenças de médias amostrais independentes, a análise de variância (Anova) testa a igualdade de três ou mais médias populacionais, com base na análise de variâncias amostrais. Desse modo, aplica-se o teste t de Student para comparar se a média do desempenho educacional no ENEM difere a partir do espaço geográfico. Por sua vez, aplica-se a Anova para comparar se a média do desempenho educacional no ENEM difere a partir do porte escolar, do contexto socioeconômico e do contexto regional.

Os dados da pesquisa foram agrupados em planilha do Office Excel ® e o tratamento realizado no Stata ® ( Data Analysis and Statistical Software ), versão 13.

Análise e discussão de resultados

Preliminarmente, executou-se o teste de normalidade de Kolmogorov-Smirnov para determinar a normalidade do conjunto de dados (865 observações), a fim de verificar se o conjunto amostral analisado representa a população à qual está relacionada (Institutos Federais do Brasil). Os resultados estão apresentados na Tabela 5 , a seguir.

Tabela 5
– Testes de Normalidade de Kolmogorov-Smirnov

LC		MT		CH		CN		RED		ENEM
Est.	Sig.	Est.	Sig.	Est.	Sig.	Est.	Sig.	Est.	Sig.	Est.	Sig.
0,035	0,015	0,031*	0,055	0,049	0,000	0,021*	0,200	0,032	0,038	0,018*	0,200

• Notas: Se teste for significativo (Sig. > 0,05), aceita-se a hipótese nula (H₀: dados com distribuição normal); caso contrário, rejeita-se a hipótese nula e aceita-se a hipótese alternativa (H₁: dados sem distribuição normal). LC – Linguagens e Códigos; MT – Matemática e suas Tecnologias; CH – Ciências Humanas; CN – Ciências da Natureza; RED – Redação; e ENEM – Exame Nacional do Ensino Médio. * Significância estatística ao nível de 1%.
• Fonte: Dados da pesquisa.

Depreende-se que os dados apresentaram distribuição normal para as áreas do conhecimento Matemática e suas Tecnologias e Ciências da Natureza. Apesar de as demais áreas do conhecimento não terem apresentado distribuição normal, o teste de normalidades para a média do ENEM indicou baixa quantidade ou ausência de valores extremos à média.

Em complemento ao teste de normalidade, verifica-se na Tabela 6 , a seguir, o comportamento das médias entre os anos estudados.

Tabela 6
– Desempenho educacional: anos estudados

Anos	Obs.	LC		MT		CH		CN		RED		ENEM
		Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP
2011	124	559,1	33,1	603,5	65,7	527,4	35,2	522,0	38,8	592,4	46,7	553,0	42,0
2012	84	517,0	31,4	568,5	59,0	557,2	35,2	512,8	36,1	567,1	56,7	544,5	41,0
2013	215	529,0	33,0	575,7	57,0	564,7	35,1	512,0	35,0	583,3	44,7	553,0	38,8
2014	227	550,3	28,0	553,9	62,5	595,7	30,0	538,2	35,3	591,8	46,3	566,0	41,2
2015	215	542,0	28,6	533,2	58,0	599,0	24,7	520,1	32,3	607,4	50,4	560,3	35,0
Teste F		37,38*		- 31,01*		139,02*		18,01*		10,81*		6,36*

• Notas: LC – Linguagens e Códigos; MT – Matemática e suas Tecnologias; CH – Ciências Humanas; CN – Ciências da Natureza; RED – Redação; ENEM – Exame Nacional do Ensino Médio. * Significância estatística ao nível de 1%. DP representa o desvio padrão, medida que mostra a distância das notas da média.
• Fonte: Dados da pesquisa.

Verificam-se preponderantemente nos dados, por meio dos testes de comparação entre as médias, diferenças crescentes consideradas significativas para os níveis de proficiência avaliados pelo exame. Destaca-se a área do conhecimento de Ciências Humanas, que aponta indícios de que, no transcorrer dos anos, os estudantes matriculados nos Institutos Federais têm ampliado fortemente (elevado coeficiente: Teste F = 139,02) a capacidade de resolução de questões relacionadas aos conhecimentos exigidos pela prova. Por outro lado, a área de Matemática e suas Tecnologias apresentou médias decrescentes; todavia, percebe-se que essa variação diminui (baixo coeficiente: Teste F = 31,01) entre os anos estudados, indicando redução de perdas de desempenho entre os anos. As variações verificadas entre os anos, nas áreas do conhecimento avaliadas, foram suficientes para que a média do ENEM apresentasse diferenças significativas e crescentes. Os resultados podem ser também verificados no gráfico 1 .

Gráfico 1
– Desempenho educacional: anos estudados

A análise que se sucede, na Tabela 7 , está relacionada ao desempenho educacional dos Institutos Federais do Brasil em relação à localização regional que ocupam.

Tabela 7
– Desempenho educacional: contexto regional

Região	Obs.	LC		MT		CH		CN		RED		ENEM
		Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP
CO	91	536,5	28,2	551,6	42,9	572,6	35,5	521,7	25,4	579,6	46,7	551,5	29,1
NE	336	532,2	30,7	537,6	55,6	566,7	38,1	507,8	30,0	587,5	56,7	544,7	36,0
N	112	520,3	31,7	521,8	56,1	555,7	41,2	498,0	32,8	564,4	44,7	530,8	35,2
SE	199	561,7	29,1	618,7	55,3	595,3	38,6	553,3	33,6	618,0	46,3	588,7	34,8
S	127	553,1	27,5	585,5	49,5	585,9	35,4	534,4	28,1	591,4	50,4	569,5	31,5
Teste F		51,11*		95,93*		28,13*		92,91*		23,10*		74,30*

• Notas: LC – Linguagens e Códigos; MT – Matemática e suas Tecnologias; CH – Ciências Humanas; CN – Ciências da Natureza; RED – Redação; ENEM – Exame Nacional do Ensino Médio; CO – Centro-Oeste; NE – Nordeste; N – Norte; SE – Sudeste; e S – Sul. * Significância estatística ao nível de 1%. DP representa o desvio padrão, medida que mostra a distância das notas da média.
• Fonte: Dados da pesquisa.

O Nordeste (336 observações) e o Sudeste (199 observações) foram as regiões que tiveram o maior número de participantes no ENEM. A partir da observação dos resultados, confirma-se a hipótese de que os desempenhos apresentam diferenças significativas considerando o contexto regional, apoiando os resultados encontrados por Adeodato, Santos Filho e Rodrigues (2014). Destaca-se que os desempenhos superiores dos Institutos Federais se apresentaram predominantemente nas regiões Sudeste e Sul, corroborando os achados de Padilha et al. (2012) , e que, de modo geral, as médias apresentaram baixa dispersão em cada região. Outro destaque está relacionado aos maiores desempenhos das áreas do conhecimento de Ciências Humanas (CH) e de Redação (RED), o que pode ser mais bem visualizado no Gráfico 2 .

Gráfico 2
– Desempenho educacional: contexto regional

Embora o desempenho dos Institutos Federais do Brasil se mostre diferente estatisticamente a partir das regiões do país, essa diferença é pequena quando observada a partir do Gráfico 2 . Esse resultado pode indicar a consequência de uma política educacional voltada para a garantia de educação a todas as regiões brasileiras.

Na Tabela 8 , o desempenho está apresentado segundo o local de instalação, representado pelo contexto espaço geográfico (rural e urbano).

Tabela 8
– Desempenho educacional: contexto espaço geográfico

Zona	Obs.	LC		MT		CH		CN		RED		ENEM
		Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP
Rural	223	524,6	28,3	544,9	53,3	557,6	38,5	510,7	31,3	561,1	51,7	538,8	34,3
Urbana	642	546,7	32,7	568,9	66,6	581,4	39,1	526,4	37,3	601,7	50,2	563,8	39,4
Teste t		-9,0*		-4,9*		-7,9*		-5,7*		-10,3*		-8,4*

• Notas: LC – Linguagens e Códigos; MT – Matemática e suas Tecnologias; CH – Ciências Humanas; CN – Ciências da Natureza; RED – Redação; e ENEM – Exame Nacional do Ensino Médio. * Significância estatística ao nível de 1%. DP representa o desvio padrão, medida que mostra a distância das notas da média.
• Fonte: Dados da pesquisa.

Nas observações (642), tem-se que a participação da rede federal de ensino no ENEM apresenta elevada concentração de alunos matriculados na zona urbana. Verifica-se, nesse contexto, a baixa dispersão das médias com melhores desempenhos registrados para os Institutos Federais instalados na zona urbana. As médias das notas do ENEM se distanciam em 25 pontos, cuja maior diferença deve-se à nota de Redação, com uma diferença de 40,6 pontos. Constata-se também que as diferenças encontradas são consideradas significativas, tal como evidenciado no Gráfico 3 , confirmando a hipótese da pesquisa para o contexto espaço geográfico e apoiando os resultados de Barros et al. (2001) .

Gráfico 3
– Desempenho educacional: contexto espaço geográfico

A seguir, apresenta-se o desempenho educacional sob o contexto do porte escolar ofertado por cada Instituto Federal ( Tabela 9 ). Nessa análise, somente houve diferença no itinerário formativo de Matemática e Suas Tecnologias, conforme o porte da escola.

Tabela 9
– Desempenho educacional: porte escolar

Porte	Obs.	LC		MT		CH		CN		RED		ENEM
		Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP
A	36	538,8	31,2	559,4	60,0	583,7	37,0	523,2	40,4	602,0	69,1	561,4	42,5
B	179	536,4	32,3	550,5	59,7	576,6	40,2	519,8	36,4	587,3	60,4	553,7	39,6
C	271	541,0	32,9	556,5	64,7	575,0	40,0	520,0	36,8	594,0	48,0	555,8	39,2
D	433	543,1	33,5	571,1	65,1	574,2	40,8	524,5	36,0	590,6	51,8	559,4	39,7
Teste F		1,8		5,4*		0,7		1,1		1,0		1,2

• Notas: LC – Linguagens e Códigos; MT – Matemática e suas Tecnologias; CH – Ciências Humanas; CN – Ciências da Natureza; RED – Redação; ENEM – Exame Nacional do Ensino Médio; A – De 1 a 30 alunos; B – De 31 a 60 alunos; C – De 61 a 90 alunos; e D – Acima de 90 alunos. * Significância estatística ao nível de 1%. DP representa o desvio padrão, medida que mostra a distância das notas da média.
Fonte: Dados da pesquisa.

Percebe-se, pela quantidade de observações (porte C e D) extraídas dos dados, que os Institutos Federais com elevado quantitativo de alunos propiciaram maior participação de estudantes no ENEM. Diferentemente dos achados nas pesquisas de Soares e Sátyro (2008) , Lee (2008) e Alves e Soares (2013) , os desempenhos, quando analisados sob o contexto do porte escolar, predominantemente não apresentaram diferenças significativas – o que é mais bem visualizado no Gráfico 4 –, não confirmando, portanto, a hipótese de pesquisa. Apesar de os resultados não convergirem com a literatura apresentada, destaca-se que os desempenhos em Ciências Humanas e Redação apresentaram indícios em favor dos Institutos Federais de menor porte. Já para Matemática e suas Tecnologias, os dados apontaram que o maior porte estrutural favoreceu o desenvolvimento dos conhecimentos dos discentes, possivelmente pela necessidade de maiores investimentos devido às especificidades e pelo foco dado nos cursos ofertados pelos campi , aproximando teoria e prática.

Gráfico 4
– Desempenho educacional: porte escolar

Por fim, o desempenho educacional é analisado, na Tabela 10 , sob o contexto do perfil socioeconômico discente. De modo geral, as análises se mostraram significativas, ou seja, há diferença entre as notas dos itinerários formativos a partir do perfil socioeconômico dos Institutos Federais.

Tabela 10
– Desempenho educacional: contexto socioeconômico discente

Perfil	Obs.	LC		MT		CH		CN		RED		ENEM
		Média	DP	Média	DP	Média	DP	Média	DP	Média	DP	Média	DP
I	5	611,8	13,6	713,8	59,4	655,1	17,1	624,4	37,1	659,4	20,3	652,9	27,6
II	121	577,7	20,2	627,3	53,6	615,3	27,9	563,1	31,4	628,6	48,1	602,3	29,1
III	239	555,5	22,3	588,4	52,0	590,6	27,8	538,3	24,3	611,3	42,2	575,8	26,1
IV	303	531,4	26,5	546,5	50,4	565,2	35,7	512,5	26,5	582,4	50,2	546,2	30,1
V	184	515,4	27,4	514,9	49,1	547,6	35,0	492,0	25,8	557,6	48,5	524,0	29,2
VI	13	491,0	20,1	486,7	23,8	516,7	39,7	471,0	15,9	531,7	40,3	497,2	19,5
Teste F		138,1*		104,8*		94,5*		156,2*		50,9*		161,9*

• Notas: LC – Linguagens e Códigos; MT – Matemática e suas Tecnologias; CH – Ciências Humanas; CN – Ciências da Natureza; RED – Redação; ENEM – Exame Nacional do Ensino Médio; I – Muito Alto; II – Alto; III – Médio Alto; IV – Médio; V – Médio Baixo; e VI – Baixo. * Significância estatística ao nível de 1%. DP representa o desvio padrão, medida que mostra a distância das notas da média.
• Fonte: Dados da pesquisa.

Verifica-se, por meio da quantidade de observações dos dados, que os Institutos Federais participantes do ENEM atendem predominantemente alunos de classe média (perfil socioeconômico – médio: 303; médio alto: 239; e médio baixo: 184). Infere-se da análise que os desempenhos se mostraram superiores para os discentes classificados com maior perfil socioeconômico (ver também o Gráfico 5 ), em conformidade com os trabalhos de Alves (2013) e Alves e Soares (2013) . Tal fato pode ser justificado por diferenças culturais e pelo nível de atendimento das necessidades básicas, supridas pelo núcleo familiar. Como resultado dessas diferenças, confirma-se a hipótese de pesquisa.

Gráfico 5
– Desempenho educacional: contexto socioeconômico discente

De modo geral, os desempenhos educacionais dos Institutos Federais do Brasil mostraram-se diferentes e significantes, determinados por fatores (contextos) como a localização regional, o espaço geográfico (zona urbana e rural) e o perfil socioeconômico dos discentes, confirmando a hipótese de pesquisa para esses casos. Já o porte escolar não se mostrou capaz de determinar diferenças no desempenho educacional. A pesquisa propiciou, também, traçar o perfil dos Institutos Federais participantes do ENEM quanto aos contextos: a participação no exame foi fortemente percebida nas instituições de zonas urbanas das regiões Nordeste e Sudeste, bem como naquelas com elevado quantitativo de alunos de classe média.

Considerações finais

A presente pesquisa teve como objetivo investigar em que medida os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM. Para isso, optou-se por utilizar o ENEM como parâmetro de avaliação educacional, com características somativa e proativa, de periodicidade pontual, com orientação à tomada de decisões, do tipo formal e de larga escala, visando ofertar aos gestores e à comunidade suporte informacional sobre os resultados provenientes das políticas públicas educacionais. Ressalta-se que os desempenhos mencionados na pesquisa referem-se à proficiência aferida no ENEM pelos estudantes.

O percurso das inferências estatísticas para responder à questão levantada e testar a hipótese de pesquisa iniciou-se com a verificação da distribuição de normalidade amostral e com a aplicação dos testes de comparação entre médias. Os diferentes resultados não impactaram no exame de normalidade da média do ENEM.

Quanto ao contexto regional, verificou-se, nos Institutos Federais, superioridade de desempenho predominantemente no Sudeste e no Sul. Tal fato pode ser atribuído a diferenças de condições estruturais e de acesso ao ensino ofertado nessas regiões. Observou-se também que a assimilação de conhecimentos e o desenvolvimento de habilidades e de competências apresentaram-se mais potencializados na área do conhecimento de Ciências Humanas, assim como a capacidade de expressão e de compreensão, mensurada pela Redação. Complementarmente, o contexto do espaço geográfico acrescenta que esses melhores desempenhos são atribuídos aos Institutos Federais localizados na zona urbana.

Já quando avaliados pelo contexto do porte escolar, os Institutos Federais não alcançaram níveis de diferenciação de desempenho. Porém, os desempenhos de Ciências Humanas e de Redação tenderam a ser superiores para aqueles de menor porte. Já a área do conhecimento de Matemática e suas Tecnologias apresentou superioridade em favor dos Institutos Federais de maior porte escolar. Tal fato pode ser atribuído em razão de maiores investimentos que favorecem o eixo cognitivo dos cursos ofertados, propiciando, em muitos casos, aproximação entre teoria e prática devido à especificidade dos cursos.

Por fim, evidenciaram-se diferenças significativas e superiores nos desempenhos dos Institutos Federais com educandos que apresentaram melhores condições de atendimento de necessidades básicas, conforme classificação do perfil socioeconômico identificado. Tais resultados corroboram que a bagagem sociocultural e econômica familiar é determinante do acesso aos meios necessários ao aprimoramento do desempenho educacional.

Destacamos que, notadamente, nossos resultados evidenciam que o desempenho educacional é inferior quando os discentes têm origem em contexto rural e baixa condição socioeconômica, indicando a necessidade de formulação de políticas que possam adequar práticas pedagógicas de ensino para que o desempenho possa ser majorado ( SOUZA et al., 2013 ). Além disso, políticas assistencialistas podem ser consideradas a fim de que essas diferenças nítidas de desempenho possam ser avaliadas pelos gestores e pelos políticos públicos.

Outro importante achado da pesquisa, quanto aos contextos, foi a identificação do perfil dos Institutos Federais participantes do ENEM, o que foi fortemente percebido na zona urbana das regiões Nordeste e Sudeste, que apresentaram elevado quantitativo de alunos de classe média matriculados.

De modo geral, a pesquisa contribui para a temática relacionada ao desempenho educacional e ao contexto escolar, bem como fornece informações gerenciais aos gestores públicos e à sociedade sobre os resultados provenientes das políticas públicas implantadas. Além disso, elucida contextos determinantes do desempenho educacional, mensurado pela proficiência alcançada pelos alunos no ENEM, o que pode revelar necessidade holística por parte dos governantes.

Como sugestões para futuras pesquisas propõem-se: (i) estudos comparativos entre instituições federais, estaduais, municipais e privadas; (ii) uso de outras métricas de desempenho, como as do SAEB e do IDEB; e (iii) emprego de contextos relacionados a fatores financeiros e serviços ofertados.

Referências

• ADEODATO, Paulo Jorge Leitão; SANTOS FILHO, Maílson Melo dos; RODRIGUES, Rodrigo Lins. Predição de desempenho de escolas privadas usando o ENEM como indicador de qualidade escolar. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 25., 2014, Dourados. Anais... Porto Alegre: SBC, 2014. p. 891-895.
• ALVES, Fátima. Políticas educacionais e desempenho escolar nas capitais brasileiras. Cadernos de Pesquisa , São Paulo, v. 38, n. 134, p. 413-440, 2013.
• ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013.
• ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Medidas de nível socioeconômico em pesquisas sociais: uma aplicação aos dados de uma pesquisa educacional. Opinião Pública , Campinas, v. 15, n. 1, p. 1-30, 2009.
• ANDRIOLA, Wagner Bandeira. Doze motivos favoráveis à adoção do Exame Nacional do Ensino Médio (ENEM) pelas Instituições Federais de Ensino Superior (IFES). Ensaio , Rio de Janeiro, v. 19, n. 70, p. 107-25, 2011.
• ANDRIOLA, Wagner Bandeira. Evaluación: la vía para la calidad educativa. Ensaio , Rio de Janeiro, v. 7, n. 25, p. 355-368, 1999.
• BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico , Rio de Janeiro, v. 31, n. 1, p. 1-42, 2001.
• BELLONI, Isaura. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas , Brasília, DF, v. 5, n. 9, p. 31-58, 1999.
• BOURDIEU, Pierre; PASSERON, Jean-Claude. A reprodução: elementos para uma teoria do sistema de ensino. Petrópolis: Vozes, 2008.
• BRYK, Antony; LEE, Valerie. A multilevel model of social distribution of high school. In: DARLING-HAMMOND, Linda (Ed.). Review of research in education . Washington, DC: AERA, 1989. p. 171-267.
• CAMARGO, Raphael Vinicius Weigert et al. Desempenho dos alunos de ciências contábeis na prova ENADE/2012: uma aplicação da Teoria da Resposta ao Item. Revista de Educação e Pesquisa em Contabilidade , Brasília, DF, v. 10, n. 3, p. 332-355, jul./set. 2016.
• COLEMAN, James et al. Equality of educational opportunity. Washington, DC: U.S. Department of Health, Education, and Welfare, 1966.
• CORRÊA, Denise Maria Moreira Chagas. Indicadores de gestão do TCU e o desempenho dos cursos no Enade: um estudo de cursos de graduação. Tese (Doutorado) – Faculdade de Educação, Universidade Federal do Ceará, Fortaleza, 2013.
• COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB). Revista do Serviço Público , Brasília, DF, v. 52, n. 4, p. 89-111, 2001.
• CRONBACH, Lee Joseph. Course Improvement through evaluation. Teachers College Record , New York, v. 64, n. 8, p. 672-683, 1963.
• FERNANDES, Domingos. A avaliação em educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio , Rio de Janeiro, v. 21, n. 78, p. 11-34, 2013.
• FETTERMAN, David M. Foundations of empowerment evaluation. CA/USA: Sage, 2001.
• FRANCO, Creso et al. Qualidade e equidade em educação: reconsiderando o significado de “fatores intra-escolares”. Ensaio , Rio de Janeiro, v. 15, n. 55, p. 277-298, 2007.
• GADOTTI, Moacir. Qualidade na educação: uma nova abordagem. Produção de terceiros sobre Paulo Freire. São Paulo: Série Livros, 2010.
• GUBA, Egon; LINCOLN, Yvonna. Effective evaluation. San Francisco: Jossey-Bass, 1988.
• HAMMERSLEY, Martyn. Social research today: some dilemmas and distinctions. Qualitative Social Work , v. 2, n. 1, p. 25-44, 2003.
• HANUSHEK, Eric A. Conceptual and empirical issues in the estimation of educational production functions. Journal of Human Resources , Madison, v. 14, n. 3, p. 351-388, 1979.
• JONG, Nynke et al. Blended learning in health education: three case studies. Perspectives Medical Education , Maastrich, v. 3, n. 4, p. 278-288, sep. 2014.
• LEE, Valerie. Utilização e modelos hierárquicos lineares para estudar contextos sociais. In: BROOKE, Nigel; SOARES, José Francisco (Ed.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: UFMG, 2008. p. 273-298.
• LIMBERGER, Jane Beatriz. Metodologias ativas de ensino-aprendizagem para a educação farmacêutica: um relato de experiência. Interface , Botucatu, v. 17, n. 47, p. 969-975, 2013.
• LUCKESI, Cipriano Carlos. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 2014.
• MACENO, Nicole Glock et al. A matriz de referência do ENEM 2009 e o desafio de recriar o currículo de química na educação básica. Química Nova na Escola , São Paulo, v. 33, n. 3, p. 153-159, 2011.
• MARTINS, Gilberto de Andrade; THEÓPHILO, Carlos Renato. Metodologia da investigação científica para ciências sociais aplicadas. São Paulo: Atlas, 2009.
• NEVO, Daniel. Evaluación basada en el centro: un diálogo para la mejora educativa. Bilbao: Mensajero, 1997.
• OLIVEIRA, Romualdo Portela; ARAÚJO, Gilda Cardoso de. Qualidade do ensino: uma nova dimensão da luta pelo direito à educação. Revista Brasileira de Educação , Rio de Janeiro, n. 28, p. 5-23, 2005.
• PADILHA, Frederica et al. As regularidades e exceções no desempenho do Ideb dos municípios. Estudos em Avaliação Educacional , São Paulo, v. 23, n. 51, p. 58-81, 2012.
• PARLETT, Malcolm; HAMILTON, David. Evaluation as ilumination: a new aproach to the study of innovatory programs. In: GLASS, Gene V. (Ed.). Evaluation studies review annual . Beverly Hills: Sage, 1976. p. 141-157.
• POLKINGHORNE, Donald. Psychological inquiry and the pragmatic and the hermeneutical traditions. Theory and Psychology , Ontario, v. 10, n. 4, p. 453-479, 2000.
• PRIMI, Ricardo; HUTZ, Claudio S.; SILVA, Marjorie C. Rocha da. A prova do ENADE de psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica , Campinas, v. 10, n. 3, p. 271-294, 2011.
• PRIMI, Ricardo et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia , Brasília, DF, v. 17, n. 2, p. 151-159, 2001.
• QUARESMA, Edilan de Sant’Ana. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. Tese (Doutorado) – Escola Superior de Agricultura “Luiz de Queiroz”, Universidade de São Paulo, Piracicaba, 2014.
• RISTOFF, Dilvo Ilvo. Apresentação In: DIAS SOBRINHO, José. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002. p. 5-8.
• RUIZ, José Maria. Teoría del curriculum: diseño y desarrollo curricular. Madrid: Universiatas, 1996.
• SAMPIERI, Roberto Hernandez; COLLADO, Carlos Fernandez; LÚCIO, Maria del Pilar Baptista. Metodologia de pesquisa. 3. ed. São Paulo: McGraw Hill, 2013.
• SAUL, Ana Maria. Avaliação emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. São Paulo: Cortez; Autores Associados, 1988.
• SCHMIDT, Mary R. Grout. Alternative kinds of knowledge and why they are ignored. Public Administration Review, New Jersey, v. 53, n. 6, p. 525-530, 1993.
• SCRIVEN, Michael. The logic and methodology of checklists . 2000. Disponível em: < https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf> . Acesso em: 14 abr. 2018.
  » https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf>
• SOARES, Sergei; SÁTYRO, Natália. O impacto de infra-estrutura escolar na taxa de distorção idade-série das escolas brasileiras de ensino fundamental: 1998 a 2005. Brasília, DF: IPEA, 2008. Texto para discussão, Instituto de Pesquisa Econômica Aplicada (IPEA).
• SOUZA, Norma Valéria Dantas de Oliveira et al. Perfil socioeconômico e cultural do estudante ingressante no curso de graduação em enfermagem. Revista de Enfermagem UERJ , Rio de Janeiro, v. 21, n. 2, p. 718-722, 2013.
• STAKE, Robert E. Case study methodology in social inquire. Educational Researcher , Washington, DC, v. 7, p. 5-8, 1978.
• STUFFLEBEAM, Daniel L. The CIPP model for evaluation. In: STUFFLEBEAM, Daniel L.; MADAUS, George F.; KELLAGHAN, Thomas. Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Massachusetts: Kluwer Academic Publishers, 2000. p. 279-317.
• STUFFLEBEAM, Daniel L.; SHINKFIELD, Anthony J. Evaluación sistémica: guía teórica y práctica. Barcelona: Paidós, 1987.
• TRAVITZKI, Rodrigo. ENEM: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2013.
• TYLER, Ralph Winfred. Princípios básicos de currículo e ensino. Tradução de Leonel Vallandro. 9. ed. Rio de Janeiro: Globo, 1986.
• WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jodi L. Avaliação de programas: concepções práticas. Tradução Dinah de Abreu Azevêdo. São Paulo: Gente, 2004.

Datas de Publicação

• Publicação nesta coleção
  26 Set 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  18 Maio 2018
• Revisado
  26 Set 2018
• Aceito
  26 Out 2018