Determinantes do desempenho educacional dos Institutos Federais do Brasil no Exame Nacional do Ensino Médio

Rogério Severiano Dutra Giselle Bezerra Mesquita Dutra Paulo Henrique Nobre Parente Lya Oliveira da Silva Souza Parente Sobre os autores

Resumo

O objetivo do estudo é investigar em que medida os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM. Para a consecução do trabalho, optou-se por utilizar o ENEM como fonte de avaliação educacional, por apresentar características como funções somativa e proativa, de periodicidade pontual, com orientação a tomada de decisões, do tipo formal e de larga escala. O levantamento e a coleta de dados relativos aos contextos e aos desempenhos educacionais dos Institutos Federais do Brasil divulgados pelo INEP constituíram o conjunto amostral de 865 observações relativas aos anos de 2011, 2012, 2013, 2014 e 2015. O delineamento metodológico dispôs da aplicação de métodos univariados de medidas de tendência central e de dispersão, assim como de testes de comparação de médias amostrais; Teste t de Student para comparação de duas amostras; e Anova para comparação acima de duas amostras. Como principais achados da pesquisa, tem-se que a hipótese de que os contextos determinam diferenças significantes entre os desempenhos dos Institutos Federais do Brasil foi confirmada para os contextos regionais, para o espaço geográfico e para o perfil socioeconômico discente. Quanto ao contexto relativo ao porte escolar, mesmo não apresentando diferenças significativas de desempenho evidenciadas pelos testes, as áreas do conhecimento em Ciências Humanas e Redação apresentaram indícios de superioridade nos Institutos Federias de menor porte; já em Matemática e suas Tecnologias, o teste apresentou diferenças significativas, com desempenho superior nos Institutos de maior porte escolar. Outro achado da pesquisa foi a identificação do perfil dos Institutos Federais participantes do ENEM, o que foi fortemente percebido na zona urbana das regiões Nordeste e Sudeste, que apresentaram elevado quantitativo de alunos de classe média matriculados.

Avaliação educacional; Contexto escolar; Desempenho educacional; Institutos Federais do Brasil

Abstract

This study aims to investigate to what extent the context of the Brazilian Federal Institutes determines their performance in ENEM (High School National Examination). For the development of this work, we chose to use ENEM as a source of educational evaluation, since it features summing and proactive functions, with prompt frequency, and guidance to decision-making, it is a large scale formal assessment. Data collection and survey of the learning performance and context of the Brazilian Federal Institutes disclosed by INEP (National Institute for Educational Studies and Research) included a sample of 865 reports concerning the years 2011, 2012, 2013, 2014, and 2015. The methodological outline comprised the application of univariate methods of measures of central tendency and dispersion, as well as of sample mean comparison tests; Student’s T-Test to compare two samples; and Anova for more than two samples. The main findings of this present research show that its hypothesis has been confirmed to the extent that regional contexts, geographical location, and the socio-economic profile of students have strongly affected student performance in the Brazilian Federal Institutes. As for the context of school facility size, even not presenting significant general performance difference in test results, the fields of Humanities and Writing showed evidence of higher performance in smaller facilities; and for the fields of Mathematics and Technologies, the tests showed significant differences, with better performance in larger facilities. This research has also found a greater number of upper-middle class students enrolled in Federal Institutes that participate in ENEM, strongly perceived in the Brazilian Northeast and Southeast urban units.

Educational evaluation; School context; Educational performance; Brazilian Federal Institutes

Introdução

Aspecto primordial do processo de avaliação educacional é: “conocer el papel que desempeña, la función que cumple, saber quién se beneficia de ella y, en definitiva, al servicio de quién se pone” ( RUIZ, 1996RUIZ, José Maria. Teoría del curriculum: diseño y desarrollo curricular. Madrid: Universiatas, 1996. , p. 17). Andriola (1999)ANDRIOLA, Wagner Bandeira. Evaluación: la vía para la calidad educativa. Ensaio , Rio de Janeiro, v. 7, n. 25, p. 355-368, 1999. considera como essencial objetivo da avaliação educacional a determinação de elementos que aperfeiçoem a qualidade do ensino.

Identificam-se fatores endógenos e exógenos ao ambiente escolar, capazes de explicar a qualidade do ensino ( GADOTTI, 2010GADOTTI, Moacir. Qualidade na educação: uma nova abordagem. Produção de terceiros sobre Paulo Freire. São Paulo: Série Livros, 2010. ). Esses fatores evidenciam contextos em que as organizações de ensino estão inseridas e que determinam o estabelecimento de metas para o alcance da qualidade de ensino e, por consequência, do desempenho educacional.

Pesquisas educacionais mostram que diferenças entre os desempenhos dos alunos estão associadas a diferenças determinadas por contextos em que os grupos de discentes estão inseridos ( BRYK; LEE, 1989BRYK, Antony; LEE, Valerie. A multilevel model of social distribution of high school. In: DARLING-HAMMOND, Linda (Ed.). Review of research in education . Washington, DC: AERA, 1989. p. 171-267. ; FRANCO et al., 2007FRANCO, Creso et al. Qualidade e equidade em educação: reconsiderando o significado de “fatores intra-escolares”. Ensaio , Rio de Janeiro, v. 15, n. 55, p. 277-298, 2007. ). Para verificar essas diferenças, o presente estudo selecionou os Institutos Federais do Brasil e os respectivos contextos em que estão inseridos, caracterizados por meio de informações emitidas pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) relacionadas (i) à região; (ii) ao espaço geográfico; (iii) ao perfil socioeconômico discente; e (iv) ao porte da escola.

A diversidade entre as localidades em que uma organização escolar está instalada é contexto que pode revelar diferenças de oportunidade de ensino capazes de determinar o desempenho educacional ( BARROS et al., 2001BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico , Rio de Janeiro, v. 31, n. 1, p. 1-42, 2001. ). Da mesma forma, os resultados escolares podem ser determinados pela origem socioeconômica e cultural dos alunos matriculados nas escolas ( COLEMAN et al., 1966COLEMAN, James et al. Equality of educational opportunity. Washington, DC: U.S. Department of Health, Education, and Welfare, 1966. ; BOURDIEU; PASSERON, 2008BOURDIEU, Pierre; PASSERON, Jean-Claude. A reprodução: elementos para uma teoria do sistema de ensino. Petrópolis: Vozes, 2008. ). Noutro turno, o porte das escolas é contexto que congrega alunos de diferentes níveis e modalidades de ensino, por necessitar de espaços físicos maiores, de mobiliário e de equipamentos adaptados aos alunos de diferentes faixas etárias e necessidades específicas, assim como maior número de profissionais e apoios variados ( ALVES; SOARES, 2013ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. ). Esse contexto é capaz de explicar o desempenho educacional dado à capacidade de atendimento, ou não, da demanda escolar.

O desenvolvimento do conhecimento, das habilidades e das competências deve ser estimulado para a construção do pensamento crítico e analítico ( LIMBERGER, 2013LIMBERGER, Jane Beatriz. Metodologias ativas de ensino-aprendizagem para a educação farmacêutica: um relato de experiência. Interface , Botucatu, v. 17, n. 47, p. 969-975, 2013. ), possibilitando que a aprendizagem seja construtiva, contextual, colaborativa e autodirigida ( JONG et al., 2014JONG, Nynke et al. Blended learning in health education: three case studies. Perspectives Medical Education , Maastrich, v. 3, n. 4, p. 278-288, sep. 2014. ). Avaliações promovidas em âmbito interno e externo ao ambiente escolar, para mensurar o desempenho (proficiência) educacional, são utilizadas para averiguar os resultados do processo de ensino-aprendizagem ( HANUSHEK, 1979HANUSHEK, Eric A. Conceptual and empirical issues in the estimation of educational production functions. Journal of Human Resources , Madison, v. 14, n. 3, p. 351-388, 1979. ; PRIMI; HUTZ; SILVA, 2011), mas não necessariamente o nível de aprendizado do estudante em sua plenitude.

Externamente, as avaliações de larga escala são utilizadas para compreender os fatores (contextos determinantes) relacionados ao maior (ou menor) desempenho, aferido com o intuito de gerar informações que possam auxiliar a promover ações capazes de aprimorar a educação ( CAMARGO et al., 2016CAMARGO, Raphael Vinicius Weigert et al. Desempenho dos alunos de ciências contábeis na prova ENADE/2012: uma aplicação da Teoria da Resposta ao Item. Revista de Educação e Pesquisa em Contabilidade , Brasília, DF, v. 10, n. 3, p. 332-355, jul./set. 2016. ). Desse modo, a presente pesquisa enfoca a avaliação da proficiência e utiliza, como parâmetro de desempenho educacional, os resultados das áreas do conhecimento e a média do Exame Nacional do Ensino Médio (ENEM).

O ENEM foi instituído em 1998 e é considerado instrumento de avaliação em larga escala, idealizado pelo Ministério da Educação e Cultura (MEC) com o objetivo de avaliar os conhecimentos e o desenvolvimento de habilidades e de competências dos egressos com êxito da Educação Básica nas seguintes áreas do conhecimento: Linguagens e Códigos; Matemática e suas Tecnologias; Ciências Humanas; Ciências da Natureza; e Redação ( COTTA, 2001COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB). Revista do Serviço Público , Brasília, DF, v. 52, n. 4, p. 89-111, 2001. ).

Assim, considerando que o contexto em que as organizações escolares estão inseridas é determinante do desempenho educacional, emerge a seguinte questão de pesquisa: em que medidas os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM? Para responder ao questionamento, pretende-se, por meio do objetivo do estudo, investigar em que medida os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM.

Ponderando a diversidade do Brasil devido ao seu tamanho continental, a expectativa é de existência de diferenças significativas do desempenho educacional entre os Institutos Federais do Brasil, conforme a realidade determinada pelos contextos. Desse modo, a pesquisa assume como hipótese que os contextos determinam diferenças significantes entre os desempenhos dos Institutos Federais do Brasil no ENEM.

O estudo, aplicado no âmbito dos Institutos Federais do Brasil, é considerado relevante por: (i) apresentar resultados de testes estatísticos capazes de fornecer importante suporte informacional sobre os níveis de proficiência dos estudantes no ENEM, para a tomada de decisões dos gestores sobre as políticas públicas educacionais desenvolvidas; (ii) empregar indicadores levantados pelo INEP capazes de representar os contextos escolares; (iii) utilizar resultados obtidos no ENEM, avaliação educacional que apresenta função somativa e proativa, periodicidade pontual, orientação à tomada de decisões, tipologia formal e nível de larga escala; e (iv) verificar a evolução dos desempenhos educacionais entre os anos escolhidos.

O trabalho está organizado em quatro seções, incluindo esta introdução. Na seção 2, apresentam-se o referencial teórico, alguns possíveis contextos das organizações educacionais determinantes do desempenho educacional, o Exame Nacional do Ensino Médio (ENEM) e estudos anteriores. Na seção 3, descreve-se a metodologia utilizada. Na seção 4, mostram-se os resultados; e na seção 5, apresentam-se as principais conclusões do trabalho.

Referencial teórico

Contextos das organizações educacionais

As condições de oferta de ensino devem estar atreladas aos contextos nos quais as organizações educacionais estão inseridas. Conhecer os contextos regionais, geográficos, socioeconômicos dos discentes e de demanda de serviços educacionais é primordial para formular as práticas pedagógicas de ensino ( SOUZA et al., 2013SOUZA, Norma Valéria Dantas de Oliveira et al. Perfil socioeconômico e cultural do estudante ingressante no curso de graduação em enfermagem. Revista de Enfermagem UERJ , Rio de Janeiro, v. 21, n. 2, p. 718-722, 2013. ).

As características da localidade onde se pretende implantar projetos educacionais é contexto estratégico em que se deve observar, entre outros fatores, a economia local, a carência de profissionais no mercado de trabalho, a expectativa de vida, a escolaridade, os níveis culturais da comunidade para implantação adequada de cursos, se a área é metropolitana ou não, urbana ou rural ( BARROS et al., 2001BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico , Rio de Janeiro, v. 31, n. 1, p. 1-42, 2001. ).

Outro contexto observado, segundo Alves e Soares (2009)ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Medidas de nível socioeconômico em pesquisas sociais: uma aplicação aos dados de uma pesquisa educacional. Opinião Pública , Campinas, v. 15, n. 1, p. 1-30, 2009. , é o nível socioeconômico do discente, mensurado através da escolaridade, da posição ocupacional dos pais do aluno, da renda familiar evidenciada pela posse de bens, do acesso ao consumo de bens e serviços, e da diversidade de fontes de rendimento.

O porte da escola, medido pelo número de alunos matriculados, é contexto que determina quantidade de salas, quantidade de funcionários, oferta de modalidades de ensino e número de turmas. Os diferentes níveis e as modalidades de ensino – ensino regular, da creche ao Ensino Médio, e educação especial nos mesmos níveis – necessitam de mais espaço físico, de mobiliário e de equipamentos adaptados aos alunos de diferentes faixas etárias e com necessidades específicas, bem como de um número maior de profissionais e de apoios variados ( ALVES; SOARES, 2013ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. ).

Assim, o contexto é definido pela realidade conhecida no ambiente escolar e pode ser considerado fator determinante para o sucesso dos discentes e da organização de ensino, o que muitas vezes é mensurado pelo desempenho educacional em avaliações internas ou de larga escala, as quais evidenciam a qualidade da educação ofertada pelas escolas de acordo com regiões, estados, redes de ensino, dependências administrativas, perfil socioeconômico, localizações urbanas ou rurais, complexidade da gestão escolar etc.

Avaliação educacional

A avaliação educacional tem a função de conhecer a realidade do ambiente de ensino, com o objetivo de orientar tomadas de decisões e de aperfeiçoar os processos educativos ( CORRÊA, 2013CORRÊA, Denise Maria Moreira Chagas. Indicadores de gestão do TCU e o desempenho dos cursos no Enade: um estudo de cursos de graduação. Tese (Doutorado) – Faculdade de Educação, Universidade Federal do Ceará, Fortaleza, 2013. ). Desse modo, as funções avaliativas variam de acordo com concepções, métodos de coleta de dados e técnicas interpretativas (WORTHEN; SANDERS; FITZPATRICK, 2004).

Luckesi (2014)LUCKESI, Cipriano Carlos. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 2014. apresenta a avaliação com a função de diagnosticar. Para o autor, essa função verifica o nível inicial de aprendizado e a distância necessária a ser percorrida para atingir o ponto final estabelecido. Já Nevo (1997)NEVO, Daniel. Evaluación basada en el centro: un diálogo para la mejora educativa. Bilbao: Mensajero, 1997. apresenta duas funções, a formativa e a somativa. O enfoque formativo, de cunho processual, possibilita aprimorar métodos e técnicas que auxiliam o desenvolvimento ou a formação do projeto, do currículo, da organização e do estudante ( CORRÊA, 2013CORRÊA, Denise Maria Moreira Chagas. Indicadores de gestão do TCU e o desempenho dos cursos no Enade: um estudo de cursos de graduação. Tese (Doutorado) – Faculdade de Educação, Universidade Federal do Ceará, Fortaleza, 2013. ). Já o enfoque somativo enfatiza o produto resultante do processo, mensurando o alcance dos objetivos e das metas preestabelecidas a um programa, a uma instituição, a um currículo ou à aprendizagem ( SCRIVEN, 2000SCRIVEN, Michael. The logic and methodology of checklists . 2000. Disponível em: < https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf> . Acesso em: 14 abr. 2018.
https://wmich.edu/sites/default/files/at...
).

Pode-se também extrair dos conceitos mencionados que a periodicidade da avaliação pode ser definida como processual (diária) e ser classificada como formativa, ou definida como pontual (final) e classificada como somativa, possibilitando, no primeiro caso, a construção cotidiana da aprendizagem e, no segundo, a verificação das dificuldades já apontadas ( LUCKESI, 2014LUCKESI, Cipriano Carlos. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 2014. ).

Stufflebean e Shinkfield (1987) sugerem, para a avaliação educacional, a função proativa, utilizada para a tomada de decisões, através da investigação do contexto dos alunos; e a retroativa, que é realizada através de intervenções do professor, identificando diferenças entre processos de aprendizagens anteriores e atuais, localizando deficiências no aprendizado.

Detectam-se também, na literatura, modelos de avaliação educacional segundo orientação: (i) aos objetivos ( TYLER, 1986TYLER, Ralph Winfred. Princípios básicos de currículo e ensino. Tradução de Leonel Vallandro. 9. ed. Rio de Janeiro: Globo, 1986. ); (ii) à tomada de decisões ( CRONBACH, 1963CRONBACH, Lee Joseph. Course Improvement through evaluation. Teachers College Record , New York, v. 64, n. 8, p. 672-683, 1963. ; SCRIVEN, 2000SCRIVEN, Michael. The logic and methodology of checklists . 2000. Disponível em: < https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf> . Acesso em: 14 abr. 2018.
https://wmich.edu/sites/default/files/at...
; STUFFLEBEAM, 2000); (iii) à negociação ( STAKE, 1978STAKE, Robert E. Case study methodology in social inquire. Educational Researcher , Washington, DC, v. 7, p. 5-8, 1978. ; PARLETT; HAMILTON, 1976PARLETT, Malcolm; HAMILTON, David. Evaluation as ilumination: a new aproach to the study of innovatory programs. In: GLASS, Gene V. (Ed.). Evaluation studies review annual . Beverly Hills: Sage, 1976. p. 141-157. ; GUBA; LINCOLN, 1988GUBA, Egon; LINCOLN, Yvonna. Effective evaluation. San Francisco: Jossey-Bass, 1988. ); e (iv) ao empoderamento ( SAUL, 1988SAUL, Ana Maria. Avaliação emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. São Paulo: Cortez; Autores Associados, 1988. ; FETTERMAN, 2001FETTERMAN, David M. Foundations of empowerment evaluation. CA/USA: Sage, 2001. ).

Por sua vez, o modelo de Tyler (1986)TYLER, Ralph Winfred. Princípios básicos de currículo e ensino. Tradução de Leonel Vallandro. 9. ed. Rio de Janeiro: Globo, 1986. , orientado à concretização dos objetivos delineados, é resultado dos processos educacionais mensurados pelo nível de atingimento de metas traçadas pelo programa, sendo o resultado da avaliação utilizado como fonte para o processo decisório à estrutura educacional ofertada.

Já o modelo desenvolvido por Cronbach (1963)CRONBACH, Lee Joseph. Course Improvement through evaluation. Teachers College Record , New York, v. 64, n. 8, p. 672-683, 1963. não prioriza critérios únicos para o diagnóstico de um programa, caracterizando os resultados como multidimensionais orientados ao processo de tomada de decisão. De modo análogo, Scriven (2000)SCRIVEN, Michael. The logic and methodology of checklists . 2000. Disponível em: < https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf> . Acesso em: 14 abr. 2018.
https://wmich.edu/sites/default/files/at...
pondera que os resultados das avaliações são utilizados para diversos fins decisórios. Seguindo essa orientação, Stufflebeam (2000) define que a avaliação é destinada a aprimorar processos e não a comprová-los, gerando informações que possibilitam a tomada de decisões.

O modelo elaborado por Stake (1978)STAKE, Robert E. Case study methodology in social inquire. Educational Researcher , Washington, DC, v. 7, p. 5-8, 1978. , orientado à negociação, gera informações para grupos com interesses e com necessidades diferentes requeridas pelos tomadores da informação. Parlett e Hamilton (1976)PARLETT, Malcolm; HAMILTON, David. Evaluation as ilumination: a new aproach to the study of innovatory programs. In: GLASS, Gene V. (Ed.). Evaluation studies review annual . Beverly Hills: Sage, 1976. p. 141-157. compreendem que as interações diversas entre os atores da educação auxiliam nas decisões relacionadas ao desenvolvimento do ensino. Guba e Lincoln (1988)GUBA, Egon; LINCOLN, Yvonna. Effective evaluation. San Francisco: Jossey-Bass, 1988. defendem que a avaliação é um processo negociado, com o escopo de fornecer informações requeridas pelo seu público-alvo.

A autoavaliação de Saul (1988)SAUL, Ana Maria. Avaliação emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. São Paulo: Cortez; Autores Associados, 1988. , orientada ao empoderamento, é reconhecida como atividade colaborativa da avaliação de sujeitos, de entidades ou de comunidades, com o fim de aperfeiçoar programas estabelecidos. Para Fetterman (2001FETTERMAN, David M. Foundations of empowerment evaluation. CA/USA: Sage, 2001. , p. 3), esse modelo avaliativo tem o objetivo de “ajudar pessoas a ajudar elas mesmas e melhorar seus programas, utilizando uma forma de autoavaliação e reflexão”.

De modo geral, Ristoff (2002RISTOFF, Dilvo Ilvo. Apresentação In: DIAS SOBRINHO, José. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002. p. 5-8. , p. 10) define que avaliar é

[...] antes de tudo um processo de autoconhecimento, de aprendizado institucional – um processo contínuo, permanente, global, democrático, legitimado politicamente, consolidado tecnicamente, e capaz de identificar os pontos fortes e fracos e as potencialidades da instituição no tempo e no espaço.

Em síntese, a avaliação propicia aos gestores a racionalização dos processos decisórios com foco na melhoria de programas educacionais.

Noutra classificação, Fernandes (2013)FERNANDES, Domingos. A avaliação em educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio , Rio de Janeiro, v. 21, n. 78, p. 11-34, 2013. levanta que a avaliação educacional pode ser do tipo formal e informal. Para o autor, em ambos os casos verifica-se a geração de informações acerca dos conhecimentos adquiridos pelo indivíduo. Schmidt (1993)SCHMIDT, Mary R. Grout. Alternative kinds of knowledge and why they are ignored. Public Administration Review, New Jersey, v. 53, n. 6, p. 525-530, 1993. reconhece que esses tipos de avaliação são complementares na aquisição de conhecimento. A avaliação formal ocupa-se da verificação de assuntos relacionados à lógica científica, enquanto a avaliação informal volta-se à lógica do raciocínio do dia a dia ( HAMMERSLEY, 2003HAMMERSLEY, Martyn. Social research today: some dilemmas and distinctions. Qualitative Social Work , v. 2, n. 1, p. 25-44, 2003. ; POLKINGHOME, 2000).

A avaliação educacional também pode ser implementada em observância ao nível (i) de aprendizado; (ii) institucional; e (iii) de larga escala. A primeira, relacionada ao aprendizado, refere-se à avaliação do indivíduo submetido a processos ou a situações, com o objetivo de adquirir novo conhecimento ou habilidade ( BELLONI, 1999BELLONI, Isaura. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas , Brasília, DF, v. 5, n. 9, p. 31-58, 1999. ). A autora elenca que esse nível de avaliação também se destina à análise de currículo ou de programa de cursos, de modalidades de ensino e de atividades de qualificação profissional. Já a avaliação institucional enfoca as políticas, os projetos e as instituições educacionais e é considerada instrumento de aprimoramento da gestão administrativa e pedagógica das escolas e dos sistemas educacionais ( BELLONI, 1999BELLONI, Isaura. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas , Brasília, DF, v. 5, n. 9, p. 31-58, 1999. ). A autora corrobora também que devem ser considerados, na avaliação dos processos e dos resultados, fatores que envolvam os objetivos ou a missão da instituição, o contexto social, econômico, político e cultural. Quanto à avaliação em larga escala, sua elaboração visa a uma ampla abrangência, tanto de conteúdos, quanto de rigor técnico e metodológico, caracterizando-se pela padronização dos procedimentos de coleta e de processamento de dados ( COTTA, 2001COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB). Revista do Serviço Público , Brasília, DF, v. 52, n. 4, p. 89-111, 2001. ).

A seguir apresenta-se a Tabela 1 , com a síntese dos conceitos levantados para a construção desta seção, sem, contudo, exaurir as diversas modalidades e classificações presentes na literatura sobre a temática da avaliação educacional.

Tabela 1
– Resumo da classificação e da tipologia da avaliação educacional

Exame Nacional do Ensino Médio (ENEM)

Compreende-se que a avaliação é um processo complexo. As avaliações promovidas em âmbito interno e externo à escola buscam, de algum modo, avaliar o domínio e a aptidão dos alunos (níveis de aprendizado) na educação formal. Nesse aspecto, uma forma de mensurar, objetivamente e de modo formal, o desempenho educacional é pelo aferimento da proficiência apresentada pelos estudantes nas avaliações educacionais externas de larga escala em nível nacional ( OLIVEIRA; ARAÚJO, 2005OLIVEIRA, Romualdo Portela; ARAÚJO, Gilda Cardoso de. Qualidade do ensino: uma nova dimensão da luta pelo direito à educação. Revista Brasileira de Educação , Rio de Janeiro, n. 28, p. 5-23, 2005. ).

A avaliação de larga escala pode apresentar objetivos formativos e somativos, expostos na seção anterior. Sob o aspecto formativo, esse tipo de exame informa ao aluno tanto os conhecimentos adquiridos, quanto aqueles que precisam ser melhorados em posteriores exames. Já sob o aspecto somativo, por exemplo, o resultado da prova determina a pontuação necessária para acesso aos cursos disponíveis nas Instituições de Ensino Superior (IES).

Complementarmente, esse modelo de avaliação pode apresentar função proativa orientada à tomada de decisões, o que relaciona os resultados aferidos com os contextos presentes na realidade de estudantes e das organizações educacionais (STUFFLEBEAN; SHINKFIELD, 1987).

O governo federal propõe, por meio de provas de ampla abrangência, uma forma de avaliar e de mensurar o desempenho (proficiência) educacional de discentes e de organizações de ensino. O Exame Nacional do Ensino Médio (ENEM) faz parte do sistema nacional de avaliação educacional, em conjunto com o Sistema de Avaliação da Educação Básica (SAEB), o Exame Nacional de Desempenho de Estudantes (ENADE) e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Esses exames/sistemas avaliam os níveis de Ensino Médio, Fundamental, Superior e de Pós-Graduação, respectivamente, apresentando à sociedade parâmetros do sistema educacional nacional ( TRAVITZKI, 2013TRAVITZKI, Rodrigo. ENEM: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2013. ).

Instituído em 1998, o ENEM tem como escopo avaliar o nível de proficiência do discente egresso da Educação Básica, por meio de eixos cognitivos que buscam identificar competências e habilidades adquiridas – através de questões interdisciplinares sobre situações cotidianas, contidas nas provas de diferentes áreas do conhecimento –, bem como a capacidade de expressão e de compreensão, verificada pela redação (ADEODATO; SANTOS FILHO; RODRIGUES, 2014).

Nesse sentido, Cotta (2001)COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB). Revista do Serviço Público , Brasília, DF, v. 52, n. 4, p. 89-111, 2001. afirma que o exame fornece feedback , por meio de procedimentos padronizados de mensuração, de levantamento e de processamento de dados categorizados em larga escala, sobre o desenvolvimento dos conhecimentos, das competências e das habilidades do estudante egresso da Educação Básica para o ingresso no Ensino Superior ou no mercado de trabalho.

O ENEM utiliza uma matriz de referência de competências e de habilidades com eixos cognitivos que definem as áreas do conhecimento de: (i) Linguagens, Códigos e suas Tecnologias, que avalia um conjunto de 9 competências e 30 habilidades; (ii) Matemática e suas Tecnologias, com avaliação de 7 competências e 30 habilidades; (iii) Ciências da Natureza e suas Tecnologias, com avaliação de 8 competências e 30 habilidades; e (iv) Ciências Humanas e suas Tecnologias, com avaliação de 6 competências e 30 habilidades ( PRIMI et al., 2001PRIMI, Ricardo et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia , Brasília, DF, v. 17, n. 2, p. 151-159, 2001. ).

Os resultados nas provas são mensurados pelo sistema de avaliação Teoria de Resposta ao Item (TRI), que avalia o quantitativo de acertos de questões, atribuindo pontuação em conformidade com os diferentes níveis de dificuldade ( QUARESMA, 2014QUARESMA, Edilan de Sant’Ana. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. Tese (Doutorado) – Escola Superior de Agricultura “Luiz de Queiroz”, Universidade de São Paulo, Piracicaba, 2014. ).

Além do desempenho acadêmico do estudante, o ENEM tem sido parâmetro para avaliação do desempenho da organização escolar no Ensino Médio ( ANDRIOLA, 2011ANDRIOLA, Wagner Bandeira. Doze motivos favoráveis à adoção do Exame Nacional do Ensino Médio (ENEM) pelas Instituições Federais de Ensino Superior (IFES). Ensaio , Rio de Janeiro, v. 19, n. 70, p. 107-25, 2011. ). Assim, as organizações de ensino necessitam harmonizar seus currículos com os princípios da interdisciplinaridade e da contextualização, voltados para o desenvolvimento de conhecimentos, de competências e de habilidades com o escopo de integrar áreas de relevância e inserção social, possibilitar o prosseguimento dos estudos e o ingresso no mercado de trabalho ( MACENO et al., 2011MACENO, Nicole Glock et al. A matriz de referência do ENEM 2009 e o desafio de recriar o currículo de química na educação básica. Química Nova na Escola , São Paulo, v. 33, n. 3, p. 153-159, 2011. ).

Em síntese, o desempenho educacional mensurado pela proficiência apresentada no ENEM tem tido o propósito de avaliar egressos da Educação Básica e, ao mesmo tempo, de nortear as organizações de ensino quanto à adequação das necessidades de conferir ao discente a capacidade de raciocínio, a habilidade e as competências requeridas para o planejamento da formação acadêmica e da trajetória profissional.

Estudos anteriores relacionados aos contextos e ao desempenho educacional

A seguir apresentam-se, na Tabela 2 , os principais resultados de pesquisas relacionadas aos contextos escolares e ao desempenho educacional, com o objetivo de expor a literatura desenvolvida sobre o tema e a apresentação da presente pesquisa, diferenciando-a por analisar, especificamente, o desempenho dos discentes pertencentes aos Institutos Federais do Brasil, a partir da proficiência apresentada no Exame Nacional do Ensino Médio (ENEM).

Tabela 2
– Estudos anteriores

De modo geral, os resultados evidenciam que, de fato, o desempenho educacional, mensurado de modo objetivo, pode diferir a partir dos contextos aos quais os discentes estão expostos. Assim, os resultados desta pesquisa podem ser confirmados, ou não, por resultados encontrados em outros trabalhos científicos a respeito da existência de diferenças de rendimento, dado o contexto escolar no qual o discente e a escola se inserem. Diferentemente desses estudos, abordamos um objeto de pesquisa ainda pouco explorado (Institutos Federais de Educação, Ciência e Tecnologia), além de analisar os dados a partir de uma perspectiva metodológica quantitativa, buscando proporcionar confiança estatística aos resultados.

Metodologia

A presente pesquisa, quanto ao objetivo, é classificada como descritiva; quanto aos procedimentos, é documental. De acordo com Sampieri, Collado e Lucio (2013, p. 102), “a pesquisa descritiva busca especificar propriedades e características importantes de qualquer fenômeno que se analise”. O procedimento documental, de acordo com Martins e Theóphilo (2009MARTINS, Gilberto de Andrade; THEÓPHILO, Carlos Renato. Metodologia da investigação científica para ciências sociais aplicadas. São Paulo: Atlas, 2009. , p. 85), “se assemelha à pesquisa bibliográfica, todavia não levanta material editado – livros, periódicos etc. –, mas busca material que não foi editado”. Assim, o trabalho utiliza dados emitidos pelo INEP para descrever os efeitos dos contextos no desempenho dos Institutos Federais do Brasil.

A abordagem do problema é de natureza quantitativa, pois utiliza os dados coletados para testar hipóteses através de testes estatísticos para estabelecer padrões de comportamento (SAMPIERI; COLLADO; LUCIO, 2013). Por meio dos testes estatísticos t de Student e Análise de Variância (Anova), especificados ao final desta seção, pretende-se verificar diferenças de desempenho em relação aos contextos levantados no estudo.

A amostra definida pela pesquisa está apresentada na Tabela 3 e foi definida conforme disponibilidade, no portal do INEP, de dados requeridos para a aplicação dos testes estatísticos. A escolha pelos Institutos Federais (IFs) deu-se em função da relevância de avaliação do desempenho (proficiência) dos discentes em uma rede de ensino em grande expansão iniciada em 2008, bem como pelo público-alvo diversificado de alunos dos IFs, justificando a análise comparativa do desempenho a partir de diferentes contextos (ver Tabela 2 ).

Tabela 3
– Amostra da pesquisa

A seguir apresenta-se, na Tabela 4 , a operacionalização dos contextos definidos na pesquisa para classificar os Institutos Federais do Brasil. Os contextos expressos na Tabela 2 são apresentados pelo INEP e, normalmente, são utilizados como parâmetro comparativo de desempenho: socioeconômico, região e complexidade da escola (ADEODATO; SANTOS FILHO; RODRIGUES, 2014; ALVES; SOARES, 2013ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. ; BARROS et al., 2001BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico , Rio de Janeiro, v. 31, n. 1, p. 1-42, 2001. ).

Tabela 4
– Caracterização dos contextos

O desempenho educacional coletado da base de dados do INEP é calculado conforme equação (1) a seguir,

D E S E M P i j = ( Σ M é d i a s i n d i v i d u a i s d o s d i s c e n t e s ) ( T o t a l d e a l u n o s ) ( 1 ) ,

onde os DESEMP são as médias atribuídas em cada Instituto Federal do Brasil (i) para cada ano (j) em: Linguagens e Códigos (LC); Matemática e suas Tecnologias (MT); Ciências Humanas (CH); Ciências da Natureza (CN); Redação (RED); e Exame Nacional do Ensino Médio (ENEM). Sendo assim, o desempenho educacional foi calculado pela razão entre a soma das notas de todos os itinerários formativos do ENEM e o total de alunos de cada Instituto Federal do Brasil. Esse procedimento foi realizado para os cinco períodos analisados (2011, 2012, 2013, 2014 e 2015).

Em atendimento ao objetivo da pesquisa, adotam-se procedimentos estatísticos univariados de medidas de tendência central e de dispersão para descrever a amostra, assim como se utilizam testes de comparação de médias (t de Student e Análise de Variância) para verificar possíveis diferenças de desempenho em relação ao contexto em que o Instituto Federal está inserido.

Enquanto o teste t de Student verifica a existência de diferenças de médias amostrais independentes, a análise de variância (Anova) testa a igualdade de três ou mais médias populacionais, com base na análise de variâncias amostrais. Desse modo, aplica-se o teste t de Student para comparar se a média do desempenho educacional no ENEM difere a partir do espaço geográfico. Por sua vez, aplica-se a Anova para comparar se a média do desempenho educacional no ENEM difere a partir do porte escolar, do contexto socioeconômico e do contexto regional.

Os dados da pesquisa foram agrupados em planilha do Office Excel ® e o tratamento realizado no Stata ® ( Data Analysis and Statistical Software ), versão 13.

Análise e discussão de resultados

Preliminarmente, executou-se o teste de normalidade de Kolmogorov-Smirnov para determinar a normalidade do conjunto de dados (865 observações), a fim de verificar se o conjunto amostral analisado representa a população à qual está relacionada (Institutos Federais do Brasil). Os resultados estão apresentados na Tabela 5 , a seguir.

Tabela 5
– Testes de Normalidade de Kolmogorov-Smirnov

Depreende-se que os dados apresentaram distribuição normal para as áreas do conhecimento Matemática e suas Tecnologias e Ciências da Natureza. Apesar de as demais áreas do conhecimento não terem apresentado distribuição normal, o teste de normalidades para a média do ENEM indicou baixa quantidade ou ausência de valores extremos à média.

Em complemento ao teste de normalidade, verifica-se na Tabela 6 , a seguir, o comportamento das médias entre os anos estudados.

Tabela 6
– Desempenho educacional: anos estudados

Verificam-se preponderantemente nos dados, por meio dos testes de comparação entre as médias, diferenças crescentes consideradas significativas para os níveis de proficiência avaliados pelo exame. Destaca-se a área do conhecimento de Ciências Humanas, que aponta indícios de que, no transcorrer dos anos, os estudantes matriculados nos Institutos Federais têm ampliado fortemente (elevado coeficiente: Teste F = 139,02) a capacidade de resolução de questões relacionadas aos conhecimentos exigidos pela prova. Por outro lado, a área de Matemática e suas Tecnologias apresentou médias decrescentes; todavia, percebe-se que essa variação diminui (baixo coeficiente: Teste F = 31,01) entre os anos estudados, indicando redução de perdas de desempenho entre os anos. As variações verificadas entre os anos, nas áreas do conhecimento avaliadas, foram suficientes para que a média do ENEM apresentasse diferenças significativas e crescentes. Os resultados podem ser também verificados no gráfico 1 .

Gráfico 1
– Desempenho educacional: anos estudados

A análise que se sucede, na Tabela 7 , está relacionada ao desempenho educacional dos Institutos Federais do Brasil em relação à localização regional que ocupam.

Tabela 7
– Desempenho educacional: contexto regional

O Nordeste (336 observações) e o Sudeste (199 observações) foram as regiões que tiveram o maior número de participantes no ENEM. A partir da observação dos resultados, confirma-se a hipótese de que os desempenhos apresentam diferenças significativas considerando o contexto regional, apoiando os resultados encontrados por Adeodato, Santos Filho e Rodrigues (2014). Destaca-se que os desempenhos superiores dos Institutos Federais se apresentaram predominantemente nas regiões Sudeste e Sul, corroborando os achados de Padilha et al. (2012)PADILHA, Frederica et al. As regularidades e exceções no desempenho do Ideb dos municípios. Estudos em Avaliação Educacional , São Paulo, v. 23, n. 51, p. 58-81, 2012. , e que, de modo geral, as médias apresentaram baixa dispersão em cada região. Outro destaque está relacionado aos maiores desempenhos das áreas do conhecimento de Ciências Humanas (CH) e de Redação (RED), o que pode ser mais bem visualizado no Gráfico 2 .

Gráfico 2
– Desempenho educacional: contexto regional

Embora o desempenho dos Institutos Federais do Brasil se mostre diferente estatisticamente a partir das regiões do país, essa diferença é pequena quando observada a partir do Gráfico 2 . Esse resultado pode indicar a consequência de uma política educacional voltada para a garantia de educação a todas as regiões brasileiras.

Na Tabela 8 , o desempenho está apresentado segundo o local de instalação, representado pelo contexto espaço geográfico (rural e urbano).

Tabela 8
– Desempenho educacional: contexto espaço geográfico

Nas observações (642), tem-se que a participação da rede federal de ensino no ENEM apresenta elevada concentração de alunos matriculados na zona urbana. Verifica-se, nesse contexto, a baixa dispersão das médias com melhores desempenhos registrados para os Institutos Federais instalados na zona urbana. As médias das notas do ENEM se distanciam em 25 pontos, cuja maior diferença deve-se à nota de Redação, com uma diferença de 40,6 pontos. Constata-se também que as diferenças encontradas são consideradas significativas, tal como evidenciado no Gráfico 3 , confirmando a hipótese da pesquisa para o contexto espaço geográfico e apoiando os resultados de Barros et al. (2001)BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico , Rio de Janeiro, v. 31, n. 1, p. 1-42, 2001. .

Gráfico 3
– Desempenho educacional: contexto espaço geográfico

A seguir, apresenta-se o desempenho educacional sob o contexto do porte escolar ofertado por cada Instituto Federal ( Tabela 9 ). Nessa análise, somente houve diferença no itinerário formativo de Matemática e Suas Tecnologias, conforme o porte da escola.

Tabela 9
– Desempenho educacional: porte escolar

Percebe-se, pela quantidade de observações (porte C e D) extraídas dos dados, que os Institutos Federais com elevado quantitativo de alunos propiciaram maior participação de estudantes no ENEM. Diferentemente dos achados nas pesquisas de Soares e Sátyro (2008)SOARES, Sergei; SÁTYRO, Natália. O impacto de infra-estrutura escolar na taxa de distorção idade-série das escolas brasileiras de ensino fundamental: 1998 a 2005. Brasília, DF: IPEA, 2008. Texto para discussão, Instituto de Pesquisa Econômica Aplicada (IPEA). , Lee (2008)LEE, Valerie. Utilização e modelos hierárquicos lineares para estudar contextos sociais. In: BROOKE, Nigel; SOARES, José Francisco (Ed.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: UFMG, 2008. p. 273-298. e Alves e Soares (2013)ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. , os desempenhos, quando analisados sob o contexto do porte escolar, predominantemente não apresentaram diferenças significativas – o que é mais bem visualizado no Gráfico 4 –, não confirmando, portanto, a hipótese de pesquisa. Apesar de os resultados não convergirem com a literatura apresentada, destaca-se que os desempenhos em Ciências Humanas e Redação apresentaram indícios em favor dos Institutos Federais de menor porte. Já para Matemática e suas Tecnologias, os dados apontaram que o maior porte estrutural favoreceu o desenvolvimento dos conhecimentos dos discentes, possivelmente pela necessidade de maiores investimentos devido às especificidades e pelo foco dado nos cursos ofertados pelos campi , aproximando teoria e prática.

Gráfico 4
– Desempenho educacional: porte escolar

Por fim, o desempenho educacional é analisado, na Tabela 10 , sob o contexto do perfil socioeconômico discente. De modo geral, as análises se mostraram significativas, ou seja, há diferença entre as notas dos itinerários formativos a partir do perfil socioeconômico dos Institutos Federais.

Tabela 10
– Desempenho educacional: contexto socioeconômico discente

Verifica-se, por meio da quantidade de observações dos dados, que os Institutos Federais participantes do ENEM atendem predominantemente alunos de classe média (perfil socioeconômico – médio: 303; médio alto: 239; e médio baixo: 184). Infere-se da análise que os desempenhos se mostraram superiores para os discentes classificados com maior perfil socioeconômico (ver também o Gráfico 5 ), em conformidade com os trabalhos de Alves (2013)ALVES, Fátima. Políticas educacionais e desempenho escolar nas capitais brasileiras. Cadernos de Pesquisa , São Paulo, v. 38, n. 134, p. 413-440, 2013. e Alves e Soares (2013)ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. . Tal fato pode ser justificado por diferenças culturais e pelo nível de atendimento das necessidades básicas, supridas pelo núcleo familiar. Como resultado dessas diferenças, confirma-se a hipótese de pesquisa.

Gráfico 5
– Desempenho educacional: contexto socioeconômico discente

De modo geral, os desempenhos educacionais dos Institutos Federais do Brasil mostraram-se diferentes e significantes, determinados por fatores (contextos) como a localização regional, o espaço geográfico (zona urbana e rural) e o perfil socioeconômico dos discentes, confirmando a hipótese de pesquisa para esses casos. Já o porte escolar não se mostrou capaz de determinar diferenças no desempenho educacional. A pesquisa propiciou, também, traçar o perfil dos Institutos Federais participantes do ENEM quanto aos contextos: a participação no exame foi fortemente percebida nas instituições de zonas urbanas das regiões Nordeste e Sudeste, bem como naquelas com elevado quantitativo de alunos de classe média.

Considerações finais

A presente pesquisa teve como objetivo investigar em que medida os contextos determinam o desempenho dos Institutos Federais do Brasil no ENEM. Para isso, optou-se por utilizar o ENEM como parâmetro de avaliação educacional, com características somativa e proativa, de periodicidade pontual, com orientação à tomada de decisões, do tipo formal e de larga escala, visando ofertar aos gestores e à comunidade suporte informacional sobre os resultados provenientes das políticas públicas educacionais. Ressalta-se que os desempenhos mencionados na pesquisa referem-se à proficiência aferida no ENEM pelos estudantes.

O percurso das inferências estatísticas para responder à questão levantada e testar a hipótese de pesquisa iniciou-se com a verificação da distribuição de normalidade amostral e com a aplicação dos testes de comparação entre médias. Os diferentes resultados não impactaram no exame de normalidade da média do ENEM.

Quanto ao contexto regional, verificou-se, nos Institutos Federais, superioridade de desempenho predominantemente no Sudeste e no Sul. Tal fato pode ser atribuído a diferenças de condições estruturais e de acesso ao ensino ofertado nessas regiões. Observou-se também que a assimilação de conhecimentos e o desenvolvimento de habilidades e de competências apresentaram-se mais potencializados na área do conhecimento de Ciências Humanas, assim como a capacidade de expressão e de compreensão, mensurada pela Redação. Complementarmente, o contexto do espaço geográfico acrescenta que esses melhores desempenhos são atribuídos aos Institutos Federais localizados na zona urbana.

Já quando avaliados pelo contexto do porte escolar, os Institutos Federais não alcançaram níveis de diferenciação de desempenho. Porém, os desempenhos de Ciências Humanas e de Redação tenderam a ser superiores para aqueles de menor porte. Já a área do conhecimento de Matemática e suas Tecnologias apresentou superioridade em favor dos Institutos Federais de maior porte escolar. Tal fato pode ser atribuído em razão de maiores investimentos que favorecem o eixo cognitivo dos cursos ofertados, propiciando, em muitos casos, aproximação entre teoria e prática devido à especificidade dos cursos.

Por fim, evidenciaram-se diferenças significativas e superiores nos desempenhos dos Institutos Federais com educandos que apresentaram melhores condições de atendimento de necessidades básicas, conforme classificação do perfil socioeconômico identificado. Tais resultados corroboram que a bagagem sociocultural e econômica familiar é determinante do acesso aos meios necessários ao aprimoramento do desempenho educacional.

Destacamos que, notadamente, nossos resultados evidenciam que o desempenho educacional é inferior quando os discentes têm origem em contexto rural e baixa condição socioeconômica, indicando a necessidade de formulação de políticas que possam adequar práticas pedagógicas de ensino para que o desempenho possa ser majorado ( SOUZA et al., 2013SOUZA, Norma Valéria Dantas de Oliveira et al. Perfil socioeconômico e cultural do estudante ingressante no curso de graduação em enfermagem. Revista de Enfermagem UERJ , Rio de Janeiro, v. 21, n. 2, p. 718-722, 2013. ). Além disso, políticas assistencialistas podem ser consideradas a fim de que essas diferenças nítidas de desempenho possam ser avaliadas pelos gestores e pelos políticos públicos.

Outro importante achado da pesquisa, quanto aos contextos, foi a identificação do perfil dos Institutos Federais participantes do ENEM, o que foi fortemente percebido na zona urbana das regiões Nordeste e Sudeste, que apresentaram elevado quantitativo de alunos de classe média matriculados.

De modo geral, a pesquisa contribui para a temática relacionada ao desempenho educacional e ao contexto escolar, bem como fornece informações gerenciais aos gestores públicos e à sociedade sobre os resultados provenientes das políticas públicas implantadas. Além disso, elucida contextos determinantes do desempenho educacional, mensurado pela proficiência alcançada pelos alunos no ENEM, o que pode revelar necessidade holística por parte dos governantes.

Como sugestões para futuras pesquisas propõem-se: (i) estudos comparativos entre instituições federais, estaduais, municipais e privadas; (ii) uso de outras métricas de desempenho, como as do SAEB e do IDEB; e (iii) emprego de contextos relacionados a fatores financeiros e serviços ofertados.

Referências

  • ADEODATO, Paulo Jorge Leitão; SANTOS FILHO, Maílson Melo dos; RODRIGUES, Rodrigo Lins. Predição de desempenho de escolas privadas usando o ENEM como indicador de qualidade escolar. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 25., 2014, Dourados. Anais... Porto Alegre: SBC, 2014. p. 891-895.
  • ALVES, Fátima. Políticas educacionais e desempenho escolar nas capitais brasileiras. Cadernos de Pesquisa , São Paulo, v. 38, n. 134, p. 413-440, 2013.
  • ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa , São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013.
  • ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Medidas de nível socioeconômico em pesquisas sociais: uma aplicação aos dados de uma pesquisa educacional. Opinião Pública , Campinas, v. 15, n. 1, p. 1-30, 2009.
  • ANDRIOLA, Wagner Bandeira. Doze motivos favoráveis à adoção do Exame Nacional do Ensino Médio (ENEM) pelas Instituições Federais de Ensino Superior (IFES). Ensaio , Rio de Janeiro, v. 19, n. 70, p. 107-25, 2011.
  • ANDRIOLA, Wagner Bandeira. Evaluación: la vía para la calidad educativa. Ensaio , Rio de Janeiro, v. 7, n. 25, p. 355-368, 1999.
  • BARROS, Ricardo Paes de et al. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico , Rio de Janeiro, v. 31, n. 1, p. 1-42, 2001.
  • BELLONI, Isaura. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas , Brasília, DF, v. 5, n. 9, p. 31-58, 1999.
  • BOURDIEU, Pierre; PASSERON, Jean-Claude. A reprodução: elementos para uma teoria do sistema de ensino. Petrópolis: Vozes, 2008.
  • BRYK, Antony; LEE, Valerie. A multilevel model of social distribution of high school. In: DARLING-HAMMOND, Linda (Ed.). Review of research in education . Washington, DC: AERA, 1989. p. 171-267.
  • CAMARGO, Raphael Vinicius Weigert et al. Desempenho dos alunos de ciências contábeis na prova ENADE/2012: uma aplicação da Teoria da Resposta ao Item. Revista de Educação e Pesquisa em Contabilidade , Brasília, DF, v. 10, n. 3, p. 332-355, jul./set. 2016.
  • COLEMAN, James et al. Equality of educational opportunity. Washington, DC: U.S. Department of Health, Education, and Welfare, 1966.
  • CORRÊA, Denise Maria Moreira Chagas. Indicadores de gestão do TCU e o desempenho dos cursos no Enade: um estudo de cursos de graduação. Tese (Doutorado) – Faculdade de Educação, Universidade Federal do Ceará, Fortaleza, 2013.
  • COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica (SAEB). Revista do Serviço Público , Brasília, DF, v. 52, n. 4, p. 89-111, 2001.
  • CRONBACH, Lee Joseph. Course Improvement through evaluation. Teachers College Record , New York, v. 64, n. 8, p. 672-683, 1963.
  • FERNANDES, Domingos. A avaliação em educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio , Rio de Janeiro, v. 21, n. 78, p. 11-34, 2013.
  • FETTERMAN, David M. Foundations of empowerment evaluation. CA/USA: Sage, 2001.
  • FRANCO, Creso et al. Qualidade e equidade em educação: reconsiderando o significado de “fatores intra-escolares”. Ensaio , Rio de Janeiro, v. 15, n. 55, p. 277-298, 2007.
  • GADOTTI, Moacir. Qualidade na educação: uma nova abordagem. Produção de terceiros sobre Paulo Freire. São Paulo: Série Livros, 2010.
  • GUBA, Egon; LINCOLN, Yvonna. Effective evaluation. San Francisco: Jossey-Bass, 1988.
  • HAMMERSLEY, Martyn. Social research today: some dilemmas and distinctions. Qualitative Social Work , v. 2, n. 1, p. 25-44, 2003.
  • HANUSHEK, Eric A. Conceptual and empirical issues in the estimation of educational production functions. Journal of Human Resources , Madison, v. 14, n. 3, p. 351-388, 1979.
  • JONG, Nynke et al. Blended learning in health education: three case studies. Perspectives Medical Education , Maastrich, v. 3, n. 4, p. 278-288, sep. 2014.
  • LEE, Valerie. Utilização e modelos hierárquicos lineares para estudar contextos sociais. In: BROOKE, Nigel; SOARES, José Francisco (Ed.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: UFMG, 2008. p. 273-298.
  • LIMBERGER, Jane Beatriz. Metodologias ativas de ensino-aprendizagem para a educação farmacêutica: um relato de experiência. Interface , Botucatu, v. 17, n. 47, p. 969-975, 2013.
  • LUCKESI, Cipriano Carlos. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 2014.
  • MACENO, Nicole Glock et al. A matriz de referência do ENEM 2009 e o desafio de recriar o currículo de química na educação básica. Química Nova na Escola , São Paulo, v. 33, n. 3, p. 153-159, 2011.
  • MARTINS, Gilberto de Andrade; THEÓPHILO, Carlos Renato. Metodologia da investigação científica para ciências sociais aplicadas. São Paulo: Atlas, 2009.
  • NEVO, Daniel. Evaluación basada en el centro: un diálogo para la mejora educativa. Bilbao: Mensajero, 1997.
  • OLIVEIRA, Romualdo Portela; ARAÚJO, Gilda Cardoso de. Qualidade do ensino: uma nova dimensão da luta pelo direito à educação. Revista Brasileira de Educação , Rio de Janeiro, n. 28, p. 5-23, 2005.
  • PADILHA, Frederica et al. As regularidades e exceções no desempenho do Ideb dos municípios. Estudos em Avaliação Educacional , São Paulo, v. 23, n. 51, p. 58-81, 2012.
  • PARLETT, Malcolm; HAMILTON, David. Evaluation as ilumination: a new aproach to the study of innovatory programs. In: GLASS, Gene V. (Ed.). Evaluation studies review annual . Beverly Hills: Sage, 1976. p. 141-157.
  • POLKINGHORNE, Donald. Psychological inquiry and the pragmatic and the hermeneutical traditions. Theory and Psychology , Ontario, v. 10, n. 4, p. 453-479, 2000.
  • PRIMI, Ricardo; HUTZ, Claudio S.; SILVA, Marjorie C. Rocha da. A prova do ENADE de psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica , Campinas, v. 10, n. 3, p. 271-294, 2011.
  • PRIMI, Ricardo et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia , Brasília, DF, v. 17, n. 2, p. 151-159, 2001.
  • QUARESMA, Edilan de Sant’Ana. Modelagem para construção de escalas avaliativas e classificatórias em exames seletivos utilizando teoria da resposta ao item uni e multidimensional. Tese (Doutorado) – Escola Superior de Agricultura “Luiz de Queiroz”, Universidade de São Paulo, Piracicaba, 2014.
  • RISTOFF, Dilvo Ilvo. Apresentação In: DIAS SOBRINHO, José. Universidade e avaliação: entre a ética e o mercado. Florianópolis: Insular, 2002. p. 5-8.
  • RUIZ, José Maria. Teoría del curriculum: diseño y desarrollo curricular. Madrid: Universiatas, 1996.
  • SAMPIERI, Roberto Hernandez; COLLADO, Carlos Fernandez; LÚCIO, Maria del Pilar Baptista. Metodologia de pesquisa. 3. ed. São Paulo: McGraw Hill, 2013.
  • SAUL, Ana Maria. Avaliação emancipatória: desafio à teoria e à prática de avaliação e reformulação de currículo. São Paulo: Cortez; Autores Associados, 1988.
  • SCHMIDT, Mary R. Grout. Alternative kinds of knowledge and why they are ignored. Public Administration Review, New Jersey, v. 53, n. 6, p. 525-530, 1993.
  • SCRIVEN, Michael. The logic and methodology of checklists . 2000. Disponível em: < https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf> . Acesso em: 14 abr. 2018.
    » https://wmich.edu/sites/default/files/attachments/u350/2014/logic%26methodology_dec07.pdf>
  • SOARES, Sergei; SÁTYRO, Natália. O impacto de infra-estrutura escolar na taxa de distorção idade-série das escolas brasileiras de ensino fundamental: 1998 a 2005. Brasília, DF: IPEA, 2008. Texto para discussão, Instituto de Pesquisa Econômica Aplicada (IPEA).
  • SOUZA, Norma Valéria Dantas de Oliveira et al. Perfil socioeconômico e cultural do estudante ingressante no curso de graduação em enfermagem. Revista de Enfermagem UERJ , Rio de Janeiro, v. 21, n. 2, p. 718-722, 2013.
  • STAKE, Robert E. Case study methodology in social inquire. Educational Researcher , Washington, DC, v. 7, p. 5-8, 1978.
  • STUFFLEBEAM, Daniel L. The CIPP model for evaluation. In: STUFFLEBEAM, Daniel L.; MADAUS, George F.; KELLAGHAN, Thomas. Evaluation models: viewpoints on educational and human services evaluation. 2. ed. Massachusetts: Kluwer Academic Publishers, 2000. p. 279-317.
  • STUFFLEBEAM, Daniel L.; SHINKFIELD, Anthony J. Evaluación sistémica: guía teórica y práctica. Barcelona: Paidós, 1987.
  • TRAVITZKI, Rodrigo. ENEM: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2013.
  • TYLER, Ralph Winfred. Princípios básicos de currículo e ensino. Tradução de Leonel Vallandro. 9. ed. Rio de Janeiro: Globo, 1986.
  • WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jodi L. Avaliação de programas: concepções práticas. Tradução Dinah de Abreu Azevêdo. São Paulo: Gente, 2004.

Datas de Publicação

  • Publicação nesta coleção
    26 Set 2019
  • Data do Fascículo
    2019

Histórico

  • Recebido
    18 Maio 2018
  • Revisado
    26 Set 2018
  • Aceito
    26 Out 2018
Faculdade de Educação da Universidade de São Paulo Av. da Universidade, 308 - Biblioteca, 1º andar 05508-040 - São Paulo SP Brasil, Tel./Fax.: (55 11) 30913520 - São Paulo - SP - Brazil
E-mail: revedu@usp.br