O (des)entendimento de qualidade na educação superior brasileira – Das quimeras do provão e do ENADE à realidade do capital cultural dos estudantes

The unpleasantness of quality in higher education brazilian – From the chimeras of the exams to the reality of the cultural capital of students

Resumos

Nas últimas duas décadas a operacionalização e divulgação de procedimentos de avaliação de instituições e cursos da educação superior brasileira têm ganhado grande proeminência. O Estado ampliou os processos avaliativos com vistas, principalmente, a regular e controlar o sistema. A imprensa, a partir dessas avaliações oficiais, gera rankings e divulga para a sociedade classificações das instituições e cursos, baseadas, principalmente, no desempenho dos estudantes em exames. Nesse contexto, um bom desempenho nos rankings se tornou sinônimo de qualidade para a sociedade e, por conseguinte, a competição entre as instituições de educação superior se acirrou ainda mais. Mas qual a real adequação dos métodos avaliativos baseados em exames para emitir juízo de valor sobre a qualidade de instituições e cursos? O desempenho dos estudantes em exames subsidia a formação de juízo confiável acerca da qualidade da formação desenvolvida por cursos de graduação? Este artigo, buscando respostas para tais questões, aborda, inicialmente, o conceito de “capital cultural” de Bourdieu e revisa pesquisas quantitativas sobre eficácia escolar e os fatores determinantes do desempenho dos alunos. Posteriormente, analisa estudos e dados sobre a importância do contexto socioeconômico dos estudantes em seus desempenhos na educação superior. Por fim, conclui destacando evidências da maior relevância do contexto do aluno em relação ao “fator curso” nos resultados desses instrumentos.

Educação superior; Eficácia escolar; Qualidade em educação

In the last two decades the operationalization and dissemination of assessment procedures of institutions and courses of Brazilian higher education have gained great prominence. The state expanded the evaluative processes aiming mainly to regulate and control the system. Since then the media creates and publishes rankings for society of institutions and courses based primarily on undergraduate student performance in examinations. In this context, performing well in the rankings has become a synonym for quality for society and therefore competition among higher education institutions intensified even more. But are exam-based evaluative methods really adequate to evaluate institutions and courses? The performance of students in examinations enables a reliable assessment about the quality of undergraduate courses? This paper seeks to answer these questions, addressing first the concept of "cultural capital" of Bourdieu and resuming quantitative research on school effectiveness and determinants of student performance. Subsequently, it studies and analyzes data about the importance of background of the students on their performance in higher education. Finally, it ends by showing evidence that the background is more important than the effects of an undergraduate course on the performance of students in exams.

Higher education; Quality in education; School effectiveness

1 Introdução


A avaliação na educação superior é um tema complexo, que envolve diferentes grupos de interesse, tais como governos, instituições, docentes, pesquisadores, alunos, empresas e a sociedade de maneira geral, que possuem diferentes visões de educação e de qualidade para a educação superior. Por esse motivo, desde a sua institucionalização, a avaliação tem sido concebida e praticada de várias formas, com base e observância em valores, concepções e epistemologias distintas. Nas últimas duas décadas, a avaliação de instituições e cursos da educação superior ganhou uma dimensão inédita em nível mundial visto que organismos multilaterais e governos nacionais incentivaram a criação de sistemas de avaliação e agências de acreditação e de garantia de qualidade sob a justificativa de maximizar os benefícios sociais dos sistemas educacionais. 


No Brasil, a implementação de avaliação externa de cursos de graduação em larga escala, de natureza regulatória e com abrangência nacional, ocorreu, principalmente, por meio de dois diferentes métodos empregados pelo Inep⁽¹⁾ a partir de 1995: o exame aplicado aos concluintes, o provão⁽²⁾, e a Avaliação das Condições de Oferta (ACO), as comissões de especialistas. O provão era um exame aplicado aos alunos concluintes em conjuntos de diferentes cursos a cada ano e as ACOs eram visitas in loco que avaliavam aspectos relativos aos projetos pedagógicos, ao corpo docente e à infraestrutura dos cursos com vistas aos atos regulatórios, tais como autorização, reconhecimento e renovação de reconhecimento de cursos. Desde o princípio, os resultados dos exames aplicados aos alunos tiveram maior divulgação e impacto junto à sociedade, visto que eram apresentados como classificações da qualidade dos cursos de graduação das diversas instituições públicas e privadas do país. Mesmo com algumas mudanças importantes e positivas como a autoavaliação e a ampliação da avaliação externa das instituições, o Sistema Nacional de Avaliação da Educação Superior (SINAES), a partir de 2004, manteve essas duas diferentes formas de avaliação externa de cursos por meio do ENADE⁽³⁾ e das comissões de avaliadores. Além disso, no âmbito do SINAES foram criados novos índices a partir dos resultados do ENADE, tais como o Conceito ENADE⁽⁴⁾, o CPC⁽⁵⁾ para os cursos e o “inédito” IGC⁽⁶⁾, que permitiu a geração de rankings também para as instituições. Todos esses índices possuem como principal componente de ponderação a nota obtida pelos estudantes na prova do ENADE⁽²⁾.


As classificações e os rankings gerados e divulgados pela mídia com base nos resultados dos exames aplicados aos alunos quase sempre foram interpretadas pela sociedade e por governos e instituições como uma espécie de certificação da qualidade ou da não qualidade dos cursos e instituições de educação superior. No contexto da emergência de mercados e quase mercados na educação superior (TEIXEIRA, 2004), onde a “disputa” por alunos ganhou uma proporção de negócio empresarial inédita no Brasil a partir da LDB de 1996 (BERTOLIN, 2007), a divulgação de rankings de cursos começou a impactar o sistema como um todo. Muitas instituições, com vistas a alcançar melhores índices nos exames, melhores posições nas classificações de “qualidade” e, por conseguinte, atrair mais “alunos-clientes” para suas salas de aulas, começaram a realizar “cursinhos” preparatórios para os exames, bem como priorizar, nos planos das disciplinas, conteúdos abordados nos exames aplicados. Em certa medida, os exames se tornaram referência para a elaboração de projetos pedagógicos dos cursos, ou seja, os conteúdos abordados pelos exames se transformaram em “quase diretrizes” curriculares para muitas instituições. Além disso, o próprio governo transformou o ENADE num instrumento de medição da qualidade dos cursos e instituições da educação superior brasileira no momento em que vinculou desempenhos mínimos para firmar convênios com instituições, tais como PROUNI e FIES, para possibilitar acesso à base de dados científica ou para disponibilizar recursos do BNDES.


Não obstante o conceito de qualidade em educação superior possuir elevado grau de subjetividade (BERTOLIN, 2009), o emprego em larga escala de exames na avaliação dos estudantes da graduação se tornou uma questão crítica para a percepção da sociedade sobre o valor e a qualidade das instituições e cursos e, por conseguinte, para o próprio desenvolvimento do quase mercado da educação superior brasileira. Mas qual a real adequação dos métodos avaliativos baseados em exames para emitir juízo de valor sobre a qualidade de instituições e cursos? Será que exames realizados pelos alunos subsidiam a formação de juízo confiável acerca da qualidade da formação desenvolvida por cursos de graduação? Para contribuir na busca de respostas para essas importantes questões, o presente artigo, inicialmente, revisa o conceito de capital cultural, de Bourdieu, e sua importância para o sucesso ou fracasso dos alunos e, na sequência, aborda as pesquisas acerca da eficácia escolar e dos fatores determinantes, tais como o efeito escola e o background (contexto familiar, social, econômico e cultural) no desempenho dos estudantes. Logo após, analisa estudos e dados sobre a importância do contexto socioeconômico dos estudantes em seus desempenhos na educação superior. Por fim, conclui destacando evidências da maior relevância do contexto do aluno em relação ao fator curso nos resultados desses instrumentos.


O capital cultural e o desempenho dos alunos

Antes mesmo das avaliações em larga escala baseadas em exames aplicados aos estudantes assumirem papel relevante nas políticas educacionais no final do século XX, importantes autores destacaram que as condições socioculturais e subjetivas exteriores e precedentes ao ingresso nas instituições educativas são fundamentais no desempenho escolar dos alunos. Nas décadas de 1960 e 1970, o importante sociólogo francês Pierre Félix Bourdieu, por exemplo, ao propor um novo modo de interpretação da escola e da educação, definiu o conceito de capital cultural com base em evidências da forte relação entre desempenho escolar e a origem social dos estudantes.


Até o início da segunda metade do século XX predominava nas Ciências Sociais a ideia otimista, de inspiração funcionalista, de que a escola cumpria com êxito, por um lado, um papel de superação do atraso econômico, do autoritarismo e dos privilégios próprios de sociedades tradicionais e, por outro, de construção de uma nova sociedade justa (meritocrática), moderna (centrada na razão e na ciência) e democrática (fundamentada na autonomia individual). Naquele período, supunha-se que por meio da escola pública e gratuita era possível resolver não apenas o problema do acesso, mas também consubstanciar a igualdade de oportunidade entre todos os cidadãos. Competindo dentro do sistema de ensino, os indivíduos estariam em condições iguais para alcançar destaque com base em seus dons e esforços individuais e, por uma questão de justiça, ocupariam as posições de destaque na sociedade. A escola seria, nessa visão, uma instituição neutra, que, disseminando conhecimento racional e objetivo, selecionaria os alunos com base em critérios racionais.


Tomando por base a frustração dos jovens de classe média e das camadas populares de falsas promessas dos sistemas de ensino, bem como pesquisas quantitativas que apontavam significativas relações entre a origem social e os destinos escolares, Bourdieu provocou uma verdadeira revolução científica visando à superação do paradigma funcionalista. Criticando a tese de que a escola é um fator de mobilidade social, Bourdieu disse que o sistema escolar


é um dos fatores mais eficazes de conservação social, pois fornece a aparência de legitimidade às desigualdades sociais, e sanciona a herança cultural e o dom social tratado como dom natural. [...] Vê-se nas oportunidades de acesso ao ensino superior o resultado de uma seleção direta ou indireta que, ao longo da escolaridade, pesa com rigor desigual sobre os sujeitos de diferentes classes sociais (1966, p. 325).


O argumento de Bourdieu parte de evidências de que existem importantes elementos constitutivos do capital cultural que é transmitido através da educação informal, especialmente no espaço familiar. Assim, argumenta o autor, há um 


sistema de valores implícitos e profundamente interiorizados, que contribui para definir, entre outras coisas, as atitudes face ao capital cultural e à instituição escolar. A herança cultural, que difere, sob os dois aspectos, segundo as classes sociais, é a responsável pela diferença inicial das crianças diante da experiência escolar e, consequentemente, pelas taxas de êxito (1966, p. 326).


Onde se visualizava igualdade de oportunidades, meritocracia e justiça social, Bourdieu destaca a reprodução de desigualdades sociais. Assim, a educação, na teoria de Bourdieu, acaba perdendo o papel de instância transformadora e democratizadora das sociedades e passa a ser vista como uma das principais instituições de reprodução e legitimação dos privilégios sociais. Tratava-se, portanto, de um novo e revolucionário referencial teórico de análise da educação, com inversão completa da perspectiva do sistema de ensino. 


Pode-se dizer que Bourdieu compreendeu o capital cultural como um conjunto de valores e comportamentos adquiridos em espaços familiares e nas relações sociais próximas que constituem bases socioculturais, transformadas em habitus⁽⁸⁾, que produzem diferenciações socioculturais e interferem profundamente no desempenho dos alunos nas instituições educativas. O acesso precoce ao mundo letrado e às artes em geral por parte de alguns alunos não é um fenômeno natural, mas está articulado a um conjunto de condições sociais e econômicas. Essas experiências diferenciadas construídas em espaços informais vão constituindo um capital cultural que vai interferir profundamente no sucesso ou na exclusão escolar. É nesse sentido que Bourdieu diz que o conceito de capital cultural busca dar conta das 


desigualdades de desempenho escolar de crianças provenientes de diferentes classes sociais, relacionando o “sucesso escolar”, ou seja, os benefícios específicos que as crianças das diferentes classes e frações de classes podem obter no mercado escolar, à distribuição do capital cultural entre as classes e frações de classe (1979, p. 3).

Essa tese confronta duas posturas que Bourdieu considera equivocadas: a primeira, que atribui o sucesso escolar às aptidões individuais e a segunda defendida pela teoria do capital humano⁽⁹⁾, segundo a qual, o bom desempenho na educação dependia dos investimentos econômicos realizados. O conceito de capital cultural contrapõe-se a essas duas tradições explicativas que justificam o sucesso ou o fracasso escolar, basicamente a partir da capacidade e iniciativa individual. 


No texto Les trois états du capital culturel, Bourdieu aborda as três possíveis formas do capital cultural: incorporado, objetivado e institucionalizado. No estado incorporado pressupõe-se um corpo e a incorporação. “A acumulação de capital cultural exige uma incorporação que, enquanto pressupõe um trabalho de inculcação e de assimilação, custa tempo que deve ser investido pessoalmente pelo investidor. [...] Sendo pessoal, o trabalho de aquisição é um trabalho do ‘sujeito’ sobre si mesmo” (1979, p. 3). O capital cultural no estado objetivado pressupõe a existência material de bens culturais como quadros, pinturas, monumentos, livros, instrumentos de trabalho, máquinas etc. Esses bens podem ser acessados através da compra, através do capital econômico, mas a apropriação simbólica pressupõe o capital cultural. No estado objetivado pressupõe-se o capital cultural incorporado. Por fim, no estado institucionalizado, o capital incorporado e objetivado ganha materialização nos certificados escolares. “Produto da conversão de capital econômico em capital cultural, ele estabelece o valor, no plano do capital cultural, do detentor de determinado diploma em relação aos outros detentores de diplomas e, inseparavelmente, o valor em dinheiro pelo qual poder ser trocado no mercado de trabalho...” (1979, p. 6).


Em síntese, para Bourdieu, há uma profunda relação entre o capital econômico que cria condições diferenciadas de constituição de um capital cultural que, por sua vez, reproduz formas próprias de incorporação e de objetividade. Por fim, o capital cultural no estado institucionalizado legitima as desigualdades de acesso com a concessão de diplomas como se todos tivessem as mesmas condições. Nesse caso, o diploma é expressão de um capital cultural e também econômico. Os resultados obtidos nas instituições educacionais não estão, em grande medida, dados pelas próprias instituições, mas estão dados pelas condições socioculturais. É essa a síntese do que Bourdieu entende por capital cultural e seu papel social. 


O efeito escola e o background no desempenho dos alunos


Praticamente desde o período em que Bourdieu elaborou a teoria do capital cultural vêm sendo desenvolvidas pesquisas quantitativas, que no âmbito da educação básica, apresentam evidências de que a escola não é o principal fator determinante no desempenho dos alunos em exames. Desde aquela época até os dias atuais a literatura que aborda os fatores associados ao desempenho dos alunos na educação básica e pesquisas sobre eficácia escolar segmentam as variáveis determinantes em dois principais grupos, chamados efeito escola e background do estudante. Geralmente, a discussão central está relacionada ao poder de impacto de cada grupo no desempenho dos alunos. O efeito escola considera os atributos relacionados ao ambiente escolar, tais como infraestrutura física, recursos e ferramentas educacionais, projeto pedagógico, gestão e corpo docente. O background inclui, fundamentalmente, o contexto familiar, social, econômico e cultural dos alunos.


Provavelmente o primeiro estudo sobre os determinantes do desempenho escolar, o Relatório Coleman, de 1966, transformou-se num marco da pesquisa sociológica, derrubando mitos e alterando para sempre o curso da pesquisa sobre educação. Redigido com base numa grande pesquisa survey realizada com aproximadamente 640 mil alunos e quatro mil escolas, o Relatório Coleman foi encomendado por exigência da Lei dos Direitos Civis, que pressupunha significativa desigualdade qualitativa entre as escolas de negros e brancos e entre as escolas do norte e do sul nos Estados Unidos. Na época, acreditava-se que os insumos das escolas (equipamentos e outras condições de funcionamento) determinavam os resultados nos desempenhos dos alunos. Entretanto, os resultados divulgados da pesquisa surpreenderam, visto que demonstraram que outra variável era mais importante. Segundo Nigel Brooke e José F. Soares, 


as relações encontradas não eram as que se esperavam. Primeiramente, as escolas não variavam tanto quanto se imaginava e, em segundo lugar, as variações entre as escolas quanto ao seu financiamento, equipamentos e currículos não pareciam explicar a variação no desempenho dos alunos (2008, p. 15).


Quando as diferenças socioeconômicas dos estudantes eram controladas por meio de métodos estatísticos, as variações entre as escolas eram responsáveis apenas por pequenas frações das diferenças nos desempenhos dos alunos. A variável que impactava de forma mais significativa o desempenho dos alunos era o contexto familiar, social, econômico e cultural deste. Cabe destacar que com isso não se concluiu que a escola não é importante, visto que frequentar a escola faz muita diferença para uma criança, adolescente ou jovem. O que o estudo realmente demonstrou é que as escolas, no contexto pesquisado, não eram muito diferentes entre si e que as diferenças socioeconômicas entre os alunos, o chamado background, eram as principais determinantes pelas diferenças em seus desempenhos.


Diversos estudos realizados após o Relatório Coleman na área chamada eficácia escolar também indicaram uma maior relevância para o contexto familiar e o convívio social do que para os insumos escolares no desempenho obtido pelos alunos. Alguns desses estudos avançaram no sentido do estabelecimento de percentuais para as diferentes variáveis determinantes dos desempenhos dos estudantes. Em 1967, o Relatório Plowden, elaborado pelo Conselho Consultivo Central para Educação da Inglaterra, demonstrou que a escola tem uma influência pequena na explicação do desempenho dos estudantes comparativamente às condições socioeconômicas e familiares. Os resultados apresentados após pesquisa realizada junto a 107 escolas de ensino fundamental da Inglaterra indicaram que a porcentagem da variação em desempenho que pode ser explicada pelas condições do background dos alunos é de 48%, enquanto que os fatores que descrevem as condições das escolas explicam apenas 17% (BROOKE; SOARES, 2008).


Na publicação Key Characteristics of Effective Schools: A review of school effectiveness research, Sammons et al. (1995) relata pesquisas que estimaram percentuais entre 12 e 18% e entre 8 e 10% para a parcela da escola e da sala de aula que explica o desempenho dos alunos. Ou seja, segundo tal publicação, menos de 20% da efetiva proficiência dos alunos seria decorrente do efeito escola quando levado em consideração o background dos alunos. No Brasil, de acordo com Menezes Filho (2006), a escola explica apenas entre 10% e 30% das diferenças de notas obtidas pelos alunos. O restante se deve às características dos alunos e das suas famílias, tais como a educação da mãe, presença de computador em casa e número de livros. 


Outros estudos qualitativos mais recentes também demonstraram a importância fundamental da condição familiar no desempenho escolar. Ao aplicar testes no fim do período letivo e no início do ano escolar subsequente, o sociólogo Alexander et al. (2007) identificou que os alunos pertencentes a famílias com maior poder aquisitivo melhoravam o desempenho, o que não acontecia entre os mais pobres. Em 2006, alunos de quatro países foram analisados e, em 2009, alunos de mais quatorze países participaram de estudo em que a OCDE procurava relação entre a forma de criação dos filhos que leva alguns alunos a obterem melhores resultados nos exames PISA. O estudo revelou que alunos cujos pais leram livros com os filhos regularmente durante o primeiro ano da escola do ensino fundamental apresentaram desempenho nitidamente superior no exame PISA do ano de 2009 do que os alunos cujos pais disseram nunca ou raramente terem lido livros com os filhos. Mesmo em contexto socioeconômico semelhante, a leitura regular de livro dos pais com os filhos resultou em desempenho superior no exame (OECD, 2011). Essa conclusão da OCDE foi repetida em estudo do National School Boards Association’s Center for Public Education, descrita pelo seu diretor, Patte Barth (2011), em recente edição do The American School Board Journal, que, sob o título Back to School: How parent involvement affects student achievement, afirma que o envolvimento dos pais afeta o desempenho dos alunos.


Portanto, no contexto da educação básica, são diversos os trabalhos e estudos que indicam a supremacia do background, ou seja, do contexto familiar, social, econômico e cultural dos alunos sobre o efeito escola como fator determinante no desempenho escolar avaliado por meio de exames e provas. Mas, e no âmbito da educação superior? Será que da mesma forma que na educação básica, o contexto socioeconômico e familiar é o principal fator determinante do desempenho dos estudantes? Ou, diferentemente, a “qualidade” do curso, ou seja, o fator curso de graduação é o aspecto mais importante para o desempenho dos graduandos?


O contexto dos alunos e o desempenho na educação superior


Pesquisas quantitativas, como o Relatório Coleman, e reflexões teóricas, como o conceito de capital cultural de Bourdieu, acerca da relevância do contexto socioeconômico e familiar no desempenho dos estudantes na educação básica são fartas e consistentes. No âmbito da educação superior, entretanto, tais estudos não são abundantes. Pesquisas acerca do impacto do background dos alunos no desempenho em exames de larga escala como, por exemplo, o ENADE realizado no Brasil ou o Assessment of Higher Education Learning Outcomes (AHELO)⁽¹⁰⁾, da OCDE, ainda são escassos.


Em nível internacional, há pouco mais de dez anos, Julian R. Betts e Darlene Morrell (1999) publicaram um importante artigo sob o título The Determinants of Undergraduate Grade point Average: The Relative Importance of Family Background, High School Resources, and Peer Group Effects, que relacionou fortemente o background de cinco mil graduandos da University of California ao desempenho na Grade Point Average (GPA)⁽¹¹⁾. A pesquisa encontrou evidências de que escolas de ensino médio com professores experientes “formam” estudantes com melhor desempenho na universidade. Entretanto, tal efeito é de tamanho moderado. Os resultados encontrados para outras duas medidas de insumos das escolas de ensino médio, taxa da relação professor-aluno e alta titulação dos professores, indicaram que maiores recursos não melhoram o desempenho do estudante na GPA. De maneira geral, as estatísticas de Julian R. Betts e Darlene Morrell indicaram que as variações do contexto familiar e do ambiente socioeconômico da escola de ensino médio são fatores muito mais significativos para determinar os desempenhos dos alunos na universidade do que variações nos insumos escolares.


No Brasil, as pesquisas acerca dos fatores determinantes do desempenho dos estudantes na educação superior também são raras. Não obstante, recentes trabalhos acadêmicos merecem destaque e começam a desvelar a pouca significância da “qualidade” ou do fator curso no desempenho dos alunos nos exames nacionais provão e ENADE. A dissertação intitulada “ENADE 2006: Determinantes do Desempenho dos Cursos de Ciências Contábeis”, de Emerson Santana de Souza (2008), buscou identificar algumas variáveis determinantes do desempenho dos cursos de Ciências Contábeis no exame de 2006. Os resultados encontrados indicaram que o nível da formação dos estudantes antes do seu ingresso na educação superior é a variável de maior influência no desempenho dos cursos. Na sequência, em ordem decrescente, apareceram a escolaridade do pai, o esforço pessoal no curso e a renda familiar como as variáveis mais influentes do modelo desenvolvido pelo estudo.


Outro trabalho desenvolvido nesse sentido foi a tese de doutorado de Marjorie Cristina Rocha da Silva (2011), que, sob o título “Validade do ENADE para Avaliação da Qualidade dos Cursos: Modelo de Rasch e Multinível”, utilizou dados de 71.838 ingressantes e 58.428 concluintes do curso de Administração do ENADE em 2006, além de informações sobre as instituições de ensino e o perfil socioeconômico dos respondentes. Os resultados encontrados demonstraram que após o controle de algumas variáveis relacionadas ao perfil anterior ao ingresso na educação superior, tais como as notas dos ingressantes, renda e formas de sustento e trabalho, somente 4% da variabilidade do desempenho dos concluintes pode ser creditada à instituição. O restante está relacionado às diferenças individuais entre os estudantes. Em síntese, o estudo demonstrou que existe pouca variabilidade para afirmar que o exame avalia a qualidade do curso e diferenças em termos de competência.


Mais recentemente, a tese de doutorado de Nálbia de Araújo Santos (2012), sob o título “Determinantes do Desempenho Acadêmico dos Alunos dos Cursos de Ciências Contábeis”, analisou o efeito de características individuais e institucionais sobre o desempenho acadêmico dos estudantes dos cursos de Ciências Contábeis no provão nas edições 2002 e 2003 e no ENADE de 2006 e 2009. Os principais resultados sugeriram associação significativa entre o desempenho dos estudantes concluintes nos exames de 2002, 2003 e 2006 com determinadas características próprias e da família, tais como gênero, horas de dedicação aos estudos, faixa de renda familiar, ter estudado o ensino médio em escolas públicas, e certos insumos das instituições, como, por exemplo, ter tido professores com domínio do conteúdo e que utilizaram como metodologia predominantes aulas expositivas.


A simples análise das médias obtidas por diferentes grupos socioeconômicos de graduandos do ENADE reforçam a importância do contexto familiar, social, econômico e cultural, conforme demonstrado nos recentes trabalhos acadêmicos. O estudo e a análise dos microdados disponibilizados pelo Inep (BRASIL, 2012) das edições 2007⁽¹²⁾ e 2008⁽¹³⁾, por exemplo, indicam que os resultados nos exames estão fortemente relacionados ao background. Graduandos concluintes pertencentes a classes ou grupos sociais desfavorecidos apresentam, em geral, independentemente da categoria administrativa das instituições, um desempenho inferior ao dos alunos oriundos de um contexto mais privilegiado. Praticamente como uma regra, a média geral dos concluintes aumenta conforme a renda mensal da família também aumenta (Tabela 1), conforme o grau de escolaridade da mãe do concluinte se qualifica e conforme a cor da pele do aluno fica mais clara. Da mesma forma, graduandos concluintes que cursaram o ensino médio em escolas privadas obtiveram, em média, um desempenho superior aos dos alunos que cursaram o ensino médio em escolas públicas. Tal resultado adquire importância na medida em que se reconhece que, no âmbito do ensino médio, as escolas privadas apresentam melhores condições que as escolas públicas e são, em geral, frequentadas por alunos pertencentes às classes sociais mais elevadas.

Tabela 1
- Médias dos concluintes no ENADE 2007 por renda mensal familiar

Indicador social	Quantidade de alunos	Média da formação geral	Média do componente específico	Média da prova
Até 3 SM	21303	46,19	41,17	45,34
3 a 10 SM	32109	49,85	>44,79	>48,46
10 a 20 SM	13154	53,07	47,20	51,33
20 a 30 SM	3624	54,49	47,65	52,55
>Mais de 30 SM	2424	55,87	49,53	53,96

• Fonte: Autores, baseado em Brasil/Inep (2012).
  Obs: SM - salário mínimo.


Mesmo em situação de provável diferença qualitativa entre cursos, de diferentes categorias de instituição, o desempenho dos concluintes está fortemente relacionado ao contexto familiar, social, econômico e cultural dos alunos. Graduandos de cursos pertencentes a instituições que possuem reconhecidos padrões de qualidade e valores acadêmicos, dependendo do aspecto social considerado, apresentam desempenho inferior ao de graduandos de instituições de menor tradição. No ENADE de 2008, por exemplo, concluintes de instituições privadas⁽¹⁴⁾ (42,25) cujas mães possuíam formação superior obtiveram média superior aos concluintes de IFES⁽¹⁵⁾ (41,05) cujas mães não possuíam nenhuma formação.


Quanto melhor a condição socioeconômica do estudante, maior o valor agregado para os diferentes subgrupos de graduandos. A diferença das médias no conteúdo específico entre ingressantes e concluintes aumentaram significativamente para as diferentes condições socioeconômicas dos estudantes nas edições do ENADE dos anos 2007 e 2008, independentemente da categoria administrativa das instituições. Quanto maior a renda da família, quanto melhor a escolaridade da mãe (Tabela 2) e quanto melhor a qualidade da escola frequentada pelo aluno no ensino médio, logo, maior a melhora de desempenho dos concluintes em relação aos ingressantes.


Tabela 2
- Melhora percentual da média no conteúdo específico dos concluintes em relação aos ingressantes por subgrupos de escolaridade da mãe no ENADE 2007

	Instituições privadas	IFES
	Ingres.	Conclu.	Melhora %	Ingres.	Conclu.	Melhora %
Nenhuma	29,08	34,01	17	33,07	40,12	21
Até 4º	29,97	37,54	25	35,29	45,53	29
Até 8º	29,01	39,35	36	36,56	46,57	27
Médio	28,80	41,72	45	35,24	48,72	38
Superior	29,17	45,40	56	35,75	53,14	49

• Fonte: Autores, baseado em Brasil/Inep (2012).

  Obs: SM - salário mínimo.


Portanto, coadunando com a pesquisa realizada na University of Califórnia e os primeiros estudos acadêmicos realizados sobre o provão e o ENADE, o exercício de cálculo das médias dos alunos nas edições 2007 e 2008 do ENADE aponta para a grande relevância do background como fator determinante no desempenho dos estudantes na educação superior brasileira.


Conclusão


O conceito de qualidade em educação superior depende, fundamentalmente, da concepção de educação e da visão de mundo de quem o emite. Com um histórico de ampla variedade de significados ligada a ela, qualidade é um termo alusivo de difícil definição. Especificamente em relação à qualidade de instituições e cursos da educação superior, também existem diferentes entendimentos. Não obstante, com a emergência de procedimentos avaliativos como o provão e o ENADE, o desempenho dos estudantes em exames se tornou o principal critério para o governo e a sociedade reconhecerem cursos e instituições de educação superior como possuidoras (ou não) de qualidade no Brasil.

Nesse contexto, para que o entendimento de qualidade de curso e instituição fosse justo e adequado, o efeito curso deveria ser a única variável determinante do desempenho dos alunos ou, ao menos, ser a principal variável a influenciar o desempenho dos graduandos nos exames. Entretanto, as pesquisas e os estudos existentes evidenciam o contrário. Os estudos têm demonstrado que as diferenças entre os cursos pouco influenciam nos resultados obtidos pelos estudantes em exames. A literatura internacional, pesquisas desenvolvidas no Brasil e simples exercícios de estatística, no conjunto, evidenciam que o fator que mais impacta o desempenho dos graduandos em exames como o provão e o ENADE é o contexto familiar, social, econômico e cultural dos estudantes, ou como diz Bourdieu, o capital cultural. 


Dessa forma, com o entendimento de qualidade preponderante na atualidade, onde a qualidade de um curso é determinada pelo desempenho dos seus alunos em exames, é muito provável que um curso e uma instituição de educação superior com grande relevância e pertinência social, num contexto geográfico de grande vulnerabilidade socioeconômica e com perfil de alunos pertencentes a classes sociais menos favorecidas, serão avaliados pelo Estado e “taxados” pela sociedade como elementos do sistema sem qualidade ou desnecessários.


Não há dúvida de que avaliar cursos e instituições da educação superior, inclusive por meio de exames aplicados aos estudantes como um dos instrumentos de um sistema mais amplo, é importante. Entretanto, permitir que a sociedade entenda e use os resultados do ENADE como sinônimo de qualidade é um grave equívoco. Continuar divulgando avaliações de cursos baseadas em exames em forma de ranking é um procedimento anacrônico, visto que os primeiros resultados de pesquisas sobre eficácia escolar que indicaram a maior relevância do background no desempenho dos alunos datam da década de 1960. Estudar e avaliar o desempenho diferenciado de instituições ou cursos dentro de um mesmo contexto socioeconômico e de perfil de alunos semelhantes é, certamente, mais consequente para o desenvolvimento de políticas públicas de qualidade do que classificar desempenho de cursos e instituições indistintamente.


A revisão da literatura acerca do capital cultural de Bourdieu, das pesquisas sobre eficácia escolar e dos estudos sobre as variáveis determinantes do desempenho em exames de graduandos no Brasil evidenciam que o provão e o ENADE são quimeras de qualidade e que o que realmente diferencia o desempenho dos estudantes nos exames é seu capital cultural. Portanto, os instrumentos de avaliação baseados em exames aplicados aos alunos não são confiáveis para medir ou aferir qualidade dos cursos de graduação. Como instrumentos principais de avaliação da qualidade de cursos são temerosos, visto que podem estar reproduzindo de forma análoga, em nível de sistema da educação superior, o que Bourdieu vislumbrou na escola funcionalista, a conservação e a reprodução social, pois fornece a aparência de legitimidade às desigualdades sociais e confunde herança cultural com qualidade institucional. 


Referências

• ALEXANDER, Karl L.; ENTWISLE , Doris R.; OLSON, Linda Steffel. Lasting Consequences of the Summer Learning Gap. American Sociological Review, Washington, v. 72, p. 167-180, 2007.

• BARTH, Patte. Back to School: how parent involvement affects student achievement. The American School Board Journal, Virginia, 2011.

• BETTS, Julian R.; MORELL, Darlene. The Determinants of Undergraduate Grade Point Average: The Relative Importance of Family Background, High School Resources, and Peer Group Effects. The Journal of Human Resources, Madison, WI, v. 34, no. 2, p. 268-293, 1999.

• BERTOLIN, Julio C. G. Avaliação da qualidade do sistema de educação superior brasileiro em tempos de mercantilização - período 1994-2003. 2007. Tese (Doutorado em Educação) - Universidade Federal do Rio Grande do Sul, Porto Alegre, 2007.

• BERTOLIN, Julio C. G. Qualidade em educação superior: da diversidade de concepções a inexorável subjetividade conceitual. Avaliação, Campinas; Sorocaba, v. 14, p. 127-149, 2009.

• BITTENCOURT, H. R.; VIALI, L.; CASARTELLI, A. O.; RODRIGUES, A. C. M. Uma análise da relação entre os conceitos ENADE e IDD. Estudos em Avaliação Educacional, São Paulo, v. 19, p. 247-262, 2008.

• BOURDIEU, Pierre. L’école conservatrice. Les inégalités devant l’école el la culture. Revue française de sociologie, Paris, v. 7, p. 325-347, 1966. 

• BOURDIEU, Pierre. Les trois états du capital culturel. Actes de la recherche en sciences sociales, Paris, v. 30, p. 3-6, 1979.

• BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP. Disponível em < http://www.inep.gov.br >. Acesso em 20 ago. 2012.

  » http://www.inep.gov.br
• BROOKE, Nigel; SOARES, José Francisco. Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008.

• MENEZES FILHO, Naércio A. Os determinantes do desempenho escolar do Brasil. Quais as políticas educacionais que realmente funcionam? São Paulo: Instituto Futuro Brasil; Ibmec-SP, FEA-USP, 2006.

• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT - OECD. What can parents do to help their children succeed in school? PISA IN FOCUS 10, OECD, november, 2011.

• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT - OECD. Disponível em: <http://www.oecd.org/education/highereducationandadultlearning/testingstudentanduniversityperformancegloballyoecdsahelo.htm>. Acesso em: 10 set. 2012.

  » http://www.oecd.org/education/highereducationandadultlearning/testingstudentanduniversityperformancegloballyoecdsahelo.htm
• SAMMONS, P.; HILLMAN, J.; MORTIMORE, P. Key characteristics of effective schools: a review of school effectiveness research. London: OFSTED, 1995.

• SANTOS, Nálbia de Araújo. Determinantes do desempenho acadêmico dos alunos dos cursos de Ciências Contábeis. 2012. 248 f. Tese (Doutorado em Ciências Contábeis) - Universidade de São Paulo, São Paulo, 2012. 

• SILVA, Marjorie Cristina Rocha da. Validade do ENADE para Avaliação da Qualidade dos Cursos: modelo de Rasch e Multinível. 2011. 221 f. Tese (Doutorado em Psicologia) - Universidade São Francisco, São Paulo, 2011. 

• SOUZA, Emerson Santana de. ENADE 2006: determinantes do desempenho dos alunos do curso de ciências contábeis. 2008. 96 f. Dissertação (Mestrado em Ciências Contábeis) - Programa Multiinstitucional e Inter-Regional de Pós-Graduação em Ciências Contábeis da UnB, UFPB, e UFRN, Brasília, 2008.

• TEIXEIRA, P.; JONGBLOED, B.; DILL, D.; AMARAL, A. (Eds.). Markets in higher education: rhetoric or reality? Netherlands: Kluwer Academic Publishers, 2004.


• 1
  O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) é uma autarquia vinculada ao Ministério da Educação (MEC), que tem por objetivo desenvolver estudos, pesquisas e avaliações sobre o Sistema Educacional Brasileiro (BRASIL, 2012).
• 2
  O provão (ou Exame Nacional de Cursos (ENC)), que foi aplicado no período de 1996 a 2003, enfatizava as competências finais específicas de cada área de conhecimento, não abordando aspecto da formação integral, tais como compromisso profissional, ético e social. Além disso, o provão se concentrava no desempenho dos alunos e não buscava identificar o valor agregado gerado pelo curso no decorrer do tempo.
• 3
  O Enade é instrumento do Sinaes que avalia o desempenho dos estudantes dos cursos de graduação por meio da aplicação de um exame sobre conteúdos programáticos previstos nas diretrizes curriculares dos curso, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão. Além da prova respondida pelos alunos, o Enade também possui um questionário de impressões dos estudantes sobre a prova, um questionário socioeconômico para os estudantes e um questionário para os coordenadores de curso (BRASIL, 2012). Inicialmente, o Enade era aplicado tanto aos concluintes como aos ingressantes. Tal estratégia possibilitava a estimativa do valor agregado pelos cursos.
• 4
  O Conceito Enade é calculado para cada curso, tendo como unidade de observação um curso de uma instituição, num município e numa área de avaliação. O conceito Enade do curso é a média ponderada da nota padronizada dos concluintes na formação geral e no componente específico. A parte referente à formação geral contribui com 25% da nota final, enquanto a referente ao componente específico contribui com 75%. O conceito é apresentado em cinco categorias (1 a 5), sendo que 1 é o resultado mais baixo e 5 é o melhor resultado possível (BRASIL, 2012).
• 5
  O Conceito Preliminar de Curso (CPC) é calculado para cada curso avaliado combinando diversas medidas, tais como a nota dos concluintes no Enade, o indicador IDD, a nota dos ingressantes no Enade, a titulação e o regime de trabalho dos professores, os recursos pedagógicos e a infraestrutura (BRASIL, 2012).
• 6
  O Índice Geral de Cursos (IGC) é uma média ponderada dos conceitos dos cursos de graduação (CPC) e, no caso de existência, dos programas de pós-graduação (Capes) da instituição. Para ponderar os conceitos, utiliza-se a distribuição dos alunos da instituição entre os diferentes níveis de ensino – graduação, mestrado e doutorado. Para a ponderação das matrículas de graduação são utilizados os dados do Censo da Educação Superior (BRASIL, 2012).
• 7
  Apesar de o CPC, além da nota dos alunos no exame, contemplar outros aspectos do curso (ex: titulação e regime de trabalho docente, recursos pedagógicos e infraestrutura), as variáveis decorrentes da nota no Enade têm mantido maior relevância para a composição do conceito final. Em 2007, 70% da composição do CPC se originava no desempenho dos alunos no Enade e, em 2008, tal participação estava fixada em 60%. O IDD, também considerado no CPC, que poderia minimizar o impacto do perfil do aluno no conceito dos cursos tem demonstrado fragilidades metodológicas (BITTENCOURT et al, 2008).
• 8
  Em Bourdieu o conceito de habitus é entendido como um sistema de esquemas individuais, socialmente constituído de disposições estruturadas (social) e estruturantes (mental), consubstanciado nos indivíduos nas e pelas experiências práticas, orientadas para funções e ações do agir cotidiano.
• 9
  A origem da teoria do capital humano está ligada ao surgimento da disciplina Economia da Educação, nos Estados Unidos, por volta da década de 1950. Theodore W. Schultz é considerado o principal formulador da idéia de capital humano. Segundo tal teoria, o trabalho humano, quando qualificado por meio da educação, seria um dos mais importantes fatores de produção e, por conseguinte, um meio para a ampliação da produtividade econômica.
• 10
  O OECD’s AHELO pretende testar em escala mundial alunos e instituições de educação superior por meio da aplicação de exames que verifiquem quanto os estudantes sabem e podem fazer após completar a graduação. Descrito como uma avaliação, que vai além de um ranking, o exame AHELO pretende fornecer dados sobre a relevância e qualidade do processo ensino-aprendizagem na educação superior de diversos países, de diferentes culturas e línguas, em diferentes tipos de instituições (OECD, 2012).
• 11
  A GPA, em instituições de educação superior dos Estados Unidos, se refere a uma pontuação média de desempenho dos estudantes que computa as notas em matérias divididas por um determinado tempo de estudo.
• 12
  No Enade 2007 foram avaliados os cursos de Agronomia, Biomedicina, Educação Física, Enfermagem, Farmácia, Fisioterapia, Fonoaudiologia, Medicina, Medicina Veterinária, Nutrição, Odontologia, Serviço Social, Tecnologia de Radiologia, Tecnologia em Agroindústria, Terapia Ocupacional e Zootecnia.
• 13
  No Enade 2008 foram avaliados os cursos de Arquitetura e Urbanismo, Biologia, Ciências Sociais, Computação, Engenharia, Filosofia, Física, Geografia, História, Letras, Matemática, Pedagogia e Química e os Cursos Superiores de Tecnologia em Construção de Edifícios, Alimentos, Automação Industrial, Gestão da Produção Industrial, Manutenção Industrial, Processos Químicos, Fabricação Mecânica, Análise e Desenvolvimento de Sistemas, Redes de Computadores e Saneamento Ambiental.
• 14
  As instituições privadas do Sistema Federal de Educação Superior são, na maioria, instituições não universitárias, com ênfase para a dimensão ensino e com indicadores de produção científica, titulação docente e tempo de dedicação bem inferiores as IFES. O processo seletivo das instituições privadas apresenta muitas situações de haver mais vagas que candidatos.
• 15
  As Instituições Federais de Ensino Superior (IFES) possuem os melhores indicadores de titulação docente, dedicação de tempo integral e produção científica do Sistema Federal de Educação Superior. O processo seletivo das principais universidades federais é muito competitivo, apresentando uma grande relação de candidato por vagas em diferentes cursos.

Datas de Publicação

• Publicação nesta coleção
  Mar 2015

Histórico

• Recebido
  14 Jan 2013
• Aceito
  06 Maio 2013