Nível socioeconômico, qualidade e eqüidade das escolas de Belo Horizonte

Nivel socioeconómico, calidad e imparcialidad en las escuelas de Belo Horizonte

Socioeconomic status, quality and equity in the schools of Belo Horizonte

PESQUISA EM SÍNTESE

Nível socioeconômico, qualidade e eqüidade das escolas de Belo Horizonte

Socioeconomic status, quality and equity in the schools of Belo Horizonte

Nivel socioeconómico, calidad e imparcialidad en las escuelas de Belo Horizonte

Jose Francisco Soares^I; Renato Júdice de Andrade^II

^IPós-doutorado em Educação, University of Michigan, Ann Arbor Professor do Programa de Pós-Graduação da Universidade Federal de Minas Gerais, UFMG [e-mail]

^IIDoutorando em Educação, UFMG Professor do Centro Universitário Newton Paiva, Minas Gerais [e-mail]

RESUMO

Entre os fatores que impactam o desempenho cognitivo dos alunos da educação básica destacam-se sua família, as estruturas da sociedade e a escola que ele estuda. A forma de medir estes fatores sofreu enorme impacto com a popularização de duas novas técnicas estatísticas: a Teoria de Resposta ao Item (TRI) e os modelos de regressão para dados hierárquicos. Nesse trabalho apresentam-se três medidas caracterizadoras de uma escola; sua posição construída com ajuda da TRI a partir de indicadores fornecidos pelos alunos, medidas da qualidade e medidas da eqüidade criadas com ajuda dos modelos hierárquicos. A base de dados utilizada é composta por informações provenientes dos questionários socioeconômicos e pelas medidas de desempenho cognitivo dos estudantes das escolas de Belo Horizonte presentes no SIMAVE 2002 e nos vestibulares da UFMG em 2002, 2003 e 2004. A análise da qualidade das escolas de Belo Horizonte, através de modelo onde a influência do nível socioeconômico no desempenho dos alunos é controlada, mostra uma dimensão otimista da realidade. Algumas escolas, públicas e privadas, pelas suas políticas e práticas pedagógicas conseguem fazer diferença no desempenho de seus alunos mesmo quando eles são socioeconomicamente desfavorecidos. Por outro lado, hoje o sistema de educação básica de Belo Horizonte só consegue produzir qualidade na presença de alta iniqüidade. O acesso está garantido, mas apenas alguns terminam a educação básica com desempenho nos níveis de desempenho adequados.

Palavras-chave: Nível socioeconômico. Efeito escola. Avaliação de sistemas.

ABSTRACT

The family, societal structure and the school are the most important factors in explaining the cognitive performance of basic education pupils. The way of measuring these factors has been greatly influenced with the popularization of two new statistical techniques: Item Response Theory (IRT) and regression models for hierarchical data. In this article we present three different ways to characterize the school; its position based on IRT using information supplied by the pupils, measures of quality and measures of equity using hierarchical models. The data employed is comprised of information from the socioeconomic questionnaire and measures of cognitive performance of pupils from those schools of Belo Horizonte participating in SIMAVE 2002 and the UFMG entrance exams for 2002, 2003 and 2004. Using a model in which the effect of socioeconomic background on pupil performance is controlled for, the analysis of the quality of schools in Belo Horizonte allows an optimistic view of reality. As the result of their policies and pedagogy, some public and private schools manage to make a difference to the performance of their pupils even when they are socially disadvantaged. On the other hand, the Belo Horizonte system of basic education is only capable of producing quality in the presence of high inequality. Although access is guaranteed, only a few finish basic education with a level of performance that could be considered adequate.

Keywords: Socioeconomic background. School effect. System assessment.

RESUMEN

Entre los factores que impactan en el logro cognitivo de los estudiantes de educación básica (que comprende la enseñanza primaria y secundaria) se destaca la familia, las estructuras de la sociedad y la escuela donde ellos estudian. La forma de medir estos factores sufrió un impacto enorme con la adopción de nuevas técnicas estadísticas: la Teoría de Respuesta al Item (Item Response Theory - IRT) y de los Modelos Jerárquicos Lineales (Hierarchical Linear and Nonlinear Modeling - HLM). En este trabajo se presentan tres medidas que caracterizan a las escuelas: el resultado del desempeño obtenido por medio de la IRT, la medida de calidad y la medida de imparcialidad creada a través de los HLM. La base de datos utilizada está formada por informaciones oriundas de los cuestionarios socioeconómicos y las medidas cognitivas de los estudiantes de las escuelas de Belo Horizonte obtenidas en el SIMAVE 2002 y en las pruebas de ingreso (vestibulares) para la UFMG en 2002, 2003 y 2004. El análisis de la calidad de las escuelas de Belo Horizonte, cuyo modelo controla la influencia del nivel socioeconómico de los alumnos, demuestra una visión optimista de la realidad. Para los efectos de poder utilizar la información para definir políticas y prácticas pedagógicas , se observa que algunas escuelas públicas y privadas obtienen diferencias en el desempeño de los estudiantes aunque sean socioeconómicamente desfavorecidos. Por otra parte, en la actualidad, en el sistema de educación básica de Belo Horizonte podemos ver que solamente hay calidad en presencia de alta falta de equidad. El acceso de los estudiantes a los centros educativos está garantizado, pero son pocos los que concluyen la educación básica en presencia de niveles adecuados de logro.

Palabras clave: Nivel socioeconómico. Efecto del escuela. Evaluación de sistemas.

Introdução

A sociedade moderna atribui múltiplas funções à escola. Sem excluir a socialização de seus alunos, a escola deve ensinar os conteúdos cognitivos e propiciar experiências que viabilizem a seus alunos adquirir as competências necessárias para o acesso a níveis escolares mais altos e também a sua preparação para o trabalho. Assim muitos esforços são feitos no sentido de se compreender quais fatores escolares podem aumentar o desempenho cognitivo dos estudantes. Embora haja comunalidades entre os fatores oriundos de estudos realizados em diferentes sociedades, em cada uma delas existem especificidades que precisam ser conhecidas e consideradas. No Brasil, por exemplo, não se deve estudar a realidade educacional sem considerar o nível socioeconômico – NSE, dos estudantes nem como os diferentes estabelecimentos tratam as diferenças entre grupos de alunos.

Importantes estudos empíricos realizados entre as décadas de 50 e 60 mostraram que os fatores extra-escolares são os mais importantes para a explicação dos resultados escolares. Uma síntese radical destas pesquisas foi apresentada na polêmica afirmativa que "a escola não faz diferença". O sucesso ou fracasso do aluno estaria ligado apenas à sua origem social e às práticas culturais de sua família. Noutras palavras a escola apenas reproduziria as diferenças socioeconômicas já existentes na sociedade.

O primeiro e mais influente desses estudos foi realizado nos Estados Unidos e ficou conhecido como "Relatório Coleman" (COLEMAN, 1966) e (MOSTELLER; MOYNIHAN, 1972). Apesar de as principais conclusões desse estudo terem resistido às re-análises dos dados e às fortes críticas posteriores, estudos mais recentes têm questionado esse "determinismo sociológico" que sua publicação acabou induzindo com o conseqüente "pessimismo pedagógico". O pioneiro foi "Fifteen Thousand Hours" (RUTTER et al., 1979), que em conjunto com estudos posteriores como os feitos por Sammons e outros (1995), e Lee (2000), mostram que dentre os vários fatores que influenciam o desempenho cognitivo dos alunos deve-se destacar também o "efeito da escola". Há uma crescente literatura nacional baseada principalmente nos dados do Sistema Nacional de Avaliação da Educação Básica – SAEB. Veja, por exemplo, Franco (2001), Soares (2004) e Soares, Alves e Mari (2003).

Hoje, reconhece-se que os fatores que determinam o desempenho cognitivo do aluno pertencem a três grandes categorias: a estrutura escolar, a família e características do próprio aluno. Nesse campo de pesquisa educacional as melhores análises incorporam todos esses fatores ao invés de se apoiar em apenas uma área. Ou seja, nem os fatores extra-escolares conseguem sozinhos explicar o desempenho cognitivo, nem a escola faz toda a diferença como querem fazer crer determinadas campanhas publicitárias de escolas particulares.

Este artigo pretende contribuir para o estudo do efeito da escola propondo e calculando uma medida socioeconômica das escolas de ensino fundamental e médio de Belo Horizonte, Minas Gerais. A medida apresentada neste artigo pode substituir com muitas vantagens a medida usual baseada na presença de equipamentos na escola, dado coletado pelo Censo Escolar. A limitação dessa abordagem fica clara quando, por exemplo, se estuda a rede municipal de Belo Horizonte. Há anos o governo municipal vem melhorando o equipamento de suas escolas, iniciativa que obviamente, não transformou socioeconomicamente o alunado dessas escolas.

De forma mais precisa neste artigo propõe-se implementar uma maneira de medir o NSE das escolas a partir das características socioeconômicas de seus alunos. Para isto toma-se o NSE como um traço latente, ou seja, uma característica que não pode ser medida diretamente. Ela se manifesta através de indicadores de renda i.e. a presença de bens de conforto doméstico na residência do estudante, a ocupação e escolaridade de seus pais. Os dados para a implementação desta proposta vieram do Sistema Mineiro de Avaliação Educacional – SIMAVE, aplicado em 2002 nas escolas estaduais e municipais de Belo Horizonte, e dos vestibulares da Universidade Federal de Minas Gerais – UFMG, referentes aos anos de 2002, 2003 e 2004.

O segundo objetivo desse artigo é, utilizando-se os mesmos dados, produzir uma medida do desempenho cognitivo para as escolas de ensino básico de Belo Horizonte. Estudos independentes dessas bases levariam a conclusões parciais e pouco úteis. Por exemplo, analisando-se apenas o SIMAVE nada poderia ser dito sobre as escolas particulares, que não foram incluídas nessa avaliação. Por outro lado, o vestibular é dominado pelos alunos de escolas particulares.

Finalmente de posse das medidas do nível socioeconômico das escolas e de uma medida de sua qualidade acadêmica analisou-se a eqüidade da escola, definida como sua capacidade de acirrar ou amortecer o efeito do NSE no desempenho dos alunos. Idealmente não basta que a escola seja boa; ela deve ser boa para todos os seus alunos, independente do nível econômico, cor da pele e gênero. A eqüidade, por ser de mais difícil caracterização, não é usualmente considerada quando a sociedade avalia a escola, mas é crucial para os gestores públicos interessados em implementar políticas públicas educacionais inclusivas.

Descrição dos dados

Como dito, esse trabalho utiliza, de forma complementar, dados do SIMAVE e do vestibular da UFMG.

O SIMAVE foi instituído em 2000, pela Secretaria de Estado de Educação de Minas Gerais, com a principal atribuição de implementar, a cada dois anos, o Programa de Avaliação da Rede Pública de Educação Básica (PROEB). Esse programa deve medir o desempenho acadêmico dos alunos do ensino básico de Minas Gerais na escala do SAEB e colocar os resultados à disposição das escolas para o seu planejamento pedagógico e também para o público em geral, sem, contudo, incentivar a competição entre as escolas.

Todas as escolas da rede estadual que oferecem as séries escolhidas para testagem no PROEB, isto é, as 4ª e 8ª séries do Ensino Fundamental e a 3ª série do Ensino Médio, são incluídas. Como no ano de 2002 a rede de ensino municipal de Belo Horizonte aderiu ao SIMAVE, a base de dados do PROEB, utilizada neste trabalho, tem informações sobre todas as escolas públicas da capital.

Para se ter um quadro realmente descritivo das escolas da cidade de Belo Horizonte era preciso, entretanto, incluir informações também sobre as escolas da rede federal e particular. O vestibular da UFMG supriu esta necessidade, além de complementar as informações da rede pública. Utilizaram-se os dados dos vestibulares de 2002, 2003 e 2004. Como este trabalho contempla apenas as escolas de Belo Horizonte, apenas os candidatos que afirmaram ter concluído o Ensino Médio em uma escola estadual, federal, municipal ou particular da capital foram incluídos.

Apesar do esforço de incluir o maior número possível de escolas, estas duas bases deixam de fora as escolas particulares que oferecem apenas o Ensino Fundamental. Por serem particulares não foram incluídas no SIMAVE, por serem de Ensino Fundamental não têm alunos no vestibular.

A medida de desempenho considerada foi, para o PROEB, a proficiência do aluno em Língua Portuguesa e, para o vestibular, a soma dos pontos do candidato na primeira etapa¹ em todas as disciplinas.

Tanto no vestibular quanto no PROEB, os alunos respondem a um questionário contextual cujas informações foram usadas para o cálculo da medida de NSE dos estudantes. A TABELA 1 sintetiza essas variáveis, especificando quais dos indicadores de posição social são comuns às diferentes bases de dados.

Algumas observações adicionais são necessárias para o completo entendimento das informações utilizadas neste trabalho. Primeiramente, deve-se observar que há indicadores presentes apenas em uma das bases. Os itens comuns foram recodificados de forma que as opções sejam idênticas nos dados utilizados.

A variável "turno", no caso do PROEB, refere-se ao turno no qual o aluno está estudando naquele ano. Como a maioria dos alunos do Ensino Fundamental estuda durante o dia, não é razoável usar o turno como um indicador de posição social para os alunos deste nível. Entretanto no vestibular os candidatos mais pobres são majoritariamente oriundos do ensino médio noturno. Assim tomou-se o "turno" como dado ausente para os alunos do Ensino Fundamental na base do PROEB. O item "máquina de lavar" não restringiu a opção dos estudantes permitindo que o "tanquinho" fosse também considerado. Certamente essa imprecisão piora a qualidade desse item como indicador de posição social. A aparente repetição das variáveis "telefon", "telefone" e "celular" se deve ao fato de que elas originam-se de bases diferentes onde a mesma pergunta é feita de forma diferente. Nos últimos anos entretanto o perfil de uso do telefone celular mudou muito, justificando seu uso separado.

Além das exclusões das bases do PROEB e do vestibular já apresentadas, todos alunos com mais de três informações ausentes foram desconsiderados. A TABELA 2 discrimina a origem dos 168.340 alunos e 461 escolas cujos dados foram utilizados neste artigo.

Medida dos construtos

Embora contendo informações adequadas para os propósitos deste artigo, os dados disponíveis, por serem originários de avaliações diferentes, não são os ideais para estudar a questão colocada. Assim sendo, o objetivo desta seção é apresentar as transformações necessárias para tornar os dados do PROEB e do vestibular comparáveis e os métodos usados para a construção das medidas de nível socioeconômico dos alunos e da excelência e eqüidade das escolas.

Nível socioeconômico

Cada item da TABELA 1 é tomado como indicador do nível socioeconômico, característica latente e não-observável do estudante. Assume-se também que cada estudante escolhe de forma consistente entre as alternativas de cada indicador aquela que reflete seu maior ou menor NSE.

A relação teórica entre a alternativa escolhida, e o NSE do estudante, é descrita por funções, denominadas curvas características do item, introduzidas e estudadas na Teoria de Resposta ao Item – TRI (HAMBLETON, 1993). Os modelos da TRI adequados a uma dada situação variam com o tipo de item utilizado. Neste trabalho utilizamos o modelo de Samejima (1969), apropriado para itens com respostas graduadas, ou ordinais.

A análise da qualidade de cada indicador como componente da medida da característica latente é feita analisando-se a sua curva característica. Por exemplo, o GRÁFICO 1 apresenta a curva da questão 6: "Na sua casa tem banheiro?", item que possui quatro alternativas de resposta e é um bom indicador. No eixo das abscissas está colocado o nível socioeconômico dos alunos e no eixo das ordenadas está colocada a probabilidade de uma pessoa com um dado NSE escolher cada uma das respostas. Pode-se notar que as alternativas 1 e 4 (respectivamente, não ter banheiro em casa e ter três ou mais banheiros) são escolhidas apenas pelos alunos dos extremos da escala. Além disso, à medida que aumenta o NSE, aumenta a probabilidade de se escolher a opção 4 (três banheiros ou mais), e diminui a probabilidade de se escolher as opções 2 ou 3 (um ou dois banheiros, respectivamente).

Há outras formas de análise de itens para verificar a utilidade de cada item no cálculo da medida do fator latente, mas cuja apresentação foge ao escopo deste artigo. A estimação dos parâmetros das curvas características de cada item bem como do valor da medida do fator latente em todos os indicadores é feita usando-se softwares específicos, como o MULTILOG (THISSEN, 1991), especialmente desenvolvido para análise de itens com respostas graduadas.

A incorporação da TRI como técnica de análise de itens e construção de escalas deu-se por volta da década de 80, principalmente, pelo fato de que ela "oferece recursos mais flexíveis e eficazes na confecção, análise e apresentação dos resultados de prova que quaisquer outros recursos equivalentes, derivados a partir da Teoria Clássica" (FLETCHER, 1994, p. 23). Sua principal utilidade é proporcionar medidas invariantes. No caso deste trabalho isso significa que a medida do NSE dos estudantes independe, sob algumas condições, dos itens que compõem o questionário. Como conseqüência uma medida do nível socioeconômico dos alunos pode ser obtida mesmo que diferentes alunos tenham respondido a itens diferentes. Isso, no entanto, só é possível se os itens comuns e não-comuns medem o mesmo traço latente e todos os itens são respondidos sob condições idênticas.

Isto não ocorre, entretanto, na situação dos dados usados neste trabalho. Os itens sobre renda e ocupação dos pais, excelentes descritores da posição social da família, foram aplicados apenas aos alunos do vestibular. Assim os alunos do PROEB, todos basicamente de escolas públicas, não puderam fornecer uma informação que certamente indicaria sua menor posição social. Além disso, como mostrado na TABELA 3, os alunos de uma mesma escola pública disseram possuir mais bens de conforto doméstico no questionário do PROEB do que no questionário do Vestibular. A TABELA 3 sintetiza essa comparação para um mesmo grupo de estudantes de escolas públicas.

Diante disso, fica claro que as informações disponíveis nos questionários contextuais do vestibular da UFMG e do PROEB, embora sejam as únicas disponíveis e contendo informações que podem ser usadas para estudar a questão proposta neste trabalho, não são as melhores. Para obter, a partir delas, uma medida que expresse na mesma métrica o NSE de todos os alunos usou-se um procedimento de duas etapas.

Em um primeiro momento, estimou-se via TRI o NSE de todos os alunos utilizando para isso os itens que cada aluno respondeu e mantendo como itens comuns apenas a escolaridade dos pais, o turno em que estudam e a rede, pública ou privada, de sua escola. Esse procedimento produziu uma medida que usa de maneira ótima as informações existentes.

No entanto, para as escolas públicas essa medida não contempla duas especificidades. Por um lado não considera a exclusão do vestibular da UFMG de um grande número de seus alunos dessas escolas que nem se inscrevem no vestibular, certamente por entender que não têm chance de aprovação. Além disso, o padrão de respostas dos alunos dessas escolas aos itens de conforto doméstico é diferente daquele usado, por esses mesmos alunos no vestibular, conforme mostrado na TABELA 3.

Para tratar deste problema assumimos que o nível socioeconômico das escolas deveria se manifestar de maneira similar quando se utilizam para sua medida os dados de uma ou outra avaliação. Embora o PROEB não identifique os alunos, sabemos em qual escola cada aluno está matriculado. Assim, equalizamos os percentis das distribuições das medidas de NSE dos alunos do 3º ano do ensino médio das escolas públicas no PROEB e no vestibular, usando essa última como referência. Os valores referentes aos outros alunos do PROEB foram colocados na escala do vestibular usando-se a transformação identificada no passo anterior.

Desempenho cognitivo

Dificuldades similares às encontradas para o cálculo da medida do nível socioeconômico tiveram de ser enfrentadas para se obter uma medida do desempenho cognitivo de cada aluno. Inicialmente dispunha-se apenas da proficiência dos alunos nos testes de Língua Portuguesa do PROEB e a nota na primeira etapa do vestibular da UFMG, escalas não comparáveis.

No entanto, a escala usada pelo PROEB é a mesma do SAEB. Soares (2005), no âmbito da produção do Atlas da Educação de Minas Gerais, estabeleceu para cada uma das séries avaliadas no PROEB uma distribuição de referência. Idealmente a distribuição de referência deveria ser construída por meio de estudo do significado pedagógico de cada nível da escala e da definição da porcentagem esperada de alunos em cada nível. Como este estudo, na extensão necessária para uma escolha somente em base pedagógica destes percentuais, ainda não foi feito, tomou-se como referência a distribuição de proficiências dos alunos de escolas de maior média de desempenho no SAEB-2003. Foram incluídas tantas escolas quantas necessárias para que o número total de alunos no grupo de referência totalizasse 10% do total de alunos testados. Esta escolha de alunos feita, no entanto, com base em escolas, inclui no grupo de referência, alunos de amplo espectro de desempenho cognitivo.

De posse das distribuições padrão pode-se calcular o percentil de cada aluno testado no PROEB em relação à distribuição padrão de sua série. Este procedimento, ao colocar a nota de todos os alunos que fizeram o teste do PROEB em uma mesma escala, permitiu medir o desempenho cognitivo de uma escola usando-se os dados de todos os seus alunos.

Em um segundo momento, equalizaram-se os percentis das distribuições das notas dos alunos do 3º ano do ensino médio, já expressas em percentis das distribuições padrão, com a distribuição das notas dos alunos das escolas municipais e estaduais obtidas no vestibular. Com isto criou-se uma forma de traduzir a nota no vestibular para a escala do PROEB, transformação que foi também utilizada em seguida para os alunos da escola privada.

Esse procedimento baseia-se na hipótese que o padrão da escola é a mesma independente da forma de sua manifestação ser o vestibular ou o PROEB. Esta opção corrige empiricamente a superestimação da excelência das escolas públicas, baseada apenas nos dados do PROEB e a subestimação de sua proficiência no vestibular que não inclui na medida de qualidade dessa escola os alunos de 4ª e 8ª série do Ensino Fundamental.

Feitas todas estas transformações obtivemos uma nota para cada aluno, equivalente a um percentil da curva ideal correspondente à sua série. Esta medida do desempenho de cada aluno está na mesma métrica para todos os alunos mesmo aqueles que pertençam a séries diferentes e avaliações diferentes.

Qualidade e eqüidade

A média do desempenho cognitivo dos alunos de uma dada escola não pode ser tomada como uma medida de sua qualidade, já que escolas diferentes têm alunos com perfis socioeconômicos muito diferentes e é amplamente conhecida a influência do nível socioeconômico no desempenho dos alunos da educação básica. Diante disso, tomar a medida de desempenho como medida de qualidade é favorecer de forma inaceitável as escolas particulares que atendem a alunos socioeconomicamente mais favorecidos.

O indicador de qualidade da escola usado neste artigo é o efeito da escola obtido após o ajuste aos dados de um modelo hierárquico de regressão, onde a variável resposta é a proficiência dos alunos. O primeiro nível do modelo refere-se ao aluno e o segundo à escola. O modelo usado está descrito de forma geral em (FERRÃO, 2003) e de forma sintética, mas específica, no ^apêndice desse artigo. Esse modelo incluiu como variável de controle no nível 1 o NSE dos alunos e no nível 2, o NSE da escola. Com o resultado do ajuste desse modelo de regressão obtiveram-se duas medidas para cada escola. A primeira, que será denominada de "qualidade", sintetiza a excelência cognitiva de cada escola, após descontado o efeito do NSE dos alunos na sua nota. Mede quanto a escola, por suas políticas e práticas internas, aumenta o desempenho cognitivo de seus alunos. A segunda, que será denominada de "eqüidade", é uma medida de como cada escola acirra ou modera as diferenças socioeconômicas de seus alunos.

Caracterização das escolas

Nível socioeconômico

Utilizando-se a metodologia introduzida na seção anterior calculou-se uma medida do nível socioeconômico para cada um dos alunos de todas as escolas consideradas. O valor médio do NSE dos alunos de uma escola específica foi tomado como nível socioeconômico da escola. O GRÁFICO 2 apresenta o histograma dessas medidas para as 461 escolas de Belo Horizonte incluídas neste estudo. Como esperado há maior concentração de escolas com baixo NSE, já que a grande maioria dos alunos do ensino básico é de famílias de baixo NSE. O valor do NSE de cada escola pode ser usado para planejamento amostral de pesquisas educacionais e também para a escolha de escolas para estudos de caso. Uma tabela com a identificação de cada escola e seu respectivo NSE está à disposição dos interessados para fins acadêmicos². Não pôde ser incluída no texto, entretanto, devido a sua extensão.

O gráfico de caixas³, GRÁFICO 3, mostra o NSE das escolas, discriminadas por dependência administrativa. Pode-se observar que enquanto as escolas estaduais e municipais, no seu conjunto, atendem a alunos praticamente equivalentes em termos de NSE, as escolas particulares atendem a alunos de uma ampla gama de NSE. Ou seja, famílias de recursos econômicos mais modestos estão também procurando escolas particulares. A forma de seleção dos alunos das escolas federais, além de operar no âmbito cognitivo, influencia o seu nível socioeconômico, maior do que das outras escolas públicas.

É informativo considerar também a variação dentro das escolas. Isto é feito através do GRÁFICO 4, onde cada escola é caracterizada pela sua medida de NSE e pelo desvio padrão dessa medida entre todos os seus alunos. Como o desvio padrão é uma medida de dispersão dos dados, esse gráfico mostra que as escolas públicas têm não só baixo nível socioeconômico como também baixa dispersão. As escolas particulares têm, por outro lado, alta variação. Isto indica que seus alunos têm posição social em uma ampla faixa de variação. Isto pode ser explicado em algumas escolas pela sua política de bolsas de estudo e em outras pelo oferecimento de cursos técnicos ou mesmo da baixa mensalidade.

Qualidade

Como explicado na seção anterior utilizou-se um modelo hierárquico para obter, para cada uma das escolas incluídas no estudo, uma medida de qualidade e outra de eqüidade. O objetivo deste artigo é, principalmente, contribuir para a análise de políticas públicas e escolares. Assim, não apresentaremos listas ou tabelas que as classifiquem individualmente segundo a sua qualidade ou eqüidade⁴. Isto tem sido feito pela grande imprensa sempre com um efeito ruim sobre as escolas, além da fragilidade intrínseca desse tipo de classificação, como mostrado por Goldstein (1994).

O GRÁFICO 5 apresenta um gráfico de caixas da medida de qualidade para as escolas incluídas no estudo. Como o conjunto dos efeitos de todas as escolas tem média zero, fica claro que as escolas particulares tipicamente têm mais efeitos negativos do que positivos. Isto quer dizer que, o desempenho observado nas escolas particulares é devido mais ao NSE de seus alunos e não as suas práticas e políticas internas. Há naturalmente entre elas escolas de alta qualidade, mas também muitas outras de qualidade relativa muito baixa. Neste caso é preciso explicitar que há escolas, por atenderem a um alunado muito especial, com projeto pedagógico que não privilegia o desempenho cognitivo. O resultado acima apenas constata que sua qualidade cognitiva é baixa. Não há nenhum julgamento de valor sobre a escola como um todo. Como o estudo conta apenas com três escolas federais observa-se uma variação pequena para esta rede administrativa.

Eqüidade

O GRÁFICO 6 apresenta a medida de eqüidade de todas as escolas, discriminando-as por dependência administrativa. Deve-se lembrar que a medida de eqüidade é na realidade uma medida de acirramento do efeito socioeconômico. Ou seja, idealmente o valor da medida de eqüidade deveria ser grande. Exceto as escolas federais que têm um baixo valor de eqüidade, i.e., acirram o impacto do NSE na medida do desempenho, as outras escolas, no seu conjunto, têm eqüidade em torno de zero. Ou seja, não acirram nem moderam o efeito do NSE. Este resultado é particularmente frustrante para as escolas públicas cujo projeto pedagógico enfatiza a eqüidade como uma de suas metas mais importantes.

Uma outra forma de análise das escolas é apresentar conjuntamente a medida de qualidade e a medida de eqüidade. O GRÁFICO 7 mostra que há uma grande associação entre as medidas de qualidade e de eqüidade, a qualidade caindo com o aumento da eqüidade. Isso pode ser observado com a reta de regressão linear acrescentada de forma auxiliar. Ou seja, não existem em Belo Horizonte escolas com alta eqüidade e alta qualidade. Esse resultado, embora típico nos estudos de eficácia escolar no Brasil é socialmente muito perverso.

Grupos homogêneos de escolas

Utilizando as três medidas de caracterização das escolas, i.e o NSE, a qualidade e a eqüidade, criaram-se, usando a técnica estatística de análise de conglomerados⁵, cinco grupos homogêneos de escolas. O número de grupos foi escolhido de forma subjetiva, porém cuidadosa. A TABELA 4 mostra o número de escolas em cada grupo e o ponto médio das escolas que os constituem nas três variáveis.

Os grupos 2, 3, e 4, exatamente os que contém a maior parte das escolas têm média de eqüidade muito parecida. Isto mostra que essa variável pouco influenciou a formação dos grupos. Fato esperado considerando-se a associação existente entre a qualidade e eqüidade. Assim sendo, apresentam-se, aproximadamente, os grupos através do GRÁFICO 8, onde cada escola é identificada apenas pelo seu NSE e sua qualidade.

As escolas do grupo 5 são quase todas, escolas particulares com baixa qualidade, mesmo atendendo alunos de maior nível socioeconômico. Esta é uma combinação perversa. No entanto, estas escolas têm uma capacidade discreta de moderar o efeito do NSE no desempenho de seus alunos.

O grupo 4 é constituído basicamente por escolas particulares que, embora tendo um NSE médio para alto, nada agregam em termos cognitivos a seus alunos, nem têm capacidade de moderar os efeitos das diferenças socioeconômicas sobre o desempenho. Uma situação pouco confortável para qualquer escola. Os casos mais preocupantes, entretanto, referem-se àquelas escolas públicas que estão próximas a fronteira entre a região 2 e 4. São as escolas públicas de Belo Horizonte que possuem os alunos de maior NSE e, no entanto, são de baixa qualidade. Essas são escolas que justificam estudos de caso.

No grupo 3 encontram-se escolas com baixo NSE e baixa qualidade e com eqüidade neutra. A grande maioria das escolas desse grupo é ou estadual ou municipal e, portanto é a escola tipicamente disponível para a grande maioria da população. As escolas deste grupo não agregam qualidade cognitiva e nem moderam os efeitos da posição social.

O grupo 2 agrega as escolas que, embora atendendo a alunos de baixo nível socioeconômico, têm um efeito positivo, ainda que moderado, sobre eles. Embora essas escolas não consigam mediar o efeito do NSE são as melhores opções existentes hoje para os alunos provenientes de classes populares. Aqui também tem-se boas opções para estudos de caso.

O grupo 1 é formado pelas 3 escolas federais e algumas particulares, consideradas as melhores escolas da cidade, pois agregam muito a seus alunos, que são, entretanto, quase todos de alto NSE. Além disso, no seu conjunto estas escolas acirram as diferenças do nível socioeconômico.

Conclusão

Neste artigo, usando-se dados provenientes de duas avaliações educacionais das quais participaram tanto os alunos das escolas públicas quanto os das escolas particulares, produzimos uma caracterização socioeconômica e cognitiva de 461 escolas de Belo Horizonte. Cada escola foi caracterizada através de três medidas: o seu nível socioeconômico, uma medida de sua qualidade, e de sua eqüidade.

Para o cálculo do NSE foi necessário usar métodos da Teoria de Resposta ao Item – TRI, além de métodos clássicos de equalização de escalas. A medida produzida é baseada em características individuais dos alunos e não na estrutura física da escola. Isto permitiu uma melhor caracterização socioeconômica das escolas, principalmente das públicas.

Ao construir uma medida de qualidade das escolas de Belo Horizonte, onde a influência do NSE no desempenho dos alunos é retirada através de modelos estatísticos apropriados, desvenda-se uma dimensão otimista na realidade. Algumas escolas, públicas e privadas, pelas suas políticas e práticas pedagógicas conseguem fazer diferença no desempenho de seus alunos mesmo quando são socioeconomicamente desfavorecidos. Estes casos de sucesso podem ser estudados no sentido de se descobrir quais práticas fazem diferença na escola. A existência destas escolas é um forte argumento para quebrar uma certa inércia e pessimismo pedagógico existente no meio educacional.

Por outro lado, constatou-se que em Belo Horizonte a qualidade escolar está associada à presença de iniqüidade. Por vias ainda não estudadas constatamos que a qualidade das escolas foi obtida esquecendo-se da eqüidade. Em outras palavras, hoje o sistema de educação básica de Belo Horizonte só consegue produzir qualidade na presença de alta iniqüidade. O acesso está garantido, mas apenas alguns terminam a educação básica com desempenho nos níveis de desempenho adequados. Deve-se pensar políticas públicas educacionais que não excluam⁶ o aluno durante o processo.

A educação básica brasileira avançou nos últimos anos, principalmente, no que se refere à garantia de acesso para todas as crianças e adolescentes. Porém, ainda é preciso melhorar a qualidade. Não só melhorar a qualidade, mas melhorá-la de forma eqüitativa. Trabalhos como este surgem justamente para que esses avanços sejam construídos baseados em pesquisas empíricas. Daí a importância da disponibilidade da base de dados e da manutenção e aprimoramento dos sistemas de avaliação implantados no país.

Recebido em: 29/09/2005

Aceito para publicação em: 21/02/2006

Modelo hierárquico utilizado para regressão multinível

Os modelos de regressão multinível foram desenvolvidos para a análise de dados educacionais onde os alunos estão organizados em turmas, e estas em escolas, que por sua vez estão organizadas em sistemas. O ajuste de modelos desse tipo permite obter uma medida da qualidade e da eqüidade de cada escola. Ferrão (2003) descreve em linguagem acessível estes modelos. Neste trabalho a equação do modelo utilizado é:

onde:

o resposta_ij é a medida de desempenho equalizado fornecida pelo i-ésimo aluno da j-ésima escola;

o b_0j e b_1j são os interceptos. Como cada um deles possui o sub-índice j significa que existe um intercepto diferente associado a cada escola j;

o NSE_ij é o nível socioeconômico do i-ésimo aluno da j-ésima escola;

o e_ij é o efeito aleatório associado ao nível 1 do modelo (aluno i da escola j);

o g₀₀ é a média global da variável dependente;

o g₀₁ é o coeficiente de inclinação associado ao status socioeconômico do grupo de alunos da escola

o NSE_m_j é o nível socioeconômico médio da j-ésima escola;

o u_0j representa o afastamento da proficiência média da escola j à média global g₀₀, ou seja, é a medida da qualidade da escola;

o g₁₀ é a média global no nível socioeconômico;

o u_1j representa o afastamento do nível socioeconômico médio da escola j à média global g₁₀, ou seja, é a medida da eqüidade da escola.

O arquivo disponível sofreu correções conforme ERRATA publicada no Volume 14 Número 51 da revista.

• COLEMAN, J. S. et al. Equality of educational laboratory, 1996. Disponível em: <http://www.nwrel.org/scpd/esp/esp95.html >. Acesso em: abr. 2004.
• FERRÃO, M. E. Introdução aos modelos de regressão multinível em educação Campinas, SP: Editora Komedi, 2003. 106 p.
• FLETCHER, P. R. A Teoria da Resposta ao Item: medidas invariantes do desempenho escolar. Ensaio: avaliação e políticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v. 1, n. 2, p. 21 28, jan./mar. 1994.
• FRANCO, C. O SAEB: potencialidades, problemas e desafios. Revista Brasileira de Educação, São Paulo, n. 17, p. 127-132, 2001.
• HAMBLETON, R. K. Principles and selected applications of Item Response Theory. In: LINN, R. L. (Ed.). Educational measurement. 3. ed. Washington, DC: American Council on Education and the National Council on Measurement in Education, 1993. p.147-200.
• GOLDSTEIN, H.; THOMAS, S. Using examination results as indicators of school and college performance. J. R. Statistic. Soc, London, Series A, n. 159, p. 149-163, 1996.
• LEE, V. E. Using hierarchical linear modeling to study social contexts: the case of school effects. Educational Psychologist, London, n. 35, p. 125-141, 2000.
• MISLEVY, R. J.; BOCK, R. D. Bilog: Item analysis and test scoring with binary logistic models. 2. ed. Chicago: Scientific Software, Inc., 1990.
• MOSTELLER, F.; MOYNIHAN, D. P. On equality of educational opportunity New York: Random House, 1972.
• RUTTER, M. et al. Fifteen thousand hours: secondary schools and their effects on children. Cambridge: Harvard University Press, 1979.
• SAMEJIMA, F. Estimation of latent ability using a response pattern of graded scores. Psychometrika, New York, v. 17, 1969. Monograph Supplement , n. 4, Part 2.
• SAMMONS, P. et al. School effectiveness: coming of age in the twenty-first century. Lisse; Exton, PA: Swets and Zeitlinger Publishers, 1999.
• SOARES, J. F. Cognitive achievement inequalities in Brazil: the role of SES, gender, race and region of residence. In: GLOBAL CONFERENCE ON EDUCATION RESEARCH IN DEVELOPING COUNTRIES, 2005, Praga. Trabalhos apresentados ... Praga, 2005. Disponível em: <www.preal.org/FIE, 2005>. Acesso em: mar. 2005.
• SOARES, J. F. O efeito da escola no desempenho cognitivo de seus alunos. Revista Electrónica Iberoamericana sobre Calid, Eficácia y Cambio en Educación, Madrid, v. 2, n. 2, p. 83-104, 2004. Disponível em: <http://www.ice.deusto.es/rinace/reice/vol2n2 /Soares.pdf>. Acesso em: mar. 2005.
• SOARES, J. F.; ALVES, M. T. G.; MARI, F. Avaliação de escolas de ensino básico. In: FREITAS, L. C. (Org.). Questões de avaliação educacional. Campinas, SP: Komedi, 2003.
• SOARES, J. F. et al. Fatores associados ao desempenho em língua portuguesa e matemática: a evidência do SAEB 2003: relatório técnico. Belo Horizonte: Laboratório de Medidas Educacionais, ICEx, UFMG, 2004.
• THISSEN, D. Multilog: multiple, categorical item analysis and test scoring: Using Item Response Theory. Chicago: Scientific Software, Inc., 1991.

apêndice

1

O vestibular da UFMG é organizado em duas etapas. A primeira, realizada por todos os candidatos, é composta por questões de múltipla escolha de Português, Matemática, Física, Química, Biologia, Geografia, História e Língua Estrangeira. A segunda etapa, só para os aprovados na primeira, constitui-se de provas específicas com questões abertas.

2

Esta tabela está disponível no GAME/FaE/UFMG e o contato pode ser feito diretamente pelo e-mail dos autores.

3

O gráfico denominado "Gráfico de caixas" consiste em uma caixa e dois suportes. O meio da caixa é identificado pela mediana dos dados e marcado por uma linha horizontal. O extremo inferior é identificado pelo primeiro quartil (Q1) e o topo pelo terceiro quartil (Q3). Os suportes são as linhas que estendem do topo e do fundo da caixa até os valores mais baixos e mais altos, dentro da região definida pelos limites: inferior = Q1 – 1,5(Q3 – Q1) e superior = Q1 + 1,5(Q3 – Q1).

4

O resultado individual de cada escola está disponível para finalidades acadêmicas.

5

Utilizou-se o método denominado KMEANS, conforme implementado no software SPSS, fixando o número de conglomerados em 5 e usando-se os valores padrão das outras opções.

6

Exclusão, neste caso, não está sendo utilizado no sentido do aluno deixar a escola. Mas o fato de que alguns alunos estão sendo discriminados dentro da própria escola, através de práticas que favorecem aqueles de maior NSE ou ausência de práticas para os desfavorecidos.

Datas de Publicação

• Publicação nesta coleção
  24 Out 2006
• Data do Fascículo
  Mar 2006

Histórico

• Aceito
  21 Fev 2006
• Recebido
  29 Set 2005