Acessibilidade / Reportar erro

MEDINDO A QUALIDADE DAS ESCOLAS: EVIDÊNCIAS PARA O BRASIL

Resumo

Neste artigo propomos a criação de um indicador que reflita a qualidade da escola associada aos fatores escolares e que evite dois problemas encontrados em estudos anteriores: indicadores de proficiência em nível que refletem mais o background familiar do aluno do que a qualidade da escola; e estimações de valor adicionado muito sensíveis a erros de mensuração. Propomos indicadores que são obtidos através de um modelo estrutural em que se modela a variável latente de qualidade da escola de modo a corrigir o potencial viés dos estudos anteriores. Utilizamos dados brasileiros para aplicações desses indicadores e revisitamos a importância relativa dos fatores de família, escola e gestão. Os resultados mostram que o ordenamento das escolas pelos indicadores de qualidade difere do ordenamento obtido pelos indicadores com a proficiência em nível e é menos instável do que o ordenamento obtido a partir dos indicadores de valor adicionado puro.

Palavras-chave:
accountability ; gestão-escolar; background familiar; ranking ; modelo estrutural

Abstract

In this paper, we propose the creation of an index that reflects the quality of school associated with school factors and avoids two problems found in previous studies: indicators of proficiency level that reflect more the family background of the student than school quality; and estimations of value added very sensitive to measurement errors. Thus, indicators are obtained through a structural model that models the latent variable quality of the school to correct the potential bias of previous studies. We used Brazilian data for applications of such indicators and we revisited the factors of family, school and management. The results show that the ranking of schools by quality indicators differs fromthe ordering obtained by the indicators with the proficiency level and is less volatile than the ordering obtained from the indicators of value added.

Keywords:
accountability; school-management; family background; ranking; structural model

1 Introdução

A busca pelos determinantes da qualidade da educação é um dos grandes esforços da literatura de economia da educação. Em termos gerais, os determinantes são classificados em fatores associados à criança e ao seu ambiente familiar, fatores associados à escola e ao professor, e fatores associados à gestão e à organização do sistema educacional. Saber a importância relativa de cada um desses grupos de fatores bem como quais fatores individualmente dentro de cada grupo é mais importante na explicação da qualidade da educação é o objetivo imediato dessa parte da literatura. O objetivo final é buscar elementos factíveis de serem instrumentos dos formuladores de políticas públicas voltadas à melhoria da qualidade da educação1 1 Existe uma imensa literatura sobre estes aspectos. Para uma síntese desse e de outros debates, ver a coletânea organizada por Hanushek (2006), principalmente os capítulos sobre qualidade dos professores (Hanushek & Rivkin 2006) e recursos escolares (Hanushek & Rivkin 2006). Ver também o debate entre Heckman & Kueger (2005). .

Esse debate também existe no Brasil. De um modo geral, os resultados apontam para o fato de que as variáveis relacionadas ao ambiente familiar são preponderantes na associação com uma série de resultados de desempenho educacional dos alunos como repetência, abandono escolar e proficiência2 2 Ver, entre outros, Albernaz et al. (2002), Menezes-Filho (2007), Menezes-Filho & Souza (2008). .

O foco na qualidade tem levado o governo federal, através do Ministério da Educação (MEC), a tentar mensurar a qualidade da educação, desenvolvendo métricas e divulgando rankings das instituições de ensino. O objetivo é fornecer informações sobre a qualidade das instituições para os diferentes agentes, as quais podem auxiliar pais e estudantes na escolha de onde estudar, empregadores na contratação de novos funcionários, governos nos seus programas voltados para a melhoria da qualidade da educação e o próprio MEC no seu trabalho de regulação do setor educacional. Evidências sugerem que os impactos da divulgação são relevantes. Os dirigentes das escolas mal colocadas no ranking são questionados pelos pais dos alunos, que exigem explicações e estratégias para melhorar a posição das escolas. A procura pelas escolas mais bem classificadas parece também ser maior (Andrade 2011Andrade, E. C. (2011), 'Rankings em educação: tipos, problemas, informações e mudanças: análise dos principais rankings oficiais brasileiros', Estudos Econômicos 41(2), 323–343.).

Um dos desafios atuais para a educação no Brasil é melhorar sua qualidade. Para tanto, tem sido analisada a relação entre as características das escolas e o desempenho dos alunos. O desempenho médio por escola, entretanto, não é suficiente para uma boa comparação da qualidade das instituições. Todo resultado de avaliação de desempenho escolar representa o produto da interação de um conjunto de fatores, entre eles os históricos escolar e familiar, os atributos individuais, as oportunidades vivenciadas pelos alunos e a qualidade do ensino oferecido na escola atual.

Os resultados do Relatório Coleman de 1996 contrariam a ideia de que a qualidade da escola teria papel fundamental no aprendizado, e definem as condições das famílias e do meio em que as crianças convivem como sendo os fatores determinantes do desempenho escolar.

Portanto, dados os impactos e a importância dos rankings e as dificuldades de sua elaboração, é importante examinar com detalhes os diferentes tipos de classificação existentes, suas características e os problemas de cada um deles. A educação pode ser entendida como um serviço que transforma insumos em produtos, podendo ser representada por uma função de produção, que mostra a relação existente entre esses insumos e produtos e, adicionalmente, corresponde também ao máximo de produção que pode ser alcançado dado os insumos utilizados. De forma geral, uma função de produção (f) pode ser caracterizada pelo modelo descrito na seguinte equação:

Em que: (i) Yit é o produto (pode ser o resultado do aluno em um teste de proficiência, que mensura a sua habilidade cognitiva) na sua versão escalar (ou uma matriz na versão com múltiplos produtos) relacionado ao estudante i no tempo t; (ii) B(t)i é um vetor das características do background familiar do estudante i acumulado no tempo t; (iii) P(t)i é o vetor de influências dos pares acumulados no tempo t; (iv) S(t)i é o vetor de insumos controlados diretamente pela escola do estudante i acumulado no tempo t; e (v) Ii é o vetor de habilidades inatas do estudante i3 3 Essa versão da função de produção é extraída de Hanushek (1979) e sinaliza que valores passados dos insumos, através do acumulado no tempo, afetam a produção, possivelmente com impactos menores com o passar do tempo. . Em geral, assume-se que mais insumos acarretam maior produção, porém a taxas cada vez menores.

Uma versão alternativa, ao invés do valor do produto num determinado ponto no tempo, foca a análise no valor adicionado, que corresponde à variação no produto de um período para outro. Supondo que a equação acima vale para diferentes pontos no tempo, um tempo t e um anterior t, é possível levar em consideração a mudança do nível do produto entre os períodos e escrever a seguinte especificação:

Medidas de proficiência ou de valores adicionados são utilizadas em muitas situações para se ordenar as escolas por suas qualidades educacionais. Qualquer tentativa de construir um indicador baseado no ranking das escolas enfrenta dois desafios. O primeiro, reflete o fato de que os alunos não são designados aleatoriamente para as escolas, assim algumas instituições podem ter um melhor desempenho porque nelas se inscrevem as melhores crianças, e não porque elas são inerentemente mais produtivas.

O segundo desafio surge do fato de que as médias das escolas nos testes de proficiência fornecem medidas distorcidas do desempenho dos alunos. Fatores transitórios podem determinar que as escolas que obtiveram boas notas em um ano, no próximo ano podem apresentar resultados relativos piores, mesmo se sua produtividade permanecer constante. Nesse caso, o ordanamento irá mostrar volatilidade substancial e poderá facilmente enganar os pais e os tomadores de decisão política.

Buscando uma forma de criar uma medida de padrão de desempenho relativo das escolas chilenas, Mizala et al. (2007)Mizala, A., Romoguera, P. & Urquiola, M. (2007), 'Socioeconomic status or noise? Tradeoffs in the generation of school quality information', Journal of Development Economics 84, 61–75. utilizaram informações individuais sobre os resultados em testes de proficiência e as características dos alunos entre os anos de 1997 a 2004. Os resultados sugerem que há um grande tradeoff nessa medida pela qual os ordenamentos são gerados: (i) é muito semelhante ao ordenamento baseados puramente em status socioeconômico, e (ii) existe grande volatilidade de ano para ano. Concluíram então, que, pelo menos no Chile, produzir um ordenamento significativo de escolas capaz de informar aos pais e aos formuladores de políticas pode ser mais difícil do que é comumente assumido. A dificuldade está no fato de que é impossível identificar com credibilidade qual componente de desempenho de cada escola é devido a seu próprio valor adicionado, e quais os componentes são devido ao background de seus alunos ou a fatores transitórios não relacionados à sua produtividade real.

Ladd & Walsh (2002)Ladd, H. & Walsh, W. (2002), 'Implementing value-measures of school effectiveness: getting the incentives right', Economics of Education Review 21, 1–17. também questionam o uso de medidas de valor adicionado para classificar as escolas e sua eficácia em melhorar os resultados dos alunos, podendo causar distorções no sistema educacional. A partir de dados de escolas dos estados americanos da Carolina do Norte e do Sul-que calculam e divulgam as medidas de valor adicionado de desempenho escolar a fim de manter a responsabilidade das escolas sobre sua qualidade - os autores avaliam a abordagem de valor adicionado como medida de desempenho escolar. Eles indicam que erros de medida tornam o ranking baseado no valor adicionado bastante volátil.

Numa análise da educação superior, Yunker (2005)Yunker, J. (2005), 'The dubious utility of the value-added concept in higher education: the case of accounting', Economics of Education Review 24(3), 355–367.discute a eficácia do conceito de valor adicionado para avaliar os cursos de contabilidade. Para uma amostra de 548 faculdades e universidades americanas, foram estimados valores adicionados (diferenças entre a taxa de aprovação observada (não ajustada) e a taxa de aprovação prevista). O autor conclui que um ranking das instituições realizado pela taxa de aprovação ajustada seria muito semelhante a um ranking pela taxa de aprovação não ajustada. Além disso, quando se leva em consideração os intervalos de confiança dos rankings, é possível fazer uma comparação somente entre um pequeno número de instituições.

Em síntese, um sistema de accountability em educação requer a criação de medidas de desempenho das escolas que sirvam de variáveis para a elaboração de metas a serem atingidas, como também de indicadores de aferição do grau de sucesso na obtenção das metas de desempenho. Para esse sistema ter resultados satisfatórios se requer que o indicador reflita a qualidade da escola. Em geral, utilizam-se medidas de desempenho dos alunos ou em nível ou em valor adicionado. O problema é que a utilização de indicadores de proficiência em nível pode refletir mais o background familiar do aluno do que a qualidade da escola. Por sua vez, as estimações de valor adicionado podem ser muito sensíveis a erros de medida.

Neste artigo propomos a criação de um indicador geral que reflita a qualidade da escola associada aos fatores escolares e que evitem os dois problemas anteriores. Esse indicador é obtido através de um modelo estrutural em que se modela a variável latente de qualidade da escola de modo a corrigir o potencial viés de estudos anteriores. Ilustramos com dados para o Brasil a classificação das escolas em termos da qualidade educacional oferecida aos seus alunos com base no nosso indicador proposto. Construímos dois indicadores de qualidade da escola considerando qual seria o valor da variável latente se: (i) ela fosse inteiramente relacionada ao perfil socioeconômico médio dos alunos da escola e (ii) ela dependesse apenas de fatores associados à gestão escolar. Em seguida, comparamos os ordenamentos obtidos a partir dessas variáveis latentes estimadas com a classificação das escolas pelo desempenho médio de seus alunos nos exames de proficiência. Dessa forma, conseguimos identificar qual a informação que a posição relativa das escolas, em função do desempenho médio de seus alunos, representa.

Nossa proposta metodológica visa eliminar as diferenças entre as escolas existentes em função do background familiar de seus alunos e manter as diferenças entre elas que ocorrem em função de suas características de qualidade/gestão, evitando a criação de um ranking espúrio. Assim, propomos um indicador de qualidade de modo a estabelecer um ordenamento das escolas de acordo com uma variável latente correlacionada com as características de gestão.

Além de dialogar com a literatura de indicadores de qualidade de escolas, o presente artigo se relaciona diretamente com outras questões da literatura de economia de educação. Uma delas é sobre os determinantes da qualidade da educação. Existe um longo debate sobre as importâncias relativas dos papeis das famílias e das escolas no aprendizado dos alunos. Em geral, argumenta-se que a família tem um papel primordial no aprendizado dos alunos mas que a escola pode também adicionar conhecimento e aprendizagem nesse processo. Hanushek et al. (2005)Hanushek, E., Rivkin, S. G. & Kain, J. F. (2005), 'Teachers, schools, and academic achievement', Econometrica 32(3), 417–458. identificaram um considerável efeito da escola sobre o desempenho dos alunos no Texas, sendo a qualidade do professor importante para o aprendizado. No Brasil, por sua vez, a maioria dos estudos enfatizam o maior impacto do background familiar no desempenho dos alunos em relação à escola embora a escola também tenha algum impacto positivo sobre aprendizado4 4 Ver Menezes-Filho (2007), Menezes-Filho & Souza (2008), Gremaud et al. (2007), Felício & Fernandes (2005), Albernaz et al. (2002). . Embora não seja o objetivo direto do artigo, a metodologia proposta é capaz de estimar as importâncias relativas de grupos de fatores determinantes ao aprendizado.

Uma outra literatura relacionada é sobre sistemas de accountability. Prover boa educação pública descentralizadamente é um desafio para qualquer sistema educacional. O aprendizado médio dos alunos pode ser muito sensível ao desenho particular de um sistema. Existem evidências internacionais de que sistemas em que há maior possibilidade de escolhas de escolas por parte dos pais e onde há uma maior competição entre as escolas pode levar a maior aprendizado por parte dos alunos (e.g., Cullen et al. (2006)Cullen, J., Jacob, B. & Levitt, L. (2006), 'The effect of school choice on participants: Evidence from randomized lotteries', Econometrica 74(5), 1191–1230., Hastings & Weinstein (2007)Hastings, J. & Weinstein, J. (2007), 'Information, school choice and student achievement: Evidence from two experiments', NBER Working Paper (13623)., Hanushek & Raymond (2004)Hanushek, E. A. & Raymond, M. (2004), 'The effect of school accountability systems on the level and distribution of student achievement', Journal of the European Economic Association 2(2-3), 406–415., Hanushek et al. (2005)Hanushek, E., Rivkin, S. G. & Kain, J. F. (2005), 'Teachers, schools, and academic achievement', Econometrica 32(3), 417–458.). Ademais, esses sistemas podem funcionar melhor se houver uma ampla transparência das informações para pais e gestores sobre a qualidade das escolas5 5 Ver, por exemplo, Figlio & Rouse (2006), Rouse et al. (2007). . Ao propor um indicador de qualidade de escolas que reflita o papel da boa gestão escolar, esta informação pode ser importante para pais e gestores em suas tomadas de decisões.

Por fim, este artigo também contribui para o debate de políticas educacionais no país. As três principais inovações inseridas no Plano de Desenvolvimento da Educação (PDE) criado em 2007 pelo Ministério da Educação6 6 Mais detalhes em Haddad (2008). , foram: (i) a incorporação dos objetivos de accountability; (ii) a criação de um indicador sintético da qualidade da educação básica, que considera tanto o desempenho dos estudantes em exames padronizados quanto a progressão desses alunos no sistema; e (iii) a definição de metas tanto para o país quanto para cada sistema e escola em particular (Fernandes 2007Fernandes, R. (2007), 'Índice de desenvolvimento da educação básica (ideb)'. , Fernandes & Gremaud 2009Fernandes, R. & Gremaud, A. P. (2009), 'Qualidade da educação: avaliação, indicadores e metas', Capítulo BNDES.)). Com os dados disponíveis no Brasil, o nosso indicador proposto pode ser utilizado por qualquer rede de ensino brasileira.

Além dessa introdução, esse artigo é composto por mais cinco seções. Na segunda seção apresentamos o indicador geral de qualidade da educação proposto. Ainda, exemplificamos uma forma de aplicação deste indicador com dados brasileiros. Na terceira seção descrevemos os dados utilizados. Na seção quatro fazemos uma análise descritiva das informações e na seção seguinte apresentamos os resultados econométricos obtidos. A última seção apresenta as considerações finais.

2 Indicador de qualidade da escola

Inicialmente, consideramos que o desempenho escolar dos alunos em suas múltiplas dimensões (aprovação, proficiência, etc.) depende de fatores associados às famílias, às escolas e às interações dos alunos e famílias comas escolas. Supondo que esses fatores se relacionem linear e aditivamente com os resultados de desempenho dos alunos, essas relações podem ser representadas de acordo com o seguinte sistema de equações:

Em que, Yksjt é o desempenho médio dos alunos na dimensão k (matéria), na série s, na escola j, no ano corrente t; Ajh é o vetor de características observáveis médias dos alunos e de suas famílias na escola j no ano h; Ejh é o vetor de características observáveis da escola j no ano h; θj é a qualidade da escola ou a qualidade do matching escola/aluno; αksh, βksh e γkst são os vetores de coeficientes e εjt é o erro aleatório tal que εjt ∼ N(0,σ2ε). O ano h pode estar l períodos à trás (lags) e L períodos à frente (leads) em relação ao ano corrente t. Isso quer dizer que, as características observadas médias dos alunos e as características observadas da escola no ano t e em anos anteriores e posteriores afetam diretamente os resultados de desempenho médio dos alunos no ano t.

Nesse modelo proposto, o vetor A de características observáveis médias dos alunos e de suas famílias na escola representa a influência do background familiar no desempenho médio dos alunos incluindo o efeito dos alunos nos desempenhos dos seus colegas, o chamado peer effect. O vetor E inclui os insumos escolares que estão sob controle dos gestores e são observados pelo econometrista.

Por fim, na nossa metodologia proposta, θj é uma variável latente não observada de qualidade da escola que sintetiza os esforços e as produtividades não observáveis de professores e gestores, bem como as preferências das famílias e as habilidades não observadas dos alunos associadas às interações com a escola que determinam o desempenho dos alunos. As características observadas médias dos alunos e as características observadas da escola em todos os anos estão correlacionadas com a qualidade latente da escola (ou do matching escola/aluno). Como proposto por Chamberlain (1982)Chamberlain, G. (1982), 'Multivariate regression models for panel data', Journal of Econometrics 18., podemos representar θj pelas variáveis futuras e passadas (leads and lags) de Ajf e Ejt e por um erro aleatório como na equação a baixo:

em que, νj é o erro aleatório tal que νj ∼ N(0,σ2ν) e λAkf e λEkf são os vetores dos coeficientes de correlações parciais das características médias coma qualidade latente da escola na matéria k. O ano f (igual à h) pode ter d defasagens (lags) e D períodos futuros (leads) em relação ao ano corrente t, mas apresenta as seguintes restrições: os números de defasagens e de períodos futuros que afetam θj devem ser maiores que os números de leads e de lags que determinam Yksjt (f = h > l e D > L). Neste estudo, estamos interessados nos efeitos de Ejf.

O sistema representado pelas equações (3) e (4) é um sistema de equações estruturais que pode ser estimado pelo método dos momentos generalizados (GMM). Dependendo das especificações e das restrições impostas aos coeficientes, pode-se estimar consistentemente (sob as hipóteses das condições de regularidades dos erros serem satisfeitas) o sistema sobre-identificado de tal modo que se obtenha: (i) o efeito direto das características das escolas, ou seja, o vetor de coeficientes βksh; e (ii) a qualidade esperada de cada escola j através dos λf ’s estimados.

Por qualidade da escola entende-se a contribuição da escola em si para o aprendizado dos seus alunos. Todo o esforço de estimação da qualidade da escola reside em isolar do desempenho médio dos alunos a parte advinda da qualidade dos alunos e a parte associada ao erro de medida. O modelo proposto é flexível o bastante para permitir variações na construção de indicadores de qualidade de escola em função das hipóteses que um analista ou formulador de políticas públicas considera ser qualidade da escola ou que deseja adotar para alcançar determinados objetivos de políticas públicas. O modelo permite construir os seguintes tipos de indicadores (e variações entre eles):

O primeiro tipo de indicador q1tj atribui à qualidade da escola tanto o impacto direto do vetor dos insumos escolares βkst Etj sobre a proficiência do aluno quanto o impacto total da variável latente θj. Nesse caso, a contribuição do aluno é atribuída ao componente αkshAjh. Esse é um indicador abrangente que associa à qualidade da escola tanto o efeito médio direto de um insumo, e.g. computador, sobre a proficiência do aluno, quanto à qualidade do matching entre escola e aluno. O segundo tipo de indicador q2j é um pouco mais restritivo. Ele associa à qualidade da escola o valor do variável latente θj apenas. Os efeitos diretos dos insumos sobre a proficiência são considerados atributos dos insumos em si e não particularmente da escola e, por isso, podem ser desconsiderados. Por outro lado, a qualidade do matching entre escola e aluno que está potencialmente capturada na variável latente ainda é atribuída à escola. Por fim, o terceiro tipo de indicador q3j é o mais restritivo de todos. Ele atribui à qualidade da escola apenas aquela parte das características observadas das escolas associadas à variável latente. Nesse caso, ficam fora da qualidade da escola os efeitos diretos das características dos alunos (αksh Ajh), os efeitos diretos das características das escolas (βkshEjh), o efeito indireto dos alunos via variável latente (λAkf Ajf) e o erro aleatório da variável latente υj. Esse é um indicador interessante quando se desejar criar gestor escolar desconsiderando o efeito direto do insumo sobre a proficiência. Esse será o indicador a ser ilustrado abaixo.

2.1 Aplicação do indicador de qualidade da escola proposto

Nesta seção apresentamos uma aplicação do indicador efeito escola proposto. Dada a natureza dos dados em painel de escolas que dispomos, supomos que:

  • (i) As características observadas médias dos alunos e as características observadas da escola no ano t afetam diretamente os resultados de desempenho médio dos alunos no ano t, mas não afetam diretamente os resultados do desempenho médio dos alunos no ano z, em que z ≠ t; e

  • (ii) As características observadas médias dos alunos e as características observadas da escola em todos os anos estão correlacionadas com a qualidade latente da escola (ou do matching escola/aluno).

A ideia nesse caso é capturar os efeitos indiretos. Controlando pela gestão atual, as decisões passadas só afetam o desempenho dos alunos via θ. Esse efeito não é direto e representa um indicador de gestão da escola. Da mesma forma, as decisões futuras apresentam um indicativo da gestão atual da escola de forma indireta.

Assim, não considerando nem os períodos passados nem os períodos futuros das características médias dos alunos e da característica da escola na determinação do desempenho médio dos alunos [l = L = 0 ⇒ h = t], podemos reescrever a equação (3) da seguinte forma:

Com relação à variável latente não observada de qualidade da escola, θj, consideramos que essa é correlacionada com as características observadas médias dos alunos e comas características observadas da escola em três períodos: f = 3 ⇒ 0 ≤ d ≤ 2 e 0 ≤ D ≤ 2. Portanto, reescrevemos a equação (4)da seguinte forma:

Suponha ainda, que Yksjt é o vetor de proficiências médias de uma determinada série em português (YPjt) e em matemática (YMjt) da escola j no ano t. Se tivermos três anos de informações e impomos que os α’s e β’s são iguais no tempo, mas diferentes por matéria, teremos o seguinte sistema de sete equações estruturais:

Na forma reduzida, este sistema corresponde às seguintes seis equações (em que, normaliza-se γP1 = 1):

O modelo na forma reduzida não restrita é:

em que, Π é a matriz dos coeficientes e ej é o vetor de erros. O modelo (10) implica nas seguintes restrições não lineares:

Pode-se estimar os parâmetros α’s, β’s, γ’s e λ’s, e testar as restrições por GMM. A estimação é realizada através dos seguintes passos:

(i) Estimamos o sistema de equações (9) por um SUR de modo a obter uma estimativa dos coeficientes da forma reduzida (jl, j = 1,..., J e l = 1,...,L), bem como para a matriz de variância e covariância dos coeficiente da forma reduzida;

(ii) Definimos as condições de momento mjl = jlfs αs, λs), sendo m o vetor coluna que contém todos os (6 x 6) coeficientes mjl.m =

(iii) Utilizamos um estimador de distância mínima para obter as estimativas de δ = (βs αsss). O estimador é:

Onde V é a matriz de variância e covariância dos parâmetros estimados da forma reduzida (9): V = V ar[V ar[V ar[] = ]. A ] pode ser obtida do SUR na etapa (i).

Note que o sistema é sobre-identificado. Finalmente, comprova-se a validade do modelo testando as restrições de sobre-identificação. O teste é um omnibustest no qual a sua rejeição não implica uma alternativa específica, pois o teste é contra uma forma reduzida não restrita. O teste de hipótese nula, de que o efeito não observado da qualidade está correlacionado com as características observáveis médias, equivale ao teste λ = 0 (Chamberlain 1982Chamberlain, G. (1982), 'Multivariate regression models for panel data', Journal of Econometrics 18., Abowd & Card 1989Abowd, J. M. & Card, D. (1989), 'On the covariance structure of earnings and hours changes', Econometrica 57(2), 411–445.). Chamberlain (1982)Chamberlain, G. (1982), 'Multivariate regression models for panel data', Journal of Econometrics 18. mostra que sob as hipóteses de correta especificação, a função valor oriunda deste problema de minimização tem distribuição χ2 com graus de liberdade igual à diferença da dimensão de e do rank da matriz de jacobianos . As variâncias dos estimadores dos coeficientes estruturais são obtidas pelo método delta.

Ordenação Prevista das Escolas

O ordenamento das escolas por suas qualidades latentes estimadas pode ser construído a partir dos parâmetros estimados. O indicador é flexível o bastante para permitir ao formulador de políticas públicas eleger as variáveis que ele julgar relevantes para estabelecer o ordenamento das escolas. Por exemplo, pode-se construir o indicador de qualidade a partir de parâmetros estimados considerando qual seria o valor dessa variável latente se todas as escolas tivessem o mesmo tipo de gestão (ou a escola média brasileira) e o perfil médio dos alunos de cada escola variasse. Dessa forma, obtemos o ordenamento das escolas por suas qualidades estimadas relacionadas ao background familiar. Nesse caso, o indicador de cada escola j seria dado por:

em que, jf é o vetor de características médias da gestão escolar. Caso a correlação entre o ordenamento por desempenho médio dos alunos Yj e ordenamento por backgroundj for positiva e muito alta, isto indicaria que de fato as diferenças de desempenho entre as escolas são grandemente explicadas pelas diferenças de background familiar.

Por outro lado, pode-se também construir o indicador de qualidade da escola considerando qual seria o valor desta variável latente se ela dependesse apenas de fatores associados à gestão escolar. Nesse caso, consideramos como se todas as escolas tivessem o mesmo tipo de alunos (ou o aluno médio brasileiro), mas que as variáveis de gestão diferissem entre as escolas. O indicador de cada escola j seria dado por:

em que, jf é o vetor de características médias dos alunos brasileiros. Caso a correlação entre o ordenamento por desempenho médio dos alunos Yj e ordenamento por gestaoj for positiva e muito alta, isto indicaria que de fato as diferenças de desempenho entre as escolas são grandemente explicadas pelas diferenças de gestão escolar.

3 Dados

Para ilustrar a utilização desse indicador proposto, estimamos (i) a qualidade latente das escolas brasileiras com relação ao background familiar de seus alunos e (ii) a qualidade latente dessas escolas com relação às suas características de gestão, e comparamos os ordenamentos obtidos a partir dessas variáveis latentes com o ranking utilizando apenas a nota média da escola nas provas de proficiência em português e em matemática.

Os dados utilizados nesse trabalho são os microdados do Sistema Nacional de Avaliação da Educação Básica (SAEB) realizado bianualmente de 1997 a 2005 em todo o Brasil pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP, órgão do Ministério da Educação. Com eles construímos os seguintes grupos de variáveis médias por escolas:

  • (i) Características dos alunos e das famílias;

  • (ii) Características dos professores;

  • (iii) Características dos diretores; e

  • (iv) Características das escolas.

O Sistema Nacional de Avaliação da Educação Básica é a primeira iniciativa brasileira no sentido de conhecer mais profundamente o nosso sistema educacional. Como o SAEB não avalia a totalidade dos estudantes do País, a prova foi aplicada a uma amostra que representa o universo das matrículas. As informações obtidas permitem acompanhar a evolução da qualidade da educação ao longo dos anos. Participam da avaliação alunos da 4ªe da 8ª séries do ensino fundamental e da 3ªsérie do ensino médio que fazem provas de língua portuguesa e de matemática. Eles também respondem a um questionário sobre seus hábitos de estudo e suas características socioculturais. Os professores e os diretores participam respondendo a questionários que informam sobre perfil e prática docentes, mecanismos de gestão e infraestrutura escolar.

Assim, nesse estudo utilizamos os resultados dos cinco SAEBs realizados entre 1997 e 2005 com os alunos da 4ªe da 8ªséries do ensino fundamental e da 3ªsérie do ensino médio. Construímos, para cada série, três painéis balanceados em que seguimos as escolas durante três anos de avaliação: 1997-1999-2001, 1999-2001-2003 e 2001-2003-2005. Consideramos as escolas que tiveram alunos fazendo tanto a prova de português quanto a prova de matemática em três SAEBs consecutivos. Estimamos modelos para as séries separadamente e por rede de ensino, cujas amostras são compostas pelos três painéis de três anos cada.

As bases de dados se referem a cada uma das três séries da Educação Básica avaliadas pelo SAEB. Ainda, dividimos essas quatro bases em duas cada, separando as escolas privadas e as escolas públicas. No total foram construídas nove bases.

Foram estimados dois modelos para cada uma das bases de dados: um controlando pelo background familiar e outro pelas variáveis de gestão escolar. Totalizando, assim, 18 (dezoito) resultados.

Figura 1
Bases de Dados

A Tabela 1 indica o número de escolas em cada painel, por série, e a participação das escolas privadas e das escolas públicas nas amostras.

Tabela 1
Número de Escolas
Tabela 2
Variáveis dos modelos com controle pelo backgroundfamiliar

Na Tabela 1 expomos as variáveis utilizadas nas estimações em que classificamos as escolas de acordo com as características dos alunos. As variáveis referentes aos alunos (sexo, raça, idade e educação da mãe) são utilizadas na estimação da variável latente, e consequentemente, para fazer o ordenamento das escolas. Ainda, controlamos os modelos pelos seguintes grupos de variáveis: (i) gerais, que considera a rede de ensino (pública ou privada), o Estado em que está localizada a escola (Unidade da Federação), o Painel (1-1997/99/01, 2-1999/01/03, 3-2001/03/05) e a série (4a série ou 8a série do ensino fundamental); (ii) gestão escolar, que aborda questões de infraestrutura, administrativas e metodológicas; (iii) professor e (iv) diretor, para esses dois grupos consideramos a experiência, o salário e o nível educacional desses profissionais.

A Tabela 3 apresenta as variáveis utilizadas nos modelos em que classificamos as escolas de acordo com suas características de gestão. Controlamos os modelos por quatro grupos de variáveis: (i) gerais, que considera a rede de ensino, a Unidade da Federação, o Painel e a série; (ii) aluno, que leva em conta as características do aluno e seu background familiar, como sexo, raça (branco/amarelo e outros), nível educacional da mãe, e se o aluno está na idade certa na série; (iii) professor e (iv) diretor, abordando a experiência, o salário e o nível educacional desses profissionais. Como variáveis de gestão, utilizadas para classificar as escolas, consideramos (i) infraestrutura escolar, se têm sistemas hidráulico e de iluminação adequados; (ii) metodologia de ensino dos professores, uso de computador, jornais ou revistas, e seu aperfeiçoamento profissional frequentando programas de educação continuada, e (iii) questões administrativas da escola, como o desenvolvimento de projeto pedagógico e a existência de conselho de classe.

Tabela 3
Variáveis dos modelos com controle pela gestão escolar

4 Análise descritiva

A amostra desse trabalho é restrita às escolas que participaram três anos consecutivos do SAEB e cujos alunos fizeram as provas de português e de matemática7 7 Para saber se existem características específicas a essas escolas, que as fazem participar três anos consecutivos do SAEB, fizemos para cada série dois procedimentos: (i) análise da diferença de médias das variáveis de gestão para as escolas que estão no painel e para as que não estão; e (ii) estimação de modelos probit, em que observamos a probabilidade das escolas estarem no painel, condicional às características de gestão da escola. Para o primeiro exercício, a diferença entre as médias das variáveis de gestão não são significantes, com poucas exceções; para o segundo exercício, as variáveis de gestão, com poucas exceções, não são estatisticamente significantes para explicar a participação das escolas no painel. Esses resultados nos leva a conclusão de que a amostra não tem viés de seleção. .

A Tabela 4 mostra a adoção de medidas de gestão e sua evolução ao longo de três avaliações consecutivas, pelas escolas da 4ªsérie do ensino fundamental que participam do painel, separadamente por rede de ensino. As informações sobre as escolas da 8ªsérie do ensino fundamental estão expostas na Tabela 5. e sobre as escolas da 3ªsérie do ensino médio na Tabela 6.

Tabela 4
Percentual de escolas da 4ªsérie dp ensino fundamental que adotarammedidas de gestão, total e por rede
Tabela 5
Percentual de escolas da 8ªsérie do ensino fundamental que adotaram medidas de gestão, total e por rede
Tabela 6
Percentual das escolas da 3ªsérie do ensino médio que adotaram medidas de gestão, total e por rede

Primeiramente, para as três séries da Educação Básica avaliadas pelo SAEB, notamos grande diferença entre o percentual de escolas públicas e o percentual de escolas privadas que adotam as medidas de gestão consideradas. A maior diferença ocorre no uso de computadores pelos professores, que em alguns casos supera 50 pontos percentuais. Outra prática de ensino dos professores, o uso de jornais ou revistas, e as questões de infraestrutura também aparecem em percentual muito maior entre as escolas da rede privadas do que entre as escolas públicas.

Quanto à evolução, observamos aumento na porcentagem de escolas que: fazem projeto pedagógico (principalmente nas escolas públicas da 4a série do ensino fundamental), que tem conselho de classe (principalmente entre as escolas públicas da 4a série do ensino fundamental e da 3a série do ensino médio); e a retração na porcentagem de escolas cujos professores adotam jornal ou revista em detrimento do aumento do uso de computador, destaque para as escolas privadas da 3ªsérie do ensino médio. Entre as escolas públicas, ocorreram melhorias nos sistemas de iluminação e hidráulico.

Dividimos as escolas em percentis em função do desempenho médio obtido por seus alunos nos exames de proficiência em português e em matemática nos três anos de avaliação. A Figura 2 mostra a nota média das escolas da 4ªsérie do ensino fundamental por percentil, separadamente por rede de ensino.

Figura 2
Estimações

Os alunos dessa série obtiveram, em média, 187,1 pontos, sendo que a nota média dos alunos das escolas privadas foi de 215,5 pontos; enquanto que os alunos da rede pública tiveram nota, em média, 23,5% menor do que os da rede privada, 164,9 pontos. Destacamos ainda, que o resultado médio dos alunos do primeiro percentil da rede pública foi 33% maior do que a média dos alunos da rede; por outro lado, o resultado médio dos alunos do último percentil da rede pública foi 21% menor do que a média. Comparando os alunos da rede privada, a diferença entre as médias dos alunos do primeiro percentil e da rede como um todo foi de 25%, já com relação ao último percentil, a média desses alunos foi 26% inferior à média da rede.

Figura 3
Desempenho médio dos alunos da 4ªsérie do ensino fundamental, total e por rede

Na Figura 4 expomos a nota média das escolas da 8a série do ensino fundamental por percentil, separadamente por rede de ensino. Os alunos da rede pública obtiveram, em média, 230,7 pontos contra 282,9 pontos dos alunos da rede privada, diferença de 18,5%. A nota média da série foi de 249 pontos. Em ambas as redes, a diferença entre a média dos alunos do primeiro percentil e a média da rede ficou em torno de 20%; por outro lado, a diferença entre a média dos alunos do último percentil e a média da rede foi maior entre as escolas privadas, 24,5% contra 17% na rede pública.

Figura 4
Desempenho médio dos alunos da 8ªsérie do ensino fundamental, total e por rede

Na Figura 5 está a nota média das escolas da 3ªsérie do ensino médio por percentil, separadamente por rede de ensino. Os alunos dessa série tiveram nota média de 288,4 pontos. A nota média dos alunos da rede privada foi 19,7% maior do que a média dos alunos da rede pública (320,2 e 257 pontos, respectivamente). A diferença entre a média dos alunos do último percentil e a média da rede foi maior na rede privada, 23% contra 15,5% na rede pública; por outro lado, a diferença entre a média dos alunos do primeiro percentil e a média da rede pública foi de 24,1%, enquanto na rede privada tal diferença foi inferior a 20%.

Figura 5
Desempenho médio dos alunos da 3ªsérie do ensino médio, total e por rede

A Tabela 7 destaca as diferenças entre os dois primeiros e os dois últimos percentis por série e por rede de ensino. Entre os alunos da 4ª série do ensino fundamental as diferenças são maiores do que entre os alunos das outras duas séries em todos os casos. As escolas do primeiro percentil obtiveram, em média, o dobro da nota das escolas do último percentil, respectivamente 256,5 pontos (valor 42% maior do que a média da série) e 132,3 pontos (valor 30% menor do que a média da série). A diferença de média do segundo e do penúltimo percentil é de 84%, e entre os dois últimos percentis é de 3,7%. Analisando as redes separadamente, as diferenças entre as notas médias são menores: de quase 70% entre o primeiro e o último percentil, em torno de 60% entre o primeiro e o penúltimo percentil e de cerca de 55% entre o segundo e o penúltimo percentil.

Tabela 7
Diferença do desempenho médio por percentil por série e por rede

Considerando os alunos da 8ªsérie do ensino fundamental, a diferença entre a nota média das escolas do 1ºe do 100ºpercentil é de 70%, e para a 3ªsérie do ensino médio essa diferença é de 73%. Esses valores caem para 47% quando consideramos apenas as escolas públicas e ficam entre 55% e 60% quando analisamos as escolas privadas. Ainda, para ambas as séries, a diferença da média entre o segundo e o último percentil fica em torno de 65%, reduzindo para 42% quando observamos a rede pública e 52% para a rede privada. Cenário semelhante ocorre na comparação entre o primeiro e o penúltimo percentil dessas séries.

A Figura 6 destaca as características médias dos alunos dos percentis por série e por rede de ensino. Considerando os alunos da 4ª série do ensino fundamental, notamos que mais de 60% daqueles dos dois últimos percentis têm mãe que completou, no máximo, o ensino fundamental, enquanto apenas 3% dos alunos do 1º percentil e 7% dos alunos do 2º percentil têm mãe combaixo nível educacional. Por outro lado, menos de 5% dos alunos dos dois últimos percentis têm mãe com educação superior, enquanto 69% e 54% dos alunos do 1ºe do 2º percentis, respectivamente, têm mãe com educação superior. Analisando as redes separadamente, enquanto 60% dos alunos do último percentil da rede pública têm mãe que completou, no máximo, o ensino fundamental, esse percentual é de 44% entre os alunos da rede privada. Por outro lado, no primeiro percentil quase 30% dos alunos da rede pública têm mãe com nível educacional baixo contra 2% dos alunos rede privada. Ainda, em torno de 70% dos alunos dos dois primeiros percentis da rede privada têm mãe com educação superior, percentual que entre os alunos das escolas públicas é inferior a 20%.

Figura 6
Características dos alunos das escolas dos primeiros e dos últimos percentis de nota, total e por rede

Com relação à idade e à raça, as diferenças também são consideráveis entre os percentis. Cerca de 60% dos jovens dos dois últimos percentis estão na idade certa, enquanto para o percentil mais alto atinge à totalidade. No 99ºe no 100º percentis, 28% e 36% dos alunos, respectivamente, são brancos ou amarelos, e nos dois primeiros percentis essa porcentagem é de quase 70%. Percentuais semelhantes para essas variáveis nos quatro percentis destacados são observados na análise individual das redes.

Na 8ªsérie do ensino fundamental e na 3ªsérie do ensino médio quase 80% dos alunos dos dois últimos percentis têm mãe que completou, no máximo, o ensino fundamental, enquanto menos de 5% dos alunos dos dois primeiros percentis têm mãe com baixo nível educacional. Por outro lado, menos de 3% dos alunos dos dois últimos percentis têm mãe com educação superior, enquanto quase 70% dos alunos do 1ºe do 2ºpercentis têm mãe com nível superior. Notamos ainda, que cerca de 98% dos alunos dessas séries dos dois primeiros percentis estão na idade certa, enquanto no 99ºe no 100ºpercentis, 31% e 41%, respectivamente, dos alunos da 8ªsérie do ensino fundamental e 32% e 22%, respectivamente, dos alunos da 3ªsérie do ensino médio estão na idade certa. Ainda, para as duas séries quase 30% dos alunos dos dois últimos percentis são brancos ou amarelos, enquanto no 1ºe no 2ºpercentis mais de 75% dos alunos são dessa raça, exceção no 2ºpercentis da 3ªsérie do ensino médio com 56% de alunos brancos ou amarelos.

Assim como nas escolas da 4ªsérie do ensino fundamental, para essas duas séries existem diferenças na composição média dos estudantes entre as escolas públicas e as escolas privadas, principalmente com relação à educação da mãe. Em ambas as redes, os primeiros percentis são caracterizados por alunos com mãe de nível educacional mais elevado, enquanto os alunos dos percentis inferiores têm mãe que não completou sequer o ensino fundamental. Porém, na rede pública, pouco mais de 40% dos alunos dos dois primeiros percentis têm mãe com educação até o ensino fundamental, percentual que na rede privada é de apenas 5%; da mesma forma, mãe com educação superior é característica de 60% dos alunos dos primeiros percentis da rede privada, mas de menos de 20% dos alunos da rede pública.

Para as duas séries, ocorrem diferenças entre as redes quando observamos o percentual de jovens na idade certa. Na 3ªsérie do ensino médio, por exemplo, enquanto cerca de 40% dos alunos dos dois últimos percentis da rede privada estão na idade certa, esse percentual é inferior a 25% na rede pública. Nos dois primeiros percentis também ocorrem diferenças: na rede privada quase a totalidade está na idade certa, enquanto que na rede pública 76% e 87% dos alunos do 1ºe 2ºpercentis, respectivamente, estão na idade certa. Para a 8ªsérie do ensino fundamental a quase totalidade dos alunos dos primeiros percentis da rede privada está na idade certa, o que ocorre com pouco mais de 85% dos alunos desses percentis da rede pública.

Notamos, para as três séries da Educação Básica analisadas e em ambas as redes de ensino, a existência de uma forte relação entre as características dos alunos e de sua família e a nota média da escola que frequentam. Os primeiros percentis de notas são caracterizados por apresentarem maior percentual de estudantes na idade certa, de raça branca ou amarela e cuja mãe tem nível educacional superior; por outro lado, a maioria dos alunos dos percentis inferiores está atrasada na série, não é de raça branca ou amarela e tem mãe que não completou sequer o ensino fundamental. Isso indica que um ordenamento das escolas pela nota média nas provas de proficiência pode ser muito semelhante a um ordenamento pelas características socioeconômicas médias dos alunos.

A Figura 7 mostra a relação entre as variáveis de gestão e a proficiência escolar para cada uma das séries, total e por rede de ensino. Consideramos a proficiência média de português e de matemática nos anos em que foi realizado o SAEB.

Figura 7
Relação entre as variáveis de gestão e a proficiência escolar, total e por rede

Os dados indicam que os alunos das escolas que realizam conselho de classe tiveram desempenho médio mais de 10% superior aos alunos das escolas que não tem. Isso foi verificado nas três séries analisadas, sendo mais forte para a 4ªsérie do ensino fundamental, cuja diferença foi de quase 14%. O projeto pedagógico também aparece como fator importante para o bom desempenho dos alunos nos testes de proficiência. Considerando as escolas da 3ªsérie do ensino médio, aquelas que fizeram um projeto pedagógico tiveram nota média 13% superior àquelas que não fizeram. Entre as escolas da 4ªe 8ªséries do ensino fundamental essa diferença é de 11,3% e 10%, respectivamente. Por fim, as escolas com uma infraestrutura adequada, com bons sistemas hidráulico e de iluminação, apresentaram notas melhores, em média, que aquelas com instalações inadequadas. Para a 4ª série do ensino fundamental, as escolas com sistema hidráulico adequado tiveram notas, em média, 16,5% superior e o bom sistema de iluminação resultou em nota média 14% maior. A questão de infraestrutura pareceu mais relevante na rede privada do que na pública.

Com relação ao material utilizado pelos professores, destacamos três casos (i) nenhum professor da série/matéria usa o material, (ii) 50% dos professores usam tal recurso, e (iii) todos os professores adotam o material. Os dados indicam que o uso de computador, jornal ou revista pelos professores têm, em geral, relação positiva crescente com a nota dos alunos. Algumas exceções na rede privada indicam que o desempenho médio dos alunos nos casos em que ocorre o uso pela metade ou pela totalidade dos professores é semelhante.

5 Resultados Econométricos

8 8 O software econométrico SAS foi usado para rodar as regressões deste trabalho.

Estimamos o sistema de equações (9) para cada uma das três séries, total e por rede de ensino, em que a nota média da escola em português e em matemática é função das variáveis que representam as características médias dos alunos, professores e diretores, e das variáveis de gestão, que indicam a infraestrutura escolar e a forma de ensino.

A partir dos parâmetros estimados, ordenamos as escolas por suas qualidades latentes, seja esta correlacionada com o background familiar seja correlacionada com a gestão escolar. Em paralelo, classificamos as escolas pela proficiência média de seus alunos em exames de português e de matemática nos três anos de cada painel:

Assim, comparamos as ordenações pelas variáveis latentes e aquela obtida considerando apenas a nota de proficiência média das escolas. A ideia é verificar que tipo de informação a classificação das escolas pela nota passa aos gestores de políticas educacionais e aos pais: se da produtividade escolar ou da característica média dos alunos da escola.

5.1 Variável latente de background familiar

Na Tabela 8, na Tabela 9 e na Tabela 10. expomos os coeficientes da variável latente correlacionada com o background familiar dos modelos estimados para a 4ªe a 8ªséries do ensino fundamental e para a 3ªsérie do ensino médio, respectivamente.

Tabela 8
Modelo estimado para a 4ªsérie do ensino fundamental, total e por rede
Tabela 9
Modelo estimado para a 8ªsérie do ensino fundamental, total e por rede
Tabela 10
Modelo estimado para a 3ªsérie do ensino médio, total e por rede

A partir desses coeficientes, construímos o seguinte indicador de qualidade da escola: backgroundj = jfrepresenta as características médias dos alunos da escola j em função das quatro variáveis que selecionamos (vide Tabela 2) no ano f. Esse indicador representa a importância do background familiar no aprendizado do aluno., em que A

Na Figura 2, na Figura 3 e na Figura 10 comparamos os ordenamentos obtidos das duas formas, pela variável latente correlacionada com as características do aluno e pela proficiência média, para a 4ªe a 8ªséries do ensino fundamental e para a 3ªsérie do ensino médio, respectivamente.

Figura 8
Ranking proficiência versus ranking background familiar 4ªsérie do ensino fundamental
Figura 9
Ranking proficiência versus ranking background familiar 8ªsérie do ensino fundamental
Figura 10
Ranking proficiência versus ranking background familiar – 3ªsérie do ensino médio

Possíveis alterações na posição relativa das escolas indicam se as diferenças de desempenho médio entre elas ocorrem em função das características socioeconômicas médias dos alunos (quando as posições no ranking não alteram) ou em função de outras características, como a gestão escolar (quando ocorrem mudanças de posição no ranking).

As comparações mostram que para todas as três séries da Educação Básica, considerando a amostra total e por rede de ensino, a classificação das escolas pela variável latente estimada a partir das características médias de backgroundfamiliar de seus alunos é muito semelhante à classificação feita pelo desempenho médio dos alunos da escola nos exames de proficiência.

Os gráficos apresentam linha de tendência com inclinação positiva, próxima a 45 graus, e que cruza o eixo vertical perto da origem, e baixa dispersão dos pontos. Considerando a amostra toda e a de escolas públicas, a relação entre as ordenações é mais forte para a 3ªsérie do ensino médio (linha de tendência com coeficiente para x próximo a 1 e para a constante próximo a 0), seguida pela 8ªsérie do ensino fundamental. Entre as escolas privadas essas posições se invertem. Comparando os resultados entre as redes, a semelhança dos rankings é maior para a amostra de escolas privadas.

Destacamos que o primeiro gráfico apresentado na Figura 10, considerando as escolas da 3a série do ensino médio de ambas as redes de ensino, indica uma relação quase exata entre o ordenamento das escolas pela variável latente relacionada às características média dos alunos e de sua família e o ordenamento a partir dos resultados médios nos exames de proficiência em português e em matemática.

5.2 Variável latente de gestão escolar

Na Tabela 11, na Tabela 12 e na Tabela 13expomos os coeficientes da variável latente correlacionada com a gestão escolar dos modelos estimados para a 4ªe a 8ªséries do ensino fundamental e para a 3ªsérie do ensino médio, respectivamente.

Tabela 11
Modelo estimado para a 4ªsérie do ensino fundamental, total e por rede
Tabela 12
Modelo estimado para a 8ªsérie do ensino fundamental, total e por rede
Tabela 13
Modelo estimado para a 3ªsérie do ensino médio, total e por rede

A partir desses coeficientes, construímos o seguinte indicador de qualidade da escola: gestaoj = Ejf representa as características de gestão da escola j com base nas sete variáveis selecionadas (vide Tabela 3) no ano f. Esse indicador representa a consequência do esforço da escola sobre o aprendizado do aluno., em que

Na Figura 11, na Figura 12 e na Figura 13 comparamos os ordenamentos obtidos das duas formas, pela variável latente correlacionada com as características de gestão escolar e pela nota média, para a 4ªe a 8ªséries do ensino fundamental e para a 3ªsérie do ensino médio, respectivamente.

Figura 11
Ranking proficiência versus rankinggestão escolar – 4ªsérie do ensino fundamental
Figura 12
Ranking proficiência versus rankinggestão escolar – 8ªsérie do ensino fundamental
Figura 13
Ranking proficiência versus rankinggestão escolar – 3ªsérie do ensino médio

Possíveis alterações na posição relativa das escolas indicam se as diferenças de desempenho médio entre elas ocorrem por eficiência da escola (quando as posições no ranking não alteram) ou em função de outras características, como a composição socioeconômica média dos alunos da escola (quando ocorrem mudanças de posição no ranking).

A comparação dos ordenamentos apresentada na Figura 11 para as escolas da 4ªsérie do ensino fundamental mostra que existe uma relação positiva entre os rankings obtidos a partir da variável latente correlacionada com as características de gestão escolar e a partir da nota média dos alunos nos exames de proficiência. Porém, notamos que a linha de tendência tem baixa inclinação e cruza o eixo vertical longe do ponto de origem. Ainda, ocorre uma grande dispersão dos pontos no gráfico. Esses fatores indicam que, apesar de positiva, essa relação é fraca.

Analisando as redes de ensino separadamente, temos que a relação entre os rankings é positiva para ambas, porém entre as escolas públicas, destacamos que a linha de tendência apesar de positivamente inclinada é quase horizontal e que a dispersão dos pontos no gráfico é muito grande. Entre as escolas privadas a inclinação é um pouco maior, mais ainda assim baixa, e a dispersão dos pontos é alta, principalmente nas primeiras posições.

Na Figura 12 apresentamos os exercícios realizados para as escolas com alunos da 8ªsérie do ensino fundamental. Os três gráficos apresentam grande dispersão dos pontos e linha de tendência quase horizontal. Porém, quando consideramos a amostra toda e apenas as escolas públicas essa linha indica uma relação positiva entre os rankings. Por outro lado, quando consideramos a amostra de escolas privadas a relação é negativa.

Os resultados indicam que a posição relativa das escolas do ensino fundamental obtida a partir do desempenho médio de seus alunos se deve, em pequena parte, aos esforços da própria escola. A influência da gestão escolar é ainda menor para as escolas da 8ªsérie do ensino fundamental, chegando a apresentar relação negativa entre o ordenamento pelo desempenho médio dos alunos e o ordenamento pela variável latente correlacionada com as características de gestão para a amostra de escolas privadas.

Por fim, na Figura 13 estão as comparações para as escolas da 3ªsérie do ensino médio. Nesse caso a relação entre os rankings é negativa tanto para a amostra toda quanto para a amostra que considera apenas as escolas públicas. Para as escolas privadas, apesar da relação positivas, esta é muito fraca, apresentando linha de tendência quase horizontal. Ainda, para as três amostras, notamos uma grande dispersão dos pontos no gráfico. Isso indica que o ordenamento das escolas pela nota média de seus alunos do ensino médio é bastante diferente do ordenamento delas obtido pela variável latente correlacionada com suas características de gestão.

De acordo com nossos resultados, a posição relativa das escolas obtida a partir do desempenho médio dos alunos não reflete os esforços da própria escola na melhoria do aprendizado, mas reflete outras características que não a gestão escolar.

5.3 Variável latente de background familiar versus variável latente de gestão escolar

Nessa seção comparamos a relação entre os rankings das escolas obtidos pela variável latente de background familiar e pela proficiência média das escolas com a relação entre os rankings das escolas obtidos pela variável latente de gestão escolar e pelo desempenho médio dos alunos das escolas nas provas de português e matemática para as três séries da Educação Básica separadamente, total e por rede de ensino.

Em todos os casos, notamos que a relação entre a classificação das escolas pelas características de gestão escolar e a classificação pelo desempenho médios dos alunos é muito mais fraca do que a relação entre a classificação pelas características socioeconômicas médias dos alunos e a classificação pela nota média dos alunos. A primeira relação apesar de apresentar linha de tendência com inclinação positiva, em algumas análises, ela é quase horizontal e, por vezes, essa relação aparece com inclinação negativa, sendo que, em ambos os casos cruzando o eixo vertical longe da origem. Ainda, os pontos que representam tal relação são muito dispersos no gráfico. Ao contrário, a segunda relação analisada apresenta sempre linha de tendência positivamente inclinada, com ângulo próximo a 45º, que cruzam o eixo perto do ponto de origem (0,0).

A Figura 14 mostra essas relações obtidas considerando as escolas da 4ªsérie do ensino fundamental. Nesse caso as relações apresentadas são positivas tanto para a amostra toda quanto por rede de ensino. Porém, notamos que a relação entre o ordenamento das escolas pela variável latente de gestão escolar e o ordenamento pelo desempenho médio dos alunos é mais fraca, apresentando inclinação menor da linha de tendência, a qual cruza o eixo vertical mais distante da origem do que a linha de tendência que representa a relação entre o ordenamento das escolas pela variável latente de background familiar e o ordenamento pela nota média dos alunos.

Figura 14
Variável latente de background familiar versus variável latente de gestão escolar 4ªsérie do ensino fundamental

Na Figura 15 estão os exercícios realizados com as escolas da 8ªsérie do ensino fundamental, e na Figura 16 expomos as comparações a partir da amostra de escolas da 3ªsérie do ensino médio. Para essas séries as diferenças entre as duas relações são muito mais evidentes.

Figura 15
Variável latente de background familiar versus variável latente de gestão escolar 8ªsérie do ensino fundamental
Figura 16
Variável latente de background familiar versus variável latente de gestão escolar 3ªsérie do ensino médio

Em três das seis comparações realizadas - amostra de escolas privadas da 8ªsérie do ensino fundamental e amostras total e de escolas públicas da 3ªsérie do ensino médio - temos que a relação entre o ordenamento das escolas pela nota média dos alunos nos exames de proficiência e o ordenamento pela variável latente de gestão escolar é negativa, ao contrário do que ocorre com a relação entre o ordenamento das escolas pelo desempenho médio dos alunos e pela variável latente que representa as características socioeconômica média deles. Nos outros três casos envolvendo essas séries, apesar de ambas as relações serem positivas, o ordenamento das escolas pelas suas características de gestão tem relação muito fraca com o ordenamento pela nota média de seus alunos, enquanto o ordenamento das escolas pelo background familiar médio dos alunos tem relação muito próxima ao ordenamento pela proficiência média.

Nossos exercícios se mostraram robustos, resultados semelhantes foram observados para as nove bases de dados analisadas, isto é, para todas as três séries considerando as amostras completas e separadas por rede de ensino.

De acordo com esses resultados, concluímos que a posição relativa das escolas do ensino básico, levando em conta apenas o desempenho médio de seus alunos nos exames de proficiência, se deve, em pequena parte, aos esforços da própria escola. Porém, são as qualidades do aluno (característica socioeconômicas) que determinam o posicionamento da escola no ranking pela nota média.

Podemos dizer então, que classificar as escolas pela proficiência média é similar a classificá-las pelo background familiar médio de seus alunos, porém é bem diferente de classificá-las por boa gestão associada ao desempenho.

Assim, como o ordenamento das escolas pelos indicadores de qualidade difere do ordenamento obtido pelos indicadores tipo IDEB, acreditamos que utilizar o IDEB como indicador para um sistema de accountability pode premiar muito mais as escolas que selecionam os melhores alunos do que as escolas que têm os melhores desempenhos, em função do tipo de aluno que recebem.

6 Considerações finais

Um sistema de accountability em educação requer a criação tanto de medidas de desempenho das escolas que sirvam de variáveis para a elaboração de metas a serem atingidas como também de indicadores de aferição do grau de sucesso na obtenção das metas de desempenho. Um sistema de accountability estabelece metas por escolas ou redes e sistemas de prêmios e punições em função do grau de sucesso em alcançar as metas pré-estabelecidas pelos formuladores de políticas públicas. Os sistemas de prêmios e punições podem ter formas variadas, mas para qualquer sistema ter resultados satisfatórios se requer que o indicador reflita a qualidade da escola.

Nesse artigo, propomos um indicador geral de qualidade da escola que depende apenas das características das escolas e não dos alunos. A ideia envolve uma metodologia de ranking em que eliminamos as diferenças entre as escolas existentes em função do background familiar e mantemos as diferenças entre elas que ocorrem em função de suas características de gestão. A qualidade da escola é medida pelo valor adicionado do produto, no caso, o desempenho dos alunos em exames de proficiência.

Este indicador é obtido através de um modelo estrutural em que se constrói a variável latente de qualidade da escola de modo a corrigir o potencial viés de estudos anteriores relacionados: aos erros de medida, que tornam o ranking baseado no valor adicionado bastante volátil; e à utilização de indicadores de proficiência em nível que pode refletir mais o background familiar do aluno do que a qualidade da escola.

Usamos os dados do Sistema Nacional de Avaliação da Educação Básica (SAEB) realizado bianualmente entre 1997 e 2005 pelo INEP/MEC em todo o Brasil para ilustrar a utilização desse indicador proposto. Construímos painéis balanceados de três anos de avaliação cada e estimamos modelos para cada uma das três séries da Educação Básica avaliadas pelo SAEB, 4ªe 8ªséries do ensino fundamental e 3ªsérie do ensino médio, total e por rede de ensino.

A partir dos parâmetros estimados, ordenamos as escolas por suas qualidades latentes, seja esta correlacionada com o background familiar seja correlacionada com a gestão escolar. Em paralelo, classificamos as escolas em função da proficiência média de seus alunos em exames de português e de matemática. Por fim, comparamos os rankings para identificar qual a informação que a posição relativa das escolas, em função do desempenho médio de seus alunos, representa.

De acordo com os resultados obtidos, o ordenamento das escolas pelo indicador de qualidade difere do ordenamento obtido pelo desempenho médio dos alunos nos exames de proficiência. Observamos que o ranking pelas qualidades intrínsecas da escola correlacionadas com a gestão escolar não equivale ao ranking das escolas pela nota média de seus alunos. Por outro lado, a classificação das escolas pela nota é muito próxima à classificação delas a partir de suas qualidades intrínsecas correlacionadas com as características médias relativas ao backgroundfamiliar de seus alunos.

Concluímos então, que a classificação das escolas pela proficiência média é similar à classificação delas pelo background familiar médio de seus alunos, porém é bem diferente da classificação das escolas por boa gestão associada ao desempenho.

Isso quer dizer que utilizar indicadores de nível como indicador para um sistema de accountability pode premiar muito mais as escolas que selecionam os melhores alunos do que as escolas que têm os melhores desempenhos em termos de gestão.

  • 1
    Existe uma imensa literatura sobre estes aspectos. Para uma síntese desse e de outros debates, ver a coletânea organizada por Hanushek (2006)Hanushek, E. & Rivkin, S. G. (2006), Teacher quality, in H. In Eric A & F.Welch, eds, 'Handbook of the Economics of Education', Amsterdam: Elsevier., principalmente os capítulos sobre qualidade dos professores (Hanushek & Rivkin 2006Hanushek, E. & Rivkin, S. G. (2006), Teacher quality, in H. In Eric A & F.Welch, eds, 'Handbook of the Economics of Education', Amsterdam: Elsevier.) e recursos escolares (Hanushek & Rivkin 2006Hanushek, E. & Rivkin, S. G. (2006), Teacher quality, in H. In Eric A & F.Welch, eds, 'Handbook of the Economics of Education', Amsterdam: Elsevier.). Ver também o debate entre Heckman & Kueger (2005)Heckman, J. & Kueger, A. (2005), 'Inequality in america, what role for human capital policy?', Pesquisa e Planejamento Econômico..
  • 2
    Ver, entre outros, Albernaz et al. (2002)Albernaz, A., Ferreira, F. & Franco, C. (2002), 'Qualidade e equidade no ensino fundamental brasileiro', Pesquisa e Planejamento Econômico 32(3), 45–59., Menezes-Filho (2007)Menezes-Filho, N. (2007), 'Os determinantes do desempenho escolar no brasil', Pesquisa e Planejamento Econômico (2)., Menezes-Filho & Souza (2008)Menezes-Filho, N. & Souza, A. P. (2008), 'The quality of education in brazil', IADB Research Department Repport ..
  • 3
    Essa versão da função de produção é extraída de Hanushek (1979)Hanushek, E. (1979), 'Conceptual and empirical issues in the estimation of educational production functions', The Journal of Human Resources 14(3). e sinaliza que valores passados dos insumos, através do acumulado no tempo, afetam a produção, possivelmente com impactos menores com o passar do tempo.
  • 4
    Ver Menezes-Filho (2007)Menezes-Filho, N. (2007), 'Os determinantes do desempenho escolar no brasil', Pesquisa e Planejamento Econômico (2)., Menezes-Filho & Souza (2008)Menezes-Filho, N. & Souza, A. P. (2008), 'The quality of education in brazil', IADB Research Department Repport ., Gremaud et al. (2007)Gremaud, A. P., Felício, F. & Biondi, R. L. (2007), 'Indicador de Efeito Escola: uma metodologia para a identificação dos sucessos escolares a partir dos dados da Prova Brasil', (27)., Felício & Fernandes (2005)Felício, F. & Fernandes, R. (2005), O Efeito da Qualidade da Escola Sobre o Desempenho Escolar: Uma Avaliação Do ensino fundamental No Estado De São Paulo., Albernaz et al. (2002)Albernaz, A., Ferreira, F. & Franco, C. (2002), 'Qualidade e equidade no ensino fundamental brasileiro', Pesquisa e Planejamento Econômico 32(3), 45–59..
  • 5
    Ver, por exemplo, Figlio & Rouse (2006)Figlio, D. N. & Rouse, C. (2006), 'Qualidade e equidade no ensino fundamental brasileiro', Journal of Public Economics 90(1-2), 239–255., Rouse et al. (2007)Rouse, C., Hannaway, J., Goldhaber, D. & Figlio, D. (2007), 'Feeling the Florida heat? How lowperforming schools respond to voucher and accountability pressure', Journal of Development Economics(13681)..
  • 6
    Mais detalhes em Haddad (2008)Haddad, F. (2008), 'O Plano de Desenvolvimento da Educação: razões, princípios e programas', Pesquisa e Planejamento Econômico(30)..
  • 7
    Para saber se existem características específicas a essas escolas, que as fazem participar três anos consecutivos do SAEB, fizemos para cada série dois procedimentos: (i) análise da diferença de médias das variáveis de gestão para as escolas que estão no painel e para as que não estão; e (ii) estimação de modelos probit, em que observamos a probabilidade das escolas estarem no painel, condicional às características de gestão da escola. Para o primeiro exercício, a diferença entre as médias das variáveis de gestão não são significantes, com poucas exceções; para o segundo exercício, as variáveis de gestão, com poucas exceções, não são estatisticamente significantes para explicar a participação das escolas no painel. Esses resultados nos leva a conclusão de que a amostra não tem viés de seleção.
  • 8
    O software econométrico SAS foi usado para rodar as regressões deste trabalho.

Referências Bibliográficas

  • Abowd, J. M. & Card, D. (1989), 'On the covariance structure of earnings and hours changes', Econometrica 57(2), 411–445.
  • Albernaz, A., Ferreira, F. & Franco, C. (2002), 'Qualidade e equidade no ensino fundamental brasileiro', Pesquisa e Planejamento Econômico 32(3), 45–59.
  • Andrade, E. C. (2011), 'Rankings em educação: tipos, problemas, informações e mudanças: análise dos principais rankings oficiais brasileiros', Estudos Econômicos 41(2), 323–343.
  • Chamberlain, G. (1982), 'Multivariate regression models for panel data', Journal of Econometrics 18
  • Cullen, J., Jacob, B. & Levitt, L. (2006), 'The effect of school choice on participants: Evidence from randomized lotteries', Econometrica 74(5), 1191–1230.
  • Felício, F. & Fernandes, R. (2005), O Efeito da Qualidade da Escola Sobre o Desempenho Escolar: Uma Avaliação Do ensino fundamental No Estado De São Paulo
  • Fernandes, R. (2007), 'Índice de desenvolvimento da educação básica (ideb)'.
  • Fernandes, R. & Gremaud, A. P. (2009), 'Qualidade da educação: avaliação, indicadores e metas', Capítulo BNDES
  • Figlio, D. N. & Rouse, C. (2006), 'Qualidade e equidade no ensino fundamental brasileiro', Journal of Public Economics 90(1-2), 239–255.
  • Gremaud, A. P., Felício, F. & Biondi, R. L. (2007), 'Indicador de Efeito Escola: uma metodologia para a identificação dos sucessos escolares a partir dos dados da Prova Brasil', (27).
  • Haddad, F. (2008), 'O Plano de Desenvolvimento da Educação: razões, princípios e programas', Pesquisa e Planejamento Econômico(30).
  • Hanushek, E. (1979), 'Conceptual and empirical issues in the estimation of educational production functions', The Journal of Human Resources 14(3).
  • Hanushek, E. (2006), School Resources, in 'Handbook of the Economics of Education', Amsterdam: Elsevier, chapter In Eric A, Hanushek and Finis Welch.
  • Hanushek, E. A. & Raymond, M. (2004), 'The effect of school accountability systems on the level and distribution of student achievement', Journal of the European Economic Association 2(2-3), 406–415.
  • Hanushek, E. & Rivkin, S. G. (2006), Teacher quality, in H. In Eric A & F.Welch, eds, 'Handbook of the Economics of Education', Amsterdam: Elsevier.
  • Hanushek, E., Rivkin, S. G. & Kain, J. F. (2005), 'Teachers, schools, and academic achievement', Econometrica 32(3), 417–458.
  • Hastings, J. & Weinstein, J. (2007), 'Information, school choice and student achievement: Evidence from two experiments', NBER Working Paper (13623).
  • Heckman, J. & Kueger, A. (2005), 'Inequality in america, what role for human capital policy?', Pesquisa e Planejamento Econômico
  • Ladd, H. & Walsh, W. (2002), 'Implementing value-measures of school effectiveness: getting the incentives right', Economics of Education Review 21, 1–17.
  • Menezes-Filho, N. (2007), 'Os determinantes do desempenho escolar no brasil', Pesquisa e Planejamento Econômico (2).
  • Menezes-Filho, N. & Souza, A. P. (2008), 'The quality of education in brazil', IADB Research Department Repport .
  • Mizala, A., Romoguera, P. & Urquiola, M. (2007), 'Socioeconomic status or noise? Tradeoffs in the generation of school quality information', Journal of Development Economics 84, 61–75.
  • Rouse, C., Hannaway, J., Goldhaber, D. & Figlio, D. (2007), 'Feeling the Florida heat? How lowperforming schools respond to voucher and accountability pressure', Journal of Development Economics(13681).
  • Yunker, J. (2005), 'The dubious utility of the value-added concept in higher education: the case of accounting', Economics of Education Review 24(3), 355–367.

Datas de Publicação

  • Publicação nesta coleção
    Jul-Sep 2015

Histórico

  • Recebido
    02 Dez 2014
  • Aceito
    20 Maio 2015
Faculdade de Economia, Administração e Contabilidade de Ribeirão Preto da Universidade de São Paulo Avenida dos Bandeirantes, 3.900, CEP 14040-900 Ribeirão Preto SP Brasil, Tel.: +55 16 3315-3910 - Ribeirão Preto - SP - Brazil
E-mail: revecap@usp.br