Acessibilidade / Reportar erro

Uma análise de rankings de escolas brasileiras com dados do SAEB

Resumos

Os elaboradores de políticas educacionais têm dado enfoque às políticas de "responsabilização" como forma de melhorar a qualidade da educação. Com base no desempenho dos alunos em testes padronizados, constroem-se medidas para classificação das escolas e estabelecem-se metas para guiar políticas de incentivo, assistência e sanção às escolas, como no caso do Chile e dos EUA. Em alguns casos, pode ser difícil obter rankings confiáveis, devido à elevada estratificação social no sistema educacional e ao problema de reversão para a média, que causam ruído nas estimativas. Neste trabalho foram analisadas diferentes medidas utilizadas para se construir rankings de escolas a partir das avaliações feitas pelo SAEB na 4ª série do Ensino Fundamental. Uma das medidas analisadas parece atender aos requisitos de ser estável e, ao mesmo tempo, não refletir principalmente o status socioeconômico dos alunos.

educação; desempenho; classificação; incentivos


Educational policymakers have been focusing on accountability policies as a way to improve the educational quality. Based on the students' performance in standardized tests, measures for schools' classification are built and goals are established in order to guide incentive policies, assistance and sanctions on schools, as is being done in Chile and USA. In some cases, it may be difficult to obtain trustful school's rankings due to a high social stratification in the educational system and the mean reversion problem that can cause noise on the estimates. In this work different measures used to construct school rankings were analyzed using SAEB's data for the 4th grade of Primary Education. One of the analyzed measures seems to fulfill the requirement of being stable and, at the same time, not to reflect mainly the students' socioeconomic status.

education; performance; rankings; incentives


Uma análise de rankings de escolas brasileiras com dados do SAEB* * A autora Ana Maria agradece o apoio financeiro do CNPq para a realização deste trabalho, que é parte de sua tese de doutorado.

Ana Maria Paiva FrancoI; Naércio Menezes FilhoII

IProfessora - Universidade Federal de Uberlândia - Endereço para contato: Av. João Naves Ávila, 2121 - Uberlândia - MG - CEP: 38408-100 - E-mail: anafranco@ie.ufu.br

IIProfessor (FEA/USP) e Instituto de Ensino e Pesquisa (INSPER) - Endereço para contato: Rua Quatá, 300 - CEP: 04546-042 - São Paulo E-mail: naercioamf@insper.edu.br

RESUMO

Os elaboradores de políticas educacionais têm dado enfoque às políticas de "responsabilização" como forma de melhorar a qualidade da educação. Com base no desempenho dos alunos em testes padronizados, constroem-se medidas para classificação das escolas e estabelecem-se metas para guiar políticas de incentivo, assistência e sanção às escolas, como no caso do Chile e dos EUA. Em alguns casos, pode ser difícil obter rankings confiáveis, devido à elevada estratificação social no sistema educacional e ao problema de reversão para a média, que causam ruído nas estimativas. Neste trabalho foram analisadas diferentes medidas utilizadas para se construir rankings de escolas a partir das avaliações feitas pelo SAEB na 4ª série do Ensino Fundamental. Uma das medidas analisadas parece atender aos requisitos de ser estável e, ao mesmo tempo, não refletir principalmente o status socioeconômico dos alunos.

Palavras-Chave: educação, desempenho, classificação, incentivos

ABSTRACT

Educational policymakers have been focusing on accountability policies as a way to improve the educational quality. Based on the students' performance in standardized tests, measures for schools' classification are built and goals are established in order to guide incentive policies, assistance and sanctions on schools, as is being done in Chile and USA. In some cases, it may be difficult to obtain trustful school's rankings due to a high social stratification in the educational system and the mean reversion problem that can cause noise on the estimates. In this work different measures used to construct school rankings were analyzed using SAEB's data for the 4th grade of Primary Education. One of the analyzed measures seems to fulfill the requirement of being stable and, at the same time, not to reflect mainly the students' socioeconomic status.

Keywords: education, performance, rankings, incentives

JEL Classification

I20, I21, I28

1. Introdução

Existe uma preocupação crescente com a "responsabilidade" atribuída à escola e aos educadores no processo de aprendizado. O Chile e os Estados Unidos são exemplos de países em que o desempenho das escolas em testes padronizados é utilizado pelo Governo para nortear a alocação de recursos, recompensas, sanções e assistência às escolas. Também o Brasil caminha no sentido de desenhar mecanismos de incentivos que tomam como base os resultados que emergem de avaliações em testes padronizados para nortear políticas de "responsabilização". Recentemente, porém, alguns artigos chamaram a atenção para a existência de ruídos nas informações sobre qualidade das escolas a partir do desempenho dos alunos em testes padronizados, que podem prejudicar o correto entendimento do significado dos rankings e índices de desempenho (ver, por exemplo, Mcewan e Urquiola, 2005; Mizala et al., 2007).

No Brasil há uma preocupação por parte da sociedade e dos elaboradores de políticas educacionais de melhorar a qualidade do ensino através da atribuição de "metas" educacionais a serem alcançadas pelas escolas. Isto exige que indicadores confiáveis de desempenho sirvam de parâmetro para as políticas de incentivo, quando o objetivo é premiar, punir ou auxiliar aquelas que são ou não capazes de atingir o desempenho esperado. Para a implementação de tais políticas, têm sido propostos alguns indicadores de qualidade educacional com base no desempenho dos alunos em exames padronizados, como o Sistema Nacional de Avaliação da Educação Básica (SAEB), a Prova Brasil e os resultados do programa internacional de avaliação de alunos conhecido como PISA (Programme for International Student Assessment).

O Índice de Desenvolvimento da Educação Básica (IDEB), proposto pelo Instituto Nacional de Pesquisas e Estudos Educacionais "Anísio Teixeira" (INEP), é um exemplo de indicador de qualidade educacional obtido por uma combinação de informações sobre desempenho em exames padronizados (Prova Brasil ou SAEB, ao final da 4ª e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio) e de rendimento escolar (nível de aprovação nas escolas). O IDEB pode servir para o Governo monitorar as redes de ensino e exigir contrapartidas de desempenho das escolas, em termos de um avanço esperado no indicador, quando da liberalização de recursos (para maiores detalhes, ver INEP, 2008 e Fernandes, 2008).

O Governo do Estado de São Paulo também tem buscado meios de aperfeiçoar o monitoramento das escolas estaduais paulistas. A partir da definição de uma métrica nos moldes do IDEB, foram estabelecidas metas para cada escola a serem atingidas pelas escolas ao longo dos anos. O sucesso das escolas no cumprimento das metas serve de parâmetro para a concessão de incentivos a todos os funcionários das escolas. A sociedade civil também tem se manifestado a respeito, como o movimento da sociedade civil denominado "Compromisso Todos Pela Educação", que propõe valores de desempenho escolar acima dos quais devem estar 70% dos alunos brasileiros até 2022 (Menezes-Filho et al., 2008).

É questão já amplamente conhecida por pesquisadores e estudiosos da área que os rankings puros (que tomam por base o desempenho médio dos alunos nos testes padronizados) refletem principalmente o status socioeconômico (SSE) dos alunos das escolas. Por isso, tal tipo de ranking não é adequado para nortear políticas de incentivos e responsabilização, pois, neste caso, diretores e professores estariam sendo recompensados (ou "punidos") pelo tipo de aluno que servem, e não pelo quanto conseguem fazer com que aprendam mais. Também não é desejável que haja muita volatilidade nos rankings de uma avaliação para outra, uma vez que isso confunde os agentes e os fazem rever a cada período as suas escolhas e políticas.

Alguns estudos para o caso do Chile apontam novas questões quanto à confiabilidade dos resultados obtidos com diferentes medidas utilizadas para a construção de rankings de escolas, inclusive as que contam com controles para o status socioeconômico (SSE) dos alunos. Suas advertências serviram de estímulo para que neste trabalho se buscasse averiguar se os resultados encontrados para o Chile se estendem para o caso do sistema educacional brasileiro. É preciso saber até que ponto os rankings de escolas que resultam de avaliações como o SAEB ou Prova Brasil, após ser feito ou não o controle por características socioeconômicas dos alunos, são confiáveis no sentido de servirem de parâmetro para pais, educadores e formuladores de política sobre quais escolas realmente agregam mais valor ao aprendizado.

Com este propósito, neste artigo construímos cinco medidas de desempenho para ordenar escolas, tendo como base o estudo para o caso chileno (Mizala et al., 2007). Observamos quais dessas medidas não refletem majoritariamente o nível socioeconômico dos alunos e, ao mesmo tempo, não resultam em alterações muito acentuadas nas ordenações de um ano para o outro (o que aqui se chama de volatilidade). O que podemos observar é que, entre as cinco medidas testadas, apenas uma delas apresenta essas duas características simultaneamente e, portanto, poderia servir de referência para políticas de monitoramento da qualidade da educação nas escolas.

Além desta introdução, o trabalho está organizado da seguinte forma: a seção 2 discorre sobre os desafios de se mensurar a qualidade das escolas empiricamente; a seção 3 apresenta os dados utilizados neste trabalho e algumas estatísticas descritivas; a seção 4 apresenta a metodologia utilizada; a seção 5 traz os resultados, enquanto a seção 6 apresenta os comentários finais.

2. Desafios para Mensurar a Qualidade das Escolas

Para se estimar melhor a qualidade ou o valor adicionado pelas escolas, geralmente acompanha-se o progresso do aluno ao longo de vários anos, e utilizam-se informações sobre seu status socioeconômico (SSE) e outras informações disponíveis com respeito, por exemplo, à escola em que estuda.

Os desafios neste campo de investigação são muitos. Primeiramente, a maioria dos países em desenvolvimento não conta com um sistema de avaliação da qualidade na educação que permita acompanhar o progresso de cada aluno ao longo dos anos de escola. Além disso, muitas das variáveis de famílias, alunos e mesmo escolas não são observadas pelos pesquisadores. Esta omissão tende a viesar as estimativas do efeito-escola. Outro problema constatado, por exemplo, por Mcewan e Urquiola (2005), é que o controle por SSE, principalmente num sistema de escolas com elevada estratificação, vem ao custo de introduzir muita volatilidade nos rankings de notas das escolas.

Segundo Mizala et al. (2007) existe, pelo menos no caso do Chile, um trade-off entre construir rankings de escolas que não espelhem majoritariamente a condição socioeconômica de seus alunos e, por outro lado, não apresentem muita volatilidade de um ano ao outro. Rankings que espelham majoritariamente o SSE de alunos não são adequados para se nortear políticas de incentivos e responsabilização, pois, neste caso, diretores e professores estariam sendo recompensados (ou "punidos") pelo tipo de aluno que servem, e não pelo quanto conseguem fazer com que aprendam mais. Uma alta volatilidade nos rankings de uma avaliação a outra também não é desejável, uma vez que confunde os agentes e os fazem rever a cada período as suas escolhas e políticas. Por exemplo, qualquer mecanismo de incentivo que os elaboradores de política de educação programem, tomando como referência rankings voláteis, acabam tornando-se ineficazes ou inócuos, pois logo os agentes deixam de responder a recompensas e punições cujas distribuições se aproximem daquelas geradas por um processo de "loteria".

A volatilidade pode ocorrer devido a eventos em apenas um momento do tempo, como o advento de doenças que atingem toda escola, distração de alunos e responsáveis no dia de realização das provas e assim por diante. Outra razão para volatilidade é a variação nas amostras. Cada corte de alunos que entra na escola é como uma amostra aleatória de uma população local e, portanto, a média de desempenho da escola vai variar de acordo com o grupo específico de alunos que começou a estudar num determinado ano. A sua variância, por sua vez, dependerá da variabilidade de desempenho na população da qual a escola recebe os alunos, e também do número de alunos avaliados (ver Chay et al., 2005, p. 1242-1244).

3. Dados e Estatísticas Descritivas

Os dados utilizados nas análises que se seguem provêm do SAEB. O SAEB é um levantamento bianual realizado pelo INEP desde 1993, que avalia os alunos da 4ª e 8ª séries do Ensino Fundamental, e da 3ª série do Ensino Médio, nas disciplinas de Matemática e Língua Portuguesa. Seus levantamentos também trazem informações socioeconômicas sobre os alunos e suas famílias, professores e diretores, além de informações sobre a infraestrutura nas escolas. Os levantamentos do SAEB são amostras representativas da população de escolas no Brasil. A subamostra aqui utilizada se restringe a 480 escolas que se repetem nas avaliações de 1999, 2001 e 2003, formando um painel de escolas balanceado de três anos.1 1 Na Tabela A1 do Apêndice encontram-se as estatísticas descritivas das variáveis utilizadas nesta análise para a amostra do SAEB completa e para a subamostra de 480 escolas. A diferença entre as estatísticas descritivas das variáveis nos dois bancos de dados não é significativa, o que faz do painel de 480 uma amostra representativa da população de escolas do Brasil. Serão utilizados os resultados das provas de Português e Matemática dos alunos na 4ª série do Ensino Fundamental para construirmos os rankings de escolas. Utilizamos dados para a 4ª série, pois a evasão de alunos ainda é baixa nesse momento da vida escolar, o que evita problemas de seleção de alunos pelo nível socioeconômico. Os anos utilizados são os que tinham dados disponíveis para análise com painel de escolas no momento de elaboração desse artigo. O número de alunos avaliados em 1999, 2001 e 2003 é de 5.819, 13.629 e 13.114, respectivamente. A Tabela 1 traz a evolução do número de matrículas na 4ª série nas 480 escolas avaliadas no SAEB nos anos de 1999, 2001 e 2003.2 2 Em alguns anos não há informações sobre o número de matrículas de algumas escolas no Censo Escolar, provavelmente devido a erros na computação dos dados. Em 1999, 30,35% das escolas da amostra não têm dados sobre matrículas na 4ª série (matrículas são iguais à zero), em 2001 essa porcentagem é de 1,80%, e em 2003 é de 16,15%. No total, 12,68% da amostra de escolas, considerando-se os três anos, não apresentam dados sobre matrículas. Estas escolas, porém, foram mantidas na análise, uma vez que o número de matrículas não foi utilizado para a construção dos rankings.

Na Figura 1 pode-se ter uma ideia de quanto varia o desempenho médio dos alunos nas provas de Matemática e Português de acordo com o tamanho da escola, medido pelo total de alunos matriculados na 4ª série. Percebe-se uma maior variabilidade na pontuação média das escolas menores, de acordo com o que foi observado para caso do Chile por Mcewan et al. (2007).


Mas é quando se considera a diferença na proficiência média obtida em diferentes anos que se pode observar uma variância mais acentuada no caso das escolas pequenas. A Figura 2 mostra a relação entre a diferença na proficiência média das escolas (em Matemática e Português), medida entre os anos 1999-2001, e o tamanho da escola medido pelo número de alunos matriculados na 4ª série.3 3 Para o cálculo da diferença na proficiência, foram utilizados os dados apenas das 480 escolas que se repetem nos anos 1999, 2001 e 2003. Os gráficos das diferenças 2003-2001 e 2003-1999 não foram reportados por apresentarem padrão muito similar ao observado na Figura 2.


As Figuras 1 e 2 sugerem indícios de ocorrência do fenômeno de "reversão para a média" para o qual Mizala et al. (2007), Chay et al. (Op. cit) e Mcewan et al. (Op. cit) chamam a atenção no Chile. Nas escolas menores, haveria a tendência dos resultados de desempenho variarem muito de um momento de avaliação para outro. Escolas que se saem muito mal em um primeiro momento tendem a apresentar, numa avaliação seguinte, uma recuperação, enquanto que as que se saem bem em seguida tendem a apresentar um resultado bem pior. Os autores demonstram que este efeito é maior quanto menor o número de alunos avaliados.4 4 Ver, em especial, Chay et al.( Op cit, p. 1243). Outro fator que contribui para a volatilidade nos rankings de escolas é a elevada estratificação por renda nas mesmas. A Figura 3 mostra a relação entre desempenho médio da escola nas avaliações de Português e Matemática na 4ª série e a proporção de mães com ensino superior na escola, uma variável proxy para indicar um elevado SSE dos alunos da escola que fizeram a avaliação. Nota-se claramente uma relação positiva, o que é forte indício de elevada estratificação social no sistema educacional brasileiro.


A Figura 4, por sua vez, mostra a relação entre o desempenho médio da escola e a proporção de mães com Ensino Médio. A relação também se mostra positiva, embora não tão acentuada e clara como no caso da Figura 3.


Os Quadros 1, 2 e 3 abaixo mostram o ranking das 10 melhores escolas que se repetem no painel 1999-2003, sem controles para quaisquer características dos alunos, escolas, diretores, professores ou turmas.




No Quadro 1 pode-se perceber que há maior volatilidade nos resultados das escolas menores, com menos de 100 alunos matriculados na 4ª série. O comportamento é tão mais volátil quanto menor o tamanho da escola e menor o número de alunos avaliados pelo SAEB. O mesmo padrão se observa nos Quadros 2 e 3, que trazem os mesmos resultados das 10 primeiras escolas classificadas em 2001 e 2003, respectivamente.

Esses resultados mostram que nas escolas com menos de 50 alunos a variabilidade nos rankings de um ano para outro é muito elevada. Isso prejudica sensivelmente a utilização desses rankings como instrumento para informar a sociedade sobre a qualidade das escolas e premiar os professores com base nos resultados dos alunos.

4. Metodologia

Para aprofundar a análise de quanto as medidas usuais utilizadas para construção de rankings de escola espelham principalmente o status socioeconômico ou, por outro lado, implicam a volatilidade demasiada de um ano para outro (ambos efeitos indesejados, caso estes rankings sirvam de parâmetros para a tomada de decisão dos agentes), serão calculadas cinco medidas de desempenho com base nos exames do SAEB de Matemática para a 4ª série, seguindo-se a abordagem dada por Mizala et al. (2007). Quatro dessas medidas são obtidas após o ajuste de um modelo de regressão, como descrito no Quadro 4. A quinta medida é, para cada escola em um determinado ano, o acréscimo na média de notas SAEB /escola em relação ao ano anterior.


A primeira destas medidas é a mais simples, pois utiliza dados cross section das notas de alunos, e as escolas são ordenadas de acordo com suas médias. Esta medida aparece em praticamente todos os modelos de responsabilização. Num contexto de regressão, ela pode ser representada por uma constante específica da escola j, no modelo de regressão dado por:

Em (1) yij é a nota do aluno i na escola j, αj é o efeito da escola j e uij o erro idiossincrático. A Equação (1) pode ser escrita também na forma vetorial como

sendo y: vetor Nx1 das observações da nota de cada aluno de cada escola

N= n1+ n2+....+ n480

D: matriz Nx480 contendo 1-s e 0-s

u: vetor de erros aleatórios Nx1

α: vetor 480x1 de coeficientes de interceptos específicos de escolas.

Seja nota média dos alunos da escola j e y o vetor 480x1 destas médias para todas as escolas. A estimativa a de α é o vetor e espelha fortemente a composição do status socioeconômico dos alunos. Isto pode ser observado na Tabela 2 abaixo, em que foi realizada a regressão da nota média da escola em variáveis observáveis que capturam o status socioeconômico médio dos alunos que compõem a escola e suas famílias. Na ausência de informações sobre a renda das famílias, foram incluídas dummies para escolaridade da mãe e se o aluno tem ou não computador. Sendo a matriz 480x8 de médias por escola de 8 variáveis dummies que espelham o SSE dos alunos (sexo, educação da mãe com 6 níveis, e posse de computador pelo aluno), γ um vetor 8x1 e ν um vetor 480x8 de erros idiossincráticos, foi ajustado o seguinte modelo:

A Tabela 2 traz o R2 resultante da estimação por MQO do Modelo (2) para cada ano.

É possível observar que, mesmo na ausência da medida de renda da família, as variáveis disponíveis que espelham o status socioeconômico (SSE) dos alunos explicam entre 64% e 71% dos resultados do desempenho médio observado da escola. Portanto, o ranking que emerge de α no Modelo (1), tem a desvantagem de refletir majoritariamente o SSE dos alunos que compõem a escola e, por isso, de não captar adequadamente o "efeito escola", o que seria desejável para guiar as decisões dos elaboradores de políticas educacionais e famílias.

Uma segunda medida de desempenho das escolas é a obtida a partir do ajuste de uma regressão das notas SAEB dos indivíduos que leva em conta o efeito específico de escola e a influência de variáveis SSE individuais. Essa regressão pode ser expressa por:

Em (3) yij é a nota do aluno i na escola j, Δj é o intercepto específico da escola j Xij é um vetor linha 1xp com as características de SSE do aluno i na escola j, β é um vetor px1 e uij é o erro idiossincrático. Seja d o vetor 480x1 de estimativas dos interceptos específicos Δj de escolas no Modelo (3). O vetor d é a segunda medida que pode ser usada para fazer o ranking de escolas.

Para avaliar se a segunda medida difere muito da primeira, pode-se verificar se há ganho no R2 da regressão quando se acrescentam as variáveis de controle SSE ao modelo de regressão. Usando a mesma simbologia usada no Modelo (3), pode-se ajustar um modelo sem efeitos específicos de escolas dado por:

A Tabela 3 mostra os valores de R2 obtidos nos ajustes dos Modelos (1), (4) e (3), respectivamente.

Os resultados na Tabela 3 mostram que o Modelo (1), que tem apenas dummies de escola como regressoras, explica entre 30,99% e 47,04% das variações nas notas. No Modelo (4), observa-se que as características de SSE dos alunos explicam entre 18,77% e 24,20% da variação das notas. Comparando o Modelo (3) com o Modelo (1), observa-se que, uma vez controlada a regressão com dummies de escolas, as características de SSE adicionam muito pouca informação para a variação das notas (de 33,01% a 47,56%).

Isto indica que há uma forte correlação entre as estimativas (a e d) dos interceptos nas Equações (1) e (3), precisamente de 81,95% em 1999, 86,96% em 2001 e 99,90% em 2003, resultado que Mizala et al. (2007) também encontraram para o caso do Chile. Segundo esses autores, isto sugere que o sistema apresenta uma forte estratificação social, e que a escolha de onde se matricular já transmite muito das características de SSE observáveis do aluno e, possivelmente, também das características não observáveis que contribuem para o aprendizado.

A terceira medida é construída a partir dos resíduos que emergem da regressão da seguinte equação:

Em (5) yij é a nota do aluno i na escola j, α0 é um intercepto comum a todas as escolas, Xij é um vetor linha 1xp com as características de SSE do aluno i na escola j, β é um vetor px1 e νij é o erro idiossincrático.

Segundo Mizala et al. (2007), as escolas podem ser "rankeadas" de acordo com seu resíduo médio . Esta medida seria menos influenciada por características de SSE observáveis, uma vez que se faz o controle por elas em Xij. Por outro lado, espera-se que ela seja mais volátil, pois não contém mais o efeito-escola específico que, como mostra a comparação das regressões (1) e (3), capta muito bem a influência da escola.

A quarta medida de desempenho da escola j é o j-ésimo resíduo do seguinte modelo de regressão:

Em (6) é a nota média dos alunos da escola j, α0 é um intercepto comum, a matriz 1x8 de médias da escola j de 8 variáveis dummies que espelham o SSE dos alunos (sexo, educação da mãe com 6 níveis, e posse de computador pelo aluno), β é um vetor 8x1 e νj é o erro idiossincrático. Os resíduos ej resultantes do ajuste do Modelo (6) são utilizados para montar o ranking.

Por fim, a quinta e última medida analisada aqui é a que se obtém pela diferença no desempenho médio das escolas de um ano (t =0) para o ano seguinte (t =1). Esta é uma medida bastante utilizada para se tentar capturar o "valor adicionado" da escola.5 5 Para ser mais precisa, a mensuração correta do valor adicionado pela escola exige que se acompanhe o progresso de cada aluno ao longo dos anos. No Brasil, e também na maioria dos países em desenvolvimento, este tipo de informação ainda não está disponível. Levando-se em conta as notas médias nos testes por escolas e as características de SSE médias de seu corpo discente, esta medida pode ser representada pela diferença entre as Equações (7a) e (7b), dada em (7c)

Nas Equações (7a) a (7c), é a nota média dos alunos da escola j no tempo t, a é o efeito-escola específico da escola j e t = 0,1. Se a composição socioeconômica média da escola é estável no tempo, e é bastante razoável se esperar que o seja, a diferença entre (7a) e (7b) elimina a sua influência, bem como o efeito específico da escola que não varia no tempo. Por isso, a volatilidade que pode emergir do ranking com a medida dada por (7c) dependerá da diferença , muito influenciável por choques ocorridos em apenas um dado momento que podem ou não perdurar no tempo.

5. Resultados

Nos Quadros 5 e 6 estão os resultados esperados para o caso do ranking de escolas ter caráter completamente estável, caso de volatilidade esperada nula (coluna 1), ou ter o comportamento de uma loteria, caso de volatilidade esperada máxima (coluna 2).6 6 A loteria é simulada encarando-se cada julgamento de escola como um ensaio de Bernoulli independente dos demais ensaios, com M sendo o número de ensaios e 0,20 a probabilidade de sucesso. Assim, a probabilidade de K sucessos é dada pela Binomial (M= 3, P= 0,2): P (Número de sucessos = k) = M!/[ k! (M-k)!] 0,20 k(0,80) M-k, k=0,1,2...M. Estas duas situações extremas servem de parâmetro para se comparar a volatilidade dos rankings obtidos pelas cinco diferentes medidas acima apresentadas.



O comportamento do ranking que emerge das médias "puras" das notas por escolas na Equação (1) pode ser visto nos Quadros 5 e 6. Como exemplo, no Quadro 5, coluna 3, verifica-se que 72,08% das escolas nunca apareceram entre as 20% melhores, nos três anos analisados. Esta proporção é muito próxima do caso de "certeza", que seria de 80%, o que indica estabilidade na posição dessas escolas Por outro lado, 11% das escolas aparecem nos três anos, segundo esta medida, entre as 20% melhores. Esses dados mostram que esta medida gera rankings com caráter certo, o que é bastante desejável. Mas, como visto na discussão da Tabela 2, o ranking definido pelas médias puras reflete o status socioeconômico dos alunos. Como Mizala et al. (2007) encontraram para o caso do Chile, aqui o ranking é estável, mas reflete fundamentalmente o SSE.

Quanto à volatilidade do ranking com base em d que surge da Equação (3), a coluna 4 do Quadro 5 mostra que a distribuição que emerge deste tipo de medida é ainda mais estável do que o resultado apresentado pelas médias puras. Este resultado é esperado, uma vez que o que se está medindo é o efeito específico não observado da escola que, no contexto de uma regressão, não varia no tempo. Porém, mais uma vez, embora a estabilidade seja desejável, esta medida tem fundamentalmente como base o SSE dos alunos das escolas, como mostram as elevadas correlações entre d da Equação (3) e a da Equação (1) (ver seção 4).

A coluna 5 do Quadro 5 mostra que a distribuição da medida resultante do modelo de regressão da Equação (5) apresenta maior volatilidade que as demais vistas até aqui, e aproxima-se da distribuição de uma loteria.

A coluna 6 do Quadro 5 mostra a elevada volatilidade na distribuição que a medida resultante do modelo de regressão dado pela Equação (6) gera, apesar desta medida controlar bem pelo SSE e os efeitos específicos não observados das escolas.

Já o que se pode observar na coluna 9 do Quadro 5, com respeito à quinta medida obtida a partir da Equação (7c), é que a distribuição resultante da utilização das diferenças nas médias de notas de um ano para o outro apresenta um caráter bastante estável, o que é desejável, e ao mesmo tempo expurga de seus resultados os efeitos do SSE dos alunos.

Pode-se afirmar, portanto, que de todas as medidas aqui avaliadas, a medida dada por (7c) seria uma boa medida para servir de referência nas avaliações sobre a qualidade nas escolas, uma vez que controla os efeitos do SSE dos alunos e os efeitos específicos não observados das escolas e apresenta, ao mesmo tempo, estabilidade. Este resultado difere daquele encontrado em Mizala et al. (2007). Uma explicação, talvez, seja que aquele estudo contou com um período mais longo de observações (8 anos) e também com dados de natureza censitária de uma região específica do Chile. De acordo com os seus resultados, a distribuição do ranking com base nas diferenças se aproximava claramente ao de uma distribuição de loteria. No caso do Brasil, porém, dado que o SAEB é uma amostra representativa da população, o uso da diferença nas médias apresentou as características desejáveis para uma medida de qualidade das escolas: não é influenciada pelo SSE e variáveis escolas específicas não observadas, e também não apresenta no tempo uma volatilidade próxima à de um resultado de loteria.

6. Comentários Finais

Os resultados acima alertam para o cuidado que os agentes econômicos devem ter ao tomarem como base os rankings de escolas, construídos a partir de exames de avaliação educacional como o SAEB, para fazerem inferências sobre a qualidade nas escolas ou para o desenho de incentivos e sanções num contexto de "políticas de responsabilização".

A elevada estratificação do sistema, por um lado, e o processo de reversão para a média que tende a ocorrer nos resultados de um momento no tempo para o outro, geram ruídos nas medidas de desempenho utilizadas para a construção de rankings, de forma que estes possam apresentar resultados influenciados principalmente pelo status socioeconômico dos alunos ou uma volatilidade grande de um período de avaliação para o outro.

Das cinco medidas estudadas neste trabalho, apenas aquela que leva em conta a diferença nas médias (Equação 7c) resultou num ranking com as desejáveis características de não ser fortemente determinado pelo SSE dos alunos e pelas variáveis não observáveis das escolas e, ao mesmo tempo, apresentar baixa volatilidade.

No Brasil, como é crescente a preocupação com a qualidade do ensino público, e caminhamos para políticas nos moldes de "responsabilização", os resultados aqui encontrados são bastante importantes para serem levados em conta na definição de índices de desempenho e de metas a serem atingidas pelas escolas.

Referências

Chay, Kenneth Y., McEwan, P., Urquiola, M. The central role of noise in evaluating interventions that use test scores to rank schools. American Economic Review, v.4, n.95, p. 1237-1258, 2005.

Fernandes, Reynaldo. Índice de desenvolvimento da educação básica (IDEB). Texto para discussão n.26, 2007. Disponível em: <http://www.publicações.inep.gov.br >. Acesso em: 15/07/2008.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP. Nota técnica: índice de desenvolvimento da educação básica. Disponível em: <http://www.inep.gov.br>. Acesso em 15/07/2008.

Mcewan Patrick J., Urquiola, M, Vegas, E. School choice, stratification and information on school performance: lessons from Chile. Preliminary draft for presentation at the 16th Panel of Economic. Journal of LACEA, 2007.

Menezes-Filho, Naercio A., Soares, F. Definição de metas de desempenho para as escolas estaduais paulistas. Mimeo. 2008.

Mizala, Alejandra, Romaguera, P., Urquiola, M. Tradeoffs in the generation of school quality information. Journal of Development Economics. n. 84, p.61-75, 2007.

Recebido em 26 de abril de 2010.

Aceito em 24 de fevereiro de 2012.

Apêndice

  • Chay, Kenneth Y., McEwan, P., Urquiola, M. The central role of noise in evaluating interventions that use test scores to rank schools. American Economic Review, v.4, n.95, p. 1237-1258, 2005.
  • Fernandes, Reynaldo. Índice de desenvolvimento da educação básica (IDEB). Texto para discussão n.26, 2007. Disponível em: <http://www.publicações.inep.gov.br >. Acesso em: 15/07/2008.
  • Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP. Nota técnica: índice de desenvolvimento da educação básica. Disponível em: <http://www.inep.gov.br>. Acesso em 15/07/2008.
  • Mcewan Patrick J., Urquiola, M, Vegas, E. School choice, stratification and information on school performance: lessons from Chile. Preliminary draft for presentation at the 16th Panel of Economic. Journal of LACEA, 2007.
  • Menezes-Filho, Naercio A., Soares, F. Definição de metas de desempenho para as escolas estaduais paulistas Mimeo. 2008.
  • Mizala, Alejandra, Romaguera, P., Urquiola, M. Tradeoffs in the generation of school quality information. Journal of Development Economics. n. 84, p.61-75, 2007.
  • *
    A autora Ana Maria agradece o apoio financeiro do CNPq para a realização deste trabalho, que é parte de sua tese de doutorado.
  • 1
    Na
    Apêndice encontram-se as estatísticas descritivas das variáveis utilizadas nesta análise para a amostra do SAEB completa e para a subamostra de 480 escolas. A diferença entre as estatísticas descritivas das variáveis nos dois bancos de dados não é significativa, o que faz do painel de 480 uma amostra representativa da população de escolas do Brasil.
  • 2
    Em alguns anos não há informações sobre o número de matrículas de algumas escolas no Censo Escolar, provavelmente devido a erros na computação dos dados. Em 1999, 30,35% das escolas da amostra não têm dados sobre matrículas na 4ª série (matrículas são iguais à zero), em 2001 essa porcentagem é de 1,80%, e em 2003 é de 16,15%. No total, 12,68% da amostra de escolas, considerando-se os três anos, não apresentam dados sobre matrículas. Estas escolas, porém, foram mantidas na análise, uma vez que o número de matrículas não foi utilizado para a construção dos rankings.
  • 3
    Para o cálculo da diferença na proficiência, foram utilizados os dados apenas das 480 escolas que se repetem nos anos 1999, 2001 e 2003. Os gráficos das diferenças 2003-2001 e 2003-1999 não foram reportados por apresentarem padrão muito similar ao observado na
  • 4
    Ver, em especial, Chay
    et al.(
    Op cit, p. 1243).
  • 5
    Para ser mais precisa, a mensuração correta do valor adicionado pela escola exige que se acompanhe o progresso de cada aluno ao longo dos anos. No Brasil, e também na maioria dos países em desenvolvimento, este tipo de informação ainda não está disponível.
  • 6
    A loteria é simulada encarando-se cada julgamento de escola como um ensaio de Bernoulli independente dos demais ensaios, com M sendo o número de ensaios e 0,20 a probabilidade de sucesso. Assim, a probabilidade de K sucessos é dada pela Binomial (M= 3, P= 0,2): P (Número de sucessos = k) = M!/[ k! (M-k)!] 0,20
    k(0,80)
    M-k, k=0,1,2...M.
  • Datas de Publicação

    • Publicação nesta coleção
      29 Jun 2012
    • Data do Fascículo
      Jun 2012

    Histórico

    • Recebido
      26 Abr 2010
    • Aceito
      24 Fev 2012
    Departamento de Economia; Faculdade de Economia, Administração, Contabilidade e Atuária da Universidade de São Paulo (FEA-USP) Av. Prof. Luciano Gualberto, 908 - FEA 01 - Cid. Universitária, CEP: 05508-010 - São Paulo/SP - Brasil, Tel.: (55 11) 3091-5803/5947 - São Paulo - SP - Brazil
    E-mail: estudoseconomicos@usp.br