O diferencial de desempenho escolar entre escolas públicas e privadas no Brasil

Resumos

O estudo do diferencial de desempenho escolar entre escolas públicas e privadas é importante para a elaboração de políticas para melhoria da qualidade da educação. Este artigo apresenta uma análise desse diferencial no Brasil, aplican do uma metodologia de decomposição por quantis da distribuição condicional de notas. Os resultados indicam que o diferencial é favorável às escolas privadas em todos os quantis da distribuição, chegando a 1,5 erro padrão em torno do 60o percentil. Além disso, a análise contrafactual sugere que o desempenho das escolas privadas é relativamente pior na cauda inferior da distribuição de notas, uma vez que o desempenho contrafactual dos alunos mais fracos seria inferior ao das escolas públicas.

regressão quantílica; decomposição contrafactual; desempenho escolar; efeito de tratamento quantílico

Analysis of the public-private gap in educational attainment is important for the formulation of policies for improving education quality. This article presents an analysis of this differential in Brazil, using a decomposition method that reveals valuable information for each quantile of the conditional distribution of scores. Results indicate that private schools perform better at all quantiles of the distribution, and the gap is as large as 1.5 standard errors around the 60th percentile. Furthermore, the counterfactual analysis suggests that private schools perform relatively worse in the lower end of the score distribution; counterfactual scores for the weakest students would be below those observed in public schools.

quantile regression; counterfactual decomposition; educational performance; quantile treatment effects

1_Introdução

Desde a realização do primeiro exame de proficiência do Sistema de Avaliação da Educação Básica (SAEB) em 1995, vem surgindo grande número de estudos sobre os determinantes das notas médias de alunos. O principal objetivo desses estudos é identificar a contribuição de características observáveis de alunos, professores e escolas para a qualidade educacional. Em geral, seguem o padrão da literatura e definem o desempenho no exame de proficiência como proxy para qualidade do ensino e estimam uma função de produção escolar para analisar como os diversos insumos escolares contribuem para a produção de desempenho, como, por exemplo, Barbosa e Fernandez (2001), Menezes-Filho (2007) e Menezes-Filho e Ribeiro (2009).

Um aspecto importante que pode ser considerado a partir da função de produção escolar é a diferença de desempenho usualmente observada entre escolas públicas e privadas. Esse tipo de análise é interessante porque, se o setor privado alcança resultados superiores, mesmo após controlar por observáveis, é possível que existam outros fatores, tais como práticas educacionais ou arranjos administrativos, que determinem maior eficiência na produção de educação. Em outras palavras, se, mesmo controlando por insumos, o diferencial permanece, a função de produção (tecnologia) deve ser diferente.

O trabalho pioneiro sobre o diferencial público-privado de desempenho encontra-se em Coleman et al. (1981) para dados americanos, sendo esse conhecido como Relatório Coleman. Os resultados apresentados nesse relatório sugerem que as escolas privadas têm desempenho muito superior ao das escolas públicas, mesmo após controlar por características observáveis alunos e escolas.

Esses resultados produziram grande controvérsia e um volume considerável de estudos. Segundo Alexander e Pallas (1985) e Hanushek (1986), as principais críticas ao relatório Coleman são: má composição do controle (uso inadequado de controles individuais de alunos e características familiares), viés de variável omitida (não utilizar algumas variáveis de professores e escolas) e viés de especificação (considerar que o efeito de covariadas é análogo para os dois setores). Não menos importante, os autores não levaram em conta que o diferencial de notas pode simplesmente refletir o fato de que escolas particulares tendem a ter alunos já melhores inicialmente, o que pode indicar viés de seleção.

O esforço para corrigir as deficiências de Coleman et al. (1981) produziu resultados diversos, mas que não invalidam de maneira conclusiva as conclusões apresentadas inicialmente no Relatório Coleman. Para citar apenas um exemplo mais recente, Braun et al. (2006) identificaram que, após o controle por variáveis de grupos da escola (como nível socioeconômico médio da escola), conhecidas como peer group effects, o diferencial público/privado decresce, tornando-se irrisório para algumas séries e não significativo para outras.

Esses resultados evidenciando a superioridade tecnoló gica do setor privado na produção de educação têm implicações diretas para a formulação de políticas. O primeiro tipo de implicação é que, uma vez identificados, tais aspectos tecnológicos poderiam ser alvo de políticas para melhorar o desempenho das escolas públicas. O segundo tipo de implicação é que, com a constatação da superioridade do setor privado, se pode justificar a implementação de políticas de cupons, em que o governo oferece recursos para que as famílias transfiram suas crianças para escolas privadas.

Friedman (1955), por exemplo, argumenta que as famílias deveriam receber cupons do governo que permitissem mandar alguns de seus filhos para escolas particulares em vez das públicas. O argumento de Friedman a favor desse tipo de política é que a escola privada era mais efetiva e eficiente¹ que a pública e que a maior competição entre os setores e a aleatorização dos alunos entre escolas, induzida pela política, faria com que o setor público se aproximasse dos padrões do setor privado, gerando melhoria geral na qualidade educacional da nação, a menores custos.

Ainda que menos frequentes na literatura, há trabalhos sugerindo que o setor privado tem desempenho melhor também no Brasil. O primeiro parece ser Lockheed e Bruns (1990), que apresenta resultados indicando que o diferencial de notas entre os setores é positivo a favor do ensino privado, ainda que seja reduzido ao controlar por variáveis agregadas das escolas. Um exemplo mais recente é Albernaz et al. (2002), que também apresenta evidências de que há melhor qualidade educacional nas escolas privadas, mesmo após incluir todas as covariadas de alunos e escolas na análise.

De maneira geral, os estudos sobre o diferencial público-privado no Brasil concentram a atenção na média das notas. Apesar de a comparação entre médias ser fundamental para caracterizar o fato estilizado geral, esse foco pode encobrir diferenças interessantes ao longo da distribuição de notas. Por exemplo, é possível que o diferencial seja nulo, ou mesmo o inverso, nos extremos da distribuição de notas. Por esse motivo, análises baseadas em regressões quantílicas podem ser interessantes, na medida em que possibilitam caracterizar de maneira mais completa a distribuição condicional de notas.

Há diversas aplicações da abordagem quantílica do diferencial público-privado na literatura. Para o caso brasileiro, por exemplo, Belluzzo et al. (2005) analisam o diferencial de salários entre os setores público e privado. Utilizando a mesma metodologia de Belluzzo et al. (2005), Oliveira et al. (2009) avaliam os diferencial de desempenho educacional entre alunos de escolas públicas e privadas.

Os resultados apresentados em Oliveira et al. (2009) ilustram a importância da abordagem. Segundo esses autores, há evidências de maior efetividade do setor privado em todos os quantis da distribuição de notas. Além disso, como esperado, o diferencial de notas a favor do setor privado diminui após controlar por variáveis agregadas da escola. O resultado, porém, realmente interessante é que a análise contrafactual sugere que os piores alunos das escolas públicas apresentariam desempenho ainda pior caso estivessem em escolas particulares, ao passo que, entre os melhores alunos, o resultado se inverte.

A principal limitação em Oliveira et al. (2009) é que a abordagem utilizada não permite a construção de intervalos de confiança. Este artigo contribui com a literatura sobre o diferencial de desempenho público-privado no ensino por complementar a investigação de Oliveira et al. (2009), utilizando a metodologia de Melly (2006). A principal justificativa para utilizar essa metodologia é que ela permite construir intervalos de confiança e realizar inferência estatística. Além disso, neste trabalho, é introduzida uma variável construída de forma similar ao Critério Brasil, da Associação Brasileira de Empresas de Pesquisa - ABEP (2005) para controlar o nível socioeconômico dos alunos e a utilização de covariadas relativas ao grupo de alunos da escola (peer group effects) presentes em outros trabalhos realizados para o Brasil.

2_Revisão da literatura

A principal dificuldade para mensurar o diferencial de desempenho entre escolas públicas e privadas é que pode haver viés de seleção, já que os pais que escolhem escolas privadas podem ser diferentes com relação a características não observáveis. Idealmente, do ponto de vista de avaliação, esse problema seria contornado por meio da realização de um experimento, em que a distribuição dos alunos entre escolas públicas e privadas é randomizada. Em vista da dificuldade óbvia em realizar esse tipo de experimento, é preciso utilizar métodos de avaliação para estudos observacionais.

Os métodos de avaliação para estudos observacionais dependem sempre da imposição de hipóteses de identificação. Uma primeira abordagem é utilizar uma variável instrumental que, ao satisfazer certas condições, possibilite identificar o efeito de interesse. A dificuldade, nesse caso, é encontrar uma variável que satisfaça essas condições, ou seja, correlacionada à escolha do tipo de escola e ortogonal a qualquer variável não observável relacionada com desempenho escolar. Essa dificuldade em obter bons instrumentos para essas abordagens é particularmente importante, já que o viés produzido por instrumentos fracos pode ser significativamente maior que o viés de seleção que procuramos eliminar.

No caso específico dos EUA, por exemplo, há diversos estudos que utilizam a religião do aluno como instrumento, dado que, historicamente, a maioria das escolas privadas é católica. É difícil, porém, garantir que tal instrumento não seja correlacionado com não observáveis relacionadas ao desempenho escolar dos estudantes. Por exemplo, se famílias católicas são em geral mais duras na exigência de notas melhores, então a religião deixa de ser um bom instrumento.

Caso exista uma variável para a qual é razoável assumir ortogonalidade com não observáveis, é possível estimar o diferencial mediante o procedimento em dois estágios de Heckman, como em Cox e Jimenez (1991) e Stevans e Sessions (2000). Outra abordagem baseada em instrumentos para estimar o diferencial público-privado é o modelo para o Efeito de Tratamento Local proposto por Imbens e Angrist (1994). Neste caso, considera-se o impacto de uma política de cupons que leva alguns alunos que normalmente escolheriam a escola pública a optar por uma escola privada (compliers). Então, os instrumentos são utilizados em conjunto com uma hipótese de monotonicidade² para a identificação do diferencial de notas apenas para aquele subconjunto dos alunos.

Uma alternativa à utilização de instrumentos é impor uma hipótese de identificação como a de Seleção em Observadas, na qual se controla o possível viés de seleção por meio de variáveis observáveis que determinam se o aluno vai ou não para a escola privada.

Entre as abordagens para a mensuração do diferencial público-privado baseadas na hipótese de Seleção em Observadas, pelo menos três se destacam. Primeiro, há as abordagens baseadas na decomposição de Oaxaca-Blinder, em que são estimadas funções de produção escolares através de modelos de regressão, e o diferencial total é decomposto numa parcela atribuída a diferenças entre as distribuições das variáveis em cada setor e outra atribuída a diferenças entre os coeficientes das funções de produção.

Outra abordagem encontrada na literatura é utilizar o método chamado propensity score. Esse método consiste basicamente numa aplicação de Mínimos Quadrados Ponderados, utilizando como peso a probabilidade de o indivíduo receber o tratamento condicional às características observáveis (propensity score).

O procedimento atribui pesos diferenciados para os estudantes do controle, de acordo com as características e as probabilidades de frequentar uma escola privada. A metodologia é duplamente robusta e tem a vantagem de conduzir a um ganho adicional de robustez devido à remoção do efeito direto das variáveis omitidas (regressão) e ao reduzir a correlação entre as variáveis omitidas e incluídas (reponderação) (França; Gonçalves, 2010, p. 378).

Um exemplo de aplicação do propensity score para o diferencial público-privado de desempenho escolar no Brasil é França e Gonçalves (2010). Utilizando dados do SAEB (2003) para a quarta série do ensino fundamental, esses autores estimam que as notas do setor privado são em média maiores que as do setor público em aproximadamente 0,9 desvio padrão. Além disso, em vista dos resultados que indicam a contribuição do salário dos professores para o diferencial, França e Gonçalves (2010, p. 388)argumentam que "políticas de premiação de resultado na esfera pública poderiam trazer ganhos para a qualidade de ensino desta rede".

Outra abordagem é a utilização de modelos hierárquicos lineares (MHL). Nesse tipo de modelo, considera-se que o desempenho escolar é determinado em níveis hierárquicos, considerando explicitamente a variação entre os alunos de cada escola e a variação entre escolas. Segundo Albernaz et al. (2002), levar essa estrutura de estimação em conta pode induzir a resultados diferentes com relação aos modelos de regressão usuais, uma vez que, ao considerar todas as variáveis (agregadas e individuais) em um só nível, há subestimação do efeito das variáveis agregadas.

Os Modelos Hierárquicos também têm sido utilizados para analisar o diferencial escolar público-privado no Brasil. Lockheed e Bruns (1990) e Albernaz et al. (2002), por exemplo, avaliam o diferencial escolar no Brasil. Nesses dois trabalhos, fica evidenciada a melhor qualidade educacional das escolas privadas, mesmo após incluir todas as covariadas de alunos e escolas na análise. Além disso, ambos destacam que as variáveis intraescolares respondem pela maior variação do desempenho. Somers et al. (2004) avaliam o diferencial em diversos países latino-americanos, inclusive no Brasil. De maneira geral, os resultados obtidos por esses autores encontram um diferencial favorável ao setor privado, ainda que, após controlar por diversos fatores, incluindo peer group effects, no segundo nível, o efeito marginal da escola privada torna-se não significativo em alguns países, como no Brasil.

Por fim, há os trabalhos que utilizam modelos de regressão usuais para dados em corte transversal ou dados em painel, incluindo variáveis de controle para contornar o problema de identificação. Nesse sentido, os modelos para dados em painel são interessantes visto que, além de permitir controlar pela "qualidade" anterior do aluno por meio da inclusão de variáveis defasadas, possibilita eliminar o efeito de quaisquer não observáveis relacionadas ao desempenho escolar e fixas entre períodos. Exemplos dessas abordagens são Grogger e Neal (2000), para dados americanos, e Willians e Carpenter (1991), para dados australianos. Nos dois casos, apresentam-se evidências de melhor desempenho no setor privado.

3_Metodologia

Conforme discutido anteriormente, um das questões centrais para a definição de uma metodologia adequada que analise o diferencial público-privado do desempenho escolar é a possível endogeneidade da variável indicando a escolha do tipo de escola. Em linhas gerais, ainda que várias abordagens de estimação tenham sido propostas na literatura, resta a dificuldade em obter variáveis instrumentais para sua aplicação. Na ausência de instrumentos, a discussão relevante refere-se à adequação de hipóteses alternativas de identificação, como a de Seleção em Observáveis.

No contexto em questão, a hipótese de seleção em observáveis implica que as características que determinam a escolha entre escola pública ou privada são observáveis. Como não é possível testar essa hipótese, ela sempre pode ser contestada em termos de argumentos plausíveis. Nos Estados Unidos, por exemplo, o fato de a maioria das escolas privadas ser católica favorece o argumento de que a escolha esteja relacionada a aspectos não observáveis relacionados à religião.

No caso específico do Brasil, acreditamos ser plausível argumentar que o nível socioeconômico é o principal determinante da escolha entre escolas pública e privada. Ainda que pais com o mesmo nível socioeconômico podem diferir com relação a outras características não observáveis relacionadas ao desempenho escolar, a opção por escolas privadas pode ser determinada independentemente dessas características. O principal argumento de que esse seria o caso é que a percepção geral de deficiência do ensino público no Brasil faz com que as famílias tendam a optar pela escola privada quando estão em condições de arcar com o custo associado, tal como sugere Curi e Menezes-Filho (2010).

Segundo Curi e Menezes-Filho (2010), ainda que famílias com renda mais baixa gastem em média 10% de sua renda com mensalidades escolares no ensino fundamental e médio, apenas 3,5% dos alunos do ensino particular podem ser classificados como pertencentes a famílias de baixa renda. Além disso, os pais que optam por escolas privadas têm maior escolaridade relativamente às famílias de baixa renda em geral. Desse modo, parece razoável assumir que renda e escolaridade, em conjunto, determinam a opção pela escola privada.

Dada a hipótese de seleção em observáveis, resta apresentar a metodologia a ser utilizada. Para facilitar a exposição, é conveniente começar com a avaliação de efeitos de tratamento na média, tal como encontramos em Melly (2006). O contexto geral desse tipo de análise envolve avaliar o efeito de um tratamento binário T sobre uma variável resultado Y, com base numa amostra de n unidades, indexadas por i, com n1 unidades no grupo de tratamento e n0 no grupo de controle.

Seguindo notação padrão na literatura, definimos o efeito de tratamento em termos de resultados potenciais. Seja T _i = 0, se a unidade i não recebe o tratamento (aluno de escola privada) e pertence ao grupo de controle, e T _i = 1, se a unidade i recebe o tratamento (aluno de escola pública). Então, para cada unidade i, há dois resultados potenciais, Y_i(1) quando ela recebe o tratamento, e Y_i(0) quando essa mesma unidade não recebe o tratamento, e definimos o efeito de tratamento médio na população como a diferença entre as esperanças desses dois resultados potenciais, ou seja,

Alternativamente, condicionando essas esperanças a T = 1, definimos o chamado Efeito do Tratamento para Tratados,

Claramente, a dificuldade para estimar esses efeitos de tratamento é que os resultados potenciais são observados apenas parcialmente, já que observamos cada unidade i apenas em um dos grupos, isto é, Y_i = (1-T_i) Y_i(0)+ T_iY_i(1). Em razão dessa restrição observacional, é necessário impor hipóteses que permitam identificar os efeitos de tratamento. No caso de seleção em observadas, assumimos que Y(0),Y(1)||T / X. Essa hipótese, conhecida como "unconfoundness", implica que

de modo que o efeito de tratamento pode ser estimado diretamente através de modelos de regressão.

Especificamente, assumindo que as esperanças condicionais são lineares em X, a média contrafactual E[Y(0)|T=1,X] pode ser estimada consistentemente por Y contra X, obtido por mínimos quadrados usando somente unidades do grupo de controle. Utilizando a decomposição de Oaxaca-Blinder, podemos escrever a diferença de médias entre tratados e controle como e é o vetor de coeficientes da regressão de em que

Assim, vemos que o primeiro termo do lado direito da equação (3) é um estimador do Efeito de Tratamento sobre Tratados (ATT) definido em (2).

O Efeito de Tratamento Quantílico é definido de maneira análoga, substituindo-se as esperanças em (1) e (2) por quantis. Ainda seguindo Melly (2006), representando a distribuição de Y por F _Y(.) para qualquer 0 < θ < 1, podemos escrever o θ-ésimo quantil de Y como

Dessa forma, representando os quantis das distribuições de resultados potenciais por e os quantis das distribuições contrafactuais por o Efeito de Tratamento Quantílico para o θ-ésimo quantil pode ser definido como

e o Efeito de Tratatamento Quantílico para Tratados como

Ainda que esse paralelo entre o efeito de tratamento médio e o efeito de tratamento quantílico seja conveniente, é importante destacar que a interpretação em cada um desses casos é diferente. Essa diferença tem origem no fato de que, ao contrário do que acontece com a esperança, o quantil da diferença em geral não é igual à diferença entre quantis. Dessa maneira, o efeito identificado corresponde apenas à diferença entre quantis das distribuições contrafactuais.

O método proposto por Melly (2006) consiste em definir estimadores para a função q(θ) e obter sua distribuição assintótica, de modo que seja possível definir uma decomposição análoga a (3), isto é

A abordagem proposta por Melly (2006) é estimar a função q(θ) a partir de sequências de regressões quantílicas (Koenker e Basset, 1978), para os grupos de tratamento e controle. Como esse conjunto de regressões quantílicas oferece caracterização completa das distribuições condicionais em X e os efeitos de tratamento são definidos em termos de distribuições marginais, Melly (2006) propõe utilizar as regressões quantílicas para construir estimadores das distribuições condicionais, que podem ser integradas a fim de eliminar X.

Assumindo que os quantis condicionais de Y(t) são lineares em Koenker e Basset (1978) são satisfeitas, podemos escrever a distribuição condicional dos resultados potenciais como e as condições usuais para os modelos de regressão quantílica definidas em

que pode ser estimada consistentemente por

para uma sequência de quantis J entre 0 e 1. Integrando (8) sobre domínio das covariadas, obtemos um estimador da distribuição não condicional,

Por fim, substituindo (9) em (4), chegamos ao estimador proposto por Melly (2006):

Tal como demonstrado por Melly (2006), o estimador em (10) é consistente e assintoticamente normal, de modo que podemos construir intervalos de confiança e realizar testes de hipótese para os efeitos de tratamento definidos em (5) e (6).

Outro contrafactual de interesse é a contribuição individual de cada covariada para explicar o diferencial de notas. Esse tipo de análise não pode ser realizado diretamente através do método de Melly (2006). Entretanto, seguindo um procedimento análogo ao de Machado e Mata (2005), podemos construir uma distribuição contrafactual em que apenas uma covariada em X1 tem distribuição igual aquela das escolas particulares.

Utilizando o caso da média para facilitar a exposição, o objetivo é obter j no grupo T = t. Logo, um diferencial negativo indicaria que, tudo o mais constante, os alunos de escolas públicas teriam em média notas melhores caso tivessem a covariada x k igual à dos alunos da rede privada. Seguindo a ideia de Machado e Matta (2005), obtemos esse diferencial da seguinte maneira: particiona-se a variável em questão (no caso, são observações da variável é um vetor de covariadas em que ) em m classes; para cada classe, selecionamos aleatoriamente e com reposição n alunos de escola públicas com valores dentro de cada classe, assim teremos uma distribuição com m*n alunos, em que somente uma covariada é similar à do grupo de alunos de escolas particulares; por fim, utilizam-se coeficientes das regressões quantílicas para simular a distribuição contrafactual de interesse.

4_Base de dados e análise descritiva

Neste trabalho, utilizou-se a base de dados do SAEB de 2005. Segundo o INEP e o MEC, o SAEB é uma prova de matemática e língua portuguesa não obrigatória e feita para a quarta e a oitava séries do ensino fundamental, além da terceira série do ensino médio. A amostra é determinada por sorteio para escolas públicas (redes municipais e estaduais) e privadas. A utilização dessa base específica justifica-se principalmente pelo fato de ser a base mais recente com a inclusão de escolas privadas, já que essas escolas não participam da Prova Brasil, que substituiu o SAEB.

Para simplificar a exposição, apresentamos apenas a análise para as notas de matemática, para a oitava série do ensino fundamental. A base de dados final tem 13.394 alunos, sendo 6.674 para escolas privadas e 6.720 para escolas públicas. As covariadas foram retiradas dos questionários respondidos por alunos, professores e diretores. Consideramos inicialmente o conjunto de variáveis explicativas presentes em Albernaz et al. (2002) e Oliveira et al. (2009), selecionando-se aquelas que se mostraram significantes em regressões auxiliares para escolas públicas e privadas.

Além dessas covariadas definidas com base nos questionários do SAEB, foi criada uma variável para representar o nível socioeconômico de cada aluno, calculado de forma similar ao Critério Brasil, da Associação Brasileira de Empresas de Pesquisa - ABEP (2005). Ainda que não seja significante nas regressões auxiliares, essa variável foi incluída, uma vez que, conforme discutido anteriormente, assumimos que o nível socioeconômico é o principal fator na escolha entre escolas públicas e privadas. O nível socioeconômico médio por escola foi calculado com base em todas as séries e provas, e atribuído a todos os alunos da escola.

As definições e a análise descritiva das covariadas são apresentadas na Tabela 1. Percebe-se, de maneira geral, que as escolas particulares possuem mais características usualmente associadas à produção de qualidade educacional. As únicas características em que as escolas públicas têm vantagem com relação às privadas são a proporção de professores com mais de 5 anos de experiência e a proporção de professores que fez pós-graduação.

Um ponto que chama a atenção é a diferença na proporção de alunos reprovados uma ou duas vezes. A proporção de repetentes nas escolas públicas é o dobro daquela observada nas escolas privadas. Obviamente, esse dado não permite inferir se a taxa de retenção mais alta nas escolas públicas deve-se a características específicas dessas escolas ou se deve a características não observáveis mais comuns entre alunos de escola pública. Mais importante, talvez, é que também não é possível derivar qualquer tipo de relação causal entre a taxa de retenção e a de desempenho escolar a partir da inclusão dessa variável no modelo. A inclusão dessa variável no modelo serve basicamente para controlar, de certa maneira, quaisquer fatores não observáveis relacionados ao desempenho.

Com relação à distribuição de notas nos setores público e privado, nota-se que há um deslocamento à direita das escolas privadas em relação às públicas. Em outras palavras, a distribuição marginal das notas sugere melhor desempenho das escolas particulares. Esse deslocamento fica claro no Gráfico 1 , em que estão representadas estimativas das densidades associadas à cada uma das distribuições e nas estatísticas descritivas apresentadas nas Tabelas 2 e 3.

Gráfico 1
Densidade de notas das escolas públicas e privadas Fonte: Elaboração própria com base em microdados do SAEB 2005.

Tabela 1
Descrição e análise descritiva das covariadas

Variáveis	Descrição	Rede	Rede
		Privada	Pública
Nível socioeconômico do aluno	Escala de 1 a 8	5,36	3,72
Gênero masculino	Dummy	0,49	0,47
Reprovado uma ou duas vezes	Dummy	0,15	0,35
Cor branca ou amarela	Dummy	0,59	0,41
Escolaridade da mãe
4 e 8 anos	Dummy	0,10	0,41
8 e 11 anos	Dummy	0,30	0,26
11 e 15 anos	Dummy	0,53	0,11
Escolaridade do pai
4 e 8 anos	Dummy	0,11	0,27
8 e 11 anos	Dummy	0,28	0,22
11 e 15 anos	Dummy	0,49	0,09
Escolaridade média da mãe	Anos de estudo	10,95	6,78
dos alunos na sala
Professor fez pós-graduação	Dummy	0,50	0,54
Professor tem mais de 5 anos	Dummy	0,81	0,83
de experiência
Nível socioeconômico médio	Escala de 1 a 8	5,37	3,74
da escola
Escola é arejada	Dummy	0,94	0,82
Escola tem mais que 10	Dummy	0,74	0,49
computadores
Escola tem fotocopiadora	Dummy	0,93	0,58
Escola sofre com insuficiência	Dummy	0,46	0,75
de recursos financeiros

• Fonte: Elaboração própria com base em microdados do SAEB 2005.

Tabela 2
Análise descritiva das notas

	Pública		Privada
Média	240,20		294,30
Desvio padrão	45,95		51,04
25o percentil	208,30		260,30
Mediana	238,00		297,90
75o percentil	270,50		330,80

• Fonte: Elaboração própria com microdados do SAEB 2005.

Tabela 3
Desvios padrão entre quartis de notas Y

Base de dados\quartis		Y<q1		q1<Y<q2		q2<Y<q3		Y>q4
Total		21,31		10,15		12,09		28,03
Pública		19,31		8,28		9,05		25,61
Privada		28,63		11,54		10,20		20,62

• Fonte: Elaboração própria com microdados do SAEB 2005.

A Tabela 2 apresenta medidas de posição e variabilidade observadas em cada setor e reflete numericamente o que está representado visualmente no Gráfico 1. A Tabela 3, por outro lado, procura ilustrar como a variabilidade muda ao longo da distribuição de notas através dos desvios padrões entre quartis de distribuição de notas, considerando três conjuntos de alunos: todos os alunos, os de escolas públicas e os de escolas privadas.

Percebe-se que, considerando toda base de dados ou somente os alunos de escolas públicas ou particulares, os quartis centrais têm menor variabilidade do que os extremos, indicando que alunos de qualidade mediana são mais similares do que os alunos de qualidade extremas. Na comparação entre setores, porém, há maior variabilidade no quartil superior de notas de alunos de escolas públicas. Os alunos de escolas particulares têm maior variabilidade de notas nos menores quartis de notas. Isso indica que, nas escolas públicas, os piores alunos são mais próximos em qualidade entre si, e os melhores alunos, mais distintos, o que pode indicar que as escolas públicas não são eficientes em gerar qualidade educacional para melhores alunos. Com as escolas particulares, o inverso ocorre, demonstrando que os piores alunos são mais distintos entre si, e os melhores alunos, mais próximos.

5_Resultados

5.1_Coeficientes das regressões quantílicas

O primeiro passo para implementar a decomposição proposta por Melly (2006) é estimar uma família de Jregressões quantílicas e coletar os coeficientes. Uma vez que os coeficientes dessas regressões quantílicas são, na verdade, apenas resultados intermediários, que serão utilizados apenas para calcular os estimadores definidos a partir das equações (8) a (10), apresentamos a seguir apenas um sumário visual das estimativas estatisticamente significantes.

O Gráfico 2 apresenta os coeficientes estimados para cada variável, em cada quantil. Cada painel do referido gráfico corresponde a uma covariada, com o correspondente às escolas públicas na coluna da esquerda e o correspondente às escolas privadas na coluna da direita. Em cada um deles, os coeficientes estimados estão indicados por pontos sobre a linha cheia. A área sombreada em torno dessa linha representa os intervalos de confiança de 95%. A linha horizontal cheia representa a estimativa de mínimos quadrados para essa mesma covariada, e as linhas horizontais tracejadas os limites do intervalo de confiança correspondente. Nos casos em que há reversão de sinal, há uma linha horizontal em zero.

Gráfico 2
Coeficientes das escolas públicas e privadas Fonte: Elaboração própria com base em microdados do SAEB 2005.

O primeiro ponto a chamar a atenção no Gráfico 2 é que, com exceção da variável "Gênero masculino" nos modelos para escolas públicas, os coeficientes estimados através de regressões quantílicas são bastante similares àqueles estimados por mínimos quadrados. Note que a maior parte dos pontos está dentro do intervalo de confiança das estimativas de mínimos quadrados, ou há sobreposição dos intervalos de confiança. Isso significa que os efeitos ao longo da distribuição podem ser aproximados pelos efeitos na média, especialmente nos casos em que não há um padrão bem definido ao longo dos quantis.

Com relação às características pessoais dos alunos, constatamos que os alunos do gênero masculino têm notas maiores em matemática do que as mulheres. A contribuição do gênero é claramente crescente à medida que vamos da cauda inferior da distribuição para a cauda superior. Isso indica que o diferencial dos meninos em matemática aumenta à medida que as notas aumentam. Notamos também que alunos brancos ou amarelos tendem a ter notas melhores que os demais, e o efeito é ligeiramente maior para as escolas públicas, especialmente nos quantis superiores.

O fato de o aluno ter sido reprovado tem impacto negativo em todos os quantis da distribuição de notas, tanto nas escolas públicas quanto nas privadas. Entretanto, chama a atenção que o impacto tem magnitude significativamente maior para escolas particulares. Além disso, enquanto para as públicas o efeito é relativamente constante ao longo dos quantis, verificamos que há um padrão em forma de U para as privadas, com efeito relativamente constante do 15^o ao 70^oquantil e efeitos maiores nas caudas da distribuição. Esses resultados significam que o desempenho relativo (a seus colegas sem reprovação) dos alunos reprovados é pior nas escolas privadas que nas escolas públicas.

A escolaridade dos pais tende a afetar positivamente a nota dos alunos nas duas redes, mas o efeito é de maior magnitude para escola privadas. É interessante notar que, para as escolas públicas, quanto maior o quantil, maior o efeito de a mãe ter mais de 11 anos de estudos, ao passo que, para o setor privado, o efeito é relativamente constante.

A "escolaridade média das mães por turma" tende a gerar qualidade educacional, com ligeira superioridade para o setor privado, tal como observado por Oliveira et al. (2009). Isso sugere que o efeito peer group é relevante na geração de qualidade educacional.

Com relação às variáveis escolares, o fato de o professor ter pós-graduação é mais efetivo para escolas públicas, e a experiência do professor é importante somente para o setor privado; assim, uma política de maior escolaridade dos professores da rede pública tenderia a aumentar as notas dos alunos em sua rede.

O nível socioeconômico médio da escola tem maior impacto sobre os resultados das escolas particulares. Assim, tudo mais constante, a transferência de alunos de baixo nível socioeconômico para as escolas particulares graças a uma política de cupons teria impacto total líquido negativo, uma vez que o ganho no setor público seria mais que compensado pela perda no setor privado. O número de computadores é importante para gerar maior qualidade de educação para alunos de escolas públicas. Já a falta de recursos financeiros afeta mais as notas das escolas privadas.

5.2_Decomposição e análise contrafactual

O Gráfico 3 ilustra os resultados obtidos através da decomposição definida pela substituição do estimador (10) na equação (7). O Gráfico 3 a apresenta o efeito de tratamento quantílico total, QTE, para cada quantil da distribuição de notas, enquanto os outros dois gráficos apresentam a decomposição desse efeito em partes atribuíveis a diferenças nos coeficientes (efeito de tratamento sobre tratados, QTT) e a diferenças nas covariadas. Em todos estes gráficos, as estimativas estão representadas pela linha cheia, e os respectivos intervalos de 95%, pelas linhas sombreadas.

Gráfico 3
Decomposição do Diferencial de Desempenho Fonte: Elaboração própria com base em microdados do SAEB 2005

Os resultados são similares aos vistos em Oliveira et al. (2009), mas agora com os intervalos de confiança correspondentes. Em todos os quantis, vemos que o QTE é negativo, sugerindo que o setor privado é mais eficiente na geração de qualidade educacional. É interessante notar que a curva de diferencial tem formato de U, com o maior diferencial mais ao centro da distribuição, próximo ao 60o percentil, em que a diferença é pouco menos de 1,5 desvio padrão. Isso significa que a vantagem de estudar em escolas particulares é menos importante para os alunos nas caudas da distribuição, especialmente na cauda inferior.

O efeito dos coeficientes (diferencial entre as funções quantílicas de alunos de escolas públicas e os do contrafactual) é positivo até o centro da distribuição, invertendo o sinal próximo à mediana. O efeito desse exercício contrafactual sobre as distribuições de notas é apresentado no Gráfico 4. A linha pontilhada mostra a distribuição contrafactual de notas que seria observada se os alunos das escolas privadas tivessem as mesmas características dos alunos das escolas públicas.

Gráfico 4
Distribuição contrafactual de notas Fonte: Elaboração própria com base em microdados do SAEB 2005.

É importante destacar que a interpretação dos resultados obtidos nesse exercício contrafactual deve ser considerada com cuidado em vista das limitações impostas por sua construção. Em particular, ao utilizar a função de produção estimada para as escolas privadas a fim de avaliar qual seriam as notas dos alunos das escolas públicas, estamos assumindo implicitamente que tudo permanece constante, exceto pela distribuição de covariadas. Em outras palavras, isso quer dizer não apenas que a única diferença entre escolas públicas e privadas é capturada pelos coeficientes, mas que esses coeficientes não se alteram em resposta a mudança na distribuição de covariadas. De qualquer forma, ainda que naturalmente limitado, o exercício é interessante na medida em que destaca aspectos relevantes do diferencial público-privado.

O principal desses aspectos é o efeito diferenciado que o tipo de escola tem ao longo da distribuição. Especificamente, os resultados sugerem que os piores alunos das escolas públicas estariam piores nas escolas privadas, enquanto os melhores alunos estariam melhores. Desse modo, se as escolas públicas tivessem a mesma função de produção que as privadas (ou as escolas privadas tivessem os alunos da pública), a variabilidade das notas seria maior. Além disso, tal como destacado por Oliveira et al. (2009), os retornos às características dos alunos da rede pública parecem ser decrescentes em relação ao desempenho. Nesse contexto, a questão que se coloca é se o resultado médio da escola pública deve-se a uma possível focalização nos alunos que tendem a ter menor desempenho.

Quanto aos efeitos das covariadas, assim como ocorre para o QTE, são todos negativos e menores nas caudas da distribuição. Neste caso, porém, o maior efeito está em torno do 20^o percentil, a partir do qual há uma tendência de redução aproximadamente linear até o 90^o percentil. Isso explica por que os piores alunos nas escolas públicas têm notas piores a despeito de serem favorecidos pela diferença nos coeficientes.

5.3_Efeito individual das covariadas

Nota-se, na seção anterior, que grande parte do diferencial entre os alunos das duas redes pode ser atribuída às suas características. Para identificar a contribuição individual de cada uma das covariadas, utilizamos o procedimento baseado em simulações, descrito no final da Seção 3. Os resultados obtidos são apresentados graficamente no Gráfico 5, apenas para as variáveis com efeitos significativos.

Gráfico 5
Efeitos individuais das covariadas Fonte: Elaboração própria com base em microdados do SAEB 2005.

Os fatores mais importantes foram o "nível socioeconômico do aluno", a "média de educação das mães" e o "nível socioeconômico médio das escolas". Os dois últimos refletem efeitos de peer group, evidenciando a importância deles nesse diferencial de notas. Note que, tanto para a "média de educação das mães" como para o "nível socioeconômico médio das escolas", os efeitos para os piores alunos seriam menores, sugerindo que os peer group effects não geram efeitos a esses alunos. Algo parecido é evidenciado para o "nível socioeconômico do aluno".

6_Conclusões

O estudo do diferencial de desempenho escolar entre escolas públicas e privadas usualmente identificado na literatura é importante para a elaboração de políticas para a melhoria da qualidade da educação. Este artigo contribui com a literatura sobre esse diferencial no Brasil por meio da aplicação do método de decomposição de Melly (2006), que permite estimar os efeitos de tratamento em cada quantil da distribuição de notas obtidas no SAEB e os respectivos intervalos de confiança, além de permitir a construção de distribuições contrafactuais.

A estratégia de identificação utilizada, ante a possível endogeneidade da escolha da escola, é a imposição da hipótese de seleção em observáveis. O principal argumento apresentado para justificar essa hipótese é que, no caso brasileiro, a escolha entre escola pública e privada é determinada basicamente em função da condição socioeconômica da família.

Os resultados obtidos confirmam o fato estilizado geral encontrado na literatura, indicando que o diferencial é favorável às escolas privadas, ainda que esse efeito seja diminuído quando controlamos por peer effects. A análise desse diferencial ao longo da distribuição revela que as escolas privadas tem melhor desempenho em todos os quantis, e a maior diferença ocorre em torno do centro da distribuição, no qual o desempenho das escolas privadas é aproximadamente 1,5 erro padrão melhor que o das escolas públicas. Esses resultados estão em linha com aqueles apresentados por Oliveira et al. (2009), complementando-os com a estimação dos desvios padrão correspondentes.

A análise contrafactual sugere que os alunos de escolas públicas que têm desempenho na cauda inferior da distribuição de notas teriam desempenho pior caso estivessem em escolas privadas. Para os alunos na cauda superior, a análise contrafactual sugere que o efeito se inverte, ou seja, esses alunos teriam desempenho melhor se estivessem em escolas particulares.

Ainda que a análise contrafactual tenha limitações óbvias, que vão desde questões quanto à adequação da hipótese de seleção em observáveis até a discussão sobre a validade desse tipo de exercício, a evidência oferecida neste artigo tem implicações importantes para a formulação de políticas. Por exemplo, se todas as escolas públicas fossem transformadas em privadas, segundo esses resultados, e tudo mais constante, teríamos uma distribuição de notas menos igualitária e com maior dispersão. Esse caso hipotético extremo revela que políticas de cupom que permitam trocar a escola pública pela escola privada podem produzir efeitos indesejáveis na distribuição de notas.

Essa discussão sobre a importância de considerar os efeitos de políticas sobre toda a distribuição de resultados destaca a relevância dos métodos utilizados como um complemento à análise dos efeitos médios. Em particular, parece aconselhável que esses métodos sejam considerados em pesquisa futura, procurando identificar os determinantes desse diferencial e os mecanismos por intermédio dos quais eles produzem maior ou menor eficiência ao longo da distribuição.

Referências bibliográficas

• ABEP. Critério Brasil, 2005. Disponível em: <http://www.abep.org/new/criterioBrasil.aspx >. Acesso em: 11/09/2014.
  » http://www.abep.org/new/criterioBrasil.aspx
• ALBERNAZ, A.; FERREIRA, F.; FRANCO, C. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, v. 32, n. 3, p. 453-476, 2002.
• ALEXANDER, K. L.; PALLAS, A. M. School sector and cognitive performance: When is a little a little? Sociology of Education, v. 58, n. 2, p. 115-128, 1985.
• BARBOSA, M., FERNANDES, C. A escola brasileira faz diferença?: Uma investigação dos efeitos da escola na proficiência em matemática dos alunos da quarta série. In: FRANCO, C. (Ed.). Promoção, ciclos e avaliação na educação. Porto Alegre: ArtMed, 2001.
• BELLUZZO, W.; ANUATTI-NETO, F.; PAZELLO, E.T. Distribuição de salários e o diferencial público-privado no Brasil. Revista Brasileira de Economia, v. 59, n. 4, 2005.
• BRAUN, H.; JENKINS, F.; GRIGG, W. Comparing private schools and public schools using Hierarchical Linear Modeling. U.S. Department of Education, National Center for Education Statistics, Institute of Education Sciences, Washington, D.C., 2006.
• COLEMAN, J. S.; HOFFER, T.; KILGORE, S. Public and private schools. Report to the National Center for Education Statistics. National Opinion Research Center, Chicago 1981.
• COX, D.; JIMENEZ, E. The relative effectiveness of private and public schools: Evidence from two developing countries. Journal of Development Economics, v. 34, n. 1, p. 99-121, 1991.
• CURI, A.; MENEZES-FILHO, N.A. Determinantes dos gastos com educação no Brasil. Pesquisa e Planejamento Econômico, v. 40, p. 1-39, 2010.
• FRANÇA, M. T. A.; GONÇALVES, F. O. Provisão pública e privada de educação fundamental: Diferenças de qualidade medidas por meio de propensity score. Economia Aplicada, v. 14, n. 4, p. 373-390, 2010.
• FRIEDMAN, M. The role of Government in Education. In: SOLOW, R.A. (Ed.). Economics and the public interest. New Brunswick, N. J.: Rutgers University Press, 1955. p. 123-144.
• GROGGER, J.; NEAL, D. Further evidence on the effects of catholic secondary schooling. Brookings-Wharton Papers on Urban Affairs, p. 151-193, 2000. Disponível em: <http://www.jstor.org/discover/10.2307/25067376?uid=2&uid=4&sid=21104679058843>. Acesso em: 11/09/2014.
  » http://www.jstor.org/discover/10.2307/25067376?uid=2&uid=4&sid=21104679058843
• HANUSHEK, E. The economics of schooling: Production and efficiency in public schools. Journal of Economic Literature, v. 24, p. 1141-1177, 1986.
• IMBENS, G.; ANGRIST, J. Identification and estimation of local average treatment effects. Econometrica, v. 62, p. 467-475, 1994.
• KOENKER, R.; BASSET, G. Regression quantiles. Econometrica, v. 46, n. 1, 1978.
• LOCKHEED, M. E.; BRUNS, B. School effects on achievement in secondary Mathematics and Portuguese in Brazil. Washington, D.C.: WPS 525, World Bank, 1990. Disponível em: < http://213.154.74.164/invenio/record/17740/files/lockheed.pdf >. Acesso em: 11/09/2014.
  » http://213.154.74.164/invenio/record/17740/files/lockheed.pdf
• MACHADO, J. A. F., MATA, J. Conterfactual decomposition of changes in wage distribution using quantile regression. Journal of Applied Econometrics, v. 20, n. 4, p. 445-465, 2005.
• MCMAHON, W. W. Efficiency and equity criteria for educational budgeting and finance. In: MCMAHON, W. W.; GESKE, T. G. (EE.). Financing education: Overcoming inefficiency and inequality. Urbana: University of Illinois Press, 1982. p. 1-30.
• MELLY, B. Estimation of conterfactual distribution using quantile regressions. Doctoral Dissertation, University of St. Gallen, 2006.
• MENEZES-FILHO, N. Os determinantes do desempenho escolar do Brasil. São Paulo: Instituto Futuro Brasil, 2007.
• MENEZES-FILHO, N.; RIBEIRO, F.P. Os determinantes da melhoria do rendimento escolar. In: GIAMBIAGI, F.; HENRIQUES, R.; PESSÔA, S.; VELOSO, F. (Org.). Educação Básica no Brasil. Rio de Janeiro: Elsevier, 2009. p. 171-188.
• OLIVEIRA, P. R.; BELLUZZO, W.; PAZELLO, E. T. Public-private sector differentials in Brazilian education: A counterfactual decomposition approach. In: ENCONTRO BRASILEIRO DE ECONOMETRIA, 31., 2009, Foz do Iguaçu. Anais... Foz do Iguaçu, 2009.
• SOMERS, M. A.; MCEWAN, P. J.; WILLMS, J.D. How effective are private schools in Latin America? Comparative Education Review, v. 48, n. 1, p. 48-69, 2004.
• STEVANS, L.; SESSIONS, D. N. Private/public school choice and student performance revisited. Education Economics, v. 8, n. 2, 2000.
• WILLIANS, T.; CARPENTER, P. Private schooling and public achievement in Australia. International Journal of Educational Research, v. 15, n. 5, p. 411-431, 1991.

• Os autores gostariam de agradecer ao Observatório da Educação USP FEA-RP/ Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) pelo apoio financeiro e aos Professores Alex Luiz Ferreira, Alexandre Chibebe Nicolella, Daniel Domingues dos Santos, Luiz Guilherme Dácar da Silva Scorzafave e Regina Carla Madalozzo pelas valiosas discussões e sugestões no decorrer do trabalho.
• 1
  Cabe notar que na literatura do diferencial público/privado, a noção de efetividade é diferente da de eficiência. Segundo McMahon (1982), a eficiência pode ser dividida em duas definições: a eficiência técnica, relacionada a melhor utilização de recursos escassos, e a eficiência preço, relativa a menores custos.
• 2
  O efeito do instrumento na decisão de participar do tratamento é igual para todos os indivíduos.

Datas de Publicação

• Publicação nesta coleção
  May-Aug 2014

Histórico

• Recebido
  Abr 2012
• Aceito
  Fev 2013