Uma análise do efeito do programa bolsa família sobre o desempenho médio das escolas brasileiras

Resumos

O objetivo deste artigo é avaliar o efeito de um aumento na proporção de alunos beneficiados pelo Programa Bolsa Família nas escolas sobre o desempenho médio das mesmas. Utilizando dados do Censo Escolar de 2008, da pesquisa de Acompanhamento da Freqüência Escolar dos beneficiários do Programa Bolsa Família de 2008 e da Prova Brasil 2009, este artigo procura relacionar o desempenho médio por escola dos alunos de 4ª série observado em 2009 com a proporção de alunos participantes do programa Bolsa Família em 2008. Os resultados encontrados sugerem que um aumento na proporção de alunos beneficiados reduz, em média, a taxa de abandono. Entretanto, as evidências para a taxa de aprovação e exames de proficiência não foram estatisticamente robustas.

Educação; Programa Bolsa Família; Desempenho escolar

ARTIGOS

Uma análise do efeito do programa bolsa família sobre o desempenho médio das escolas brasileiras

Pedro Cavalcanti Camargo^I; Elaine Toldo Pazello^II

^IFEA-RP/USP. E-mail: [e-mail]

^IIDepartamento de Economia —FEA-RP/USP. E-mail: [e-mail]

RESUMO

O objetivo deste artigo é avaliar o efeito de um aumento na proporção de alunos beneficiados pelo Programa Bolsa Família nas escolas sobre o desempenho médio das mesmas. Utilizando dados do Censo Escolar de 2008, da pesquisa de Acompanhamento da Freqüência Escolar dos beneficiários do Programa Bolsa Família de 2008 e da Prova Brasil 2009, este artigo procura relacionar o desempenho médio por escola dos alunos de 4^a série observado em 2009 com a proporção de alunos participantes do programa Bolsa Família em 2008. Os resultados encontrados sugerem que um aumento na proporção de alunos beneficiados reduz, em média, a taxa de abandono. Entretanto, as evidências para a taxa de aprovação e exames de proficiência não foram estatisticamente robustas.

Palavras-chave: Educação; Programa Bolsa Família; Desempenho escolar.

ABSTRACT

This text aims to evaluate the effect of an increase in the percentage of students treated by the Programa Bolsa Família in each school on the average performance of that same school. Using data from Censo Escolar 2008, "Freqüência Escolar dos beneficiários do Programa Bolsa Família" for 2008 and Prova Brasil 2009 this paper seeks to relate the average performance of each school in 2009 with the proportion of 4th grade students participating on the program on 2008. The results suggest that an increase in the percentage of students treated by the program, on average, reduces the abandon rate. However, the evidences on promote rate and proficiency tests not are statistically robust.

Keywords: Education; Programa Bolsa Família; School performance.

JEL classification: I20,I38.

1 Introdução

Este artigo busca avaliar o impacto do PBF (Programa Bolsa Família) sobre indicadores educacionais das escolas brasileiras. Ativo desde 2004, o PBF (Programa Bolsa Família) concede benefícios para famílias em situação de pobreza ou pobreza extrema¹ compostas de crianças de 0 a 17 anos² ou gestantes. O benefício concedido varia de acordo com a composição familiar e a situação socioeconômica do domicílio.³ Como contrapartida ao recebimento do benefício financeiro, o PBF vincula o recebimento da renda do programa ao cumprimento de algumas condições por tipo de composição domiciliar. Especificamente para as crianças em idade escolar, foco do artigo, exige-se que estas estejam matriculadas e que tenham frequência mínima na escola de 85% do ano letivo.

O principal objetivo do PBF é atenuar a pobreza de curto-prazo, contribuindo, desta forma, para a redução da desigualdade da renda corrente.⁴ Vários estudos têm apresentado evidências empíricas de que o programa tem sido bem sucedido em seu foco principal. Soares et al. (2006), Tavares et al. (2009), Paes de Barros et al. (2006), Rocha (2005) e Ferreira et al. (2006) são exemplos de estudos que destacam a importância deste tipo de política na redução da pobreza e da desigualdade de renda no país. O PBF, em função de suas condicionalidades, também pode ter impacto sobre outras variáveis. Resende & Oliveira (2008) avaliam o impacto do prgrama sobre a qualidade do consumo alimentar; Tavares (2008) e Ferro et al. (2009), por outro lado, investigam os efeitos da participação no programa sobre as decisões de oferta de trabalho das famílias.

Com relação aos impactos do programa sobre indicadores educacionais, tema deste artigo, há também resultados interessantes. De Janvry et al. (2007), utilizando dados de 261 municípios situados em 5 estados nordestinos, coletados junto às secretarias destes municípios, estimam que a participação no programa⁵ reduziu a taxa de abandono escolar em 7.8 pontos percentuais assim como elevou a taxa de reprovação em 0.8 pontos percentuais. Os autores argumentam que esse último resultado pode ser explicado pelo fato do benefício do programa ajudar a manter na escola um indivíduo com menor capacidade acadêmica ou com pouco interesse nos estudos e que, não fosse o benefício do programa, abandonaria a escola. Para obter estes resultados, o artigo utiliza regressões em painel por município com dados entre 1999 e 2003, comparando alunos elegíveis ao recebimento do programa com alunos que efetivamente recebem o benefício.

Em um artigo mais recente, Glewwe & Kassouf (2010) estimaram o impacto do PBF sobre o total de matrículas do ensino fundamental e sobre as taxas de abandono e aprovação através de dados do Censo Escolar de 1998 até 2005. Entre esses anos, o Censo Escolar continha um item, incluído no questionário respondido pela escola, com a seguinte pergunta: "algum aluno desta escola participa do PBF?" com as alternativas "sim" ou "não". Desta forma, através do Censo Escolar destes anos não era possível identificar quais e quantos alunos eram beneficiados pelo programa em cada escola, de maneira que era possível saber somente se pelo menos um aluno da escola recebia o benefício. Utilizando regressões por escola, os autores mostram que escolas com pelo menos um aluno participante do programa tiveram um aumento médio de 6% nas matrículas, uma redução de aproximadamente 5 pontos percentuais da taxa de abandono e um aumento de 0.9 pontos percentuais na taxa de aprovação dos alunos da 1^a a 4^a série e de 0.3 pontos percentuais para os alunos da 5^a a 8^a série.

Neste mesmo contexto, Pellegrina (2011) avalia o impacto do PBF sobre o desempenho escolar e a matrícula dos alunos do estado de São Paulo. Utilizando as notas do SARESP de 2007 e 2009, além das notas de boletins escolares neste mesmo período (coletadas junto a Secretaria da Educação do Estado de São Paulo, que também forneceu a informação de recebimento do auxílio do programa por parte dos alunos), o autor estimou os possíveis impactos do programa sobre diferentes variáveis associadas à educação, todas ao nível de indivíduo. Através de diferentes métodos de matching e com o uso de diferenças-em-diferenças, o autor encontrou que o programa tem efeito sobre as variáveis que estão diretamente atreladas às condições impostas pelo PBF ao recebimento, entretanto não tem efeito sobre as variáveis de desempenho escolar. O autor encontrou evidências de que a participação no PBF reduz o abandono e aumenta a freqüência escolar, entretanto parece não haver efeito sobre as notas em exames padronizados e sobre as notas do boletim escolar.

Este artigo busca contribuir nesta linha ao avaliar o impacto do PBF sobre o desempenho escolar médio das escolas, utilizando escolas do Brasil inteiro. Em um primeiro momento, espera-se que o programa impacte de maneira positiva o desempenho escolar dos alunos, fundamentalmente por dois motivos: primeiro, o próprio programa impõe através de suas condicionalidades que os alunos beneficiados tenham presença mínima de 85% nas aulas, superior ao exigido para o restante dos alunos (em geral, as escolas exigem presença mínima de 75% nas aulas) e, portanto, se frequência às aulas facilita o aprendizado, espera-se que esta exigência contribua para o aumento do desempenho escolar. Em segundo lugar, pelo efeito do aumento de renda, que indiretamente afeta de forma positiva o desempenho escolar. Os canais pelos quais a renda familiar afeta o desempenho escolar são muitos, por exemplo, através da melhora do status nutricional das crianças (Resende & Oliveira 2008). Assim, o PBF deve impactar de forma positiva o desempenho dos alunos individualmente, resultado este que pode ser diferente do ponto de vista agregado. Isto é, como argumentam De Janvry et al. (2007), há a possibilidade de que indivíduos desinteressados ou com menor capacidade acadêmica se mantenham matriculados na escola, estimulados somente pelo benefício do programa, o que deve reduzir o desempenho médio das escolas com um número maior de alunos participantes do programa.

2 Metodologia

2.1 Bases de dados utilizadas

Um dos destaques deste artigo é o uso da informação individual do recebimento do PBF obtida a partir do Cadastro de Acompanhamento da Frequência Escolar dos Beneficiários do PBF, coletados pela SECAD/MEC e MDS. Esses dados de beneficiários do BF - disponibilizados para o ano de 2008 - foram combinados com o Censo Escolar também de 2008. O pareamento dos dois bancos de dados foi feito em parceria pelas equipes do MEC (SECAD e INEP) e MDS com base em diversas informações dos alunos como o próprio nome do beneficiário, o número de Identificação Social (NIS), data de nascimento, entre outras variáveis. Nem todos os alunos presentes no Cadastro de Acompanhamento do PBF foram 'encontrados' no Censo Escolar, no entanto, para o presente artigo todos os alunos que aparecem no Censo Escolar, mas não aparecem no Cadastro de Acompanhamento, foram definidos como não beneficiários do PBF. Isso significa que alunos beneficiários podem ter sido erroneamente classificados como não beneficiários, podendo levar a uma su-bestimação do impacto do programa. Além desses dois conjuntos de dados, utiliza-se também a Prova Brasil de 2009 para avaliar o desempenho escolar dos indivíduos. A junção dos dados da Prova Brasil com esses outros dois conjuntos de dados, no entanto, é feita pelo código da escola, ou seja, não foi possível parear ao nível do aluno os dados 'censo escolar + acompanhamento do Programa Bolsa Família' com os dados de rendimento da Prova Brasil, visto que nos microdados da Prova Brasil não estão disponibilizadas as informações que permitam o pareamento por aluno (como por exemplo, o nome do aluno).

Como dito anteriormente, o cruzamento dos dados do Censo Escolar e Cadastro de Acompanhamento do Programa Bolsa Família foi disponibilizado para o ano de 2008, ano em que a Prova Brasil não foi realizada. Dessa forma, optou-se por utilizar desse banco de dados as informações da "provável" 4a série de 2009, ou seja, os alunos da 3a série em 2008 que foram aprovados e os alunos da 4a série de 2008 que foram reprovados, para explicar o desempenho dos alunos da 4a série contido na Prova Brasil 2009. Apesar de não utilizar rigorosamente os mesmos alunos, visto que alguns alunos podem ter evadido, outros podem ter voltado a frequentar escola e outros, ainda, podem ter trocado de escola, é pouco provável que tenha ocorrido alguma mudança tão abrupta na transição desses alunos entre os anos. Assim, será feita uma hipótese de que as escolas não se alteram de um ano para o outro, e que os alunos que estavam na 3a série em 2008 serão os mesmos analisados na 4a série de 2009, ou de uma forma menos restritiva, os alunos não precisam ser os mesmos, mas suas características sim.

Resumidamente, serão informações dos alunos da 3a série de 2008 para avaliar o impacto da participação no PBF nesse ano sobre as taxas médias de aprovação e de abandono das escolas em 2009 assim como sobre a proficiência média das escolas na Prova Brasil para os alunos da 4a série desse mesmo ano, assumindo que a composição dos alunos nas escolas se manterá semelhante entre 2008 e 2009. A Tabela 1 apresenta as características médias dos alunos, separando por janelas de escolas, ou seja, as escolas são separadas em quatro grupos: as que têm menos de 25% de alunos assistidos pelo PBF, as que têm entre 25% e 50% dos seus alunos participantes do programa, as que têm entre 50% e 75% e, finalmente, escolas com a proporção de alunos beneficiados maior que 75%.

Os resultados aqui reportados mostram que a proporção de alunos beneficiários na escola está negativamente correlacionada com a proficiência dos alunos, tanto em matemática quanto em português, de forma que na medida em que a proporção de alunos beneficiados nas escolas aumenta, a média da nota nos exames de proficiência se reduz. De forma análoga, escolas com porcentagem de beneficiários maior, em média, têm taxa de aprovação menor e taxa de abandono maior. Outro ponto interessante é que escolas com proporção maior de beneficiados têm, na média, infraestrutura pior, são escolas menores, têm uma proporção menor de mães com maior grau de escolaridade e há uma chance bem maior de a escola se localizar em zona rural.

2.2 Exercício Principal

Sejam a aprovação, o abandono e as notas nos exames de matemática e português os resultados de interesse do aluno i da 4^a série do Ensino Fundamental que estuda na escola s, todos denotados por Y_is. Seguindo Summers & Wolfe (1977), o desempenho escolar dos alunos pode ser descrito como função das características da escola a qual o aluno atende ⁶; das características familiares do aluno; e, das características da comunidade que frequenta a mesma escola. Dessa forma, admita que Y_isseja uma função linear da probabilidade do aluno participar do PBF (P_is), que, por sua vez, é função das características socioeconômicas e familiares do aluno bem como do lugar onde vive (C_is), e de uma variável binária b_isque é igual a 'um' quando o indivíduo efetivamente recebe o benefício do programa e 'zero' caso contrário. O conjunto de variáveis da escola que também afetam Y_is será incorporado mais à frente. Assim, admita que Y_is seja dado pelo seguinte processo.

onde ε_is é o termo de erro aleatório.

Com base na equação 1, considere o resultado para o aluno que não recebeu o benefício do programa e o resultado para o aluno que recebeu. Se fosse possível observar o mesmo indivíduo na situação em que ele fosse tratado simultaneamente à situação em que ele não fosse tratado, a subtração geraria o efeito do programa para esse indivíduo, e a média desses efeitos para todos os indivíduos geraria o ATE (efeito médio do tratamento). Contudo, é impossível observar o mesmo indivíduo nas duas situações: ou ele recebe ou ele não recebe. Assim, faz-se necessário comparar resultados de alunos distintos. Caso a probabilidade de o aluno participar do programa fosse conhecida, seria possível observar alunos com a mesma probabilidade de ser beneficiário do PBF recebendo e não recebendo (ou seja, admitindo que houvesse algum erro de focalização), e a comparação do resultado entre esses alunos geraria uma boa estimativa do efeito do tratamento.

Entretanto, a probabilidade de participar do PBF não é conhecida. Assim, é necessário obter uma estimativa para essa probabilidade ⁷. Admita que a probabilidade de participar do PBF possa ser descrita por uma função não linear das características dos alunos, C_is . O vetor C_is inclui, como dito anteriormente, características socioeconómicas, uma vez que a participação no PBF depende primordialmente da renda familiar per capita, bem como de características relativas ao local de residência das famílias beneficiadas (tendo em vista que o desenho do programa prioriza municípios mais pobres). Assim sendo, uma estimativa desta probabilidade seria dada por:

assumindo que f (.) tem distribuição logística, de forma que a equação (2) possa ser estimada por um modelo logit.

Nesse ponto, se faz necessário assumir que as estimativas de obtidas pela equação 2 sejam suficientemente precisas, ou seja, essa probabilidade está considerando características observáveis suficientes para que a seguinte condição seja atendida:

Em outras palavras, a condição dada por 3 significa que dadas as características do indivíduo, condensadas em uma probabilidade, a designação ao tratamento é aleatória, não correlacionada com os resultados potenciais de Y. Além disso, é necessário também assumir que:

que significa que na amostra utilizada existem alunos semelhantes tratados e não tratados suficientes para que o efeito do programa seja obtido, condição esta que é comumente chamada na literatura de avaliação de políticas públicas de suporte comum. Dadas as condições 3 e 4, podemos estimar a equação 1 por meio de:

onde denota as estimativas obtidas na estimação de 2, de maneira que o efeito do PBF seja dado pelo parâmetro . Devido à indisponibilidade dos dados a respeito do resultado por aluno, é possível, sem perda de generalidade do modelo, utilizar uma regressão por escola. Assim, utilizando as mesmas hipóteses, pode-se alternativamente estimar a seguinte equação:

onde , N_s é o número de alunos na escola s e denota o termo de erro. Devido às alterações nas variáveis da equação oriundas da transformação de 5 para 6, tanto os coeficientes, quanto as próprias variáveis têm seu significado alterado. Isto é, passa a denotar o resultado médio para a escola, a probabilidade média de um aluno dessa escola participar do PBF e b_s^*a proporção efetiva de alunos que recebem o tratamento. Quanto aos coeficientes, é importante ressaltar que agora denota o efeito marginal de um aumento na proporção de alunos participantes do programa sobre o desempenho médio da escola. Se atendidas as hipóteses de identificação 3 e 4, as estimativas obtidas por OLS de 6 serão consistentes.

Resumidamente, o presente artigo fará uma estimação em dois estágios, sendo o primeiro a estimação da probabilidade de os alunos receberem o benefício do programa dada pela equação 2 por meio de um logit, e o segundo, dadas essas probabilidades, a estimação por OLS da equação por escola dada por 6, assumindo as hipóteses de que, dadas as características dos alunos, a atribuição ao tratamento é aleatória, e de que, para cada aluno tratado, tenha um aluno não tratado com probabilidade de receber o tratamento semelhante.

Note que a estimação do resultado de interesse, tanto por aluno, quanto por escola não utiliza características da escola na obtenção do parâmetro de interesse. Apesar de apresentarem causalidade com o desempenho escolar, como mencionado no início desta seção, as características físicas das escolas foram excluídas do modelo propositalmente em um primeiro momento com o intuito de testar a robustez do modelo. Observe que na equação 1, assim como em suas transformações subsequentes 5 e 6, as características da escola são englobadas no erro da equação, uma vez que estas determinam parte do desempenho escolar dos alunos.

No entanto, espera-se que as características da escola, condicional à probabilidade média de um aluno da escola ser beneficiário do PBF, não estejam correlacionadas com o fato de os alunos receberem ou não o auxílio do programa.

Isto é, espera-se que para escolas com alunos de mesmas características socioe-conômicas (denotadas por ), o fato de uma escola ter mais alunos tratados do que outra não esteja correlacionado com as características dessas escolas. Assim, tem-se que a condição possa ser garantida em 6, tornando as estimativas de OLS para consistentes.

Considere agora que as características da escola, denotadas por S_s para a escola s, sejam incluídas na equação 6:

Dessa maneira, o objetivo de estimar 6 e 7 em dois exercícios separados é verificar se há alteração na magnitude do coeficiente estimado pelas duas equações e, por consequência, observar se a condição está sendo suprida em 6. Caso se observe alguma discrepância significativa em nos dois modelos, pode-se constatar que as estimativas de OLS para obtidas por meio de 6 são inconsistentes devido a um problema de viés de variável omitida. Isso significa que as estimativas obtidas pela equação 2 não foram suficientemente precisas, de forma que alguma característica que não foi computada na estimação de , que está correlacionada com o recebimento do benefício do programa, foi incorporada pelo termo de erro ξ, resultando em . Assim, a inclusão de variáveis referentes à escola deve, por alguma forma, capturar parte desse efeito ignorado pelas estimativas obtidas em 2, o que pode alterar significativamente , tornando sua estimativa viciada.

Para exemplificar a situação descrita acima, imagine que a escolaridade das mães dos alunos, variável que captura tanto a renda como o background da família, não fosse incluída na estimação da probabilidade do aluno receber o benefício do PBF. Nesse caso, essa variável seria incorporada no termo de erro ξ_s já que não foi incorporada em e ela está claramente correlacionada com o desempenho escolar. Note que por ser bastante correlacionada com a renda familiar, a escolaridade das mães provavelmente determina a participação ou não no programa. Assim, por ser relacionada com b_s^*, a ausência da variável escolaridade das mães na estimação de , levaria a . Nessa situação, ocorre que, ao incluir as características da escola na equação de interesse, uma parte do efeito da variável de escolaridade das mães deve passar a ser captado pelos coeficientes associados às características das escolas, alterando dessa forma o coeficiente associado ao recebimento do benefício, confirmando seu viés.

3 Resultados

3.1 Estimação da probabilidade do aluno receber o tratamento

A seguir são apresentados os resultados obtidos para as estimações das probabilidades individuais de receber assistência do PBF como função das características do aluno. A estimação, feita por meio de um modelo logit, utiliza como variáveis independentes o sexo, a etnia, se o aluno mora em zona rural, a UF que ele reside, se ele utiliza transporte público, o tamanho do município onde reside⁸, a proporção de famílias com renda per capita inferior à R$120,00⁹ no município e a escolaridade média das mães das escolas onde os alunos estudam (utilizando cluster de escola). Como antecipado na seção anterior, a participação no programa depende basicamente da renda e da localização geográfica da família e, devido à indisponibilidade da informação sobre a renda familiar dos alunos, a estimação da probabilidade dependerá das variáveis mencionadas acima já que estas devem capturar grande parte do efeito da renda assim como o efeito geográfico. A Tabela 2 apresenta o resultado destas estimações:

Os resultados reportados na Tabela 2 são bastante intuitivos, isto é, os coeficientes apresentam seus sinais esperados. Por meio dessas estimativas foi atribuída uma probabilidade de cada indivíduo da amostra receber o benefício do programa, dadas suas características pessoais, como antecipado na metodologia. Com a finalidade de investigar a capacidade preditiva do modelo, a seguir na Tabela 3, comparam-se as previsões de recebimento do benefício do programa (se a probabilidade predita de recebimento foi maior que a média da população brasileira, 0,25, consideramos que o aluno era beneficiário do Bolsa Família) versus o recebimento efetivo do programa.

A Tabela 3 apresenta algumas características interessantes a respeito das probabilidades estimadas. Observa-se que do total de alunos que efetivamente não recebem o BF, o programa previu corretamente 52% dos casos; com relação aos alunos que efetivamente recebem, o modelo previu corretamente 78% dos casos; de forma geral, a taxa de acertos do modelo é de 59%. É interessante observar também como estas varáveis se comportam quando são agregadas por escola, ou seja, observar a proporção de beneficiados por escola e a proporção estimada de alunos participantes por escola uma vez que o presente artigo utilizará regressões por escola, como indicado anteriormente. A correlação entre ambas as variáveis é de 0,77, mostrando que, de certa forma, a proporção de alunos beneficiados estimada por meio do logit não se distancia muito da real proporção de alunos beneficiados por escola.

3.2 Estimação do efeito marginal de um aumento da proporção de alunos participantes do PBF

A seguir são apresentadas as estimações relativas ao efeito de um aumento na proporção de alunos tratados nas escolas sobre o desempenho médio dessas. A Tabela 4 apresenta os resultados das estimações de um modelo simples, onde foi regredida apenas a proporção de tratados contra o resultado de interesse, do modelo descrito pela equação 6 e, em sequência, o modelo mais geral apresentado pela equação 7 da seção de metodologia.

As estimativas expostas na Tabela 4 mostram que um aumento no número de alunos beneficiados pelo PBF, em média, reduz a taxa de aprovação da escola, assim como a taxa de abandono e as notas médias nos exames de proficiência. Além disso, é importante notar que o coeficiente da variável de interesse é significativo em todos os modelos, mostrando indícios de uma possível relação negativa entre o desempenho e a proporção de alunos tratados em uma escola. Os coeficientes apresentados na segunda coluna da Tabela 4, referentes ao modelo 6, mostram que, na média, um aumento na proporção de alunos beneficiados pelo PBF (aumento de 1 ponto percentual (p.p.) nesta proporção - por exemplo, passar de 10% para 11 %) reduz em 0,24 ponto a média das notas dos exames de proficiência, em 0,048 p.p. a taxa de aprovação da escola e em 0,008 p.p. a taxa de abandono. De outra forma, caso a proporção de alunos de uma escola passe de 0 para 100%, espera-se que sua taxa de aprovação caia 4,8 p.p., o abandono 0,8 p.p. e sua nota em 24 pontos nos exames de proficiência. Nesse ponto, é importante ressaltar que os resultados encontrados para as taxas de aprovação e abandono são bastante condizentes com o que fora encontrado na literatura até então.

Na terceira coluna da Tabela são apresentados os resultados para o modelo 7, estimado com o objetivo de se avaliar a existência de um possível viés de variável omitida. A ideia aqui é comparar os coeficientes associados à variável proporção de alunos tratados nas escolas resultantes dos modelos 6 e 7; como antecipado, a divergência entre tais coeficientes significa uma forte evidência de que o coeficiente φ do modelo 6 sofra de alguma forma de viés. Entretanto, não é isso que se observa ao comparar a magnitude dos coeficientes estimados a partir de 6 para os estimados por 7. Dessa forma, a inclusão das variáveis referentes à escola que, como discutido na metodologia, não devem ser correlacionadas com a participação no programa quando condicional a , alteram somente o coeficiente relacionado à . Portanto, a exclusão das variáveis da escola nos modelos 6 não enviesou o coeficiente de interesse e, assim, a alteração somente no coeficiente relativo à , mostra que a condição , necessária para que o coeficiente de interesse em 6 seja consistente, é atendida. Em suma, há indícios de que a probabilidade de participar do tratamento foi bem estimada e assim, a participação no PBF independe da escola onde o aluno estuda como desejado.

3.3 Testes de robustez

Para testar a robustez das estimativas, foram realizados outros dois testes. Os resultados estão apresentados no apêndice do artigo. O primeiro teste consistiu em aplicar a metodologia utilizada anteriormente em uma base "placebo", isto é, em uma base de dados com data anterior à existência do programa, nesse caso o ano de 2001, onde o PBF não existia. A ideia desse teste é verificar se o coeficiente relacionado à proporção de alunos beneficiários é estatisticamente significativo no modelo, ou seja, identificar a existência ou não de diferenças entre escolas com mais ou menos alunos beneficiados pelo programa em 2008, mesmo antes do programa existir. Como bancos complementares, foram utilizados o Censo Escolar 2001 e o SAEB 2001.

De acordo com os resultados encontrados (Tabela A.1), observa-se que antes da existência do PBF, escolas que viriam a receber mais ou menos alunos de famílias beneficiadas pelo programa tinham taxa de aprovação e de abandono semelhantes. Dessa forma, a diferença observada nessas taxas em 2009 seria realmente proveniente da proporção de alunos beneficiários que viria a estudar nessa escola, corroborando os resultados anteriores. Em caminho oposto, os coeficientes relativos à proporção de jovens participantes do programa para os exames de proficiência são estatisticamente significativos. Isso significa que as escolas cuja proporção de alunos tratados é maior em 2008, já padeciam, em média, de algum déficit de proficiência em 2001. Em outras palavras, isso significa que as escolas que em 2008 recebiam mais alunos beneficiados pelo PBF já detinham resultados nos exames de proficiência de 2001, em média, menores e, portanto, não necessariamente seus resultados piores em 2009, ou ao menos parte deles, são explicados pela maior proporção de alunos beneficiados pelo PBF.

O segundo teste de robustez trabalhou também com as bases de 2001 descritas, entretanto, visou estimar um modelo de diferenças em diferenças. Tal modelo consiste basicamente em comparar dois grupos, um tratado e outro de controle, em dois períodos do tempo, um pré-tratamento outro pós. A ideia é que possa haver diferenças anteriores à intervenção, assim como o teste anterior mostrou, e a comparação dos resultados ex-post a criação do PBF podem ser "contaminados" por essas diferenças pré-existentes.

Utilizando duas especificações distintas para esse modelo, encontramos evidências (Tabelas A.2 e ^A.3) de que o "tratamento"¹⁰ não afeta o desempenho escolar médio das escolas, com exceção da taxa de abandono, para a qual um dos testes realizados corroborou os resultados apresentados anteriormente.

Em suma, os testes de robustez realizados nesta seção corroboram os resultados encontrados na seção anterior apenas para as taxas de abandono. Embora, os resultados para a taxa de aprovação tenham sido corroborados no primeiro teste de robustez, não passam no segundo teste de robustez. Os resultados para a proficiência, no entanto, não são corroborados por nenhum desses testes. Na verdade, os resultados dos testes apontam para o seguinte fato: escolas que receberam em 2008 uma proporção maior de alunos beneficiados pelo PBF já tinham desempenho médio nos exames de proficiência pior do que aquelas com menor proporção.

Há estudos que analisam o efeito de mudanças econômicas (choques de renda) no trabalho infantil e nos resultados escolares das crianças, encontrando um efeito positivo entre crescimento econômico e trabalho infantil e, por outro lado, um efeito negativo entre crescimento econômico e resultados escolares (ver, por exemplo, Kruger (2007)¹¹ ). Poderia ser o caso de existir um choque negativo de renda, em maior magnitude para as crianças que estão nas escolas onde a porcentagem de crianças beneficiárias é maior, que estaria explicando a redução do abandono escolar que estamos atribuindo ao bolsa família? No presente trabalho, utilizamos a diferença observada na porcentagem de crianças tratadas entre escolas de um mesmo município - escolas essas que têm o mesmo potencial para receber alunos beneficiários do programa bolsa família - para identificar o impacto de interesse. A hipótese é que a diferença entre a porcentagem de tratados é decorrente de um erro de focalização da política visto que as escolas têm em média as mesmas características socioeconômicas que explicam a probabilidade de receber o benefício. Nesse sentido, por hipótese, condicional em , choques de renda não estão correlacionados com a variável de interesse "proporção de tratados". O argumento apresentado, então, é de que o bolsa família, possivelmente pelas condicionalidades que exige em termos da frequência escolar, faz com que um menor número de crianças escolha por abandonar a escola.

3.4 Conclusão

O presente artigo objetivou avaliar se existe alguma relação de causalidade entre a participação no PBF, aqui agregada por escola e, portanto, representada pela proporção de alunos beneficiados por escola, e o desempenho escolar medido pela taxa de aprovação, abandono e pela nota média nos exames de proficiência da Prova Brasil. Para tanto, realizou-se um procedimento de estimação em dois estágios. O primeiro estimou a probabilidade de cada aluno presente na amostra participar do PBF, condicional em características socioe-conômicas e geográficas dos alunos. O segundo estágio, por sua vez, estimou o efeito de um aumento na proporção de alunos tratados em uma escola sobre o desempenho médio dos alunos da mesma, controlando pela probabilidade média de participação no Bolsa-Família para os alunos da escola (estimada no primeiro estágio).

Os resultados obtidos sugerem que um aumento na proporção de alunos tratados em uma escola, em média, reduz as taxas de abandono escolar, em linha com outros resultados encontrados na literatura. As estimativas encontradas apresentam indícios de que uma elevação de um ponto percentual na proporção de alunos beneficiados pelo PBF em uma escola, em média, reduz em 0,012 p.p. a taxa de abandono da escola; de outra forma, se todos os alunos da escola são beneficiários do programa bolsa família, condicional a ter o mesmo perfil socioeconômico de alunos, a taxa de abandono será 1,2 ponto percentual menor do que a de outra onde nenhum aluno recebe bolsa família. A magnitude desse resultado é bastante relevante, se considerarmos que a taxa de abandono nas escolas onde a porcentagem de beneficiários é superior a 75% era de 5,41%, de acordo com os dados do Censo Escolar de 2009. Possivelmente, pelas condicionalidades que exige em termos da frequência escolar, o programa bolsa família faz com que um menor número de crianças escolha por abandonar a escola.

Os resultados negativos encontrados para a taxa de aprovação, por sua vez, embora sejam corroborados por um dos exercícios de robustez, não passam no segundo exercício. Ou seja, embora não pareça haver diferenças anteriores (em 2001) nas taxas de aprovação entre escolas que receberiam mais e menos alunos beneficiados em 2008, o exercício de diferenças em diferenças não apontou uma evolução diferente no período entre 2001 e 2009 entre escolas com mais e menos alunos tratados. Sendo assim, não podemos dizer, a partir dos nossos resultados, que uma maior proporção de alunos beneficiados leve a uma redução da aprovação.

No caso dos exames de proficiência, apesar dos resultados do exercício principal também sugerirem impactos negativos da maior proporção de alunos beneficiários sobre as notas nos exames, os dois testes de robustez realizados posteriormente não endossam esses resultados. Ambos os testes realizados evidenciam a existência de uma diferença de notas em testes de proficiência pré-criação do PBF entre escolas com diferentes proporções de alunos tratados. Em outras palavras, encontrou-se que as escolas que receberiam uma maior proporção de alunos beneficiários do programa já detinham resultados inferiores em exames de proficiência, antes mesmo da criação do PBF. Dessa forma, acredita-se que a diferença encontrada pelo exercício principal seja fruto dessa diferença pré-existente.

Por fim, achamos importante enfatizar que embora nossos resultados não permitam estabelecer uma relação causal entre a proporção de alunos beneficiários e a proficiência média dos alunos, observamos que as escolas com maior porcentagem de alunos tratados detêm notas piores tanto em 2001 quanto em 2009. Assim, fica claro que escolas com maior porcentagem de alunos oriundos de famílias beneficiadas pelo PBF necessitam de atenção especial por parte dos gestores de políticas públicas.

Recebido em 18 de setembro de 2012

Aceito em 30 de agosto de 2014

Apêndice A Testes de Robustez

A.1 Uso de uma base "placebo"

Nesse primeiro teste, os exercícios de interesse foram reestimados para o ano de 2001, ano em que o PBF não existia. Como uma parte das escolas do exercício principal não estava presente no SAEB de 2001 (em função desse ser amostral), optou-se por reestimar os exercícios principais para 2009 com o mesmo conjunto de escolas encontradas em 2001 (2^a 4^a colunas).

De acordo com os resultados da Tabela anterior, o coeficiente associado à variável 'proporção de alunos beneficiários do bolsa-família' não é estatisticamente diferente de zero nas regressões para os dados de 2001 para a taxa de aprovação e abandono; no entanto, é negativo e estatisticamente significativo para as equações de proficiência, indicando que mesmo antes do programa existir, escolas que viriam a receber uma proporção maior de alunos tratados já tinham desempenho nas disciplinas de português e matemática inferior.

A.2 Diferenças em diferenças

Para esse teste de robustez, foi necessário transformar a variável 'proporção de alunos beneficiários do PBF' em uma variável binária. Seja o resultado médio para a escola s no tempo t. Há duas possibilidades para D_s: i) D_sassume o valor 1 quando a escola tem mais de um quarto (25%) de seus alunos beneficiados pelo PBF no ano de 2008 e 0 caso contrário - resultados na Tabela A.2; ii) D_sassume o valor 1 quando a escola tem mais de 32% de seus alunos beneficiados pelo PBF no ano de 2008 e 0 quanto esta proporção é inferior a 18% - resultados na ^{Tabela A.3}. Os cortes escolhidos estão relacionados com a porcentagem média de alunos beneficiados nas escolas (média = 25%) e com o desvio-padrão dessa taxa considerando o conjunto de escolas (desvio-padrão = 15%).

Note que, no segundo teste, foram retiradas as escolas meio desvio-padrão acima e abaixo da média.

Nas Tabelas, D é variável que identifica o tratamento tal qual descrito no parágrafo acima, t é uma dummy de ano (igual a 1 para 2009); e D^*_t é variável de interação que capta, no modelo de diferenças em diferenças, o impacto do programa.

A insignificância estatística do coeficiente de interesse em todos os modelos na Tabela A.2 mostra evidências de que o "tratamento", que denota se uma escola tem mais de 25% dos seus alunos participantes do PBF em 2008, não afeta o desempenho escolar médio das escolas.

Assim como na Tabela A.2, os resultados apresentados na ^{Tabela A.3} mostram que o efeito do "tratamento" para a taxa de aprovação e para as notas médias em português e em matemática não são estatisticamente significativos. Entretanto, na estimação utilizando a nova diferenciação de grupos de tratamento e controle, encontrou-se que o coeficiente de interesse para a equação de abandono é estatisticamente significativo e negativo. Ou seja, corroborando os resultados principais do artigo, de acordo com o modelo estimado, a participação no tratamento (ter mais de 32% de seus alunos beneficiários do PBF), em média, reduz a taxa de abandono em -2.310 p.p.

• De Janvry, A., Finan, F. & Saudolet, E. (2007), Local governance and efficiency of conditional cash transfer programs: Bolsa escola in brazil, Technical report, Department of Agricultural and Resource Economics, University of California, Berkeley.
• Ferreira, F., Leite, P. & Litchfield, J. (2006), The rise and fall of brazilian inequality: 1981-2004, World Bank Policy Research Working Paper 3867, World Bank, Washington, D.C.
• Ferro, A., Kassouf, A. & Levison, D. (2009), The impact of conditional cash transfer program in brazil on household work decisions in brazil, in 'XXXVII Encontro Nacional de Economia - ANPEC 37°', Foz do Iguaçu.
• Glewwe, P. & Kassouf, A. (2010), O impacto do programa bolsa família no total de matrículas do ensino fundamental, taxas de abandono e aprovação, in 'Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais', São Paulo.
• Kruger, D. (2007), 'Coffee production effects on child labor and schooling in rural brazil', Journal of Development Economics 82, 448-463.
• Paes de Barros, R., Carvalho, M., Franco, S. & Mendonça, R. (2006), Uma análise das principais causas da queda recente na desigualdade de renda brasileira, Texto para Discussão 1203, IPEA, Rio de Janeiro.
• Pellegrina, H. (2011), Impactos de curto prazo do programa bolsa família sobre o abandono e o desempenho escolar do alunado paulista, Dissertação de mestrado, FEA-USP.
• Resende, A. & Oliveira, A. (2008), 'Avaliando resultados de um programa de transferência de renda: o impacto do bolsa-escola sobre os gastos das famílias brasileiras', Est. Econ. 38(2), 235-265.
• Rocha, S. (2005), 'Impacto sobre a pobreza dos novos programas federais de transferência de renda', Revista Economia Contemporânea 9(1), 153-185.
• Soares, F., Soares, S., Medeiros, M. & Osório, R. (2006), Programas de transferência de renda no brasil: Impactos sobre a desigualdade, Texto para discussão 1228, IPEA, Brasília.
• Summers, A. & Wolfe, B. (1977), 'Do schools make a difference?', The American Economic Review 67(4), 639-652.
• Tavares, P. (2008), Efeito do programa bolsa família sobre a oferta de trabalho das mães, in 'XIII Seminário sobre Economia Mineira - Economia, História, Demografia e Políticas Públicas', Diamantina - MG.
• Tavares, P., Pazello, E. Fernandes, R. & Camelo, R. (2009), 'Uma avaliação do programa bolsa família: focalização e impacto na distribuição de renda e pobreza', Pesquisa e Planejamento Econômico 39, 25-58.

1

Até 2008, famílias com renda familiar

per capita inferior a R$120,00 e a R$60,00 mensais, eram consideradas pobres e extremamente pobres respectivamente.

2

Até 2008, a idade máxima permitida para as crianças era de 15 anos.

3

Em 2008, ano que é objeto de estudo deste artigo, as famílias em extrema pobreza recebiam um benefício fixo de R$62,00 mensais e um acréscimo de R$20,00 para cada criança inscrita no programa, para no máximo três crianças por família.

4

http://www.mds.gov.br/bolsafamilia

5

Os autores estimaram a participação no Programa Bolsa-Escola, uma vez que seus dados são do período de 1999 a 2003.

6

Summers & Wolfe (1977) ainda separam os insumos da escola entre aqueles relacionados ao professor e aqueles não relacionados ao professor.

7

A decisão de estimar duas equações em vez de uma única equação que incluísse as variáveis que explicam o recebimento do benefício diretamente nas equações de resultado se deveu, principalmente, ao objetivo de explorar a natureza individual dos dados de recebimento do benefício (identifica-se para cada aluno o recebimento do bolsa família).

8

Dado pelo número total de habitantes, obtido por meio do Censo Demográfico 2010 do IBGE.

9

Dado proveniente do Censo Demográfico 2010 do IBGE.

10

O "tratamento" foi determinado de duas formas diferentes para cada especificação de modelos. Para mais detalhes do teste, ver apêndice.

11

Kruger (2007) utilizou a variação do valor da produção de café ao longo do tempo (medida ao nível do município) como instrumento para variações econômicas. A autora, com dados das PNAD's de 1992 a 1999, estima as probabilidades de trabalho e de frequência escolar para crianças de 10 a 14 anos que vivem em municípios onde a produção de café é economicamente importante. A autora encontrou que variações positivas no valor na produção de café tiveram impacto positivo sobre o trabalho infantil e impacto negativo sobre frequência escolar.

Datas de Publicação

• Publicação nesta coleção
  03 Fev 2015
• Data do Fascículo
  Dez 2014

Histórico

• Recebido
  18 Set 2012
• Aceito
  30 Ago 2014