nova página do texto(beta)
Português (pdf)
Artigo em XML
Curriculum ScienTI
Tradução automática
Citado por SciELO 
Citado por Google 
Similares em
SciELO 
Similares em Google 
Permalink
Introdução
A expansão da educação integral tem sido um dos principais elementos da reforma da educação pública no Brasil e em diversos países da América Latina nos últimos anos. O objetivo principal da maioria dessas políticas é melhorar o desempenho acadêmico dos estudantes, especialmente em países caracterizados pela baixa qualidade da educação. Com base nesse critério, os resultados não se têm mostrado promissores. Diversos estudos que buscaram avaliar o impacto da extensão da jornada escolar diária em países latino-americanos encontraram um efeito pequeno ou inexistente no desempenho dos estudantes em testes padronizados5. No Brasil, não é diferente. Avaliações de impacto recentes do Programa Mais Educação (PME), principal política de financiamento à educação integral no País, indicam que o programa não teve impacto no desempenho dos estudantes em testes padronizados de português e matemática (ALMEIDA et al., 2016; OLIVEIRA; TERRA, 2016).
Ainda que tais resultados sejam preocupantes e recomendem um redesenho significativo do PME, programas de expansão da jornada escolar podem ter efeitos em variáveis não relacionadas ao desempenho acadêmico. Um exemplo clássico é o impacto da provisão de creches e outras políticas de assistência à infância na participação das mulheres no mercado de trabalho (BLAU; CURRIE, 2006; CASCIO, 2009; FITZPATRICK, 2010, 2012). Ao determinar o tempo em que a criança está sob a supervisão de professores e funcionários da escola, a organização da jornada escolar pode também afetar a oferta de trabalho materno. Graves (2013), por exemplo, mostrou como a redistribuição dos dias letivos em intervalos mais curtos ao longo do ano afetava negativamente a participação das mães na força de trabalho. Berthelon et al. (2015), em estudo semelhante, mostraram como o prolongamento do horário escolar no Chile teve um efeito positivo significativo na participação das mães no mercado de trabalho6.
A extensão da jornada escolar pode impactar, ainda, o trabalho infantil (Orazem; Gunnarsson, 2003). Quanto mais tempo o estudante permanece na escola, menos tempo possui para trabalhar - seja na forma de um emprego remunerado, seja ajudando em trabalhos domésticos. Iniciativas como o Programa de Erradicação do Trabalho Infantil (Peti), implementado em estados rurais do Brasil em 1996, adotaram como um dos seus componentes principais a extensão da jornada escolar. O programa teve um impacto positivo na redução da probabilidade do trabalho infantil (YAP et al., 2001).
Em linha com esses estudos, avaliamos o impacto da extensão da jornada escolar financiada pela PME na participação de mães e crianças no mercado de trabalho. Para isso, exploramos a descontinuidade nos critérios de priorização da PME a partir de 2012. Nesse ano, o Ministério da Educação passou a privilegiar a escolha de escolas com mais de 50% dos alunos beneficiários do Programa Bolsa Família (PBF)7. Essa mudança nos critérios do programa permite-nos implementar um desenho de regressão descontínua (RDD) fuzzy (CATTANEO; TITIUNIK, 2017).
Uma RDD fuzzy pode ser entendida como uma estimação por variáveis instrumentais, em que a descontinuidade é utilizada como uma variável instrumental para o tratamento (ANGRIST; PISCHKE, 2009). Nesse sentido, nossa estratégia de estimação pode ser compreendida em dois passos. No primeiro estágio, mostramos que, de fato, há uma descontinuidade na participação do programa a partir de 2012: estimamos um aumento de mais de 200% (ou 20 pontos percentuais) na probabilidade de adesão ao PME em escolas com um percentual de alunos beneficiários do PBF ligeiramente superior a 50% (em comparação com escolas com um percentual de alunos beneficiários ligeiramente inferior a 50%). Em seguida, usamos essa descontinuidade para testar se a adesão de uma escola ao PME afeta a participação das mães e das crianças nela matriculadas no mercado de trabalho (comparando famílias de escolas situadas ao redor do critério de elegibilidade).
Nossa base é composta por informações acerca de 1 milhão de famílias com filhos matriculados nos 3º, 5º, 7º e 9º anos no sistema público de ensino do estado de São Paulo em 2012. As variáveis de interesse foram calculadas com base nas respostas aos questionários do Sistema de Avaliação do Rendimento Escolas do Estado de São Paulo (Saresp).
De forma semelhante a trabalhos que avaliaram o impacto do PME em indicadores acadêmicos e ao contrário de Berthelon et al. (2015), não encontramos qualquer evidência de impacto significativo da extensão da jornada escolar nos indicadores avaliados. A adoção da educação integral pelas escolas não afetou a participação das mães no mercado de trabalho, o desemprego ou a qualidade do emprego (permanente ou temporário). Tampouco afetou o percentual de jovens que trabalham. Exploramos, ainda, diversos efeitos heterogêneos, conforme a série do estudante, a idade e a escolaridade das mães e a presença de outros filhos em idade pré-escolar. Não encontramos efeitos significativos do programa em nenhuma das estimações.
No Apêndice, de forma a superar eventuais limitações de validade externa da metodologia de regressão descontínua, avaliamos o programa também por diferenças em diferenças com pareamento. Essa estimação tampouco mostrou qualquer efeito significativo do programa nas variáveis analisadas.
Em relação à literatura existente, este estudo contribui de diversas formas. Em primeiro lugar, ao empregarmos uma estratégia de identificação com menores exigências de controle (regressão descontínua), garantimos a maior validade interna dos resultados estimados. Além disso, ao contrário de Berthelon et al. (2015), nossa base de dados inclui informações sobre as escolas que os estudantes frequentam, o que nos permite estimar diretamente o efeito da extensão da jornada nas variáveis relativas à participação das mães e dos jovens no mercado de trabalho. Finalmente, este estudo apresenta, até onde sabemos, a primeira avaliação de impacto rigorosa da educação integral em indicadores relacionados à participação de mães no mercado de trabalho no Brasil.
O restante do artigo está organizado em 6 seções. Na seção 2, discutimos as principais características do Programa Mais Educação e de sua implementação. A seção 3 apresenta as bases de dados e analisa, em detalhes, a estratégia empírica. Na seção 4, discutimos os principais resultados e, na seção 5, os testes de robustez. A seção 6 conclui o trabalho. O Apêndice on-line contém detalhes omitidos.
O Programa Mais Educação
O Programa Mais Educação é uma política federal de transferência de recursos às escolas públicas de educação básica com o intuito de financiar a implementação de atividades no contraturno escolar, transformando-as em escolas de educação integral.
O desenho do programa e a sua evolução a curto prazo refletem, em grande medida, a falta de cultura de avaliação de impacto no Brasil. Desconhecemos qualquer iniciativa oficial para, por exemplo, a realização de um piloto ou de uma avaliação rigorosa do programa alguns anos após sua implementação. Apresentações e documentos oficiais que visam “avaliar” o programa são focados na evolução de seus insumos: número de alunos/escolas atendidas e valor total investidos.
A utilização de métricas de insumo para “avaliar” o programa cria um incentivo natural tanto para iniciá-lo em larga escala como para promover o seu crescimento acelerado. Em seu primeiro ano, o programa já contemplava cerca de 1,4 mil escolas em todo o Brasil. Cerca de 5 anos depois, o programa já atingia quase 60 mil escolas8. Os custos do programa cresceram de forma similar: de um orçamento de cerca de R$ 50 milhões, em 2008, para mais de R$ 1 bilhão, em 2014, o que o torna um dos maiores programas educacionais em vigor no país.
Os recursos do PME são transferidos diretamente às escolas, que têm autonomia para empregá-los em diversos tipos de atividades, tais como: esportes, cultura, fotografia, dança, pintura, teatro, promoção da saúde, entre outros. Escolas participantes devem ter, no mínimo, sete horas diárias de atividades escolares9. A única atividade obrigatória é o acompanhamento pedagógico em português e matemática, que deve ser realizado diariamente com duração mínima de uma hora.
As atividades no contraturno são conduzidas por monitores voluntários, que recebem uma pequena “ajuda de custo”10. São esses monitores os responsáveis pelo
desenvolvimento de atividades de acompanhamento pedagógico, culturais e artísticas, esportivas e de lazer, de direitos humanos, de meio ambiente, de inclusão digital e de saúde e sexualidade [...] que totalizem a carga horária mínima de sete horas diárias (BRASIL, 2009a).
Tais monitores são, portanto, atores fundamentais na implementação do PME, sendo os responsáveis diretos por desenvolver, na prática, as atividades do programa na escola.
Em diversos documentos oficiais (BRASIL, 2009b, 2009c, 2009d) que embasaram o debate acerca do Mais Educação, o projeto de educação integral é apresentado como uma proposta que vai muito além do que a mera extensão da jornada escolar. Pressupõe uma opção por projeto pedagógico mais amplo, em que educadores, educandos e comunidades contribuam para ampliar o tempo e o espaço de formação de crianças e jovens. Nesse processo, a escola seria convertida num espaço articulador de diversas práticas de formação. Tomando por base esses conceitos, o PME é um instrumento bastante limitado11. O governo federal não tem qualquer influência sobre o tipo de atividade executada por cada escola, a qualidade dos professores/monitores envolvidos nas tarefas ou o tempo dedicado a cada atividade. O papel do governo federal se limita, em larga medida, ao financiamento da implementação do contraturno, tendo muito pouco a dizer sobre o que, de fato, ocorre nesse tempo adicional dos estudantes na escola.
O Ministério da Educação (MEC) recomenda que todos os estudantes da escola sejam inseridos na educação integral. Contudo, trata-se apenas de uma recomendação. Cada escola possui autonomia para, em seu projeto político-pedagógico específico, definir quantos e quais alunos participarão das atividades. Segundo dados do MEC e do Inep, a grande maioria dos alunos das escolas aderem ao programa: entre 2008 e 2011, a mediana de alunos participantes por escola foi de 82% e a média de 77% (ALMEIDA et al., 2016).
A participação no PME depende da adesão voluntária das escolas. Os critérios de priorização são definidos pelo Ministério da Educação. De início, o programa priorizava escolas com baixo Ideb12 (menor que 3,5), de mais de 100 alunos e em municípios com população superior a 200 mil pessoas. Esses critérios foram alterados em 2012, passando a abranger escolas com Ideb menor do que 4,2 (anos iniciais) e 3,8 (anos finais)13, de mais de 100 alunos e em municípios com população superior a 18 mil pessoas14.
Em 2012, o governo passou, ainda, a dar maior ênfase a critérios de vulnerabilidade social, adotando o percentual de alunos oriundos de famílias beneficiárias do Programa Bolsa Família (PBF) como principal critério de elegibilidade do programa. Criou-se, assim, o conceito de “escolas maioria PBF”: escolas nas quais pelo menos 50% dos alunos pertencem a famílias beneficiadas pelo Bolsa Família15.
A partir de 2012, temos, portanto, uma descontinuidade nos critérios de adesão ao programa: escolas maioria PBF passaram a ser priorizadas. Essa descontinuidade não é determinística, uma vez que os critérios do PME são de priorização e não de exclusão. Contudo, o limite (cutoff) de 50% marca uma mudança probabilística significativa: escolas à direita do cutoff passam a apresentar uma probabilidade muito maior de adesão ao Programa. Tem-se, assim, a possibilidade de avaliação de impacto do programa por meio de modelos de regressão descontínua fuzzy, que serão detalhados na próxima seção.
Estratégia Empírica
Bases de Dados
Utilizamos dados provenientes do Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo (Saresp) para a construção da maioria de nossas variáveis. O Saresp tem dois instrumentos principais: um exame de proficiência em linguagem, matemática, ciências humanas, ciências da natureza e redação aplicado no final de cada ano letivo para alunos do 3º, 5º, 7º e 9º ano do Ensino Fundamental e do 3º ano do Ensino Médio16; e um amplo questionário, preenchido tanto pelos alunos quanto por seus pais, com diversas perguntas relativas ao status socioeconômico das famílias, à satisfação com a escola e aos padrões de comportamentos. Os questionários do Saresp foram utilizados tanto para a construção das variáveis de interesse como das variáveis de controle referentes ao perfil socioeconômico das famílias.
Com base nesses questionários, construímos três variáveis discretas para o status das mães no mercado de trabalho: i) participa no mercado de trabalho17; ii) possui emprego permanente18; e iii) está desempregada. Além disso, construímos duas variáveis para a participação de jovens no mercado de trabalho: i) trabalha fora de casa nos dias de aula; e ii) auxilia em trabalhos domésticos nos dias de aula. A pergunta acerca do trabalho infantil consta apenas nos questionários do 7º e 9º ano.
Para o cálculo da variável de elegibilidade, obtivemos os dados dos alunos beneficiários do Programa Bolsa Família por escola junto ao Ministério do Desenvolvimento Social. O acompanhamento dos alunos PBF é bimestral. Adotamos o semestre de outubro/novembro como referência para calcular o total de alunos PBF da escola.
Avaliamos o impacto do programa em famílias com filhos em escolas que aderiram ao PME em 2012, primeiro ano afetado pelo critério de 50%. Os critérios de priorização e as escolas submetidas ao tratamento foram definidos em 2011, razão pela qual adotamos o ano de 2010 como referência para o cálculo do percentual de alunos PBF. Logo, a variável “percentual de alunos PBF” foi construída tendo por numerador o total de alunos PBF da escola em 2010 (medida em outubro/novembro desse ano) e como denominador o total de alunos matriculados no Ensino Básico da escola em 2010 (provenientes da base do Censo Escolar19). Essas variáveis não são preenchidas no mesmo momento do ano (o Censo é preenchido em maio), o que pode gerar imprecisões, resultantes da mobilidade ou evasão de alunos20.
Retiramos da nossa amostra famílias i) com filhos em escolas privadas, ii) com filhos em escola que já estavam no PME em 2011 e iii) com questionários incompletos. Após tratamento, nossa base é composta por informações relativas a cerca de 1 milhão de famílias, sendo aproximadamente 30 mil com filhos matriculados em escolas com mais de 50% de alunos do Bolsa Família (maioria PBF).
Na Tabela 1, apresentamos as estatísticas descritivas conforme o percentual de alunos PBF das escolas (mais ou menos de 50% de alunos PBF). A diferença entre famílias dos dois grupos de escolas segue a direção esperada. Famílias de escolas com maioria PBF apresentam menor participação das mães no mercado de trabalho, menor número de mães com emprego permanente e maior número de mães desempregadas (Painel A da Tabela 1). Além disso, apresentam maiores índices de estudantes que trabalham - seja fora de casa, seja auxiliando em atividades domésticas (Painel B da Tabela 1). Vemos, ainda, que o percentual de alunos que trabalha fora de casa não é grande, mas tampouco inexpressivo: cerca de 7% em escolas com minoria PBF e 9% em escolas com maioria PBF.
As famílias com maioria PBF apresentam, ademais, menor quantidade de estudantes e mães que se declaram brancos, maior percentual de mães jovens (até 34 anos), maior probabilidade de possuírem outra criança de 0 a 5 anos, menores índices de escolaridade (tanto para as mães quanto para os pais) e renda família inferior (Painel D da Tabela 1).
Como esperado, há, ainda, uma diferença significativa no percentual de escolas que aderiram ao PME em 2012 - cerca de 23% das escolas com maioria PBF aderiram ao programa nesse ano, enquanto apenas 4% das escolas com minoria PBF o fizeram (Painel C da Tabela 1). Essa diferença deixa claro, ainda, o fato de se tratar de um critério de priorização e não de exclusão, uma vez que mesmo escolas com minoria PBF tiveram sua inclusão no programa autorizada em 2012.
Tabela 1. Estatísticas Descritivas
| PBF < 50% | PBF > 50% | |||||
| Média | Std. Dev. | N | Média | Std. Dev. | N | |
| (1) | (2) | (3) | (4) | (5) | (6) | |
| Painel A: Variáveis Dependentes (Mães) | ||||||
| Mercado de Trabalho | 0,84 | 0,37 | 1.033.040 | 0,82 | 0,38 | 28.039 |
| Emprego Permanente | 0,61 | 0,49 | 1.033.040 | 0,49 | 0,50 | 28.039 |
| Desempregada | 0,18 | 0,39 | 1.033.040 | 0,26 | 0,44 | 28.039 |
| Painel B: Variáveis Dependentes (Estudantes) | ||||||
| Trabalho - Fora de Casa | 0,07 | 0,25 | 560.806 | 0,09 | 0,28 | 9.004 |
| Trabalho - Doméstico | 0,36 | 0,48 | 560.806 | 0,43 | 0,49 | 9.004 |
| Painel C: Variável de Tratamento | ||||||
| Adesão ao PME (2012) | 0,04 | 0,19 | 1.075.340 | 0,23 | 0,42 | 29.355 |
| Painel D: Características das Famílias | ||||||
| Estudante Homem | 0,51 | 0,03 | 1.075.340 | 0,52 | 0,03 | 29.355 |
| Mãe Branca | 0,55 | 0,50 | 1.028.764 | 0,51 | 0,50 | 27.910 |
| Filho 0 a 5 anos | 0,37 | 0,48 | 947.012 | 0,43 | 0,50 | 25.951 |
| Mãe - 16 a 24 anos | 0,02 | 0,12 | 1.028.239 | 0,02 | 0,15 | 27.861 |
| Mãe - 25 a 34 anos | 0,36 | 0,48 | 1.028.239 | 0,43 | 0,50 | 27.861 |
| Mãe - Fundamental | 0,19 | 0,40 | 1.033.040 | 0,17 | 0,38 | 28.039 |
| Mãe - Médio | 0,33 | 0,47 | 1.033.040 | 0,20 | 0,40 | 28.039 |
| Mãe - Superior | 0,05 | 0,21 | 1.033.040 | 0,02 | 0,15 | 28.039 |
| Pai - Fundamental | 0,17 | 0,38 | 1.033.040 | 0,15 | 0,36 | 28.039 |
| Pai - Médio | 0,28 | 0,45 | 1.033.040 | 0,17 | 0,38 | 28.039 |
| Pai - Superior | 0,04 | 0,20 | 1.019.918 | 0,02 | 0,13 | 27.752 |
| Renda Familiar < 1275 | 0,45 | 0,50 | 1.024.610 | 0,58 | 0,49 | 27.769 |
| Renda Familiar > 2126 | 0,15 | 0,36 | 1.024.610 | 0,06 | 0,23 | 27.769 |
Nota: a tabela reporta a taxa média de desemprego, de trabalho infantil, de adesão ao Programa Mais Educação em 2012 e as características das famílias. As categorias de renda e de escolaridade da mãe refletem as categorias do questionário do Saresp. A estatística de trabalho infantil é reportada apenas para os Anos Finais, uma vez que não há estatística disponível no Saresp para os Anos Iniciais.
Identificação
O ponto central de nossa estratégia de identificação consiste em explorar a descontinuidade na elegibilidade para o PME como uma função do percentual de alunos PBF da escola para testar se a adesão ao programa levou a uma mudança em indicadores sociais de famílias de escolas “quase elegíveis” e “quase inelegíveis” ao redor do critério de elegibilidade (50% de alunos PBF). Para isso, adotamos um desenho de regressão descontínua fuzzy - RDD (regression discontinuity design)21.
Em um desenho fuzzy, o critério de elegibilidade não atua de forma determinística para definir a participação no programa. Trata-se exatamente do caso do PME: por um lado, diversas escolas com maioria PBF não aderiram ao programa (como vimos na seção 2, a adesão é voluntária); por outro, há escolas com minoria PBF que tiveram sua adesão autorizada. Assim, o limite de 50% representa uma mudança na probabilidade de adesão ao programa, mas não de 0 para 1, razão pela qual o desenho fuzzy mostra-se o mais adequado.
Em termos intuitivos, nossa estratégia empírica consiste, portanto, em i) avaliar se, de fato, há uma descontinuidade na probabilidade de participação no PME no cutoff (escolas com 50% de alunos PBF); ii) avaliar se essa descontinuidade é refletida em outras variáveis.
Seja Yi a variável de interesse (y) para famílias com filhos matriculados na escola (i); Pi o percentual de alunos beneficiários do PBF da escola (i) em 2010 e %; e Di uma variável dummy que indica se a escola possui maioria de alunos PBF. Nosso modelo de regressão é dado, simplesmente, por:
Nesse sentido, para avaliação dos efeitos do tratamento, estimamos regressões locais lineares com pesos kernel triangulares usando observações à esquerda e à direita do cutoff dentro de um intervalo predeterminado (h). O impacto estimado (parâmetro α) é simplesmente a diferença entre os limites dessas regressões à esquerda e à direta do cutoff. Em linha com Lee e Card (2008), clusterizamos os erros padrões pelos valores da variável de elegibilidade (percentual de alunos PBF das escolas)22.
Usamos o desenho sharp implícito em (1) para estimar a descontinuidade na probabilidade de adesão ao PME (primeiro estágio). Para o segundo estágio, instrumentamos a variável de adesão ao PME em 2012 utilizando a dummy que indica se a escola possui maioria de alunos PBF (Di). Uma RDD fuzzy pode ser compreendida, portanto, como uma estratégia de estimação baseada em variáveis instrumentais, na qual a descontinuidade é empregada como variável instrumental para o status do tratamento (ANGRIST; PISCHKE, 2009).
Como em regressões descontínuas os resultados são, muitas vezes, sensíveis à escolha dos intervalos (h), apresentamos os resultados do primeiro estágio para dois intervalos fixos ao redor do cutoff - 10 e 15 pontos percentuais - e para os “intervalos ótimos” (CATTANEO; VAZQUES-BARE, 2016)23. Para simplificar a apresentação e facilitar comparações, reportamos os resultados do segundo estágio apenas para o intervalo de 10 pontos percentuais24 e para intervalos ótimos. Os resultados mostraram-se robustos a variações no intervalo.
Resultados
Adesão ao PME
A Tabela 2 traz os resultados das estimações do primeiro estágio. As colunas apresentam os resultados para diferentes intervalos ao redor do cutoff. Estimamos um aumento de mais 200% (ou 20 pontos percentuais) na probabilidade de adesão ao PME em 2012 em escolas no situadas a redor do cutoff. Como se nota, os coeficientes estimados foram coerentes nos três intervalos e significativos a 1% e 5%25.
Os resultados estimados para o primeiro estágio podem ser observados graficamente na Figura 1, que exibe o relacionamento entre a participação no PME e o percentual de alunos PBF. Centramos o cutoff em 0 - assim, escolas à direita do cutoff possuem mais de 50% dos alunos PBF e escolas à esquerda do cutoff possuem menos de 50% dos alunos PBF. A descontinuidade na probabilidade de participação ao redor do cutoff é bastante expressiva.
No Apêndice, reestimamos a equação (1) considerando a adesão ao PME em 2011, um ano antes da criação do critério que privilegia escolas com maioria PBF. Como esperado, não observamos qualquer descontinuidade ao redor do cutoff naquele ano (Figura A.1 e Tabela A.1. do Apêndice), o que reforça a utilização do critério de 50% de alunos PBF como um quase experimento válido a partir de 2012.
Efeitos no Mercado de Trabalho
No Tabela 3, avaliamos os efeitos da educação integral no status de emprego das mães. A coluna (1) traz os resultados para a participação das mães no mercado de trabalho, a coluna (2) para o percentual de mães com emprego permanente e a coluna (3) para o percentual de mães desempregadas. Não encontramos impacto significativo em nenhuma das três variáveis. A evolução da participação das mães no mercado de trabalho ao redor do cutoff pode ser observada no painel (a) da Figura 2, que confirma a ausência de descontinuidade.
O resultado surpreende. Seria razoável esperar que a educação integral, ao liberar as mães da responsabilidade por cuidar de seus filhos no contraturno escolar, facilitasse a sua entrada no mercado de trabalho - tal como ocorreu, por exemplo, no caso chileno, em que a extensão da jornada impactou positivamente a oferta de trabalho das mães (Berthelon et al., 2015).
Uma hipótese é que nossa premissa esteja errada e que a responsabilidade por cuidar dos filhos não constitua, em São Paulo, um obstáculo ao ingresso no mercado de trabalho. É possível que as mães que trabalham já tivessem uma alternativa para essa questão (ex. deixassem os filhos com amigos e parentes) e que a educação integral, simplesmente, tenha oferecido uma opção adicional. Nesse caso, a oferta de trabalho não estaria correlacionada com a obrigatoriedade de cuidar das crianças e, consequentemente, não observaríamos um impacto da educação integral nessas variáveis. Outra hipótese é que o fato de a educação não abarcar o ano civil em sua integralidade - ou ainda pela ocorrência de greves e abstenções docentes - acabem por minorar o efeito potencial do tempo integral na posição das mães no mercado de trabalho.
As colunas (4) e (5) da Tabela 3 buscam avaliar os efeitos do programa no trabalho infantil - seja na forma de auxílio em atividades domésticas (4), seja na forma de trabalhos exercidos fora de casa (5). Também nesse caso não encontramos qualquer evidência de impacto significativo do PME. O painel (b) da Figura 2 ilustra a ausência de descontinuidade no percentual de estudantes na probabilidade de o estudante trabalhar fora de casa em dias letivos. Trata-se, novamente, de uma conclusão inesperada, uma vez que os alunos das escolas do programa devem permanecer pelo menos 7 horas por dia na escola, o que, ao menos em tese, os deixaria menos disponíveis para atividades laborais.
Tabela 2. Estimativas dos Efeitos da Elegibilidade na Adesão ao PME em 2012. (primeiro estágio)
| Adesão ao PME | Adesão ao PME | Adesão ao PME | |
| (1) | (2) | (3) | |
| Maioria PBF | 0,200** | 0,206** | 0,199*** |
| (0,082) | (0,09) | (0,077) | |
| Intervalo | 0,12 | 0,10 | 0,15 |
| Observações | 139.601 | 103.018 | 190.618 |
| Constante | 0,086 | 0,088 | 0,084 |
Nota: a tabela reporta os resultados das regressões locais lineares para o primeiro estágio. A variável Maioria PBF é um indicador se a escola possui maioria de alunos de famílias cadastradas no Programa Bolsa Família. O número de observações refere-se ao número de famílias dentro dos intervalos. O intervalo ótimo é definido conforme Imbens e Kalyanaraman (2012). Erros padrões robustos clusterizados pelo percentual de alunos do Programa Bolsa Família na escola entre parênteses. *** p<0,01 e ** p<0,05.
Tabela 3. Estimativa dos Efeitos do Programa Mais Educação em Indicadores Sociais (segundo estágio)
| Mercado de Trabalho | Emprego Permanente | Desempregada | Trabalho Doméstico | Trabalho Externo | |
| (1) | (2) | (3) | (4) | (5) | |
| PME (2012) | -0,073 | -0,145 | 0,079 | 0,086 | 0,045 |
| (0,057) | (0,094) | (0,062) | (0,101) | (0,065) | |
| Intervalo | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 |
| Observações | 98.540 | 98.540 | 98.540 | 39.120 | 39.120 |
| Constante | 0,839 | 0,535 | 0,239 | 0,407 | 0,074 |
Nota: a tabela reporta os coeficientes 2SLS estimados por meio de regressões locais lineares (segundo estágio). A variável PME (2012) é um indicador se a escola aderiu ao Programa Mais Educação em 2012 (instrumentado por um indicador se a escola possuía maioria de alunos de famílias cadastradas no Programa Bolsa Família). O número de observações refere-se ao número de famílias dentro dos intervalos. As colunas (4) e (5) incluem apenas estudantes do 7º e 9º ano. Todas as estimativas foram realizadas considerando o intervalo de 10 p.p ao redor do cutoff. Estimativas considerando intervalos ótimos são reportadas na Tabela A.2 do Apêndice. Erros padrões robustos clusterizados pelo percentual de alunos do Programa Bolsa Família na escola entre parênteses *** p<0,01 e ** p<0,05.
Nota: Ilustração gráfica da evolução na probabilidade adesão ao PME em 2012 como função do percentual médio de alunos de famílias cadastradas no Programa Bolsa Família na escola. A linha vertical corresponde ao limite do critério de elegibilidade (valores centrados em 0). A figura reporta, ainda, os valores preditos de regressões locais lineares - uma à direita e outra à esquerda do cutoff - em um intervalo de 10 pontos percentual usando pesos kernel triangulares.
Figura 1. Estimativas dos Efeitos da Elegibilidade na Adesão ao PME em 2012
Nota: ilustração gráfica da evolução da participação das mães no mercado de trabalho (painel a) e do trabalho infantil (painel b) como função do percentual médio de alunos de famílias cadastradas no Programa Bolsa Família na escola. A linha vertical corresponde ao limite do critério de elegibilidade (valores centrados em 0). A figura reporta, ainda, os valores preditos de regressões locais lineares - uma à direita e outra à esquerda do cutoff - em um intervalo de 10 pontos percentual usando pesos kernel triangulares.
Figura 2. Estimativa dos Efeitos do PME em Indicadores Sociais
Os resultados são contrários aos estimados por Yap et al. (2001), que encontraram efeitos significativos do Programa de Erradicação do Trabalho Infantil (Peti) na redução do trabalho infantil. Deve-se destacar, contudo, que o contexto das avaliações é bastante distinto. O Peti foi implementado em regiões rurais de estados pobres do Nordeste brasileiro, caracterizados por altos índices de trabalho infantil (17% em Pernambuco e Sergipe e 38% na Bahia), enquanto nossa avaliação foi realizada em escolas urbanas do estado mais rico do país, com índices relativamente pequenos de estudantes que trabalham (7%). Além disso, o Peti é composto não só pela extensão da jornada escolar, mas também por uma transferência financeira aos pais de crianças com frequência escolar superior a 80% e que participassem das atividades do contraturno, enquanto no PME a participação do estudante sequer é obrigatória.
Efeitos Heterogêneos
Os resultados estimados por Berthelon et al. (2015) sugerem, ainda, uma hipótese alternativa para a ausência de impacto do PME no status de emprego das mães. Os autores mostram que os efeitos positivos da extensão da jornada no caso chileno são concentrados na 1a e 2a série (2º e 3º ano, no caso do Brasil). As estimativas de impacto da extensão da jornada da 3a à 8a série não foram estatisticamente significativas. Logo, a extensão da jornada parece ser particularmente relevante para mães de crianças de menor idade.
Na Tabela 4, buscamos avaliar essa hipótese e restringimos nossa análise às mães de alunos do 3º ano (colunas de 1 a 3) e 5º ano (colunas de 4 a 6). Novamente, não encontramos impacto significativo do programa nas variáveis analisadas. Avaliamos, ainda, o impacto do programa no trabalho infantil levando-se em consideração somente estudantes do 9º ano, que apresentam níveis ligeiramente superiores de estudantes que trabalham (11%). Também nesse caso não encontramos impacto significativo do PME.
Na Tabela 5, realizamos outros testes de heterogeneidade. Avaliamos o PME considerando somente: i) mães sem outros filhos até 5 anos (colunas de 1 a 3); ii) mães jovens (até 34 anos)26; e iii) mães com ensino médio completo27. Para a estimação dos efeitos heterogêneos, criamos uma variável discreta para cada uma dessas categorias e limitamos nossa amostra às mães que atendem a essas condições. Em nenhum dos casos, os resultados estimados foram estatisticamente significativos.
Tabela 4. Estimativa dos Efeitos do Programa Mais Educação em Indicadores Sociais para diferentes séries (segundo estágio)
| 3º Ano | 5º Ano | 9º ano | |||||||
| Mercado de Trabalho | Emprego Permanente | Desempregada | Mercado de Trabalho | Emprego Permanente | Desempregada | Trabalho Doméstico | Trabalho Externo | ||
| (1) | (2) | (3) | (4) | (5) | (6) | (7) | (8) | ||
| PME (2012) | 0,022 | -0,301 | 0,283 | -0,154 | -0,140 | -0,028 | -0,012 | 0,035 | |
| (0,116) | (0,352) | (0,327) | (0,142) | (0,171) | (0,095) | (0,12) | (0,117) | ||
| Intervalo | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | |
| Observações | 11.414 | 11.414 | 11.414 | 33.915 | 33.915 | 33.915 | 17.520 | 17.520 | |
| Constante | 0,848 | 0,545 | 0,240 | 0,845 | 0,539 | 0,238 | 0,407 | 0,112 | |
Nota: a tabela reporta os coeficientes 2SLS estimados por meio de regressões locais lineares (segundo estágio). A variável PME (2012) é um indicador se a escola aderiu ao Programa Mais Educação em 2012 (instrumentado por um indicador se a escola possuía maioria de alunos de famílias cadastradas no Programa Bolsa Família). O número de observações refere-se ao número de famílias dentro dos intervalos. As colunas (7) e (8) incluem apenas estudantes do 7º e 9º ano. Todas as estimativas foram realizadas considerando o intervalo de 10 p.p ao redor do cutoff. Erros padrões robustos clusterizados pelo percentual de alunos do Programa Bolsa Família na escola entre parênteses. *** p<0,01 e ** p<0,05.
Tabela 5. Estimativa dos Efeitos do Programa Mais Educação em Indicadores Sociais para diferentes grupos de mães (segundo estágio)
| Sem filhos até 5 anos | Mãe - Até 34 anos | Mães com Ensino Médio | |||||||
| Mercado de Trabalho | Emprego Permanente | Desempregada | Mercado de Trabalho | Emprego Permanente | Desempregada | Mercado de Trabalho | Emprego Permanente | Desempregada | |
| (1) | (2) | (3) | (4) | (5) | (6) | (7) | (8) | (9) | |
| PME (2012) | -0,077 | -0,136 | 0,056 | 0,009 | -0,121 | 0,153 | 0,056 | 0,014 | 0,028 |
| (0,06) | (0,097) | (0,064) | (0,047) | (0,094) | (0,096) | (0,073) | (0,102) | (0,086) | |
| Intervalo | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 | 0,10 |
| Observações | 52.663 | 52.663 | 52.663 | 42.835 | 42.835 | 42.835 | 24.631 | 24.631 | 24.631 |
| Constante | 0,834 | 0,561 | 0,212 | 0,863 | 0,545 | 0,251 | 0,867 | 0,647 | 0,175 |
Nota: a tabela reporta os coeficientes 2SLS estimados por meio de regressões locais lineares (segundo estágio). A variável PME (2012) é um indicador se a escola aderiu ao Programa Mais Educação em 2012 (instrumentado por um indicador se a escola possuía maioria de alunos de famílias cadastradas no Programa Bolsa Família). O número de observações refere-se ao número de famílias dentro dos intervalos. Todas as estimativas foram realizadas considerando o intervalo de 10p.p ao redor do cutoff. Erros padrões robustos clusterizados pelo percentual de alunos do Programa Bolsa Família na escola entre parênteses. *** p<0,01 e ** p<0,05.
Impacto em outras variáveis
No Apêndice, conduzimos, ainda, uma série de estimações com o objetivo da avaliar o impacto do PME na satisfação dos pais com a escola (notas para diretores, professores, infraestrutura e segurança) e no percentual de estudantes em recuperação em português, matemática, ciências e outras disciplinas. Não encontramos qualquer evidência de impacto significativa do PME nessas variáveis.
Testes de Robustez
Realizamos, nesta seção, uma série de testes de robustez. Nas duas primeiras subseções, foram empregadas duas técnicas de falsificação/validação usuais na literatura de regressão descontínua: o teste de densidade na evolução das unidades ao redor do cutoff, que visa descartar eventuais manipulações na variável de elegibilidade, e o teste de descontinuidade em covariadas, que avalia se há alguma descontinuidade no cutoff em características exógenas, que não deveriam ser afetadas pelo programa. Esses testes são coerentes no sentido de apontar a robustez de nossa estratégia de identificação. Em seguida, descrevemos, brevemente, uma estratégia de estimação alternativa dos efeitos do programa por diferenças em diferenças (DiD). As estimativas por DiD confirmam nossos resultados.
Teste de McCrary
Em uma estratégia RDD, assumimos que a designação para o tratamento ao redor do cutoff seria semelhante a um experimento aleatório (LEE, 2008). Isso não ocorreria caso as escolas pudessem, por exemplo, alterar o seu percentual de alunos PBF, de forma a se tornarem elegíveis para o tratamento. Intuitivamente, sabemos que é pouquíssimo provável que essa manipulação tenha ocorrido no caso do PME. Nossa variável de elegibilidade (percentual de alunos PBF na escola em 2010) somente foi adotada como critério de priorização do programa em 2011 - ou seja, para manipular essa variável, as escolas teriam que antecipar a futura adoção desse critério pelo programa. Assim, sabemos de antemão que a premissa de que os agentes não tenham controle sobre a variável de elegibilidade se sustenta.
Ainda assim, conduzimos teste formal proposto por Cattaneo et al. (2017) such as those of earnings or a poverty index, near or at a boundary point. Standard kernel density estimators cannot be used near boundary points due to their boundary bias, a fact that has led researchers to restrict attention to a region in the interior of the full support of the data or to employ other ad hoc smoothing or truncation methods. This paper presents an intuitive and easy-to-implement nonparametric density estimator based on local polynomial techniques, which does not require pre-binning or any other transformation of the data while still being fully boundary adaptive and automatic. This estimator is readily applicable to a variety of empirical contexts, including manipulation testing, counterfactual comparisons, treatment effects heterogeneity and specification, bunching, and auctions, just to mention a few obvious examples. We study the asymptotic properties of the proposed density estimator and use these results to provide fully automatic point estimation, inference and bandwidth selection methods. We apply these results to three specific empirical settings: discontinuity in density testing (McCrary, 2008, em linha com McCrary (2008). A ideia básica por trás do teste é que, na ausência de manipulação do percentual de alunos PBF das escolas ao redor do cutoff, a densidade da variável de elegibilidade deve ser contínua ao redor desse valor. Assim, caso haja evidência de descontinuidade na frequência de escolas com percentual de alunos PBF superior a 50%, haveria razão para nos preocuparmos com a possibilidade de esse índice ter sido manipulado pelas escolas.
Os resultados podem ser observados na Figura 3. Não observamos nenhuma descontinuidade na evolução da densidade da variável de elegibilidade ao redor do cutoff. A ausência de manipulação dos dados é consistente com nossa premissa de identificação de que a designação para o tratamento ao redor do cutoff é “tão boa” quanto uma designação aleatória.
Nota: a figura reporta as densidades locais polinomiais do percentual de alunos PBF das escolas nos dois lados do cutoff e os respectivos intervalos de confiança (95%) conforme (CATTANEO; JANSSON; MA, 2017).
Figura 3. Distribuição das escolas conforme o percentual de alunos PBF
Testes Placebo em Covariadas
Uma das hipóteses mais importantes de um desenho de RDD é a continuidade da evolução das variáveis de interesse ao redor do cutoff na ausência do tratamento. Uma forma de conferir maior robustez a essa premissa é testarmos para a existência de descontinuidade em uma série de variáveis não afetadas pelo tratamento. Para isso, utilizamos os mesmos métodos aplicados nas variáveis de interesse nas seções anteriores em uma série de variáveis socioeconômicas das famílias: raça dos estudantes e das mães, sexo dos estudantes, idade e escolaridade das mães, escolaridade dos pais e status dos pais no mercado de trabalho (partimos da premissa que a educação integral não afeta a oferta de trabalho dos pais).
Os resultados dessas estimações podem ser consultados na Tabela 6. Como se nota, não encontramos evidência de descontinuidade significativa em nenhuma das varáveis analisadas, o que, novamente, é consistente com a designação ao redor da descontinuidade ser “tão boa” quanto uma designação aleatória.
Tabela 6. Estimativa dos Efeitos do Programa Mais Educação em Covariadas (segundo estágio)
| Covariadas | |||||
| Intervalo | Constante | Coeficiente | Erro Padrão | N | |
| Painel A: Características das Famílias | |||||
| Estudante Branco | 0,10 | 0,46 | 0,08 | 0,12 | 100.334 |
| Mãe Branca | 0,10 | 0,49 | 0,04 | 0,12 | 98.102 |
| Filho 0 a 5 anos | 0,10 | 0,58 | -0,09 | 0,09 | 90.997 |
| Mãe - 16 a 24 anos | 0,10 | 0,02 | 0,01 | 0,01 | 98.009 |
| Mãe - 24 a 35 anos | 0,10 | 0,42 | 0,22 | 0,14 | 98.009 |
| Mãe - Fundamental | 0,10 | 0,19 | 0,01 | 0,05 | 98.540 |
| Mãe - Médio | 0,10 | 0,22 | 0,12 | 0,09 | 98.540 |
| Mãe - Superior | 0,10 | 0,03 | 0,01 | 0,03 | 98.540 |
| Pai - Fundamental | 0,10 | 0,16 | 0,04 | 0,04 | 98.540 |
| Pai - Médio | 0,10 | 0,18 | 0,07 | 0,08 | 98.540 |
| Pai - Superior | 0,10 | 0,02 | 0,00 | 0,02 | 97.498 |
| Pai - Mercado de Trabalho | 0,10 | 0,84 | 0,01 | 0,05 | 98.540 |
| Pai - Emprego Permanente | 0,10 | 0,73 | 0,08 | 0,08 | 98.540 |
| Pai - Desempregado | 0,10 | 0,06 | -0,04 | 0,04 | 97.735 |
Nota: a tabela reporta os coeficientes 2SLS estimados por meio de regressões locais lineares (segundo estágio). A variável PME (2012) é um indicador se a escola aderiu ao Programa Mais Educação em 2012 (instrumentado por um indicador se a escola possuía maioria de alunos de famílias cadastradas no Programa Bolsa Família). O número de observações (N) refere-se ao número de famílias dentro dos intervalos. As colunas (4) e (5) incluem apenas estudantes do 7º e 9º ano. Todas as estimativas foram realizadas considerando o intervalo de 10 p.p ao redor do cutoff. Erros padrões robustos clusterizados pelo percentual de alunos do Programa Bolsa Família na escola entre parênteses. *** p<0,01 e ** p<0,05.
Estimação por Diferenças em Diferenças
Uma limitação relevante da estimação por regressão descontínua diz respeito à validade externa. Isto é, o impacto estimado não é generalizável a todas escolas, mas restrito às escolas situadas ao redor do cutoff - ou seja, trata-se de uma estimação local do impacto do programa. Com vistas a contornar essa limitação de validade externa e conferir maior robustez aos resultados estimados, complementamos a estimação por RDD com uma estratégia empírica baseada na metodologia de diferenças em diferenças com pareamento.
Para isso, agregamos os dados de 2011 e 2012 a nível da escola e rodamos uma regressão DiD padrão:
onde Yit é a variável de interesse para a escola i no ano t (2011 e 2012); Di, uma variável dummy que assume um valor 1 se o ano é 2012 e se a escola i aderiu ao PME; Tt , uma variável dummy igual a 1 se o ano é 2012 e 0, caso contrário; Xit , uma série de características de controle das famílias e dos municípios28; λi , os efeitos fixos da escola; e uit, o termo de erro. O coeficiente de interesse é β1 , que acompanha o termo de interação.
Os resultados dessas estimações podem ser consultados na Tabela A.3 do Apêndice. Não observamos impacto positivo e significativo do PME em nenhuma das variáveis avaliadas, confirmando, assim, as estimações realizadas por RDD.
Conclusão
A implementação de programas de educação em tempo integral entrou na agenda da maioria dos países latino-americanos nos últimos anos, independentemente do partido político no poder29. O objetivo principal da maioria dos programas existentes é melhorar o desempenho acadêmico dos estudantes. Contudo, a extensão da jornada escolar, particularmente em escolas públicas, pode apresentar também um forte componente social.
Uma das hipóteses é que a extensão da jornada poderia afetar a oferta de trabalho das mães (aumentando e qualificando sua participação no mercado de trabalho) e dos estudantes (reduzindo o trabalho infantil). Neste trabalho, testamos essa hipótese examinando o impacto da maior política de financiamento à educação integral no Brasil em diferentes variáveis de participação das mães e das crianças no mercado de trabalho. Não encontramos impacto significativo do programa em nenhuma das variáveis analisadas.
Os resultados deste trabalho, bem como de outros que demonstram a ausência de impacto do PME no desempenho acadêmico, não representam um argumento contra políticas de educação integral per se. Não temos dúvidas de que a expansão da jornada escolar pode contribuir para o aumento da qualidade da educação no País, bem como para a melhora de certos indicadores sociais. O que esses estudos mostram é que a educação integral, da forma como vem sendo estimulada e financiada pelo Governo Federal brasileiro no âmbito do Programa Mais Educação, não vem apresentando resultados satisfatórios para a sociedade, precisando ser redesenhada.
No PME, o governo federal assume como sua única responsabilidade o envio do dinheiro para as escolas, sem qualquer avaliação de como esse dinheiro está, de fato, sendo empregado. Além disso, a extensão da jornada escolar é amplamente baseada no trabalho de monitores voluntários que não recebem salário, mas uma pequena “ajuda de custo”. Trata-se de uma fragilidade mencionada por uma coordenadora do programa Cidade Escola em Porto Alegre:
As escolas sempre apontam para a questão do valor recebido pelos monitores. Uma diretora de escola, por exemplo, me disse que se constrange quando vai fazer um cheque, porque realmente acha vergonhoso pagar esse montante. E a outra questão é a rotatividade desses monitores. Hoje eles estão ali, daqui a pouco conseguem um serviço e vão embora. Algumas escolas conseguem estabelecer um vínculo e um tempo de permanência maior, mas essa rotatividade, junto com a questão do pagamento é uma grande reclamação. (ALMEIDA et al., 2016).
Nesse sentido, a falta de cultura de avaliação de impacto no Brasil, aliada ao costume de se avaliar políticas pelos seus insumos (ex.: número de escolas atendidas), parece contribuir diretamente para o insucesso do PME, na medida em que pulveriza o recurso disponível em um grande número de escolas, reduzindo o orçamento por escola. A alta rotatividade, aliada a falta de preparo dos monitores, pode explicar grande parte dos resultados alcançados nas avaliações de impacto recentes do PME, tanto em indicadores acadêmicos quanto sociais.
Finalmente, julgamos fundamental que análises de programas como o Mais Educação não fiquem limitadas ao seu impacto no desempenho acadêmico dos estudantes. É indiscutível que a escola constitui parte fundamental da vida de crianças, jovens e de suas famílias, exercendo uma influência que vai muito além do desenvolvimento acadêmico. Esperamos que este trabalho estimule outros pesquisadores a avaliar o impacto da educação integral e de outros programas educacionais em uma série de outros indicadores, tais como criminalidade, comportamentos de risco, entre outros.
