Melhoria da qualidade educacional e redução da violência através de abertura de escolas públicas nos finais de semana: uma avaliação quantitativa

Mejora en la calidad educacional y en la reducción de la violencia a través de la apertura de escuelas públicas los fines de semana: una evaluación cuantitativa

Improving educational quality and reduction of violence through opening schools on weekends: a quantitative evaluation

Mejora en la calidad educacional y en la reducción de la violencia a través de la apertura de escuelas públicas los fines de semana: una evaluación cuantitativa

Marco Túlio Aniceto França^I; Rogério Allon Duenhas^II; Flávio de Oliveira Gonçalves^III

^IO Doutor pelo Programa de Pós Graduação em Desenvolvimento Econômico, Universidade Federal do Paraná (UFPR). E-mail: [e-mail]

^IIDoutor do Programa de Pós-Graduação em Desenvolvimento Econômico, Universidade Federal do Paraná (UFPR). E-mail: [e-mail]

^IIIProfessor adjunto do Departamento de Economia da UFPR. E-mail: [e-mail]

RESUMO

A política pública de abertura de escolas nos finais de semana tem-se tornado prática comum em muitos estados brasileiros. As avaliações quantitativas apontam resultados auspiciosos dessa política pública na redução da violência. O presente trabalho mostra o impacto da abertura de escolas curitibanas da primeira fase do ensino fundamental nos finais de semana às comunidades que estão localizadas em áreas vulneráveis. As questões analisadas serão sobre a violência percebida pelos diretores das escolas e sobre a aprendizagem dos estudantes. A metodologia empregada na análise da violência foi os mínimos quadrados ponderados por propensity score e para os aspectos envolvendo a qualidade foi empregado o diferenças em diferenças. Dois contrafactuais são utilizados: escolas que aguardavam a entrada no programa e escolas que não demonstraram interesse em participar do programa. Os resultados mostram que o programa teve impacto positivo sobre algumas dimensões da violência, como a melhoria no relacionamento entre o corpo discente, redução de crimes contra a propriedade e tráfico de drogas dentro da escola. Todavia, os resultados mostram impactos negativos sobre o desempenho médio das escolas, embora não tenham sido estatisticamente significantes. Conclui-se que o programa, apesar de verificar melhorias no ambiente escolar, ainda não consegue melhorar a qualidade da educação.

Palavras-chave: Escola. Qualidade. Violência. Microeconometria.

ABSTRACT

Opening public schools on weekends has become a common practice in many states of Brazil. The quantitative studies indicate auspicious results for this public policy in reducing violence. This paper discusses the impacts of opening basic schools of Curitiba, during the weekend, to communities in vulnerable areas. It investigates questions about violence and performance of students in standardized tests. The methodology applied in analyzing violence is weighted least squares by propensity score, in analyzing performance is used differences in differences. Two counterfactuals are used: schools waiting to get into the program and those which have showed no interest. The results show that the program has a positive impact on some dimensions of violence, such as the relationship among students, the reduction of crimes against property and drug dealing. The results also show a negative impact on the average performance of the schools, even though they are not statistically significant. Although the program improves the school environment, we conclude that it fails when trying to transform such successes into effective learning.

Keywords: School. Quality. Violence. Microeconometrics.

RESUMEN

La política pública de apertura de escuelas los fines de semana se ha convertido en una práctica común en muchas provincias brasileñas. Las evaluaciones cuantitativas presentan buenos resultados de esta política para reducir la violencia. El artículo muestra el impacto de la apertura de las escuelas curitibanas (Curitiba, municipio brasileño, capital de Paraná) de la primera fase de la Educación General Básica los fines de semana en las comunidades de zonas vulnerables. Los temas que se tratarán aquí serán la violencia que los directores de escuelas observan y el aprendizaje de los estudiantes. La metodología utilizada en el análisis de la violencia fue la de los mínimos cuadrados observados atentamente por la puntuación de propensión (propensity score). Para los aspectos que involucran la calidad se utilizó el de las diferencias en diferencias. Dos contrafactuales se utilizan: las escuelas que esperan la entrada en el programa y las escuelas que no demostraron interés en participar del programa. Los resultados muestran que el programa tuvo un impacto positivo en algunas dimensiones de la violencia, como la mejora de la relación entre el alumnado, la reducción de delitos contra la propiedad y el tráfico de drogas dentro de la escuela. Sin embargo, los resultados señalan impactos negativos en el desempeño general de las escuelas, aunque no hayan sido estadísticamente significativos. Se concluye que el programa, a pesar de observar alguna mejora en el ambiente escolar todavía no ha logrado mejorar la calidad de la educación.

Palabras clave: Escuela. Calidad. Violencia. Microeconometría.

1 INTRODUÇÃO

Diferentes estados brasileiros têm adotado a política pública de abertura de escolas estaduais nos finais de semana com o propósito de oferecer à comunidade um espaço alternativo para a realização de atividades esportivas, culturais e educativas. A concepção dessa política foi baseada em estudos teóricos e empíricos, em particular no âmbito da Unesco, sobre temas sociais envolvendo educação, cultura de paz e ambiência escolar. A ideia geral é a redefinição das relações entre escola e sociedade, fortalecimento do capital social e redução da violência em comunidades mais vulneráveis.

As avaliações feitas sobre os programas dessa natureza são, em geral, qualitativas e sugerem resultados auspiciosos. Por exemplo, avaliações feitas sobre os programas Escola da Paz do Rio de Janeiro, Escola Aberta Cultura de Paz e Lazer nas Escolas nos Finais de Semana de Pernambuco e Educação e Cultura para Paz da Bahia, apontam, de forma geral, melhoria nas relações entre os discentes, entre esses e professores, redução do vandalismo na escola e ainda o aumento do interesse da comunidade em relação à escola.

Consonantes as avaliações citadas, o objetivo desse trabalho é avaliar o impacto da abertura das escolas públicas municipais em dois aspectos, melhoria na qualidade educacional e redução da violência. Enquanto a qualidade escolar está vinculada ao aumento da proficiência média da escola nas disciplinas de língua portuguesa e matemática, a violência é representada pela delinquência prática, ou seja, depredação, pichações, venda e consumo de drogas, violência física e verbal contra professores e violência física e verbal entre os alunos.

Para as avaliações nas duas frentes - redução da violência e aumento da qualidade educacional - serão empregados dois métodos econométricos. O primeiro é o Mínimos Quadrados ponderados por propensity score a fim de captar sob quais dimensões o Programa Comunidade Escola (PCE) abertura de escola nos finais de semana logra sucesso na redução da violência.

O segundo é o método de diferenças em diferenças que, entre os anos de 2005 (ano de início do programa) e 2007, visa a mensurar o impacto do programa no aumento na qualidade educacional nesse período.

O trabalho contribui com a literatura ao avaliar quantitativamente, ao invés de qualitativamente, os efeitos da política pública de abertura das escolas nos finais de semana sobre a qualidade educacional e a violência. A metodologia empregada permite comparar os efeitos do programa entre grupos de escolas com características semelhantes cuja diferença encontrar-se-ia apenas na adesão ou não ao programa. O emprego de dados secundários, isto é, informações provenientes da Prova Brasil reduz o viés se comparado às obtidas em uma entrevista, a qual o diretor sabe de antemão, que as respostas serão utilizadas na avaliação da política.

O artigo está estruturado da seguinte forma: na seção 2 serão apresentadas as características do Programa curitibano de abertura das escolas nos finais de semanas. Na seção 3 serão apresentadas as bases de dados juntamente com as estatísticas descritivas das variáveis utilizadas. As metodologias adotadas serão apresentadas na quarta seção. Na seção seguinte serão delineados os resultados do trabalho e na seção 6, as considerações finais.

2. O PROGRAMA COMUNIDADE ESCOLA (PCE)

As experiências de outras capitais e os estudos da UNESCO foram tomados como ponto de partida para a construção do programa "Comunidade Escola" implementado na capital paranaense no ano de 2005. Ele está sob a responsabilidade da Secretaria Municipal¹ de Educação (SME) e tem como objetivos gerais a valorização das escolas como espaços abertos de conhecimento, contribuindo para a melhoria da qualidade da educação e para a promoção do desenvolvimento da comunidade local com atividades socioeducativas nos finais de semanas. Dentro dos objetivos específicos estão a melhoria da qualidade do ensino e a redução dos níveis de violência. Para isso, o programa protegeria àqueles que dele o participam, na medida em que fortalece o capital social comunitário. Adicionalmente, os frequentadores não estariam vulneráveis às situações de risco localizadas para além dos muros escolares. A melhoria educacional seria alcançada, pois, os frequentadores seriam beneficiados por aulas de reforço resultando, assim, em notas mais elevadas nos testes padronizados.

A política pública desenvolvida pela prefeitura municipal guarda uma diferença importante em relação àquela implementada pelos Estados. Enquanto nesses, as escolas abertas à comunidade são, em geral, de nível médio, a Prefeitura tem sob sua responsabilidade as escolas do nível fundamental, sendo que, em sua maioria, são escolas que atendem alunos com idade entre 7 e 10 anos. Contudo, o programa atende as diversas faixas de idade, o que pode trazer novos problemas de violência na percepção dos diretores.

O efeito do PCE na redução da violência e melhoria na qualidade educacional será detectado pela comparação entre as escolas que adotaram o programa e aqueles que ainda não o fizeram. A entrada no programa leva em consideração alguns critérios. Primeiramente, é preciso que a comunidade escolar (pais, professores e o diretor) tenha interesse em fazer parte do programa. Posteriormente, é necessário que a localidade onde se encontra a escola tenha altos índices de déficits sociais e econômicos. Além disso, é preciso ter uma infraestrutura mínima, representada pela existência de quadra coberta. É importante destacar que, a restrição à inclusão de novas escolas ao programa é a existência de escola participante dentro de um raio de um quilômetro.

A seguir serão apresentadas algumas diferenças entre as escolas participantes e não participantes juntamente com as fontes de dados de onde foram extraídas as informações. .

3. FONTES DOS DADOS E AS ESTATÍSTICAS DESCRITIVAS

Os dados utilizados para a elaboração das características do nível socioeconômico e da infraestrutura das escolas foram extraídos dos questionários da Prova Brasil e do Censo Escolar. O desempenho médio dos estudantes em testes padronizados de proficiência será empregado como o indicador da qualidade do ensino. Os dados de violência foram extraídos do questionário dos diretores, cujas perguntas dizem respeito à sua formação acadêmica, o critério para a formação das turmas, além de problemas relacionados à violência escolar cujos agressores ou vítimas são os estudantes, os professores, os funcionários ou a comunidade externa.

Na análise da violência, mensurada por intermédio da percepção do diretor, serão estudadas as questões relativas a roubo e furtos de equipamentos e materiais pedagógicos, as depredações das dependências internas e externas da escola, tráfico e consumo de drogas e violências interpessoais, como agressão física e verbal. As ações podem ter sido cometidas por pessoas da própria escola ou estranhas a ela, sendo que as ocorrências podem ter acontecido em suas dependências ou no entorno. Cabe destacar que será preciso restringir-nos ao ano de 2007, pois estas informações começaram a ser coletadas a partir da Prova Brasil do referido ano, ao contrário dos dados para o desempenho escolar. Além disso, a vantagem de usar bases secundárias na análise do programa visa a reduzir algum possível viés de seleção.

Em relação à qualidade de ensino será analisado o ano de 2007, em relação ao ano de 2005. Nesse ano a Prova Brasil foi aplicada em um universo de 160 escolas municipais da cidade de Curitiba e, independente da criação de novas escolas, a mesma amostra será empregada no ano de 2007. A variável dependente consistirá do desempenho da escola nas disciplinas de matemática e de língua portuguesa na Prova Brasil para as séries iniciais do ensino fundamental (quarta série no ensino seriado ou quinto ano no ensino baseado em ciclos). As características observáveis utilizadas em ambas as análises dizem respeito à infraestrutura escolar, cujas variáveis como a presença de biblioteca, internet, quadra de esportes ou ginásio, laboratório de ciências e o número de computadores para uso dos discentes, serão extraídas do Censo Escolar. As variáveis relativas ao nível socioeconômico² da escola serão construídas por intermédio das informações oriundas dos estudantes submetidos à Prova Brasil. Para a sua elaboração utilizou-se análise fatorial³ com a extração de duas componentes principais. Além de constituir-se como proxy do nível socioeconômico médio da escola, também é uma forma de captar os peer effects⁴.

3.1 Estatísticas Descritivas

Primeiramente, serão apresentadas as estatísticas descritivas para as variáveis dependentes utilizadas na análise da violência e da qualidade escolar para o grupo de tratamento. Em seguida, serão mostradas as estatísticas descritivas no que tange aos contrafactuais (NPCE) e (FPCE).

A Tabela 1 apresenta as estatísticas descritivas das variáveis dependentes (representam a violência) que sofreram um impacto estatisticamente significante do programa. A pergunta é basicamente a seguinte: (Nesse ano aconteceram os seguintes fatos na escola:). São 61 perguntas que abrangem diversos tipos de violência. Devido ao grande número de perguntas os tipos a violência serão reunidos em três grupos: i) violência contra pessoa (atentado à vida, agressões físicas e verbais); ii) violência contra patrimônio pessoal (furtos e roubos); e iii) violência contra o patrimônio escolar (quebra intencional de equipamentos, roubo de equipamentos, pichações, etc.).

De acordo com as estatísticas apresentadas na tabela 1, pode-se observar que não existem diferenças significantes nas variáveis de violência na comparação entre as respostas dos diretores das escolas PCE com o contrafactual FPCE. Isto é, seriam escolas com realidades semelhantes no que tange à violência. Em relação ao segundo contrafactual, NPCE, observam-se diferenças significantes nas dimensões da violência no que concerne às pichações e ações de gangues nas dependências externas a escola e agressões verbais a professores cujo agressor foi o aluno. Em relação às demais dimensões não houve diferenças estatisticamente significantes.

As respostas são dadas de acordo com a percepção dos diretores e são binárias estando limitadas a sim, igual a 1, ou não, igual a zero. Em outras palavras, capta a ocorrência do evento no ano ou não. Vale ainda lembrar que, os agentes que cometem violência podem ser internos (estudantes, professores ou funcionários) ou agente externos (pessoas de fora da escola).

Se por um lado espera-se que o programa Comunidade Escola consiga reduzir a violência, praticada pelos agentes internos, na medida em que os estudantes passam a considerar a escola como uma alternativa de lazer nos finais de semana, por outro lado é possível que a violência, oriunda de agentes de fora da escola e percebida pelos diretores, aumente. Com a abertura das escolas nos finais de semana o contato dos diretores com a comunidade externa é ampliado. Eles passam a conviver com um público de faixa etária maior do que a faixa etária matriculada na escola, entre 7 e 10 anos, o que pode trazer novos tipos de violência para dentro da escola, como pichação de muros, porte de armas e tráfico de drogas. Ademais, a escola tornar-se-ia ponto de encontro dos mais diversos grupos e, em última instância, local de resolução de conflitos.

A Tabela 2 abaixo mostra as estatísticas descritivas para as variáveis dependentes utilizadas na qualidade escolar, tais variáveis são o desempenho médio em matemática e em língua portuguesa na Prova Brasil para os anos de 2005 e 2007. Enquanto que, no geral, o desempenho em 2005 era de 196,16 e 186,61 pontos em matemática e em língua portuguesa, respectivamente, nota-se que em 2007 o desempenho em ambas as disciplinas aumentou para 209,7 em matemática e para 188,42 em língua portuguesa. Isto é, todas as escolas melhoraram os seus desempenhos no decorrer do período. As 24 escolas que passaram a fazer parte do programa (PCE_ENT), isto é, as entrantes entre os anos de 2006 e 2007 mostraram um desempenho médio no ano de 2005 de 187,28 em matemática e de 179,49 em língua portuguesa. Primeiramente, observa-se que as escolas entrantes no decorrer do programa têm desempenhos inferiores em comparação àquelas que faziam parte do programa desde o início. Além disso, as escolas participantes do programa apresentam desempenhos inferiores vis à vis às demais. Embora as diferenças não sejam estatisticamente significantes, tais evidências podem viesar aos resultados.

Para as características observáveis, de acordo com as médias apresentadas na Tabela 3 abaixo, percebe-se que as escolas que participam do PCE têm diferença significante apenas no capital material médio, se comparadas com as escolas FPCE. Isto é, as famílias das escolas FPCE têm menos recursos materiais que aquelas das escolas do PCE. Nesse mesmo sentido, as escolas PCE possuem estrutura física média superior às escolas NPCE, e essa diferença é estatisticamente significante. É importante destacar que a presença de estrutura física é um dos pré-requisitos para fazer parte do Programa. O acesso a Internet e o capital humano médio não apresentam diferenças significativas entre os três tipos de escolas.

Na seção seguinte serão apresentados os métodos empregados para identificar o efeito do Programa comunidade escola na redução da violência e melhoria na qualidade educacional.

4. MÉTODOS

Com a ausência de registros sobre a percepção de violência referente ao ano de 2005, na Prova Brasil, tornou-se necessário o emprego de duas metodologias distintas. Na análise da violência serão utilizados os mínimos quadrados ponderados por propensity score, enquanto que na análise da qualidade educacional será empregado o método de diferenças em diferenças.

4.1. Mínimos Quadrados Ponderados por Propensity score

Um dos desafios relacionados aos estudos microeconométricos de avaliação de políticas públicas é contornar o problema relacionado ao viés de seleção. (CALIENDO; KOPENING 2005). Isso decorre da impossibilidade de se observar, ao mesmo tempo, sobre a unidade em estudo, dois resultados de uma determinada política. Para isso, elabora-se nesse trabalho um grupo denominado de contrafactual, isto é, constrói-se um grupo de controle cuja principal diferença entre os grupos, depois de controlado por todas as características observáveis, está relacionada com a não participação no programa.

A estratégia é encontrar um grupo que não seja participante do tratamento, isto é, escolas que não participam do PCE, porém com características similares às daquelas que participam. Portanto, ao comparar os dois grupos de escolas com base em características observáveis, as diferenças nos níveis de violência entre os grupos poderão ser atribuídas somente ao tratamento.

O grupo de tratamento é composto por 55 escolas que aderiram ao programa. O contrafactual será dividido em dois grupos. O primeiro grupo, denominado FPCE, é composto por 28 escolas que estavam na "fila⁶" para aderirem ao Programa. O segundo grupo denominar-se-á NPCE, é formado pelas 85 escolas restantes, isto é, que não mostraram interesse em ingressar no Programa. É importante destacar que o contrafactual FPCE é melhor em comparação ao NPCE, pois são escolas que, em algum momento, farão parte do Programa e, por algum motivo, isso ainda não ocorreu. Logo, exclui o viés na seleção das escolas que não têm interesse.

A redução ou não da violência, de acordo a percepção dos diretores das escolas participantes, segundo características observáveis⁷ será estimado por intermédio de mínimos quadrados ponderados por propensity score⁸. Esses métodos são denominados como duplamente robustos e foi proposto por Robins e Rotznitzky (1995) no contexto de dados faltantes. A combinação da ponderação com a regressão, de acordo com Imbens e Wooldridge (2008) contornaria o problema de má especificação quando a equação de propensity score ou de regressão está mal especificada. Todavia, a má especificação não pode ocorrer para ambos ao mesmo tempo. Dessa forma, o método removeria o efeito direto das variáveis omitidas (regressão) e ao reduzir a correlação entre as variáveis omitidas e incluídas (reponderação). É importante destacar que a ponderação não afeta a consistência desses estimadores.

O cálculo é dividido em duas etapas, sendo que a primeira diz respeito à estimação do propensity score, p(X), que segundo Becker e Ichino (2002), podem ser realizadas por meio de qualquer modelo de probabilidade padrão (logit/probit). Assim

onde o propensity score estimado, , é a probabilidade de ser tratado (D) de acordo com as características observáveis (X). No passo seguinte, estima-se por Mínimos Quadrados Ponderados por propensity score, a percepção da violência escolar com base na opinião do diretor, , em relação à dummy de participação no programa, D_i e o vetor de características observáveis, X_i, ponderado pelo inverso da probabilidade de tratamento. Assim, encontramos o impacto do Programa Comunidade escola sobre a percepção da violência no que tange às escolas participantes.

O estimador do efeito do tratamento ponderado pelo propensity score sem empregar a normalização, segundo Hirano e Imbens (2001) é:

sendo a proporção de tratados na amostra e N o número de escolas participantes do programa. O propensity score estimado será dividido em quatro estratos com o objetivo de fazer o teste de balanceamento. O procedimento visa a verificar se há diferenças significantes entre os grupos de tratamento (PCE) e contrafactuais (FPCE e NPCE) no que tange às características observáveis que afetam a participação no Programa e os resultados potenciais. Caso as covariadas não se mostrem balanceadas dentro dos estratos, serão feitas iterações e/ou será modificada a forma funcional a fim de que todas as variáveis mostrem-se balanceadas.

As variáveis observáveis empregadas serão: o nível socioeconômico médio da escola, as características relativas à infraestrutura física escolar como o número de computadores para os estudantes, a existência de internet, biblioteca e a presença de quadra ou ginásio coberto.

As Tabelas A1 e ^A2 (anexas) apresentam, respectivamente, as características observáveis usadas na estimação dos efeitos do PCE sobre a percepção da violência, tendo o FPCE e o NPCE como contrafactuais. Ademais, as Tabelas A3 e ^A4 (anexas) apresentam as estatísticas descritivas relativas ao teste de balanceamento do p-score tendo o FPCE e o NPCE, respectivamente, como contrafactuais.

4.2. O diferenças em diferenças

Para mensuração dos impactos do PCE sobre a qualidade educacional será empregado o método de diferenças em diferenças, cuja difusão foi feita por Ashenfelter e Card (1985). O método permite o controle simultâneo dos efeitos decorrentes tanto do tempo quanto do tratamento. Para isso, um dos grupos é exposto ao tratamento em um segundo período, enquanto que o grupo de comparação não sofre qualquer intervenção em nenhum dos períodos. Dessa forma, se conseguimos observar as mesmas unidades (tratamento e comparação) em ambos os períodos, o efeito da intervenção pode ser mensurado por intermédio de uma diferença de médias.

A estratégia empírica para a análise da qualidade será ligeiramente diferente em comparação à empregada para a ótica da violência. Na análise da qualidade, haverá dois diferentes grupos de tratamento. O primeiro (PCE_T05) será composto pelas escolas piloto, isto é, participantes desde o início do programa, enquanto que o segundo grupo será (PCE_T07), formado por todas as escolas participantes, inclusive aquelas que entraram no decorrer de 2006 e 2007. O motivo da divisão em dois grupos de tratamento se justifica, pois se espera que o tempo de exposição ao programa possa beneficiar em maior medida as escolas que entraram desde o início, dessa forma, controlaria por algum viés decorrente do tempo ou de características diferentes oriundas das novas escolas entrantes.

Os grupos de controle serão semelhantes aos utilizados na ótica da violência. Isto é, o primeiro grupo de controle é formado pelas escolas postulantes a entrar no programa (FPCE). E o segundo grupo de controle consiste nas escolas restantes (NPCE), isto é, naquelas que não aderiram ao programa. A identificação das escolas tratadas e não tratadas é feito por variáveis binárias, dessa forma temos: E_it = 1 se é escola participa e 0 caso contrário.

O modelo a ser estimado é: ; onde: β₁, é o coeficiente que capta a variação no tempo (2005 ou 2007); γ₁, é o coeficiente que capta a diferença entre a participação ou não da escola no Programa, e φ⁹ é o coeficiente que corresponde à iteração entre o tempo e a participação no Programa, de forma a medir o impacto do programa no tempo. Na próxima seção serão apresentados os resultados.

5. RESULTADOS

5.1 - Impactos sobre a percepção de violência

O passo inicial foi a estimação de um modelo probit a fim de mensurar a probabilidade de a escola fazer parte do PCE. Os critérios para a entrada na Comunidade Escola dizem respeito à presença de quadra de esportes ou ginásio, o nível socioeconômico médio do entorno da escola, além de a iniciativa de entrar no PCE, deve partir da escola. Além desses critérios, inserimos outras características observáveis como a presença de biblioteca, internet e o número de computadores para os alunos. Na Tabela 4 abaixo, são mostradas as probabilidades marginais calculadas sobre a escola com características médias.

A insignificante estatística das variáveis revela que as escolas, em geral, são bastante semelhantes. Quando comparado ao NPCE, os resultados mostram que a existência de biblioteca aumenta em 26% a probabilidade de ter o programa, e uma unidade a mais no índice de capital material médio das famílias aumenta em 44% as chances de a escola participar do PCE. Todavia, a presença de diversas variáveis não significantes não quer dizer que devamos excluí-las do modelo, pois, na opinião de Caliendo e Kopening (2005), a manutenção dessas variáveis não tornará as estimativas viesadas ou inconsistentes. Ademais, Rubin e Thomas (1996) destacam que a exclusão deva ocorrer apenas se as variáveis constantes no modelo não tenham relação com o resultado.

O passo seguinte foi a estimação do efeito do PCE sobre a percepção de violência dos diretores (ATT) que, primeiramente, será calculada em relação ao contrafactual FPCE. Em um segundo exercício será utilizado o contrafactual NPCE, que é formado pelas escolas restantes. A metodologia empregada será a de mínimos quadrados ponderados por propensity score e os resultados são mostrados nas Tabelas 5 e 6 abaixo.

Observa-se que o efeito de abrir as escolas públicas municipais nos finais de semana mostrou-se significante na percepção do diretor na redução dos episódios de furto a professores e funcionários da escola, além da redução das ocorrências de tráfico de drogas nas dependências da escola¹⁰. Nas demais dimensões, houve um aumento na percepção da violência, no que tange à pichação de muros das dependências externas da escola, ação de gangues, assim como membros da comunidade portando arma branca nas escolas quando comparados os grupos compostos pelas escolas PCE e FPCE. A partir da abertura das escolas, acredita-se que esses locais transformaram-se em pontos de encontro da juventude e, em muitos casos, tornaram-se locais para a resolução de conflitos por parte da comunidade local.

As escolas que compõem o PCE registraram uma redução nos atentados contra a vida de alunos dentro da escola. Ademais, houve acréscimos no cuidado e zelo com os equipamentos escolares quando comparado ao contrafactual NPCE. São evidências de melhorias nas relações interpessoais dentro do corpo discente. Entretanto, observou-se uma elevação nos casos de vandalismo, ações de gangues, tráfico e consumo de drogas nas dependências da escola. O aumento da percepção dos diretores sobre tráfico e ação de gangues mostra uma maior interação entre os ambientes externos e internos da escola. As escolas municipais de ensino fundamental apesar de desempenhar papel importante em algumas dimensões da violência não se deparam diretamente com a violência dos jovens. Interessante notar que, houve uma elevação nos casos de agressão verbal ocorrida dentro do staff, isto é, entre professores e funcionários.

Na subseção seguinte será analisado o impacto desse programa na ótica da qualidade escolar.

5.2 - Impactos sobre a qualidade do ensino

5.2.1. Diferenças em diferenças: dados em painel.

Utilizaremos os dados em painel, uma vez que podemos controlar o viés decorrente de variáveis omitidas. As variáveis independentes serão as mesmas que foram utilizadas na estimação do propensity score. Isto é, serão as variáveis de infraestrutura escolar que medem a presença de laboratórios de ciências, biblioteca, quadra de esportes, internet e computador para os alunos. O indicador do nível socioeconômico médio da escola será construído por intermédio de análise fatorial com a extração de duas componentes principais. As variáveis correspondem ao capital humano e ao capital material médio das famílias cujos estudantes matriculados na escola prestaram o exame da Prova Brasil. O uso dessas variáveis tem por objetivo a mensuração do peer effects.

É importante destacar que as características observáveis dos grupos de escolas permaneceram praticamente inalteradas no decorrer dos anos de 2005 e 2007. Contudo, podemos notar acréscimos de nível socioeconômico médio nesse período independente do conjunto de escolas analisado, embora não tenha sido estatisticamente significante. Portanto, poderemos empregar tanto uma regressão considerando dados empilhados quanto um painel de dados.

As 160 escolas participantes da Prova Brasil nos anos de 2005 serão as mesmas a serem utilizadas em 2007. Assim, estimaremos um painel balanceado. O modelo estimado captará os efeitos do programa Comunidade Escola sobre o desempenho médio das escolas em matemática e em língua portuguesa nos resultados da Prova Brasil 2007. Novamente serão utilizados dois grupos de tratamento sendo que um deles é composto por todas as escolas participantes do programa (PCE_T07) e o segundo grupo formado apenas pelas escolas piloto, isto é, que entraram em 2005. Os efeitos relativos ao programa serão capitados pela dummy de participação (CE) e o efeito tempo será mensurado por uma dummy de tempo (d_ano07), cujo ano é o de 2007. A diferença das diferenças será mensurada ao interagir as dummies de participação no programa e de tempo e, portanto, será denominada de ano_ce. Os grupos de controle serão as escolas postulantes (FPCE) e as escolas restantes (NPCE). Os resultados são mostrados na Tabela 7 abaixo.

Inicialmente, analisaremos os resultados em língua portuguesa e matemática da intervenção sobre as escolas participantes do tratamento (PCE_T07) em comparação com as escolas que compõem o grupo de controle formado pelas unidades escolares postulantes a fazer parte do programa (FPCE). A variação no tempo em ambas as disciplinas mostrou-se positiva e significante sendo que, em matemática, a magnitude mostrou-se muito maior. Todavia, o impacto do programa sobre ambas as disciplinas se mostra negativo, sendo significante apenas para língua portuguesa. Algumas variáveis de controle mostraram o sinal esperado, contudo, muitas apresentaram baixa significância estatística.

Para as escolas que não têm o interesse de entrar no programa (NPCE), os resultados são bastante semelhantes aos observados na análise anterior. Nota-se que ocorreu uma variação positiva no decorrer do período analisado nos desempenhos em matemática e em língua portuguesa, sendo que, em matemática, a variação também se mostrou de maior magnitude. Todavia, o impacto do programa mostrou-se negativo para ambas as disciplinas, embora estatisticamente significante para língua portuguesa.

O modelo seguinte será estimado tendo como grupo de tratamento somente as escolas piloto (participantes desde o início do programa) e os grupos de controle serão as escolas postulantes (FPCE) e as escolas restantes (NPCE). O objetivo é verificar se o tempo de participação no programa e as características das entrantes no decorrer de 2006 e 2007 podem ter viesado o resultado. Os resultados são mostrados na Tabela 8 abaixo.

Observamos que as variáveis de controle, em parte, mostraram os sinais esperados, embora a maioria não seja estatisticamente significante. Em relação ao grupo de controle formado pelas escolas postulantes a entrar no programa (FPCE), o impacto do PCE é negativo e significante a 5% para língua portuguesa. Para matemática o impacto também se mostra negativo, contudo, não é estatisticamente significante.

Para as escolas restantes (NPCE), o efeito do programa apresenta sinal e significância estatística semelhantes às encontradas para as escolas postulantes. Além disso, observa-se que as magnitudes do impacto mostram-se maiores para língua portuguesa vis à vis matemática. Nota-se que, na disciplina de língua portuguesa, o impacto do programa mostra-se negativo e estatisticamente significante a 1%, enquanto que, em matemática, o efeito também se mostra negativo e é estatisticamente significante a 5%. Os resultados para as escolas pilotos mostram que quanto maior o tempo de exposição da escola ao programa, menor será o desempenho independente da disciplina avaliada.

É importante destacar que os resultados são bastante semelhantes, independente do grupo de controle usado. Em geral, o programa não mostra significância estatística no que tange ao seu impacto sobre o desempenho médio da escola para as disciplinas de matemática, contudo, não se pode afirmar o mesmo para língua portuguesa. E, além disso, é importante destacar que o sinal sempre foi negativo. O resultado leva a crer que a Comunidade Escola não logra sucesso na melhoria da qualidade do ensino, embora o ambiente se tenha tornado mais seguro devido à redução de certos tipos de violência. Por outro lado, o tempo de exposição ao programa pode não ter sido o suficiente para causar um impacto. Além disso, os resultados, no que tange a percepção da violência por parte dos diretores, mostram que o PCE aumentou os conflitos dentro do staff nas escolas participantes e, esse clima conflituoso pode ter prejudicado o desempenho dos estudantes. Outro ponto a destacar é que os professores coordenadores do programa das escolas participantes têm uma carga horária de trabalho muito maior, logo, isso pode prejudicar a qualidade das aulas, uma vez que o tempo de preparação e descanso mostra-se inferior.

Cabe destacar que a média de idade entre as crianças, faixa etária 0-14 anos, frequentadoras do programa é de 11,05 anos, e a mediana, de 11,50, ou seja, a maioria é formada por crianças que já estariam no segundo ciclo da educação básica. Adicionalmente os frequentadores do programa são pessoas da comunidade, não necessariamente estudantes daquela escola, conforme apontou a Survey conduzida pelo NAPPE (NÚCLEO DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS EDUCACIONAIS, 2007). Por fim, o programa pode ter sido elaborado de forma a contemplar outros aspectos que não estejam diretamente ligados a melhorias na qualidade do ensino.

6. CONCLUSÃO

O objetivo do artigo foi analisar o impacto do Programa Comunidade Escola em duas frentes, redução da violência e melhoria na qualidade educacional. Em relação à violência utilizou como indicador a percepção da violência por parte dos diretores das escolas que participam do PCE enquanto que, o indicador de desempenho foi a proficiência média da escola para as disciplinas de língua portuguesa e matemática entre os anos de 2005 e 2007 no exame da Prova Brasil. Em ambos os estudos, os contrafactuais empregados foram as escolas que ainda não ingressaram no Programa, mas possuíam data marcada para ingresso a partir do ano de 2007 (FPCE), e aquelas escolas que não ingressariam, ou pelo menos não tinham data de ingresso definida no Programa (NPCE).

Os resultados mostram que o Programa Comunidade Escola contribuiu para redução de algumas violências específicas, como é o caso de redução de furtos aos professores e equipamentos pedagógicos, além de redução de atentados contra a vida dos alunos. Como esses delitos eram cometidos por alunos da própria escola, sugere-se que a adesão ao programa tenha sido benéfico à escola no que se refere àqueles tipos de violência.

Por outro lado, a adoção ao programa parece ter deixado a escola mais exposta à pichação de muros e aumento de ações de gangues. Intuitivamente, acredita-se que o aumento de ações de gangues foi estimulado devido a Comunidade Escola ter-se tornado um ambiente de ponto encontro de adolescentes e jovens, atraindo a atenção das gangues. Esses resultados podem dar indícios à Prefeitura Municipal de Curitiba no sentido de redesenhar, ou melhorar o PCE. A presença deste novo público traz oportunidades de atuação em áreas de esporte e cultura para melhor incorporar os jovens ao programa. Por exemplo, firmando parcerias com os atores sociais locais, comércios, associação de moradores, para conter ou desestimular as ações das gangues, ou ainda melhor, estimular as ações das gangues no sentido de fazer com que seus integrantes participem do Programa em atividades esportivas e educativas, que poderiam ajudar a transformar a realidade desses jovens, muitas vezes marginalizados.

Para a qualidade, adotou-se como estratégia empírica o método das diferenças em diferenças. Além de um grupo de tratamento que fosse composto por todas as escolas participantes, decidiu-se adicionar à análise, um grupo de tratamento que fosse formado apenas pelas escolas piloto a fim de controlar por diferentes vieses que poderiam surgir de características diferentes oriundas das escolas que entraram no programa no decorrer dos anos. Foram empregados dois diferentes grupos de controle sendo que o primeiro é composto pelas escolas postulantes a entrarem no programa enquanto que, o outro grupo é formado pelas escolas restantes.

Os resultados mostram que o efeito do PCE sobre as escolas não implicaram em acréscimos de desempenho tanto para as disciplinas de matemática quanto para a de língua portuguesa. O resultado sinaliza que, se a prefeitura de Curitiba objetiva melhoria da educação nas escolas públicas por intermédio do programa Comunidade Escola, essa iniciativa deve ser redesenhada em três frentes principais: i) Público Alvo: incentivar a maior participação de crianças com idades entre 7 à 10 anos, atualmente a média de idade é de 11,05 anos, além de oferecer maiores incentivos a crianças da própria escola para participarem do programa; ii) aumentar aulas de reforço escolar combinadas a atividades lúdicas que abordem aspectos relacionados às matérias apresentadas nos dias letivos; iii) minimizar os impactos de conflitos dentro do staffs da escola, após a implementação do Programa Comunidade Escola.

Dessa forma, o sucesso que o programa logra na redução da violência não se observa em acréscimos de qualidade do ensino. Embora tenha melhorado a sensação de pertencimento na relação entre a comunidade e a escola, esta melhoria ainda não está sendo refletida no comportamento dos demais professores que não estão envolvidos no programa, consequentemente, não havendo impacto sobre o desempenho.

Recebido em: 19/10/2011

Aceito para publicação em: 04/06/2013

O trabalho foi desenvolvido no âmbito do NAPPE - UFPR (Núcleo de Avaliação de Políticas Públicas Educacionais) e os autores agradecem à CAPES (Programa Observatório da Educação) e ao CNPq pelo apoio financeiro à pesquisa. Os autores agradecem a cooperação da Secretaria Municipal de Educação de Curitiba, a Fundação Itaú Social e aos pesquisadores Rafael de Pauli e Tiago R. Santana. Possíveis erros e omissões são da responsabilidade dos autores.

ANEXOS

O teste de balanceamento foi realizado por intermédio da divisão do pscore em quatro estratos. As estatísticas da tabela A.1 corresponde ao quarto quartil. Os resultados para os quartis restantes seguem padrão semelhante.

• ASHENFELTER, O.; CARD, D. Using the Longitudinal Structure of Earnings to Estimate the Effect of Training Programs. The Review of Economics and Statistics, [S.l.], v. 67, n. 4, p. 648-660. 1985.
• BECKER , S.O; ICHINO, A. Estimation of average treatment effects based on propensity score. Stata Journal, [S.l.], v. 2, n. 4, p. 358-377, 2002. Disponível em: <http://www.sobecker.de/pscore.html.>. Acesso em: 3 mai. 2010.
• BLUNDELL, R.; COSTA DIAS, M. Alternative approaches to evaluation in empirical microeconomics. Portuguese Economic Journal, [S.l.], v. 1, p. 91-115, mar. 2002.
• BOURDIEU, P. Cultural reproduction and social reproduction. In: KARABEL, J.; HALSEY, A. H (Ed.). Power and ideology in education. New York: Oxford University Press, 1977.
• CALIENDO, M.; KOPENING, S. Some practical guidance for the implementation of propensity score matching Bonn, Germany: Institute for the Study of Labor (IZA), 2005. (IZA Discussion Papers, 1588).
• CALIENDO, M.; HUJER, R. The microeconometric estimation of treatment effects: an overview. AStA Advances in Statistical Analysis, [S.l.], v. 90, n. 1, p. 199-215, mar. 2006.
• HIRANO, K.; IMBENS, G. Estimation of causal effects using propensity score weighting: an application to data on right hear catheterization. Health Services and Outcomes Research Methodology, [S.l.], n. 2, p. 259-278, apr. 2001.
• IMBENS, G. M.; WOOLDRIGE, J. M. Recent development in the econometrics program evaluation. NBER: Technical Working Paper, n. 14251, aug. 2008. Disponível em: < http://www.nber.org/papers/w14251 >. Acesso em: 25 mar. 2012.
• NÚCLEO DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS EDUCACIONAIS. Comunidade Escola: Relatório de Avaliação. Paraná: Universidade Federal do Paraná, 2007.
• ROBINS, J. M.; ROTNITZKY, A. Semiparametric efficiency in multivariate regression models with missing data. Journal of the American Statistical Association, [S.l.], v. 90, n. 429, p. 122 - 129, nov. 1995.
• RUBIN, D. B.; THOMAS, N. Matching using estimated propensity scores: relating theory to practice. Biometrics, [S.l.], n. 52, p. 249 - 264, oct. 1996.

Melhoria da qualidade educacional e redução da violência através de abertura de escolas públicas nos finais de semana: uma avaliação quantitativa

Improving educational quality and reduction of violence through opening schools on weekends: a quantitative evaluation.

1

Há uma diferença na administração do programa de Curitiba para os demais que foram citados no trabalho. Nesses a administração é feita pelos governos estaduais, ou seja, envolvem escolas estaduais que, em geral, são responsáveis pelo ensino médio, naquele é feito pelo governo municipal e envolvem escolas municipais de ensino fundamental.

2

Bourdieu (1977) destaca que existe três de capitais que estão sob influência da família. O capital humano que corresponde aos títulos escolares. O capital material diz respeito aos recursos financeiros para a compra de livros, equipamentos e para o pagamento das mensalidades escolares. Por último, o capita social corresponde ao conjunto de relações mantidas pelas famílias dos estudantes.

3

As questões relativas a presença de carro, DVD, rádio, o número de pessoas que dividem residência com o estudante, o número de quartos e de banheiro, além da escolaridade do pai e da mãe foram utilizadas para a construção dos capitais material e humano familiares médios da escola por meio da técnica de análise fatorial com a extração das componentes principais.

4

Peer effects seria a influência dos colegas sobre o desempenho ou a escolha por uma determinada carreira por parte do indivíduo. Caso o efeito seja verdadeiro poderia haver políticas que melhor alocassem os estudantes dentro de uma sala de aula a fim de aumentar o desempenho esperado dos estudantes.

5

O teste t refere-se à hipótese nula de igualdade entre as médias em relação às escolas PCE.

6

As escolas começaram a fazer parte do programa após o ano de 2007.

7

Pressupõe que as variáveis que afetam a escola e os potenciais resultados são simultaneamente observadas pelo pesquisador e as não-observáveis afetam igualmente os grupos de tratamento e controle. Para a estratégia de avaliação quando a seleção está baseada em características não-observáveis veja Blundell e Costa Dias (2002) ou Caliendo e Hujer (2006).

8

Para usar o

propensity score é preciso assumir uma forma funcional de como as características observáveis afetam a probabilidade de tratamento, assim como os resultados do PCE. Uma das principais críticas relativas ao

propensity score diz respeito à inflação na variância do estimador de

matching decorrente do não conhecimento do verdadeiro

propensity score. A conseqüência é que os erros padrão dos estimadores possam não ser confiáveis.

9

, onde:

= efeito estimado do tratamento;

= notas médias (português e matemática) das escolas tratadas em 2007;

= notas médias (português e matemática) das escolas tratadas em 2005;

= notas médias (português e matemática) das escolas não tratadas em 2007;

= notas médias (português e matemática) das escolas não tratadas em 2005;

10

Nas duas primeiras dimensões, os delitos foram cometidos por indivíduos estranhos a escola e no último, o infrator é da própria escola.

Datas de Publicação

• Publicação nesta coleção
  03 Dez 2013
• Data do Fascículo
  Dez 2013

Histórico

• Recebido
  19 Out 2011
• Aceito
  04 Jun 2013