Gastos e desempenho escolar: Evidências do Programa de Transferência de Recursos Financeiros do município de São Paulo

Resumo

Há na literatura uma divergência considerável sobre os impactos do aumento de recursos sobre o desempenho dos alunos. Este artigo avalia o impacto do aumento de recursos financeiros, realizado por meio do Programa de Transferência de Renda Financeira (PTRF), sobre o desempenho na Prova Brasil 2007 das escolas públicas de ensino básico da cidade de São Paulo. O desenho do programa, com diferenciais por faixas nos valores transferidos, possibilita a utilização do método de regressão descontinua (RD) para identificar o impacto na vizinhança dos pontos de corte. Os resultados mostram impactos positivos e significantes para a 8ª série tanto em matemática e em português para as escolas menores, em torno de 800 matrículas. Não foram identificados impactos significantes para 4ª série, mesmo para as escolas menores, e tão pouco para as escolas maiores, em torno de 1500 matrículas.

Palavras-chave
desempenho escolar; gastos públicos; descentralização; regressão descontínua; autonomia

1. Introdução

Atualmente, existe consenso de que a educação é um fator importante para a elevação da renda individual, do crescimento e desenvolvimento de uma nação. Na tentativa de compreender os fatores que determinam a melhoria da qualidade da educação, há grande interesse na identificação do impacto de gastos sobre desempenho educacional. Em certa medida, esse interesse está relacionado ao fato de recomendações de política de aumento de recursos serem comuns (Ganimian & Murnane, 2014; Monteiro, 2015).

A questão que se coloca nesse debate é: o simples aumentos dos gastos na educação têm de fato influência na qualidade do ensino? A busca por respostas a estas questões é de grande relevância para os formuladores de políticas públicas em educação e também para os gestores do sistema de ensino. Na literatura, diversos trabalhos analisam os efeitos da elevação de gastos públicos, ou da implantação de programas de transferências de recursos, sobre o desempenho dos alunos em testes padronizados. De maneira geral, o que se observa são evidências divergentes.

As evidências de efeitos positivos de aumento de recursos sobre desempenho educacional são variadas. Card e Payne (2002) indicam que a equalização da distribuição de recursos entre os diversos níveis do Estado tem efeito positivo sobre o desempenho dos alunos. Roy (2011) e Papke (2005) sugerem que o impacto da equalização pode ser maior para aqueles em condições iniciais desfavoráveis. Chaudhary (2009) apresenta evidências de que os efeitos podem ser modestos ou inexistentes, e diferenciado dentro das escolas. Galiani, Gertler, e Schargrodsky (2008) e Clark (2009) encontram resultados positivos para políticas que geram maior autonomia da escola em relação ao uso de recursos e descentralizam a tomada de decisão, ainda que o efeito não seja homogêneo para todos os grupos.

Além das políticas mais complexas de financiamento escolar, há aquelas que simplesmente aumentam o volume de gasto. Nesse sentido diversos trabalhos sugerem efeitos positivos do aumento do gasto sobre o desempenho dos alunos (Barros & Mendonça, 1998; Grubb, 2008; Guryan, 2001). Entretanto, esses efeitos são muitas vezes modestos (Barros & Mendonça, 1998) e diferenciados entre grupos, ou seja, para algumas séries encontra-se resultados positivos e para outras não (Guryan, 2001). Além disso, as diferentes formas de recursos influenciam variáveis educacionais distintas como progressão e desempenho (Grubb, 2008).

Entretanto, evidências de que não há efeito significativo do aumento de gastos sobre o desempenho dos alunos são relativamente numerosas (Amaral & Menezes Filho, 2008; Bénabou, Kramarz, & Prost, 2009; Hanushek, Rivkin, & Taylor, 1996; Monteiro, 2015). Angrist e Lavy (2002) e Ganimian e Murnane (2014) sugerem que o aumento de recursos com finalidades específicas tais como computador, biblioteca etc, acabam não apresentando evidências de melhora no desempenho, a menos que ocorra uma mudança efetiva na experiência do aluno. Por fim, há até resultados apontando para efeitos adversos (Van der Klaauw, 2008).

Nesse contexto, aplicações utilizando métodos apropriados para identificação de efeitos causais podem complementar os resultados obtidos através de estudos realizados predominantemente por variações da abordagem de função de produção educacional. Em particular, na ausência de experimentos ou experimentos naturais, que são relativamente raros, a exploração de políticas ou eventos que produzam quasi-experimentos constitui contribuição importante para esse debate.

O objetivo deste artigo é apresentar uma análise dos efeitos do Programa de Transferência de Renda Financeira (PTRF) da Prefeitura do Município de São Paulo sobre o desempenho dos alunos na Prova Brasil em 2007. Este programa realiza transferências de recursos financeiros para as escolas municipais em função do número de matrículas. Esses recursos são administrados pela Associação de Pais e Mestres (APM), a qual é uma associação civil constituída por membros da comunidade escolar — pais e professores.

O montante de recursos repassados para as escolas é determinado de acordo com o número de matrículas, com 3 faixas de valores fixo mais um valor per capita. Esse arranjo produz descontinuidades nos valores repassados, que permitem a identificação de efeitos da política na vizinhança dos pontos de corte, por meio do uso da Regressão Descontinua, RDD (Regression Discontinuity Design). Os resultados obtidos revelam de maneira diferenciada o impacto de recursos adicionais entre faixas, já que o arranjo institucional e de gestão dos recursos é muito semelhante para todas as escolas. Somando a isso o fato de que o efeito é local, isto é, apenas escolas de tamanhos próximos são comparadas, reforça que o impacto verificado deve ser determinado pela diferença de recursos.

2. O Programa deTransferência de Renda Financeira

Implantado pela Prefeitura do Município de São Paulo em 2006, o Programa de Transferência de Renda Financeira (PTRF), transfere recursos diretamente para as escolas de ensino básico da rede municipal. Cada escola tem autonomia para decidir a alocação desse recurso entre material de consumo e permanente, manutenção das instalações físicas, contratação de serviços, desenvolvimento das atividades educacionais e implementação do projeto político pedagógico.

Para uma escola ser beneficiária do PTRF, ela deve estar recenseada pelo Censo Escolar feito pelo Ministério da Educação. A execução dos recursos e prestação de contas fica sobre a responsabilidade da Associação de Pais e Mestres (APM), a qual é uma associação civil constituída por membros da comunidade escolar — pais e professores. Para a APM receber os recursos essa deverá firmar um termo de compromisso com a Secretaria Municipal de Educação (SME/SP).

Ocorrem quatro repasses, um a cada bimestre do ano letivo, e caso a escola não realize a prestação de contas de cada parcela bimestral do programa, ela perde o valor do repasse do próximo bimestre, mesmo com a posterior regularização junto à SME. A cada repasse serão destinados 80% para despesas com custeio (compra de materiais de consumo e contratação de serviços de manutenção, conservação e pequenos reparos) e 20% para despesas com capital (compra de material permanente para reposição ou aumento do patrimônio da escola). A Tabela 1 apresenta o total de recursos destinados ao PTRF e o orçamento total da SME de São Paulo.

Tabela 1
Evolução do orçamento do PTRF e da Secretaria Municipal de Educação de São Paulo entre 2006 a 2009, em milhões de R$

Ano	PTRF - Valor Repassado		Orçamento da Secretaria Municipal de Educação de São Paulo (R$ milhões)
	Ensino fundamental (R$ milhões)	Ensino Infantil (R$ milhões)
2006	20.3	16.4	2,894.6
2007	21.5	18.2	3,508.8
2008	21.7	20.1	4,151.1
2009	22.1	19.5	4,095.7

Fonte:

Os valores dos recursos são definidos conforme o número de alunos matriculados de acordo com o Censo Escolar realizado pelo INEP, considerando-se os dados relativos ao ano imediatamente anterior ao do atendimento. Em outubro de 2005, a Prefeitura do Município de São Paulo divulgou os valores e os intervalos de matrículas que foram utilizados no cálculo dos repasses em 2006, conforme está demonstrado na Tabela 2.

Tabela 2
Forma de cálculo do valor de uma parcela do PTRF das escolas públicas do ensino fundamental em 2006 e da primeira parcela em 2007

Intervalo de classe de número de alunos	Valor Fixo (A)	ValorVariável (B)	Valor total por escola (A+B)
Até 800	R$ 7.500,00	Número de alunos matriculados na escola × R$2,00	Valor fixo +Valor variável
801 a 1.500	R$ 8.500,00		Valor fixo +Valor variável
1.501 a 2.200	R$ 9.500,00		Valor fixo +Valor variável
Acima de 2.200	R$ 10.500,00		Valor fixo +Valor variável

Fonte:

Observa-se que a regra de cálculo do valor do PTRF cria múltiplas descontinuidades em termos do valor fixo recebido pela escola e, portanto, no valor total. A Figura 1 mostra o número de matriculados em 2005 e o valor total recebido pelas escolas do PTRF em 2006. Observa-se que valor recebido é cada vez maior, conforme aumenta o número de matrículas e que o desenho do programa causou descontinuidades claras nas faixas de corte, que são: 801; 1.501 e 2.201 alunos.

Figura 1
Recursos totais do PTRF 2006 e o número de matriculados em 2005

3. Estratégia de Identificação

Uma vez que os pontos de corte e valores de repasse, a vigir durante 2006, foram divulgados apenas no final de 2005, as escolas não tiveram oportunidade de manipular o número de matrículas para receber mais recursos, pois o anúncio ocorreu meses após a realização do Censo Escolar de 2005. Desse modo, as matrículas em 2005 foi considerada uma variável pré-tratamento a qual estabelece os pontos de corte e verificou-se o efeito do PTRF sobre o desempenho dos alunos em 2007 na Prova Brasil.

A escolha desses dois anos específicos justifica-se pelo fato de se ter de um lado as variáveis pré-tratamento coletadas até 2005 e de outro o desempenho após alguns repasses de recursos (2.007). Desse modo, acomodamos pelo menos em parte a defasagem entre a entrada de recursos nas escolas e os efeitos de sua aplicação. Obviamente, para consistência da análise, a classificação das escolas na Prova Brasil de 2007 nas faixas de repasse deve ser aquela baseada no número de matrículas reportado em 2005 e que determinou os valores repassados durante 2006 e início de 2007.

Em vista da disponibilidade de pontos de corte bem definidos, fica claro que há uma descontinuidade no valor dos repasses com relação ao número de matrículas. Desse modo, utilizamos a estratégia de identificação RDD Regression Discontinuity Design, proposto originalmente por Thistlethwaite e Campbell (1960).

No arcabouço do RDD, o efeito de um programa ou tratamento é identificado na vizinhança do ponto de corte. No caso em questão, a intuição é que uma escola com número de matrículas ligeiramente inferior ao ponto de corte recebe menos recursos que outra escola com número de matrículas ligeiramente superior ao ponto de corte. Sob certas hipóteses, essa descontinuidade ao redor do ponto de corte pode ser utilizada para identificar o efeito do programa. A ideia geral é que se escolas com número de matrículas próximos são semelhantes e se a classificação de escolas acima ou abaixo do ponto de corte pode ser vista como aleatória numa vizinhança, então as diferenças de desempenho entre as escolas seria atribuível à diferença discreta no volume de recursos repassados pelo programa.

Ainda que a avaliação do PTRF não corresponda exatamente ao desenho de regressão descontínua usual, é conveniente apresentar essa abordagem antes de discutir a especificidade do caso em questão. No caso geral, consideramos o efeito de um tratamento T sobre uma variável de resultado Y. Dado uma amostra de n indivíduos, o ponto de corte C, o tratamento do i-ésimo pode ser definido como $$T\left(X_i\right)=\mathbb{1}(X_i\ge C)$$, em que X é a variável que define o se o i-ésimo indivíduo recebe o tratamento ou não. A variável de resultado pode ser escrita como função do tratamento, Y_i(T(X_i)). Isto é, Y_i(0) é o resultado do i-ésimo indivíduo sem tratamento e Y_i(1) é o resultado do i-ésimo indivíduo com tratamento.

Assumindo que Y_i tem a função esperança condicional contínua, uma descontinuidade no ponto de corte

$$\underset{X\downarrow C}{lim}\mathbb{E}(Y_i\mid X_i=x)-\underset{X\uparrow C}{lim}\mathbb{E}(Y_i\mid X_i=x)$$

corresponde ao efeito do tratamento

$$\tau =\mathbb{E}(Y_i(1)-Y_i(0)\mid X_i=c).$$

Sob a hipótese adicional de que as distribuições condicionais também são contínuas, temos que

$$\tau =\underset{X\downarrow C}{lim}\mathbb{E}(Y(0)\mid X=x)-\underset{X\uparrow C}{lim}\mathbb{E}(Y(1)\mid X=x),$$

isto é, a diferença entre duas funções de regressão num ponto (Imbens & Lemieux, 2008).

O princípio geral da abordagem RDD apresentado acima, difere do caso concreto do PTRF em alguns aspectos relevantes. O primeiro é que temos 3 pontos de corte e não apenas um. Segundo, todas as escolas participam do programa, de modo que não é o caso de dois grupos excludentes, tratamento/controle. O que os pontos de corte definem é a dose do tratamento, isto é, a magnitude do repasse lump sum. Por exemplo, as escolas com até 800 matrículas recebem valor fixo de R$7.500 e as com 801 matrículas recebem R$8.500. Além do valor fixo as escolas recebem um valor variável por matrícula, conforme detalhado na seção 2.

O caso de múltiplos pontos de corte é considerado por Cattaneo, Titiunik, Vazquez-Bare, e Keele (2016). Especificamente, os autores consideram o caso em que o ponto de corte é definido como uma variável aleatória e, portanto, varia entre indivíduos. Claramente, este não é o caso do PTRF, uma vez que todas as escolas estão sujeitas ao mesmo conjunto de valores de corte. Entretanto, é interessante notar que os autores chamam a atenção para o fato de que a abordagem padrão mais difundida na literatura para lidar com esses casos é normalizar e empilhar os dados (normalizing-and-pooling strategy). Então Cattaneo et al. (2016) propõem um arcabouço que permite interpretar esse estimador como uma média ponderada dos efeitos locais obtidos para cada ponto de corte individualmente.

Ainda que o PTRF não possa ser caracterizado diretamente no arcabouço de Cattaneo et al. (2016), o resultado obtido por esses autores sugere que as estimativas obtidas para cada ponto individualmente são válidas. É possível que um estimador normalizado-empilhado para o caso em questão permitisse melhorar inferência, ao reduzir a variância associada às estimativas. Entretanto, não foi encontrado na literatura nenhuma proposta nessa direção, em particular, quando o diferencial de tratamento entre as classes é apenas em termos de magnitude.

Uma vez que não está claro qual a interpretação de um coeficiente obtido por empilhamento no caso do PTRF e nem qual o tratamento adequado para a definição de janelas, optou-se por realizar estimativas separadas para cada ponto de corte. Em termos práticos, essa opção permite que o efeito seja diferenciado para escolas de tamanhos diferentes. Além disso, construção de um estimador pooled implicaria num efeito homogêneo para escolas com número de matrículas bem diferentes, que parece uma restrição forte nesse caso.

Por fim, é importante destacar as hipóteses de identificação com relação a possíveis manipulações. A abordagem RDD é uma estratégia de identificação válida apenas se não há manipulação das escolas sobre o número de matrículas e que o programa não produza mudanças na distribuição de matrículas durante o período. Nesse sentido, destaca-se mais uma vez que o número inicial de matrículas foi declarado antes do anúncio do programa. No ano seguinte, seria possível, em tese, que as escolas tenham manipulado o número de matrículas para mudar de faixa. Se este for o caso, com algumas escolas trocando para uma faixa superior à qual não pertenceriam, estaria sendo subestimando o efeito do programa. Logo, as estimativas apresentadas podem ser vistas como um limite inferior.

Entretanto, mesmo no caso de manipulação no número de matrículas em 2006, nota-se que apenas os repasses no início de 2007 teriam sido afetados. Por isso, em vista do volume modesto das transferências de recursos e da hipótese de que há defasagem entre a transferência e seu impacto em desempenho, acredita-se que o efeito de eventuais manipulações são desprezíveis nesse caso.

Uma última possibilidade é que os alunos procurassem matrícula em escolas com maior volume de recursos no programa. Caso esse tipo de seleção fosse possível, a estratégia de identificação poderia ser prejudicada. Entretanto, como a distribuição de alunos na rede municipal é feita por critério geográfico, esse tipo de manipulação não é possível.

4. Dados e Fontes de Informação

Conforme discutido na seção 3, as unidades de análise relevantes para o exercício proposto são as escolas públicas da rede municipal de ensino fundamental do município de São Paulo, nos anos de 2005 a 2007. Foram necessárias diversas fontes de informação para a consolidação de um banco de dados que possibilitasse a análise do efeito do PTRF sobre o desempenho dos alunos.

As variáveis de controle socioeconômicas, escolaridade média dos adultos e renda média familiar de cada distrito da capital paulista onde se localiza a escola, foram obtidas a partir do Censo do IBGE de 2000 e da base de dados SEADE de 2002, respectivamente. As variáveis de infraestrutura das escolas (existência de biblioteca, laboratório de ciências, laboratório de informática e o número de computadores para uso dos alunos) foram obtidas a partir do Censo Escolar de 2006 (INEP¹).

O número total de alunos matriculados nas escolas públicas municipais foi obtido no Censo Escolar de 2005. Os volume de recursos do PTRF repassados às escolas da rede pública municipal para os anos de 2006 a 2007 foram obtidos junto à Secretaria Municipal de Educação de São Paulo.

Para definir a variável de interesse, o desempenho das escolas, foram utilizados os dados da Prova Brasil de 2007, avaliação de português e matemática, para 4ª e 8ª séries do ensino fundamental. A Prova Brasil é uma pesquisa realizada pelo INEP e se constitui de um exame padronizado desenvolvido para avaliar e produzir informações sobre o ensino público no Brasil.

A base de dados resultante possui no total 464 escolas da rede municipal de ensino fundamental do município de São Paulo, com os seus respectivos distritos e subprefeituras, sendo que existem 107 escolas na Zona Norte da cidade; 184 na Zona Leste; 113 na Zona Sul; 57 na zona oeste e 3 no Centro. O distrito com o maior número de escolas de ensino fundamental da rede municipal é o de Sapopemba com 20, seguido pelo de Cidade Tiradentes com 18, ambos distritos da Zona Leste. Em terceiro está o distrito do Jaraguá com 16 escolas, e em quarto o de Capão Redondo com 16 escolas, distritos localizados respectivamente na Zona Norte e Sul de São Paulo.

A Tabela 3 apresenta os valores médios das escolas, do número de alunos, do valor da PTRF total e per capita recebido, das notas de português e matemática na 4ª e na 8ª para os anos de 2005 a 2007. A última coluna apresenta a variação entre os anos de 2005 e 2007, exceto para as transferências da PTRF que ocorreram entre 2006 e 2007.

Tabela 3
Número de matrículas, valores dos repasses dos programas e nota média de português e matemática para as escolas municipais de ensino fundamental do município de São Paulo, 2005 a 2007

	ano
Variáveis	2005	2006	2007	Variação 05-07
Matrícula	1.181	1.185	1.115	-5,6%
ValorTotal do PTRF	-	41.310,84	45.715,30	10,7%a
Valor per capita do PTRF	-	38,14	41,62	9,1%a
Matemática 4ª	174,02	-	187,95	8,0%
Português 4ª	167,67	-	169,60	1,2%
Matemática 8ª	238,09	-	237,45	-0,3%
Português 8ª	225,88	-	226,95	0,5%

Nota:aFonte:

Entre os anos de 2005 e 2007, observa-se queda na média de matrículas das escola, enquanto que o valor total médio do PTRF obteve uma elevação de aproximadamente 10,60%, e o valor per capita médio de 9,15%.

O desempenho médio das escolas, segundo avaliação da Prova Brasil, entre os anos de 2005 e 2007 apresenta crescimento das notas médias da 4ª série, principalmente na prova de matemática. Para a 8ª série a nota média de matemática apresentou ligeira queda, enquanto a nota média de português obteve um pequeno crescimento.

A Tabela 4 apresenta as variáveis de controle socioeconômico. Conforme já mencionado foi utilizado como proxy da renda média familiar e escolaridade média dos pais dos alunos matriculados na escola, a renda média do ano de 2002 e o grau de escolaridade médio do ano de 2000 nos distritos onde a escola da rede municipal de ensino está localizada na capital paulista. Assim, as escolas pertencentes ao mesmo distritos terão a mesma renda média e escolaridade média familiar.

Tabela 4
Dados socioeconômicos e de infraestrutura para escolas da rede pública municipal de ensino fundamental de São Paulo 2005 a 2007

Variável	Ano	Média	Desvio Padrão
Anos de Estudo	2000	7,15	1,15
Renda Média Familiar	2002	1.078,02	381,56
Laboratório de Ciências	2006	0,26	0,44
Laboratório de Informática	2006	0,98	0,15
Computadore para alunos	2006	20,28	10,68
Biblioteca	2006	0,96	0,19

Fonte:

A média de anos de estudos para a capital paulista é de 7,15, entretanto alguns distritos possuem escolaridade ao redor de 5,6 e outros ao redor de 12 anos de estudo. A renda média era de aproximadamente R$1.080, com grande variabilidade entre os distritos, de R$550 e até R$2.500. Com relação aos dados de infraestrutura escolar é interessante notar que quase a totalidade das escolas possuem laboratório de informática e biblioteca, mas relativamente poucas escolas possuem laboratório de ciências, 26%.

A Tabela 5 apresenta os recursos do PTRF e as informações sobre a execução orçamentária média das escolas paulistanas. Foram selecionadas todas as escolas dentro das faixas existentes no programa e calculado o valor médio dos seguintes itens: investimentos, despesas correntes, despesas de pessoal (salários e encargos), valor total do orçamento, valor total e valor per capita repassados do programa. Os dados da execução orçamentária das escolas foram disponibilizados pela Secretaria Municipal de Educação de São Paulo apenas para o ano de 2007.

Tabela 5
Valor médio da execução orçamentária e repasse do PTRF, das escolas dentro de cada faixa

Faixa	Investimentos	Outras Despesas Correntes	Despesas de Pessoal	Orçameto Total	PTRF total (2006)	PTRF per capita (2006)
Faixa 1	11,848	723.507	1.719.428	2.446.338	33,903	53
Faixa 2	15,988	912.161	2.447.382	3.347.202	40,661	37
Faixa 3	20,887	1.132.105	3.324.942	4.467.217	48,382	28
Faixa 4	15,934	1.374.760	4.101.597	5.480.728	56,292	23

Fonte:

Nota-se que o valor médio transferido pelo programa representa aproximadamente 1% do valor do orçamento total médio das escolas no município de São Paulo. Entretanto, a maior parte desse orçamento destina-se ao pagamento de pessoas. Comparando o valor repassado pelo programa e as despesas realizadas em investimento, observa-se que o volume do programa é de aproximadamente 3 vezes o valor médio dos investimentos realizados nas escolas. Acredita-se, portanto, que o programa exerce uma contribuição relativamente importante para as escolas.

5. Resultados

As figuras 2 to 3 são representações gráficas dos fatos estilizados associados aos resultados obtidos, considerando uma janela de 90 alunos. Os resultados utilizando regressões não paramétricas com outras janelas serão apresentados e discutidos adiante. Cada painel das figuras 2 to 3 representa o ajustamento não-paramétrico de um polinômio de ordem 3 em torno dos pontos de corte, com indicação de média e variância para os intervalos iguais definidos de acordo com Calonico, Cattaneo, Farrell, e Titiunik (2018). Os painéis na coluna da esquerda correspondem às notas de matemática para os pontos de corte 801 e 1.501 e a coluna da direita às notas de português. Como pode ser visto nessas figuras, parece haver descontinuidades na média condicional para diversos casos. Visualmente, o impacto é relativamente mais consistente para o corte de 801 matrículas (dois painéis superiores das figuras 3 to 2), os quais apresentam menor variabilidade se comparado com o segundo ponto de corte. Já para o segundo corte, 1.501, há um diferença para a 4ª série, mas apresentando grande intervalo de confiança.

Figura 2
Desempenho 4a. série: Ajustamento de polinômio cúbico ao redor do ponto de corte para janela de 90 alunos

Figura3
Desempenho 8ª série: Ajustamento de polinômio cúbico ao redor do ponto de corte para janela de 90 alunos

No restante desta seção, será apresentada a aplicação do RDD para verificar a significância estatística dos impactos que as figuras acima sugerem. Em particular, será discutido os testes de validação do RDD, o método de estimação empregado e os resultados das estimações. Na definição dos testes de validação e métodos de estimação, seguimos as recomendações de Imbens e Lemieux (2008) e Skovron e Titiunik (2015), que podem ser consideradas como boas práticas para a aplicação do RDD.

5.1 Validação

De acordo com Skovron e Titiunik (2015), a validação do desenho pode ser estabelecida através de três testes empíricos: i) densidade da running variable em torno do ponto de corte; ii) efeito do tratamento para covariadas pré-determinadas ou placebos; e iii) o efeito do tratamento em pontos diferentes do ponto de corte original. A adequação da estratégia de identificação exposta na seção 3 depende do atendimento de uma série de hipóteses e condições. Por esse motivo, inicia-se a análise dos dados com a validação da estratégia de identificação.

O primeiro teste de validação verifica se o número de observações abaixo do ponto de corte é muito diferente do número de observações acima do ponto de corte. Esta condição pode ser verificada visualmente e também através do teste proposto por McCrary (2008) para a hipótese nula de continuidade da densidade da running variable.

Visualmente, no histograma para o número de matrículas (Figura 4), nota-se que não parece haver descontinuidades no número de matrículas na vizinhança dos pontos de corte. A continuidade da densidade do número de matrículas é confirmado pelo teste proposto por McCrary (2008), para o qual foi obtido um p-valor de 0,17 para o corte de 801 e de 0,93 para o corte de 1.501, levando à rejeição da hipótese alternativa de descontinuidade (Stigler & Quast, 2015) .²

Figura 4
Distribuição do número de matriculados nas escolas

Outro teste de validação do RDD é analisar se as observações em torno do ponto de corte são semelhantes em termos de características observáveis que não deveriam ser afetadas pelo tratamento. Seguindo Skovron e Titiunik (2015), essas variáveis podem ser dividas em dois grupos: i) variáveis pré-determinadas, que são determinadas antes do tratamento e ii) placebos, que são variáveis determinadas após o tratamento, mas sabidamente não deveriam ser afetadas pelo tratamento.

Em qualquer dos casos, variáveis pré-determinadas ou placebos, o procedimento é tratar essas variáveis como se fossem o resultado do tratamento. Conforme será discutido adiante, o procedimento é implementado seguindo todas as recomendações para a análise do efeito do tratamento sobre a variável de interesse. Espera-se falhar em rejeitar a nula de que não há efeito de tratamento (Skovron & Titiunik, 2015).

O procedimento foi implementado através da função Rdrobust (Calonico et al., 2018) para todas as covariadas consideradas. Em todos os casos, as diferenças não são significantes, exceto para a variável número de computadores. Este resultado sugere que o tratamento influenciou o número de computadores nas escolas, o que poderia ser esperado a priori. Desse modo, ainda que esse fato não invalide de maneira alguma o desenho, indica que esta variável não deve ser incluída na análise. Claramente, condicionar em número de computadores teria o efeito de reduzir o impacto do tratamento.

Por fim, ainda seguindo Skovron e Titiunik (2015), foi realizado o teste de validação do RDD para pontos de corte diferentes dos originais. Como não há motivos para esperar que o tratamento tenha efeito em outras vizinhanças diferentes da original, espera-se falhar em rejeitar a nula de nenhum efeito. Como se tem dois pontos de corte distintos, 801 e 1.501 matrículas, o procedimento foi realizado separadamente para cada um desses pontos. O procedimento foi implementado através do package rddtools (Stigler & Quast, 2015). Não foram encontradas diferenças nos efeitos para outros pontos de corte tanto para a quarta série como para a oitava série em torno do ponto de corte 801. Mas em torno do ponto de corte 1.501, encontramos diferenças significantes entre 1000 e 1.250 para as notas de matemática.

Obviamente, a rejeição da nula de nenhum efeito para as notas de matemática para pontos de corte entre 1000 e 1.250 sugere cautela na interpretação dos resultados. Entretanto, nota-se que ao contrário do caso usual de apenas um ponto de corte, nesta aplicação considera-se dois pontos de corte. Desse modo, é esperado que ao deslocar um dos pontos de corte em direção ao outro, fatalmente será alcançada uma região em que será identificado o efeito associado ao outro ponto de corte. De fato, os pontos 1000 e 1.250 matrículas estão mais próximos de 801 que 1.501.

5.2 Método de Estimação

A abordagem padrão para estimação do efeito de tratamento através do RDD é baseado na hipótese de continuidade da função média condicional, discutida na seção 3, que é estimada não parametricamente. Em linhas gerais, a função média condicional é estimada separadamente para as observações antes e depois do ponto de corte, dentro de uma janela pré-definida. Como são consideradas apenas as observações dentro da janela, diz-se que a regressão é local. Além disso, uma vez que a função média condicional é aproximada por um polinômio, acrescenta-se a qualificação polinomial e denomina-se o método de regressão polinomial local (Fan & Gijbels, 1996).

Esse método de estimação depende da escolha da função Kernel, do tamanho da janela em torno do ponto de corte (bandwidth), e da ordem do polinômio utilizado na aproximação da função média condicional. Uma vez feitas essas escolhas, o procedimento de estimação pode ser descrito da seguinte maneira: Seja y a variável de interesse, x a running variable, com ponto de corte x₀, K(⋅) a função kernel e ℎ a janela em torno do ponto de corte (bandwidth). Então,

1. para cada observação i, calcular o peso

   $$w_i=K\left(\frac{x_i-x_0}{h}\right);$$

2. para $$x_i\ge x_0$$, estimar uma regressão por mínimos quadrados ponderados, com pesos w_i de y_i contra uma constante e $$(x_i-x_0),{(x_i-x_0)}^2,\dots ,{(x_i-x_0)}^p$$, em que p é a ordem escolhida para o polinômio;

3. Repetir o passo anterior para $$x_i<x_0$$;

4. Calcular a estimativa de efeito RD como a diferença das estimativas dos interceptos nas regressões acima.

As funções Kernel mais utilizadas na literatura são a uniforme (ou retangular) e triangular. A retangular atribui o mesmo peso para todas as escolas que estão dentro das janelas e peso zero para as observações que estão fora, e por isso, corresponde ao estimador de mínimos quadrados ordinários para a sub-amostra relevante. A kernel triangular, por outro lado, atribui maior peso para as observações próximas ao ponto de corte e linearmente menores à medida em que aumenta a distância.

A ordem do polinômio pode influenciar de maneira significativa as estimativas do efeito de tratamento, principalmente no caso da estimação global. Como esperado, localmente a influência da ordem do polinômio é reduzida. Gelman e Imbens (2019) apresentam uma série de exemplos empíricos para mostrar que a utilização de ordens superiores na aproximação polinomial levam a problemas de inferência, na forma de intervalos maiores e problemas de cobertura simultaneamente. Em vista dessas evidências, Gelman e Imbens (2019) recomendam utilizar aproximação linear ou quadrática. Skovron e Titiunik (2015), por outro lado, afirmam que pode ser demonstrado que a variância assintótica dos ajuste polinomial local aumenta quando se passa de uma ordem ímpar para par, mas permanece constante quando se passa de uma ordem par para ímpar. Em vista disso, recomendam que seja utilizada a menor ordem ímpar possível.

Ainda com relação à ordem do polinômio utilizado, Skovron e Titiunik (2015) chamam a atenção para o fato do viés produzido pelo erro de aproximação, destacando que os métodos usuais de inferência, sem considerar esse viés são incorretos. Por isso, recomendam utilizar os métodos que vieram a ser publicados posteriormente em Calonico, Cattaneo, e Farrell (2020) para construir intervalos de confiança robustos com correção de viés.

Quanto à escolha da janela, é recomendada a utilização de critérios baseados nos dados ao invés de escolhas ad hoc (Skovron & Titiunik, 2015). A literatura concentra-se na utilização de janelas que minimizam uma aproximação do erro quadrático médio ou alguma medida relacionada, tal como Imbens e Kalyanaraman (2012). Calonico et al. (2020) mostram que as janelas ótimas no sentido de menor erro quadrático médio são válidas mas sub-ótimas para fins de inferência, devido ao comportamento dos erros na probabilidade de cobertura. Em seguida, Calonico et al. (2020) propõem métodos para obter a janela ótima para intervalos de confiança robustos com correção de viés e erro de cobertura mínimo.³

Em vista do exposto, segue-se a recomendação de Skovron e Titiunik (2015) e serão apresentados os resultados para a aproximação linear com kernels retangular e triangular e para aproximação cúbica com kernel triangular. Além disso, será considerada as janelas ótimas no sentido de minimização do erro quadrático médio que são as usuais na literatura e também a janela ótima no sentido de minimização do erro de cobertura. Em todos os casos, foi utilizado o package rdrobust (Calonico et al., 2018).

5.3 Resultados Obtidos

Para cada combinação de série, prova e ponto de corte (4ª e 8ª séries, Português e Matemática, 801 e 1.501 matrículas) foram estimados não parametricamente três modelos: M.1 com kernel uniforme (ou retangular), polinômio de ordem um (p = 1) e covariadas; M.2 com kernel triangular, polinômio de ordem um e covariadas; e M.3 com kernel triangular, polinômio de ordem três (p = 3) e covariadas. Em todos os modelos, foram incluídas as seguintes covariadas: Anos de Estudo, Renda Média Familiar, Laboratório de Ciências e Biblioteca.

A Tabela 6 apresenta as bandas ótimas para minimização do erro quadrático médio (MSE) e minimização do erro de cobertura (CE), obtidas através dos métodos propostos por Calonico et al. (2020). Note que as bandas são determinadas em termos do número de matrículas, mas a unidade de análise são escolas. Além da banda ótima sugerida por Calonico et al. (2020), foram também utilizadas bandas ad hoc de 60, 90 e 120 matrículas. Como as turmas tem em média 30 alunos, essas janelas correspondem a aproximadamente 2, 3 e 4 turmas, de modo que em certo sentido pode-se interpretar os resultados em termos de turmas.⁴

Tabela 6
Resultados da estimação do efeito do PRTF com RDD

Janela ℎ		M.1	Matemática M.2	M.3		Português
					M.1	M.2	M.3
Ponto de Corte 1 = 801 4ª Série CE		5,04 (5,77)	6,18 (5,47)	6,11 (7,90)	4,23 (5,75)	5,51 (5,84)	5,82 (7,84)
	MSE	6,88 (4,97)	5,29 (4,78)	8,46 (6,96)	7,90∗ (4,90)	6,46 (4,91)	8,62 (6,72)
	60	8,34 (6,76)	7,36 (7,03)	3,33 (13,19)	6,63 (6,80)	6,10 (7,43)	-1,35 (14,45)
	90	3,63 (5,84)	6,37 (6,26)	3,90 (11,12)	3,08 (5,81)	5,19 (6,41)	2,10 (12,01)
	120	6,90 (5,13)	6,21 (5,59)	8,46 (9,62)	8,36 (5,02)	5,96 (5,62)	6,96 (10,33)
8ª Série	CE	15,46∗∗∗ (5,56)	13,29∗∗∗ (5,09)	16,17∗∗ (6,48)	11,66∗ (6,77)	12,26∗ (6,47)	13,67∗ (7,99)
	MSE	10,48∗∗ (5,01)	11,37∗∗ (4,70)	15,96∗∗ (5,79)	8,30 (5,83)	10,08∗ (5,91)	13,38∗ (7,06)
	60	13,67∗∗ (5,41)	15,30∗∗ (5,66)	22,71∗∗∗ (8,91)	13,20∗ (6,97)	13,53∗ (6,99)	25,73∗∗ (11,83)
	90	7,85∗∗∗ (4,92)	12,26∗∗∗ (4,93)	18,81∗∗ (7,86)	5,89∗∗ (5,77)	11,06∗∗ (6,18)	18,46∗∗ (9,96)
	120	9,39∗∗ (4,21)	10,48∗∗ (4,44)	20,73∗∗ (7,38)	8,45 (4,94)	9,06∗ (5,43)	20,04∗ (9,05)
Ponto de Corte 2 = 1501 4ª Série CE		0,77 (4,76)	0,87 (5,98)	2,69 (10,14)	-0,02 (5,19)	-1,22 (6,28)	1,32 (10,49)
	MSE	2,58 (3,99)	1,64 (4,93)	-0,98 (8,50)	0,75 (4,30)	-0,45 (5,20)	-3,23 (8,47)
	60	4,81 (9,75)	5,58 (10,26)	12,21 (31,29)	3,19 (10,43)	3,75 (10,87)	23,27 (34,33)
	90	-0,72 (7,54)	2,53 (8,61)	7,75 (17,22)	-0,66 (8,00)	1,28 (9,18)	10,27 (19,12)
	120	0,61 (6,27)	0,81 (7,39)	13,74 (14,03)	-1,29 (6,48)	-0,37 (7,77)	11,35 (15,14)
8ª Série	CE	2,46 (5,17)	1,83 (5,22)	-0,86 (8,17)	3,03 (5,57)	3,06 (5,33)	0,06 (8,61)
	MSE	5,19 (4,31)	3,96 (4,44)	-0,54 (6,83)	6,63 (4,83)	5,64 (4,63)	-1,08 (7,23)
	60	2,69 (7,47)	1,72 (8,09)	25,95 (22,04)	3,17 (7,66)	2,88 (8,19)	25,32 (20,66)
	90	0,18 (5,81)	0,60 (6,60)	6,61 (14,60)	1,41 (6,20)	1,93 (6,83)	7,69 (14,47)
	120	2,93 (5,42)	0,26 (5,82)	8,19 (12,50)	3,98 (5,70)	1,68 (6,06)	9,38 (12,43)

Notas:
• ^∗∗∗
  ), 5% (
• ^∗∗
  ), 10% (
• ^∗
  ), e baseado em IC robustos com correção de viés.
ppp

Os resultados das estimações da RD são apresentados na Tabela 7, que está organizada em dois painéis, um para cada ponto de corte. Cada painel tem duas seções, para 4ª e 8ª séries. Para cada série, apresenta-se os resultados para a bandas ótimas, MSE e CE, e também para as bandas ad hoc.

Tabela 7
Valores das janelas ótimas

			Matemática			Português
			M.1	M.2	M.3	M.1	M.2	M.3
4ª Série	Corte 1	CER	94,9	126,0	187,6	94,0	113,0	219,0
		MSE	129,0	171,3	263,8	127,8	153,6	307,9
	Corte 2	CER	187,9	171,1	242,0	170,8	167,4	263,5
		MSE	255,4	232,6	340,8	232,17	227,4	370,5
8ª Série	Corte 1	CER	52,6	78,8	167,6	61,5	76,3	179,6
		MSE	71,3	106,8	235,1	83,4	103,5	251,8
	Corte 2	CER	135,9	155,1	257,5	129,2	161,9	231,8
		MSE	184,3	210,4	361,2	175,1	219,6	325,2

De maneira geral observa-se que a maioria das estimativas do efeito do aumento do volume de recursos do PTRF mostram-se positivas, as exceções concentramse nos resultados para o segundo ponto de corte (1.501 matrículas) e não são significantes. Esses resultados positivos se alinham a parte da literatura que encontra evidências de um efeito positivo do gasto sobre o desempenho (Barros & Mendonça, 1998; Grubb, 2008; Guryan, 2001; Hægeland, Raaum, & Salvanes, 2012; Kreisman & Steinberg, 2019).

Entretanto, observa-se que o efeito é heterogêneo entre escolas e entre séries, mostrando resultados diferenciados da intervenção. De fato, não identificamos nenhum efeito significante para o segundo ponto de corte. Esse resultado sugere que escolas maiores são relativamente menos beneficiadas pelo pequeno volume adicional de recursos. Para o primeiro ponto de corte (801 matrículas), nota-se que para a 4ª praticamente todas estimativas não são significantes, única exceção é para Português, com janela MSE e kernel uniforme, com um efeito de 7,9 significante ao nível de 10%. Já para a 8ª a situação se inverte, e os efeitos são todos positivos sendo que quase a totalidade é significante, com p-valores menores para as notas de matemática. Resultados heterogêneos do aumento de gasto dentro da escola também foram encontrados por (Chaudhary, 2009; Guryan, 2001).

A magnitude do efeito sobre os desempenhos em matemática e português são parecidos para cada série e relativamente discretos com relação à média geral das notas em cada prova. Considerando o modelo M.2, com kernel triangular e p = 1, os efeitos estimados estão entre 5 e 6 pontos para a 4ª série e representam apenas entre 3 e 5% da média geral de notas. Para a 8ª série, os efeitos estimados estão entre 10 e 13 pontos, e representam entre 4 e 5% da média geral das notas.

Ainda que os efeitos sejam pequenos relativamente à média, é importante notar que o volume adicional de recursos lump sum que diferencia as escolas em torno dos pontos de corte é igualmente pequeno relativamente ao total de recursos transferidos, apenas R$1.000 por ano. Desse modo, é possível argumentar que o efeito do adicional é considerável em vista do valor reduzido do adicional de recursos.

Efeitos relativamente pequenos de transferências de recursos tem sido documentados na literatura. Uma das possíveis explicações é que a simples transferência de recursos, sem um programa estruturado de ações, com objetivos bem definidos e com acompanhamento de sua aplicação tendem a ter impacto reduzido. Além disso, outros recursos potencialmente importantes são complexos e abstratos (tal como clima escolar) e cuja mudança depende de programas estruturados (Grubb, 2008).

De qualquer maneira, a verificação de efeitos positivos, ainda que possam ser considerados pequenos em magnitude, sugerem que o formato do programa PTRF, com liberdade para aplicação dos recursos pode ter acionado mecanismos de mudança potencialmente importantes. Encontram-se na literatura evidências que se alinham com os nossos resultados de que a autonomia da escola na utilização de recursos financeiros pode ser importante para um real efeito de uma intervenção (Angrist & Lavy, 2002; Clark, 2009; Galiani et al., 2008; Ganimian & Murnane, 2014).

6. Conclusão

O objetivo deste artigo foi avaliar o efeito do Programa de Transferência de Renda Financeira (PTRF) da Prefeitura do Município de São Paulo. Em particular, foi analisado o efeito das transferências de recursos lump sum sobre o desempenho dos alunos na Prova Brasil em 2007. Como as transferências lump sum adicionais foram determinadas pelo número de matrículas, foi proposta a utilização do chamado RDD - Regression Discontinuity Design (Desenho de Regressão Descontinua).

Seguindo as recomendações da literatura para a validação e estimação do RDD, encontrou-se evidências de que o adicional de transferência lump sum do PTRF teve impactos positivos para as escolas em torno no ponto de corte de 801 matrículas, em particular para o desempenho dos alunos da 8ª série. Não foram identificadas evidências de efeitos estatisticamente significantes para os alunos das escolas em torno de 1.501 matrículas e tão pouco para os alunos de 4ª das escolas em torno de 801 matrículas.

Esse trabalho se alinha a um conjunto da literatura que mostra que o gasto pode ter efeito positivo. Entretanto, esse efeito positivo tem magnitude relativamente pequena em relação a média e mostram-se heterogêneos entre escolas e dentro da mesma escola. Observa-se por exemplo que para as escolas maiores não foram encontrados resultados significantes, o que pode ser devido ao menor valor per capita da transferência lump sum. Mesmo para as escolas consideradas menores encontramos evidências de efeito positivo e significante para a 8ª e não para a 4ª.

Acredita-se que parte desse efeito positivo pode estar relacionado ao fato de termos um recurso relativamente flexível, podendo ser capital ou custeio, e sendo a decisão de alocação feita conjuntamente entre a Escola e Associação de País e Mestres. Essa maior autonomia pode garantir uma alocação mais eficiente de recursos em mecanismo ou ações que podem efetivamente alterar a experiência do aluno e contribuir para seu melhor desempenho. Essa maior flexibilidade pode ter possibilitado a escola adequar a alocação dos recursos extras a realidade local.

Uma das limitações desse artigo é o fato de não conseguir diferenciar o uso de recursos para custeio e para investimentos. Também não conseguimos saber para quais ações esses recursos foram destinados. Assumimos aqui que a alocação da escola foi a melhor possível. Dessa forma, acredita-se que o aprofundamento de estudos que tentem compreender a autonomia da escola para o uso de recursos e em quais ações foram feitos os investimento, pode gerar evidência de qual o formato mais efetivo para o repasse de recursos e compreender a eficiência na alocação de recursos feito pelas escolas.

• 1
  Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira/Ministério da Educação
• 2
  Como existem poucas observações na vizinhança do terceiro ponto de corte, de 2.201 matrículas, consideramos apenas os dois primeiros pontos de corte, de 801 e 1.501 matrículas. Além da questão de graus de liberdade, em princípio o impacto relativo da transferência lump sum tende a ser menor simplesmente por questão de escala.
• 3
  Traduzido do original robust bias-corrected confidence intervals with minimal coverage error, ou RBC-CE confidence intervals.
• 4
  A relação entre o número de matrículas e o número de turmas não é direta, pois criação de janelas considera apenas o total de alunos matriculados independente da série cursada.

• JEL Codes I22, J18

Referências bibliográficas

• Amaral, L.F.L.E., & Menezes Filho, N.A. (2008, dezembro). A relação entre gastos e desempenho educacional. In XXXVI Encontro Nacional de Economia, Salvador, BA. http://www.anpec.org.br/encontro2008/artigos/200807201800160-.pdf
  » http://www.anpec.org.br/encontro2008/artigos/200807201800160-.pdf
• Angrist, J., & Lavy, V. (2002). New evidence on classroom computers and pupil learning. Economic Journal, 112(482), 735-765. http://dx.doi.org/10.1111/1468-0297.00068
  » http://dx.doi.org/10.1111/1468-0297.00068
• Barros, R.P.d., & Mendonça, R. (1998). O impacto de três inovações institucionais na educação brasileira (Texto Para Discussão N^o 566). IPEA. https://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_0566.pdf
  » https://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_0566.pdf
• Bénabou, R., Kramarz, F., & Prost, C. (2009). The French zones d’éducation prioritaire: Much ado about nothing? Economics of Education Review, 28(3), 345-356. http://dx.doi.org/10.1016/j.econedurev.2008.04.005
  » http://dx.doi.org/10.1016/j.econedurev.2008.04.005
• Calonico, S., Cattaneo, M.D., & Farrell, M.H. (2020). Optimal bandwidth choice for robust bias corrected inference in regression discontinuity designs. Econometrics Journal, 23(2), 192-210. http://dx.doi.org/10.1093/ectj/utz022
  » http://dx.doi.org/10.1093/ectj/utz022
• Calonico, S., Cattaneo, M.D., Farrell, M.H., & Titiunik, R. (2018). rdrobust: Robust data-driven statistical inference in regression-discontinuity designs [R package version 0.99.4]. https://CRAN.R-project.org/package=rdrobust
  » https://CRAN.R-project.org/package=rdrobust
• Card, D., & Payne, A. (2002). School finance reform, the distribution of school spending, and the distribution of student test scores. Journal of Public Economics, 83(1), 49-82. http://dx.doi.org/10.1016/S0047-2727(00)00177-8
  » http://dx.doi.org/10.1016/S0047-2727(00)00177-8
• Cattaneo, M.D., Titiunik, R., Vazquez-Bare, G., & Keele, L. (2016). Interpreting regression discontinuity designs with multiple cutoffs. The Journal of Politics, 78(4), 1229-1248. http://dx.doi.org/10.1086/686802
  » http://dx.doi.org/10.1086/686802
• Chaudhary, L. (2009). Education inputs, student performance and school finance reform in Michigan. Economics of Education Review, 28(1), 90-98. http://dx.doi.org/10.1016/j.econedurev.2007.11.004
  » http://dx.doi.org/10.1016/j.econedurev.2007.11.004
• Clark, D. (2009). The performance and competitive effects of school autonomy. Journal of Political Economy, 117(4), 745-782. http://dx.doi.org/10.1086/605604
  » http://dx.doi.org/10.1086/605604
• Fan, J., & Gijbels, I. (1996). Local polynomial modelling and its applications New York: Chapman & Hall/CRC.
• Galiani, S., Gertler, P., & Schargrodsky, E. (2008). School decentralization: Helping the good get better, but leaving the poor behind. Journal of Public Economics, 92(10-11), 2106-2120. http://dx.doi.org/10.1016/j.jpubeco.2008.05.004
  » http://dx.doi.org/10.1016/j.jpubeco.2008.05.004
• Ganimian, A., & Murnane, R.J. (2014, fevereiro). Improving educational outcomes in developing countries: Lessons from rigorous evaluations (Working Paper N^o w20284). National Bureau of Economic Research (NBER). http://dx.doi.org/10.3386/w20284
  » http://dx.doi.org/10.3386/w20284
• Gelman, A., & Imbens, G. (2019). Why high-order polynomials should not be used in regression discontinuity designs. Journal of Business and Economic Statistics, 37(3). http://dx.doi.org/10.1080/07350015.2017.1366909
  » http://dx.doi.org/10.1080/07350015.2017.1366909
• Grubb, W.N. (2008). Multiple resources, multiple outcomes: Testing the “improved” school finance with NELS88. American Educational Research Journal, 45(1), 104-144. http://dx.doi.org/10.3102/0002831207308636
  » http://dx.doi.org/10.3102/0002831207308636
• Guryan, J. (2001, maio). Does money matter? Regression-discontinuity estimates from education finance reform in Massachusetts (Working Paper N^o 8269). National Bureau of Economic Research (NBER). http://dx.doi.org/10.3386/w8269
  » http://dx.doi.org/10.3386/w8269
• Hanushek, E.A., Rivkin, S.G., & Taylor, L.L. (1996, Abril). Aggregation and the estimated effects of school resources (Working Paper N^o 5548). National Bureau of Economic Research (NBER). http://dx.doi.org/0.3386/w5548
  » http://dx.doi.org/0.3386/w5548
• Hægeland, T., Raaum, O., & Salvanes, K.G. (2012). Pennies from heaven? Using exogenous tax variation to identify effects of school resources on pupil achievement. Economics of Education Review, 31(5), 601-614. http://dx.doi.org/10.1016/j.econedurev.2012.03.004
  » http://dx.doi.org/10.1016/j.econedurev.2012.03.004
• Imbens, G.W., & Kalyanaraman, K. (2012). Optimal bandwidth choice for the regression discontinuity estimator. The Review of Economic Studies, 79(3), 933-959. http://dx.doi.org/10.1093/restud/rdr043
  » http://dx.doi.org/10.1093/restud/rdr043
• Imbens, G.W., & Lemieux, T. (2008). Regression discontinuity designs: A guide to practice. Journal of Econometrics, 142(2), 615-635. http://dx.doi.org/10.1016/j.jeconom.2007.05.001
  » http://dx.doi.org/10.1016/j.jeconom.2007.05.001
• Kreisman, D., & Steinberg, M.P. (2019). The effect of increased funding on student achievement: Evidence from Texas’s small district adjustment. Journal of Public Economics, 176, 118-141. http://dx.doi.org/10.1016/j.jpubeco.2019.04.003
  » http://dx.doi.org/10.1016/j.jpubeco.2019.04.003
• McCrary, J. (2008). Manipulation of the running variable in the regression discontinuity design: A density test. Journal of Econometrics, 142(2), 698-714. http://dx.doi.org/10.1016/j.jeconom.2007.05.005
  » http://dx.doi.org/10.1016/j.jeconom.2007.05.005
• Monteiro, J. (2015). Gasto público em educação e desempenho escolar. Revista Brasileira de Economia, 69(4), 467-488. http://dx.doi.org/10.5935/0034-7140.20150022
  » http://dx.doi.org/10.5935/0034-7140.20150022
• Papke, L.E. (2005). The effects of spending on test pass rates: Evidence from Michigan. Journal of Public Economics, 89(5-6), 821-839. http://dx.doi.org/10.1016/j.jpubeco.2004.05.008
  » http://dx.doi.org/10.1016/j.jpubeco.2004.05.008
• Roy, J. (2011). Impact of school finance reform on resource equalization and academic performance: Evidence from Michigan. Education Finance and Policy, 6(2), 137-167. http://dx.doi.org/10.1162/EDFP_a_00030
  » http://dx.doi.org/10.1162/EDFP_a_00030
• Skovron, C., & Titiunik, R. (2015, 12 de october). A practical guide to regression discontinuity designs in political science. http://qe4policy.ec.unipi.it/wp-content/uploads/2015/09/SkovronTitiunik-v5.pdf
  » http://qe4policy.ec.unipi.it/wp-content/uploads/2015/09/SkovronTitiunik-v5.pdf
• Stigler, M., & Quast, B. (2015). rddtools: Toolbox for regression discontinuity design (‘RDD’) [R package version 0.4.0]. https://CRAN.R-project.org/package=rddtools
  » https://CRAN.R-project.org/package=rddtools
• Thistlethwaite, D.L., & Campbell, D.T. (1960). Regression-discontinuity analysis: An alternative to the ex post facto experiment. Journal of Educational Psychology, 51(6), 309. http://dx.doi.org/10.1037/h0044319
  » http://dx.doi.org/10.1037/h0044319
• Van der Klaauw, W. (2008). Breaking the link between poverty and low student achievement: An evaluation of Title I. Journal of Econometrics, 142(2), 731-756. http://dx.doi.org/10.1016/j.jeconom.2007.05.007
  » http://dx.doi.org/10.1016/j.jeconom.2007.05.007

Datas de Publicação

• Publicação nesta coleção
  07 Mar 2022
• Data do Fascículo
  Oct-Dec 2021

Histórico

• Recebido
  28 Out 2016
• Aceito
  04 Dez 2020