ESTABILIDADE DOS PROFESSORES E QUALIDADE DO ENSINO DE ESCOLAS PÚBLICAS

Resumo

Propõe-se analisar o efeito da estabilidade dos professores sobre a qualidade do ensino fundamental nas escolas públicas brasileiras, considerando que a decisão de tornar-se docente também envolve fatores não pecuniários relacionados aos benefícios de ingressar no setor público. Com base nos dados mais recentes do exame Prova Brasil (2011) para estudantes do 5º ano do ensino fundamental, aplicou-se a metodologia de Pareamento no Escore de Propensão para múltiplos tratamentos com o objetivo de contornar o possível viés de seleção das escolas decorrente da correlação entre o benefício da estabilidade dos professores com fatores relacionados aos salários e aos critérios de admissão dos alunos. Objetivando prover robustez nos resultados, conduziu-se uma Análise de Sensibilidade proposta por (Ichino et al., 2006), que simula a possibilidade da presença de uma variável não observada, a qual invalidaria a suposição de independência condicional necessária para identificar a relação de causalidade. Em comparação com os efeitos ambíguos dispostos na literatura acerca dos salários dos professores sobre o desempenho estudantil, demonstra-se, para todas as regiões do país, que quanto maior a falta de professores com estabilidade menor o desempenho dos estudantes, resultado este que se traduz no aprendizado dos alunos.

Palavras-chave:
Qualidade da Educação Pública; Estabilidade dos Professores; Pareamento no Escore de Propensão; Análise de Sensibilidade

Abstract

This paper is aimed at analyzing the effect of teachers' stability on education quality in Brazilian public elementary schools, considering that the decision to become a teacher also involves non-pecuniary factors. The latest database of the Prova Brazil Examination (2011) was applied to the methodology of propensity score matching in order to overcome the possible selection bias of schools due to the correlation between the teachers' stability benefit factors associated with salaries and the students' admission rules. In addition, sensitivity analysis was performed according to (Ichino et al., 2006) to verify the robustness of results over the possibility of the presence of an unobserved variable to invalidate the conditional Independence assumption needed to identify the causal relationship. The results indicate, for all regions in the country, that the larger the lack of teachers holding tenure positions the lower the students' performance, vis-à-vis the ambiguous effect found in the research of wages on students' performance. This suggests that schools keeping greater proportion of teacher with tenure tend to provide a better students' scholar achievement.

Keywords:
Quality of Public Education; Teachers' Stability; Propensity Score Matching; Sensitivity Analysis

1 Introdução

Embora a condição de estabilidade no emprego seja adquirida apenas no setor público mediante realização de concurso,¹ ela gera várias consequências nas relações entre a escola pública e seus docentes, podendo influenciar indiretamente a qualidade do ensino público brasileiro. De uma forma geral, a estabilidade gera um benefício não pecuniário que é um fator motivador ao ingresso no setor público. A falta de estabilidade, por um lado, pode contribuir para elevar a competitividade entre os professores dessas escolas, bem como, diminuir o custo de oportunidade de um profissional vir a ser um docente. Mas, por outro lado, conforme apontam (Bresser-Pereira, 1996) e (Pires & Macedo, 2006), restringir a possibilidade de demissão torna o setor público ineficiente na contratação de profissionais devidamente qualificados e, principalmente, motivados. Nesse sentido, a aquisição do direito de estabilidade pode influenciar negativamente na motivação devido ao excesso de segurança no emprego, que é acompanhado de muitas dificuldades relacionadas ao ensino de estudantes em condições socioeconômicas desfavoráveis.

A rigidez na regulamentação trabalhista do setor público, em especial o educacional, dificulta determinar se os salários ou outros benefícios não pecuniários são responsáveis pela atração de bons professores que melhorem o desempenho dos alunos, pois, conforme argumentam (Hanushek & Rivkin, 2007), a avaliação qualitativa de algum fator no setor da educação é uma tarefa extremamente complexa em virtude do domínio da prestação pública do ensino. As restrições sobre as operações de mercado e a importância dos fatores não pecuniários na decisão de oferta de professores implicam que as escolas não são, necessariamente, operadas de forma eficiente e não tomam as decisões de contratação dos professores baseadas no desempenho esperado.²

Não há consenso entre os estudos da literatura sobre a relação entre a formação e os salários dos professores e o desempenho dos alunos. Ao fazer um survey sobre os trabalhos até então publicados, (Hanushek, 1986, 1997) mostra que poucas são as pesquisas que apresentamumefeito positivo dos salários sobre o desempenho dos discentes. Por outro lado, (Loeb & Page, 2000) afirmam que esses estudos têm falhado por não considerar os atributos não pecuniários e outras oportunidades de salário que afetam o custo de oportunidade no processo de escolha de se tornar professor. Ademais, os autores apontam que os pais normalmente escolhem as escolas com base na qualidade percebida, e não nos salários dos professores, pois aqueles que demandam uma educação de qualidade, provavelmente, gastam mais com educação. Quanto à formação de professores, os resultados são controversos ou inconclusivos. Se por um lado (Wobmann, 2003), em análise envolvendo 39 países, identifica uma relação positiva definida entre o nível de escolaridade dos professores e o desempenho de alunos do ensino fundamental, por outro lado, (Rice, 2003) atesta ser inconclusiva tal relação nos Estados Unidos. No Brasil, (Menezes Filho, 2007) e (Louzano, 2010) demonstram não haver uma correlação significante entre a formação de professores com nível superior e o desempenho dos alunos.

Nos últimos anos, alguns autores têm se dedicado a pesquisar as características mais relevantes para explicar o desempenho dos alunos nas escolas brasileiras. Vale salientar, todavia, que poucos são os trabalhos que abordam a relação entre o salário do professor e o desempenho dos alunos, além de nenhum deles tratar a questão da estabilidade do docente e sua influência na melhoria do ensino, consequentemente, no desempenho dos alunos.

No Brasil, acredita-se que os pais de baixa renda não levam em consideração fatores não pecuniários ou os salários relacionados à carreira dos professores quando decidem matricular seus filhos emescolas públicas. Alémdo mais, (Curi & Menezes Filho, 2010) mostram que, em virtude da baixa qualidade do ensino público e de sua limitada oferta de vagas, famílias pobres são induzidas a matricular seus filhos em escolas privadas, mesmo comprometendo boa parte da sua renda.

Desse modo, supõe-se que os pais que demandam escolas públicas não têm uma concepção bem definida acerca dos salários dos professores e da estrutura da escola e não detêm poder de escolha sobre a turma ou dos professores dos seus filhos. Ademais, no ato da matrícula, as famílias de baixa renda levam em consideração, principalmente, as restrições de disponibilidade de vagas e da proximidade da escola às suas residências. No entanto, caso seja possível escolher entre duas escolas próximas, espera-se que a decisão recaia sobre aquela dotada de melhores estruturas e resultados³.

Considerando que a seleção dos professores leva em conta, além dos salários, o benefício não pecuniário da estabilidade, e que há restrições econômicas dos pais na escolha das escolas, este artigo tem como objetivo analisar o efeito da estabilidade dos professores das escolas públicas do ensino fundamental brasileiro sobre o desempenho dos estudantes nos exames de proficiência. Para isso, será utilizada a metodologia de Pareamento no Escore de Propensão, uma técnica semiparamétrica que, sob fortes suposições de identificação do efeito causal, reproduz um experimento aleatório a partir da atribuição de pesos aos estudantes não tratados na tentativa de se determinar um confiável contrafactual. Não obstante, questiona-se a suposição que as características observáveis, que influenciam tanto o desempenho dos alunos como o processo de seleção das escolas, possibilitem determinar esses pesos. Assim, foi realizada a Análise de Sensibilidade proposta por (Ichino et al, 2006) para verificar a robustez dos resultados diante da presença de uma variável não observada que invalidasse a suposição de independência condicional necessária para identificar a relação de causalidade.

Devido à impossibilidade de identificar todos os respectivos professores de cada um dos alunos no 1º, 2º, 3º e 4º ano e em alguns casos ter sido informado mais de um professor por turma no 5º ano, foi utilizado como variável do tratamento uma variável categórica que ordenada os quartis de professores com estabilidade. Essa variável permitiu testar o grau de associação entre a proporção de professores estáveis nas escolas públicas e o desempenho dos estudantes do 5º ano do Ensino Fundamental nos exames de Língua Portuguesa e Matemática dos estudantes no Prova Brasil de 2011. Com isso, pretende-se investigar se a estabilidade é um importante indicativo para a seleção de bons professores, consequentemente, para a melhoria da qualidade do ensino das escolas públicas.

O artigo está organizado de modo a compor mais quatro seções. Na próxima, faz-se uma revisão da literatura acerca dos trabalhos mais relevantes que tratam desse assunto. Na terceira seção apresenta-se a base de dados acompanhada de uma análise descritiva dos mesmos. Em seguida, discute-se a metodologia de Pareamento no Escore de Propensão e de Análise de Sensibilidade que darão suporte aos resultados das estimativas, os quais constam na quinta seção. As considerações finais concluem o artigo.

2 Revisão da Literatura

O estudo de (Hanushek & Rivkin, 2007) defende que a qualidade do ensino é um componente central para aumentar a qualidade da escola, e que, a qualidade dos professores e as características do mercado de trabalho em que estão inseridos, apresentam papel preponderante na determinação do desempenho do aluno. De acordo comos autores, determinadas características observáveis, muitas vezes relacionadas com as decisões de contratação e salário, explicam a variação na qualidade do ensino. Eles fizeram uma comparação entre as políticas que buscam elevar a qualidade exigindo mais qualificações necessárias para entrar no ensino e políticas que visam aumentar a qualidade, relaxando as restrições de entrada e de introdução de incentivos de desempenho para professores e administradores. Concluem que a maioria das pessoas percebe os efeitos potenciais das políticas por meio do impacto aferido pela qualidade dos professores, embora pouco se conheça sobre a potencial interação entre as estruturas institucionais e a qualidade dos professores.

(Rivkin et al., 2005) investigamcomo o salário e a condições de trabalho afetam a qualidade do ensino em escolas públicas dos Estados Unidos, buscando contornar o problema de endogeneidade devido a variáveis omitidas, erro de medida das variáveis e viés de seleção dos estudantes e escolas. O estudo conclui que aumentos salariais para professores seriam, em geral, ineficazes, mas, melhorias na qualidade do ensino poderiam ser alcançadas por meio da implementação de algumas medidas, tais como: 1) reduzir as barreiras para um profissional se tornar um professor, como por exemplo, a exigência de certificação; 2) haver uma relação direta entre salários e progressão na carreira; 3) possibilidade de compensar os professores com maior capacidade em aumentar o desempenho dos estudantes.

(Loeb & Page, 2000) focam seu estudo na relação entre salário dos professores e aprendizagem dos alunos a partir de dados longitudinais de estados americanos, na tentativa de contestar as conclusões de (Hanushek, 1986, 1997), que utilizou dados em cross-section, e de outros estudos que utilizaram dados longitudinais (Altonji, 1988, Loeb & Page 2000, Grogger, 1996, Betts, 1995), que o salário do professor não afeta o desempenho dos alunos, o que contradiz os estudos que afirmam que o efeito escola é significante (Altonji, 1988, Hanushek et al., 1998). As autoras afirmam que esses estudos não levaram em consideração os atributos morais do trabalho e as oportunidades salariais alternativas, que afetamo custo de oportunidade de escolher lecionar. Elas desenvolveram um modelo com variáveis defasadas para inferir sobre a relação entre os salários dos professores e os resultados dos alunos, medido por níveis acadêmicos dos estudantes, que incorpora atributos não pecuniários associados com o ensino, juntamente com as oportunidades alternativas de mercado de trabalho. Elas rejeitam os resultados dos autores supracitados e concluem que um aumento de 50% no salário dos professores reduziria a taxa de abandono escolar em 15% e aumentaria a taxa de entrada na faculdade em cerca de 8%.

(Hoxby & Leigh, 2004) apontam para a possibilidade de que a manutenção de salários relativamente mais baixos no setor educacional dos Estados Unidos gera um problema de seleção adversa, levando os estudantes graduados menos habilidosos a optar pela carreira docente. Suas estimativas com variáveis instrumentais sob um painel de dados comprovam que, nos últimos anos, a contratação de professores mais habilidosos caiu de 5% para 1%, e os menos habilidosos aumentou de 16% para 36%. O crescimento nessa categoria deve-se à contratação de mulheres graduadas com competência acadêmica mais baixa. A maior parte dessa mudança foi atribuída à compressão salarial, que é a redução no tempo das diferenças salariais entre pessoas no mesmo emprego ou entre pessoas em diferentes postos de trabalho em uma hierarquia organizacional, seguida das políticas de paridade salarial e redução no salário médio dos professores.

Trabalhos correlatos no Brasil com abordagem econômica foram introduzidos, inicialmente, por (Barros et al., 2001), onde a partir dos dados da Pesquisa Nacional por Amostra de Domicílio (PNAD) de 1996 e da Pesquisa sobre Padrão de Vida (PPV) de 1996/97 aplicados em regressões lineares, verificam que a escolaridade dos professores da segunda etapa do ensino fundamental contribuimais que a dos professores do ensinomédio sobre a formação escolar dos brasileiros (número de séries completadas). No entanto, os autores mostram que a escolaridade dos pais, e em particular da mãe, é a característica mais importante para determinar o desempenho educacional dos filhos.

(Menezes Filho, 2007) utiliza dados do Sistema de Avaliação do Ensino Básico (SAEB) de 2003 para examinar os fatores que afetam o desempenho dos alunos do ensino fundamental e médio nos testes de proficiência em Matemática. A partir do exercício de decomposição da variância, identifica que o desempenho escolar é prioritariamente explicado pelos fatores: educação da mãe, cor, atraso escolar e reprovação prévia, número de livros disponíveis aos alunos, disponibilidade de computador próprio e atividades no mercado de trabalho. Conclui também que os salários dos professores explicam o desempenho dos alunos apenas na rede privada. Esse resultado talvez decorra da concorrência entre essas escolas por profissionais mais qualificados, o que elevaria a variância dos salários, contrariamente do que ocorre com a maior rigidez dos salários dos professores de escolas públicas.

No tocante à remuneração dos professores das redes pública e privada brasileira, cabem destacar outros trabalhos. Inicialmente, Barbosa (Filho et al., 2009) utilizam os censos demográficos de 1980, 1991 e 2000 para analisar a evolução dos diferenciais salariais nos níveis de ensino para o Brasil e seus estados, com destaque para São Paulo. Concluem, por um lado, que os diferenciais de saláriosmédios público/privado reduziramsobremaneira ao longo dos vinte anos, à exceção de alguns estados do Norte e Nordeste, além de as variâncias dos diferenciais terem diminuído drasticamente em todos os níveis de ensino. Mas, por outro lado, ao se computar o valor presente do contrato de trabalho (vpct) para 2000 dos rendimentos futuros incorporados os benefícios previdenciários com diferentes taxas de desconto, a situação se reverte. Em nível de Brasil, para uma taxa de desconto de 3%, o vpct para professores da rede pública excede em no mínimo 18% (nível superior) e no máximo 47% (pré-escola) os da rede privada, e se professoras, os excedentes são de 25% (nível superior) e 40% (ensino fundamental).

(Becker & Kassouf, 2012) também propõem investigar os diferenciais salariais de professores do ensino fundamental das redes pública e privada por meio de um modelo econométrico composto por duas equações, onde aplicam a decomposição de Oaxaca, as quais objetivam explicar o salário e o vpct, este último seguindo Barbosa (Filho et al., 2009), tendo como fatores explicativos as características individuais, características do trabalho, produtividades individuais e aspectos regionais. Com base em dados das PNADs de 2004 a 2008, as autoras concluem que os salários dos professores da rede pública são, em média, maiores do que os da rede privada, ditado, principalmente, pela maior experiência. Os benefícios de aposentadorias são ratificados para indicar o maior vpct dos professores da rede pública, e a decomposição revela um diferencial de salário em favor dos homens em ambas as redes de ensino, cuja explicação se baseia em fatores não observáveis, dentre os quais, a discriminação.

Com base nos dados do SAEB de 2001 dos alunos de 4ª série do Ensino Fundamental do estado de São Paulo, (Felicio & Fernandes, 2005) decompõem a desigualdade das notas, onde parte é explicada pela escola e outra pelo background familiar. Seus resultados indicam que o efeito escola explica até 28,4% da desigualdade total de notas da disciplina de Língua Portuguesa e entre 8,7% e 34,44% das notas de Matemática. Em seguida, incluem variáveis dummies indicativas de escola para estimar, por efeitos fixos, a importância de cada escola no aprendizado dos alunos, e estabelecer umranking da qualidade das escolas. Em ambas as disciplinas, as simulações revelam um impacto de um desvio-padrão sobre o desempenho dos alunos, o que, comparativamente, significa elevar o desempenho médio verificado na 4ª série com o da 7ª série. Comprovam também que, entre as escolas públicas, seria possível obter um avanço significativo com um ganho de três anos de estudo para Matemática e 2,4 para Língua Portuguesa. Nesta última, isso equivaleria elevar o desempenho médio dos alunos da rede pública ao da rede particular.

(Biondi & Felicio, 2007), utilizando dados do SAEB e Censo Escolar de 2003, estimamo efeito de variáveis escolares no desempenho dos alunos pormeio de um painel balanceado de 260 escolas. Constataram que, a experiência média e a baixa rotatividade dos professores durante o ano letivo têm efeito positivo sobre o desempenho dos estudantes da 4ª série do ensino fundamental. Contrariamente, (Franco, 2009), a partir de um painel não balanceado de dados do SAEB de 1997, 1999, 2001, 2003 e 2005, não observou nenhum efeito das características observáveis dos professores e poucas variáveis das escolas se mostraram relevantes. Cabe ressaltar que, mesmo não tendo sido aplicada a abordagem de avaliação de programas e focado na relação causal entre as características dos professores que afetam o desempenho dos alunos, (Biondi & Felicio, 2007) e (Franco, 2009) buscaram solucionar o problema de endogeneidade decorrente do problema de variável omitida e viés de seleção por meio de estimações com efeito fixo.

O estudo de (Scorzafave & Ferreira, 2011) toma o estado de São Paulo como referência para avaliar os determinantes da desigualdade no desempenho escolar entre os alunos da 4ª série (5º ano) do ensino fundamental da rede pública. Com base nos dados do exame Prova Brasil (2005), o índice de desigualdade Theil-L é aplicado para decompor as contribuições de variáveis distribuídas no background dos alunos (21 variáveis) e características das escolas (20 variáveis, nenhuma que caracterize o status empregatício do professor) nas diferenças de notas obtidas nas provas de português e matemática. Dentre suas conclusões, destaca-se o fato de as contribuições das variáveis serem mais acentuadas para a desigualdade dos escores em português do que em matemática. Enquanto as variáveis de background do aluno respondem por 22,94% e 26,14% da desigualdade dos exames de matemática e português, respectivamente, as contribuições das variáveis das características escolares reduzem tal desigualdade para 13,55% e 12,13% nos respectivos exames.

Conforme relatado anteriormente nenhum desses artigos abordou o efeito da estabilidade do professor sobre o desempenho dos estudantes. Portanto, este artigo busca contribuir com a literatura ao analisar o efeito da estabilidade dos docentes do ensino fundamental da rede pública no Brasil sobre o desempenho dos estudantes nos exames de proficiência. Ademais, acredita-se que a relação entre fatores não pecuniários no mecanismo de seleção dos professores das escolas públicas pode ter mascarado o efeito dos salários dos professores sobre o desempenho dos estudantes.

3 Descrição dos Dados

Para a consecução do objetivo proposto serão utilizados os microdados do Prova Brasil de 2011, os quais são coletados a partir de questionários socioeconômicos e exames de proficiência nas disciplinas de Língua Portuguesa e Matemática dos alunos da 5ª série do Ensino Fundamental da rede pública urbana, pertencentes aos estabelecimentos com um mínimo de 20 alunos por turma. A opção por essa base de dados decorre de ser a mais recente, além de conceber um vasto detalhamento da avaliação da qualidade da educação no Brasil, uma vez que, ela fornece informações relativas à 2.278.771 alunos matriculados em40.823 escolas participantes distribuídas nos municípios dos 27 estados da Federação.⁴

Com relação à distribuição espacial, o Prova Brasil insere 10,3% de estudantes do Norte, 26,9% do Nordeste, 43,2% do Sudeste, 12,3% do Sul e 7,2% do Centro-Oeste. Em relação à dependência administrativa das escolas públicas, 75,05% são municipais, 24,91% estaduais e 0,1% federais.⁵ Os critérios mais aplicados nas escolas públicas para a cessão de vagas são a localização da moradia e a ordem de chegada para a matrícula. Ambos restringem a escolha dos pais pela escola pública de seus filhos, haja vista que umas detêm melhor qualidade de ensino do que outras, por conseguinte, o excedente da demanda sobre a oferta de vagas é inevitável.

Devido à impossibilidade de identificar todos os respectivos professores de cada um dos alunos no 1º, 2º, 3º e 4º ano e em alguns casos ter sido informado mais de um professor por turma no 5º ano, a informação acerca do regime de trabalho dos professores que mensura a proporção de professores com estabilidade foi extraída da seguinte questão contida no questionário direcionado aos diretores: "qual é o percentual de professores com vínculo estável nesta escola?". Como esse vínculo é adquirido apenas pelos professores associados ao sistema estatutário de servidores públicos, assume-se que aqueles sem vínculo estável são substitutos ou temporários. Justifica-se esta opção tanto pelo fato de os pais não considerarem o status do professor ao matricular o seu filho em determinada escola pública, como também não deterem informação completa sobre as condições de contrato dos professores, sejam trabalhistas ou salariais. Consequentemente, como se objetiva investigar o efeito da estabilidade a partir de uma variável que representa a condição da escola no conjunto de professores com estabilidade, é analisado o efeito da condição de estabilidade dos professores de forma agregada por escola, o que impõe uma suposta homogeneidade do efeito da estabilidade entre alunos da mesma instituição. A Tabela 1 apresenta a distribuição regional de escolas públicas por faixa de professores com estabilidade empregatícia distribuída por quartis.

Tabela 1
Distribuição Regional de Escolas Públicas por Intervalo de Professores com Estabilidade (%)

Faixas de Professores com Estabilidade	Norte	Nordeste	Sudeste	Sul	Centro-Oeste	Brasil
(0%, 25%]	12,5	11,5	7,1	8,2	9,6	9,2
(25%, 50%]	13,0	12,1	10,7	14,2	11,9	11,8
(50%, 75%]	16,4	15,1	20,6	18,1	21,9	18,5
(75%, 100%]	55,3	58,5	58,9	57,0	53,7	57,8
Dados Omitidos	2,8	2,7	2,6	2,5	2,9	2,7

• Fonte: Elaboração dos autores a partir dos dados do Prova Brasil, 2011.

Os dados dessa tabela revelam que, em todas as regiões, a participação de escolas com professores estáveis cresce a taxas crescentes ao se evoluir do primeiro para o quarto quartil. O percentual acumulado até o terceiro quartil não ultrapassa 43,4% de escolas (região Sudeste), demonstrando, assim, a elevada contribuição marginal do quartil superior sobre o percentual de escolas. Especificamente, observa-se que 57,8% das escolas públicas brasileiras empregam mais de 75% de seus professores no regime estatutário. Comparando as regiões, percebe-se que no Sudeste 7,1% das escolas públicas contratam até 25% de seus professores em regime de estabilidade, enquanto para as demais esse percentual é de no mínimo 8,2%. Do lado oposto, quando se observa o percentual de escolas com mais de 75% dos professores com estabilidade, verifica-se que o Sudeste supera as demais regiões com 58,9% de escolas. Isso pode refletir a forma de contratação dos professores nessa região, que reduz a competitividade entre professores, o que pode ocasionar uma flexibilidade na escolha de docentes menos qualificados ou motivados em detrimento da elevação dos benefícios não pecuniários proporcionados pela estabilidade.

Dados descritivos sobre as características próprias dos alunos e socioeconômicas de seus pais, por regiões, estão dispostos na Tabela 2.

Tabela 2
Distribuição Percentual das Características dos Estudantes e seus Pais, e dos Domicílios

Faixas de Professores com Estabilidade	Norte	Nordeste	Sudeste	Sul	Centro-Oeste	Brasil
Escolas Estaduais	31,22	12,18	31,33	26,61	41,24	26,30699
Alunos mulheres	46,08	44,99	47,40	46,94	47,29	46,55136
Alunos pretos	9,06	10,89	9,30	6,12	8,44	9,2463
Pai e mãe morando no domicílio	91,85	91,22	94,76	94,95	93,29	93,42918
Mãe sem EF	13,55	18,74	9,89	11,56	9,96	12,85645
Mãe com Graduação	11,61	7,96	12,60	11,92	14,07	11,2752
Pai sem EF	14,53	18,86	9,17	10,08	10,42	12,52662
Pai com Graduação	7,74	5,41	9,28	9,58	9,23	8,1138
Domicílios com um carro	17,88	16,98	39,16	47,34	39,11	32,00567
Domicílios com dois carros	3,69	2,89	10,15	12,66	8,66	7,73241
Domicílios com três carros	1,54	1,32	3,56	4,37	2,8	2,79282
Domicílios com Internet	23,76	19,1	49,82	46,45	40,85	37,81007
Domicílios com Domésticas	11,44	10,24	9,38	10,02	10,31	9,42402
Alunos com distorção idade-série	29,89	28,91	11,94	16,24	17,86	19,3094
Alunos reprovados	39,07	39,59	21,40	26,87	26,7	29,16976
Alunos com pré-escola	65,15	71,57	77,44	66,29	68,68	72,58606

• Fonte: Elaboração dos autores a partir dos dados do Prova Brasil, 2011.

Percebe-se que há uma associação direta ao se relacionar as proporções de pais sem o ensino fundamental (EF) e as condições de alunos que já foram reprovados, notadamente com percentuais mais elevados nas regiões mais pobres, Norte e Nordeste. No extremo oposto, as regiões Norte e Nordeste detêm o menor percentual de pai e mãe com nível superior.⁶ Isso deve ser um fator relevante de herança educacional com impacto no desempenho escolar dos filhos e gerações futuras.

No entanto, mesmo apresentando os maiores e menores percentuais de pai e mãe sem ensino fundamental (EF) e com nível superior (graduação), respectivamente, a região Nordeste detém o segundo maior indicador quando se considera os alunos com pré-escola ou educação infantil (71,6%), superada apenas da Região Sudeste, cujo percentual é de 77,4%. Por sua vez, a região Norte apresenta o pior indicador nesse quesito, ou seja, 65,2% dos alunos dessa região concluíram a pré-escola.

Em relação à condição econômica das famílias, medida pela posse de bens, as regiões Sudeste, Sul e Centro-Oeste são dotadas com valores mais de duas vezes superiores aos das regiões mais pobres, Norte e Nordeste, resultado este em concordância com o esperado, haja vista a superioridade de desenvolvimento das primeiras regiões.

Extraem-se dessas informações que as escolas localizadas nas regiões Norte e Nordeste possuem alunos com os piores indicadores de condições socioeconômicas domiciliares e desempenho escolar (distorção idade-série, reprovação), baixo nível de escolaridade dos pais, em contraposição àqueles das demais regiões brasileiras onde os pais apresentam melhores condições socioeconômicas e status educacional, além da elevada participação de alunos com frequência à pré-escola, e ter apresentado o mais baixo índice de reprovação.

As distribuições de rendimentos por faixa salarial dos professores estatutários e não estatutários entre as regiões estão sintetizadas na Tabela 3, as quais apresentam heterogeneidade quanto à estabilidade e regionalização. Inicialmente, chama a atenção que, à exceção do Nordeste, as proporções de professores que recebem remunerações até quatro salários mínimos são maiores na categoria não estatutária, a qual dá a liderança para a região Sul com 91%. Dentre os professores nesse nível de remuneração, a região Centro-Oeste detém as menores proporções sejam estatutários (56%) ou não (71%), enquanto as maiores proporções são lideradas por professores não estatutários da região Sul (91%) e estatutários da região Nordeste (84%). Tais resultados se revertem na complementaridade das proporções para os maiores salários.

Tabela 3
Rendimentos dos Professores por Vínculo Empregatício nas Regiões Nordeste e Sudeste

Classe de Salário (R$)	Norte		Nordeste		Sudeste		Sul		Centro-Oeste
	Estatutário	Não Estatutário	Estatutário	Não Estatutário	Estatutário	Não Estatutário	Estatutário	Não Estatutário	Estatutário	Não Estatutário
(0; 545]	2%	3%	2%	9%	2%	2%	1%	3%	1%	2%
(545; 817]	3%	7%	6%	18%	6%	5%	2%	10%	6%	3%
(817; 1.090]	7%	9%	11%	11%	11%	8%	5%	11%	12%	7%
(1.090; 1.362]	12%	12%	14%	7%	14%	15%	11%	7%	13%	16%
1.362: 1.635]	7%	6%	9%	3%	9%	11%	11%	9%	10%	5%
(1.635; 1.907]	5%	3%	7%	3%	7%	9%	9%	10%	7%	2%
(1.907; 2.180]	7%	3%	4%	1%	4%	5%	9%	5%	6%	2%
(2.180; 2.725]	12%	4%	5%	1%	5%	7%	13%	4%	10%	10%
(2.725; 3.815]	7%	2%	4%	1%	4%	3%	9%	2%	10%	5%
(3.815; ,5.450]	2%	0%	1%	0%	1%	1%	3%	0%	2%	1%
Mais de 5.450	1%	1%	1%	1%	1%	1%	1%	1%	1%	2%

• Fonte: Elaboração dos autores a partir dos dados do Prova Brasil, 2011.

Em termos de variabilidade, extrai-se dessa tabela que há, para as proporções até quatro salários mínimos entre todas as regiões, uma amplitude de variação de 28 p.p. para professores estatutários e de 20 p.p. para os não estatutários, enquanto que para as proporções de maiores salários tais variações são iguais a 20 p.p. Isso reflete certa estabilidade de variações nas classes da distribuição de rendimentos entre os professores do país.

A relação entre escolaridade e situação trabalhista dos professores nas escolas públicas brasileiras é descrita na Tabela 4, a qual mostra que as maiores taxas daqueles sem nível superior, sejam estatutários ou não, encontram-se nas regiões menos desenvolvidas (Norte e Nordeste). Realce-se que as taxas desses professores não estatutários do Nordeste é quase dez vezes à correspondente do Centro-Oeste e mais de duas vezes às das regiões Sul e Sudeste. Em todas as regiões, as proporções de professores sem nível superior e não estatutários excedem em pelo menos 50% às de estatutários.

Tabela 4
Distribuição Percentual da Escolaridade dos Professores por Vínculo Empregatício

Nível de Escolaridade	Norte		Nordeste		Sudeste		Sul		Centro-Oeste
	Estatutário	Não Estatutário	Estatutário	Não Estatutário	Estatutário	Não Estatutário	Estatutário	Não Estatutário	Estatutário	Não Estatutário
Ensino Médio ou Menos	14%	20%	14%	26%	8%	11%	8%	11%	3%	7%
Ensino Superior - Pedagogia	47%	38%	51%	38%	51%	52%	54%	54%	65%	57%
Ensino Superior - Matemática	4%	3%	5%	4%	4%	3%	4%	3%	6%	3%
Ensino Superior - Letras	6%	5%	10%	8%	10%	7%	11%	4%	10%	7%
Ensino Superior - Outros	27%	17%	20%	15%	26%	21%	22%	13%	17%	11%

• Fonte: Elaboração dos autores a partir dos dados do Prova Brasil, 2011.

Dentre os professores com nível superior, há baixa variabilidade na proporção entre as duas categorias de emprego em todas as áreas para cada região, à exceção de Pedagogia no Nordeste e Sul com um diferencial de 9% a favor dos estatutários e não estatutários, respectivamente.

Distinguindo a variabilidade entre todas as regiões para os professores com nível superior, a área de Pedagogia lidera a amplitude de variação tanto para os estatutários (15 p.p.) quanto para os não estatutários (23 p.p.). A área de Matemática é a que apresenta menor variação nas proporções, com um diferencial máximo de 2 p.p. na região Centro-Oeste.

Condicionar pelas características individuais dos alunos (escolaridade de seus pais e informações sobre sua vida estudantil) e pelos critérios que as escolas utilizam para selecioná-los (ordem de chegada e a proximidade entre a residência e a escola), pode eliminar o viés associado às características observadas que influenciam as decisões dos pais sobre qual escola pública matricular seu filho.⁷

As características de estabilidade dos professores que podem mascarar o impacto na aprendizagem dos alunos são outras condicionalidades necessárias para isolar o efeito estudado a partir do pareamento de alunos com professores dotados com características de salário e escolaridade comuns.

As prováveis variáveis não observadas que afetam a escolha da escola pelos pais são: a distância da escola, a disponibilidade de vagas e a ideia que o pai tem sobre a qualidade da estrutura, gestão e do ensino. Caso essas variáveis sejam realmente significativas, pode-se esperar uma forte correlação dessas com a decisão de o pai matricular o filho em uma escola com determinado percentual de professores com estabilidade e que apresente alunos com melhores desempenhos. Isso tornaria inviável a comparação dos resultados dos alunos em escolas com diferentes percentuais de estabilidade e, consequentemente, questionáveis as estimativas da metodologia de Pareamento no Escore de Propensão. A Tabela 5 descreve as variáveis utilizadas na determinação do Escore de Propensão, desconsiderando a influência das variáveis não observadas.

Tabela 5
Estatísticas Descritivas das Variáveis Utilizadas na Obtenção do Escore de Propensão

Variáveis	Nordeste			Sudeste			Norte			Sul			Centro-Oeste
	Média1	DP	Min	Max		Média1	DP	Min	Max		Média1	DP	Min	Max		Média1	DP	Min	Max		Média1	DP	Min	Max
Aluna Mulher	0,45	0,50	0	1		0,47	0,50	0	1		0,46	0,50	0	1		0,47	0,50	0	1		0,47	0,50	0	1
Aluno Preto	0,11	0,31	0	1		0,09	0,29	0	1		0,09	0,29	0	1		0,06	0,24	0	1		0,08	0,28	0	1
Mãe sem EF	0,19	0,39	0	1		0,10	0,30	0	1		0,14	0,34	0	1		0,11	0,31	0	1		0,10	0,29	0	1
Pai sem EF	0,19	0,39	0	1		0,09	0,29	0	1		0,15	0,35	0	1		0,10	0,30	0	1		0,10	0,30	0	1
Distorção Idade-Série	0,29	0,45	0	1		0,12	0,32	0	1		0,30	0,46	0	1		0,16	0,37	0	1		0,17	0,38	0	1
Aluno Reprovado	0,40	0,49	0	1		0,21	0,41	0	1		0,39	0,49	0	1		0,27	0,44	0	1		0,26	0,44	0	1
Aluno com Pré-escola	0,72	0,45	0	1		0,77	0,42	0	1		0,65	0,48	0	1		0,67	0,47	0	1		0,69	0,46	0	1
Professor sem Graduado	0,19	0,39	0	1		0,09	0,29	0	1		0,17	0,37	0	1		0,09	0,28	0	1		0,04	0,20	0	1
Professor Salário Baixo	0,16	0,36	0	1		0,04	0,20	0	1		0,07	0,25	0	1		0,09	0,29	0	1		0,03	0,18	0	1
Professor Salário Alto	0,07	0,25	0	1		0,20	0,40	0	1		0,15	0,36	0	1		0,17	0,37	0	1		0,20	0,40	0	1
Escola Estadual	0,12	0,33	0	1		0,31	0,46	0	1		0,31	0,46	0	1		0,27	0,44	0	1		0,42	0,49	0	1
Admissão Local de Moradia	0,14	0,35	0	1		0,49	0,50	0	1		0,12	0,32	0	1		0,48	0,50	0	1		0,19	0,39	0	1
Admissão Ordem de Chegada	0,22	0,41	0	1		0,09	0,29	0	1		0,30	0,46	0	1		0,12	0,33	0	1		0,29	0,45	0	1
PI	0,06	0,23	0	1	MG	0,27	0,44	0	1	RO	0,04	0,20	0	1	SC	0,42	0,49	0	1	MT	0,18	0,39	0	1
CE	0,17	0,38	0	1	RJ	0,16	0,36	0	1	AM	0,24	0,43	0	1	RS	0,29	0,45	0	1	GO	0,21	0,41	0	1
RN	0,06	0,24	0	1	SP	0,53	0,50	0	1	RR	0,03	0,17	0	1						DF	0,41	0,49	0	1
PB	0,06	0,23	0	1						PA	0,46	0,50	0	1
PE	0,14	0,35	0	1						AP	0,05	0,22	0	1
AL	0,07	0,26	0	1						TO	0,08	0,28	0	1
SE	0,04	0,19	0	1
BA	0,25	0,43	0	1

• Fonte: Elaboração dos autores a partir dos dados do Prova Brasil, 2011.
• ¹
  Refere-se à proporção do atributo "1" (coluna Max) das variáveis dummies.
• Nº de obs: Norte: 235.452; Nordeste: 612.270; Sudeste: 985.467; Sul: 230.062; Centro-Oeste: 144.746.

A variável referente à dependência administrativa da escola ser ou não estadual pode desempenhar papel importante na análise, pois caracteriza de forma satisfatória a gestão das escolas. Cabe realçar a inserção de dummies para os estados, tendo em vista as diferenças nas características socioeconômicas de cada região e os programas educacionais particulares de cada estado.⁸

Em relação às variáveis referentes aos professores, os salários foram sintetizados em duas variáveis dummies para capturar os efeitos dos extremos da distribuição salarial, seguindo a escala disponível no questionário; uma para salários menores, se o professor ganha até R$817,50 mensais (1,5 salário mínimo de 2011), e outra para salários maiores, se o professor ganha acima de R$2180,00 reais (4 salários mínimos de 2011). Além destas, foi criada outra variável qualitativa para captar o efeito da escolaridade do professor definida por meio da detenção de nível superior.

4 Metodologia

Inferência sobre a relação de causalidade em estudos observacionais requer suposições sobre como o efeito da intervenção pode diferir do efeito observado em um experimento aleatório. Nesse sentido, a análise do efeito da estabilidade dos professores sobre o desempenho dos estudantes das escolas públicas brasileiras insere-se nesse contexto, pois não é possível controlar o mecanismo de distribuição dos estudantes nas diversas escolas de um município, cada uma das quais com sua dotação de professores com estabilidade, possibilitando, portanto, comparar o desempenho de alunos para verificar o efeito do tratamento. Ademais, o processo de determinação de quais escolas os alunos estão matriculados pode ser regido por fatores não observados nos questionários socioeconômicos dos alunos. Nesse contexto, será realizada uma análise de sensibilidade sobre as hipóteses da metodologia de Pareamento no Escore de Propensão (PEP) para verificar se, utilizando esta metodologia,⁹ é possível obter resultados confiáveis.

A metodologia PEP, introduzida por (Rosenbaum & Rubin, 1983b ) e aplicada por diversos autores, tais como, (Heckman et al., 1998), (Imbens, 2004), (Caliendo & Kopeinig, 2008),¹⁰ busca determinar um contrafactual a partir da determinação de indivíduos dentro do grupo de controle que sejam semelhantes aos tratados pelas variáveis observáveis inseridas no cálculo do escore de propensão. Essa metodologia é uma técnica semi-paramétrica de verificação dos efeitos de um programa em um quase-exprimento, baseada em algoritmos de paramento de indivíduos pertencentes a grupos distintos com o objetivo de se julgar os efeitos de uma determinada intervenção. As suas premissas de identificação são a Suposição de Independência Condicional (SIC) ou seleção nos observáveis ou unconfundness e a sobreposição ou balanceamento nas variáveis pré-tratamento.

Em decorrência de a variável tratamento ser aqui definida para quatro categorias naturalmente ordenadas do percentual de professores com estabilidade nas escolas, utiliza-se a metodologia de pareamento no escore de propensão com múltiplos tratamentos, a qual é abordada por (Rosenbaum & Rubin, 1983a ), (Imbens, 2000), (Lechener, 2001). Sua diferença para a análise do efeito de um único tratamento é que as suposições de identificação são modificadas para incorporar a estrutura não binária do tratamento. Algumas aplicações dessa metodologia foramimplementadas por (Lechener, 1999), (Imbens, 2000), (Blundell et al., 2005). Conforme frisam (Becker & Caliendo, 2007), verificar a sensibilidade dos resultados estimados em relação aos desvios da hipótese de identificação torna-se uma abordagem cada vez mais importante na literatura de avaliação de programas. Para os estimadores do efeito da estabilidade dos professores sobre o desempenho dos estudantes, essa análise aborda a possibilidade de existir variáveis não observadas que afetam simultaneamente a atribuição para o tratamento e a variável de resultado, criando um viés igualmente não observado que possa tornar os estimadores de pareamento não robustos. Essa abordagem foi introduzida por (Rosenbaum & Rubin, 1983a ) e desenvolvida por (Rosenbaum, 2002), (Imbens, 2003), (Altonji et al., 2005), (Ichino et al., 2006),¹¹ cujas aplicações foram adotadas, dentre as mais citadas, por (Aakvik, 2001), (Diprete & Gangl, 2004), (Ichino et al., 2006), (Caliendo et al., 2007).

4.1 Pareamento no Escore de Propensão - Múltiplos Tratamentos

Seguindo a notação de (Imbens, 2000) sobre a metodologia PEP, supõe-se que a escola "i" possa obter múltiplos valores ordenados de tratamento quanto aos intervalos de percentual de professores com estabilidade, T_i (t), onde o tratamento de interesse t = 0,1,2, ..., k. No caso específico de distribuírem-se os professores com estabilidade em quartis, faz-se uma inversão da categoria dos intervalos para que o tratamento T_i (0) seja a categoria que engloba o maior número de casos, qual seja, estudantes em escolas com mais de 75% de professores com estabilidade. Essa inversão também facilita a análise do efeito da falta de professores com estabilidade nas escolas, pois os tratamentos ordenados das outras categorias torna o maior tratamento igual à menor categoria de professores com estabilidade, ou seja T_i (3), correspondente à categoria de estudantes em escolas com até 25% de professores com estabilidade. Os resultados potenciais Y(t) são as performances dos alunos, dado que suas escolas podem apresentar diferentes níveis de tratamento, ou seja, estarem em escolas em diferentes intervalos de professores com estabilidade.

Com o objetivo de estabelecer uma suposição que possibilite a identificação no caso de múltiplos tratamentos, (Rosenbaum & Rubin, 1983a ) definem que a Fraca Suposição de Independência Condicional (FSIC) requer somente a independência de cada tratamento com cada um dos resultados potenciais Y(t), em vez da suposição de qualquer tratamento ser independente do conjunto total de resultados potenciais. Ademais, essa suposição somente requer a independência "local" de cada resultado potencial Y(t) e o tratamento de interesse, que é independente do indicador binário do nível de tratamento D(t), em vez do nível de tratamento T. Por exemplo, se a escola se encontra com o tratamento T_i (3), na pior classe em comparação com as outras, T_i (2), T_i (1) e T_i (0), desconsidera-se a classificação e leva-se em conta somente a independência do T_i (3) como se fosse um tratamento binário. Ou seja, dadas as variáveis X de pré-tratamento, a FSIC corresponde a:

Segundo (Imbens, 2000), a FSIC está relacionada à interpretação do problema da inferência causal a partir de missing data. Para unidades com D_i (t) = 0, a variável Y_i (t) sempre é desconhecida. Como o objetivo é estimar a média de Y_i (t) da população, E[Y(t)], deve-se assegurar a representatividade da média dos Y_i (t) na subamostra dos participantes que recebem o tratamento D_i (t) = 1. Mesmo não existindo nessa interpretação uma função direta para o nível de tratamento realmente atribuído às unidades com D_i (t) = 0, o que importa é que os indivíduos desse grupo de comparação não recebem tratamento "t". No entanto, em decorrência dos outros resultados potenciais Y_i (s), para s ≠ t, nunca será observado os mesmos resultados que as unidades com D_i (t) = 1. Ou seja, os resultados não podem desempenhar nenhum papel em qualquer processo de ajustamento sem suposições sobre as características dos que não participaram do programa. A definição de FSIC corresponde à falta de relevância desses outros resultados potenciais, dado a condicionalidade das variáveis explicativas X, o que possibilita estimar o resultado médio condicionado pelo status do tratamento, ou seja:

Os resultados médios podem ser estimados a partir dessas médias condicionais com:

Com o objetivo de resolver o problema dimensional advindo de X, define-se o Escore de Propensão Generalizado (EPG) como a probabilidade condicional de receber um particular nível de tratamento, dadas as variáveis observáveis, que se iguala à esperança condicional do tratamento binário (Imbens, 2000). O EPG pode ser expresso como:

Dado o EPG e a FSIC para múltiplos tratamentos, essa suposição pode ser, assim, representada:

No caso de haver múltiplos tratamentos, a suposição de sobreposição ou balanceamento nas variáveis de pré-tratamento dado o EPG, segue sua representação:

Nota-se que o argumento condicionante muda com o nível do tratamento. Para garantir a independência condicional, no caso de múltiplos tratamentos e variáveis de pré-tratamento X, é necessário condicionar por todo o conjunto de K+ 1 escores, {e(t, x)} ∈ T.

Com o objetivo de melhorar o pareamento, escolheu-se de forma ad hoc quatro tratamentos, que é a variável categórica, com correspondência inversa aos quartis de professores com estabilidade. Assim, por exemplo, T(4) = 4 se refere ao tratamento das escolas com perfis que detêm tais professores no intervalo [0%, 25%]. O último quartil, (75%, 100%], que corresponde ao tratamento T(1) = 1, será considerado como intervalo de grupo de controle de todas as outras possibilidades de tratamento. Ao analisar os níveis de tratamento individualmente, D(t) = 1 significa que determinada escola tem um percentual no intervalo do tratamento t e D(t) = 0 significa que a escola está em outro intervalo.

A implementação da metodologia de pareamento no escore de propensão para múltiplos tratamentos é similar ao caso quando este é binário. Inicialmente, estima-se o escore de propensão, e(t, x), a partir de um modelo que incorpore os múltiplos tratamentos ordenados, que optou-se pela hipótese da distribuição logística. Em seguida, estima-se o efeito médio no nível de tratamento t, β(t) = E{β [t, e(t, x)]}, que é estimado com a análise de pareamento de Kernel para cada nível de tratamento relativo aos demais, caracterizando-se, desta forma, uma escolha de tratamento binário.

4.2 Análise de Sensibilidade

A análise de Sensibilidade tem o objetivo de simular a inserção de uma suposta variável não observada para testar a possibilidade de invalidar a hipótese que fundamenta o Pareamento no Escore de Propensão. Para isso, considera-se um possível problema denominado por (Rosenbaum, 2002) como viés oculto. Esse se verifica quando variáveis não observadas afetam tanto a participação no programa quanto os resultados potenciais, contrariando a suposição de independência condicional. Embora essa suposição não seja testável, a sensibilidade dos resultados estimados pelo PEP pode ser verificada no que diz respeito a desvios dessa hipótese de identificação. Ou seja, mesmo que o grau de seleção ou do viés oculto não possa ser estimado, o grau de sensibilidade dos resultados do PEP à suposição de unconfoundedness pode ser testado. No caso específico da estimativa referente à estabilidade dos professores, o efeito de variáveis não observadas com a motivação dos professores e a habilidade individual dos estudantes não pode ser mensurado, mas se poderia verificar a robustez das estimativas se fosse possível invalidar a hipótese de ignorabilidade inserindo uma suposta variável não observada.¹²

Em outras palavras, a Análise de Sensibilidade dos estimadores de pareamento testa a robustez dos resultados que são criados a partir da suposição de identificação de independência condicional. A ideia básica é que se supõe que o tratamento, a faixa de professores com estabilidade, não é independente dos exames dos alunos dado apenas ao conjunto de características observáveis X, mas seria independente se condicionado conjuntamente com outras características não observáveis, U. Mas como não conhecemos a variável U, faz-se simulações considerando diferentes conjuntos de suposições sobre a distribuição de U e sua relação com D e os resultados Y(0) e Y(1), é possível verificar a sensibilidade dos resultados com respeito às variações nesses pressupostos (Caliendo & Kopeinig, 2008). Isto é, para verificar o grau de sensibilidade dos estimadores do PEP, supomos algumas variáveis que poderiam representar variáveis não observadas para investigar como os resultados encontrado pelo PEP variaram.

Seguindo a abordagem desenvolvida por (Ichino et al., 2006) e (Nannicini, 2007), a suposição de independência condicional, dadas as características observáveis (X) e não observáveis (U), pode ser representada por:

Uma vez que U não é observada, o resultado dos controles não pode ser usado para estimar o resultado contrafactual do tratado, ou seja:

Por outro lado, caso U e X fossem conhecidos, então se estabeleceria uma condição suficiente para se estimar consistentemente o efeito médio do tratamento sobre os tratados (ETT), uma vez que:

(Ichino et al., 2006) sugere a hipótese simplificadora de U possuir a distribuição de uma variável binária a fim de permitir uma análise de sensibilidade, além de ser independente e identicamente distribuída nas células representadas pelo produto cartesiano do tratamento e os valores dos resultados. Por simplicidade, considera-se o caso de resultados potenciais binários, Y(0), Y(1) ∈ {0, 1}. Para isso, cria-se uma nova variável binária que assume o valor unitário quando o desempenho dos estudantes for maior que a média, e valor nulo caso contrário. Considera-se também, a partir da equação, Y(t) = D(t).Y(1) + [1 - D(t)] .Y(0), os resultados observados para uma determinada unidade, que é igual a um dos dois resultados possíveis, dependendo da atribuição do tratamento. A distribuição do fator binário U é plenamente caracterizada pela escolha de quatro parâmetros:

onde, i, j ∈ {0, 1} e W é o conjunto das variáveis X e U.

Da equação (10) extraem-se as probabilidades da ocorrência U = 1 em cada um dos quatro grupos definidos pelo status de tratamento e os valores dos resultados. Por exemplo, para um aluno com desempenho maior que a média, Y(1), e na escola como determinado intervalo de professores com estabilidade, D(1), o grupo da probabilidade de que U = 1 é p ₁₁. Consequentemente, dado arbitrariamente os valores dos parâmetros p_ij , uma valor de U é atribuído a cada indivíduo. Outra hipótese simplificadora é a independência condicional de U em relação a W. (Ichino et al., 2006) mostram que essas hipóteses simplificadoras não afetam os resultados da análise de sensibilidade.

A variável não observada U é então tratada como qualquer outra observada, condição esta que a permite ser incluída no conjunto de variáveis utilizadas para estimar o escore de propensão e calcular o efeito médio do tratamento sobre os tratados (ETT), de acordo com o estimador de pareamento escolhido. Usando um determinado conjunto de valores dos parâmetros de sensibilidade, a estimativa do pareamento é repetida várias vezes e uma simulada estimação do ETT é obtida como uma média dos ETTs sobre a distribuição de U. Assim, para qualquer determinada configuração dos parâmetros pij, a análise de sensibilidade recupera uma estimativa pontual do ETT, que é robusto com o fracasso da SIC implícito naquela particular configuração.

No caso de resultados contínuos, a análise de sensibilidade acima pode ser realizada a partir de parâmetros de simulação p_ij com base em D e uma transformação binária de Y. Uma vez que os parâmetros p_ij são definidos dessa maneira, pode-se aplicar a análise de sensibilidade como descrito acima.

(Nannicini, 2007) reconhece que uma variável não observada U poderia causar erros estatísticos na inferência, no sentido que sua existência pode dar origem a uma significativa e positiva estimativa do ETT mesmo na ausência de um verdadeiro efeito causal, se for observado que:

(Ichino et al., 2006) demonstramque, assumindo p ₀₁ > p ₀₀, é possível simular uma variável considerada danosa à inferência que permita a simulação de um efeito positivo significativo de uma variável não observada sobre os resultados dos não tratados. Ademais, assumindo p_1j > p_0j ,∀j, é possível simular uma variável não observada que tem um efeito positivo sobre a seleção do tratamento.

Com o objetivo de caracterizar a simulada variável não observada (U), é possível medir o quanto cada configuração escolhida de p_ij é responsável pelo efeito de U sobre Y(0), denominado efeito sobre os resultados, e de U sobre T, efeito sobre a seleção, condicionado em W. Em síntese, estima-se um modelo de escolha discreta binária em cada iteração, Pr(Y = 1|D = 0, U, X) e a razão de probabilidade média de U, considerando todos os efeitos, é obtida:

Similarmente, o modelo binário, Pr(D = 1|U, X), Logit é estimado em cada interação, e a razão de probabilidade média é considerada como o efeito sobre a seleção da simulada variável não observada, ou seja:

(Nannicini, 2007) reconhece que pela simulação de U sob as suposições que p ₁₀ > p ₀₀ e p_1j > p_0j , ambos os efeitos, sobre os resultados e sobre a seleção, devem ser positivos. Isto é, na análise de sensibilidade variável U representa um risco de simulação quando, Γ > 1 e ∧ > 1.

5 Resultados

O escore de propensão foi estimado como a probabilidade prevista de um aluno estar matriculado em uma escola com um percentual de professores com estabilidade. As probabilidades foram estimadas a partir de uma regressão de escolha discreta da variável categórica sobre as características observadas que afetam a escolha da escola, como: a escolaridade da mãe e do pai, a dependência administrativa, as características da escolaridade e salários dos professores, os critérios de local de moradia e ordem de chegada da matrícula dos estudantes na escola, o número de alunos por turma e dummies dos estados.¹³ Baseado no pareamento de casos similares do grupo de tratamento e controle, o método de pareamento no escore de propensão, descrito na seção 4, busca eliminar o viés de seleção originado pelas variáveis observáveis e, consequentemente, parear a partir do escore de propensão os indivíduos no grupo de tratamento e controle que simulem a escolha dos indivíduos de um experimento aleatório. Os resultados do modelo de regressão de escolha discreta para as regiões brasileiras¹⁴ estão dispostos nas Tabelas 6 e 7. Foi estimado um modelo Logit Ordenado que é o mais indicado para a variável dependente considerada no estudo (Becker & Caliendo, 2007).

Tabela 6
Português

Variáveis	Nordeste			Sudeste			Norte			Sul			Centro-Oeste
	Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão
Aluna Mulher	−0,007	0,006		−0,003	0,004		−0,004	0,009		0,008	0,009		0,005	0,011
Aluno Preto	0,004	0,010		0,008	0,008		0,068*	0,016		0,064*	0,018		0,044*	0,019
Mãe sem EF	0,041*	0,009		0,052*	0,008		0,060*	0,015		0,038*	0,015		0,094*	0,019
Pai sem EF	0,044*	0,008		0,046*	0,008		0,040*	0,015		−0,007	0,016		0,085*	0,018
Distorção Idade-Série	−0,008	0,008		0,069*	0,008		0,004	0,012		0,033*	0,014		0,054*	0,017
Aluno Reprovado	−0,003	0,007		0,037*	0,006		0,006	0,011		0,061*	0,012		0,095*	0,014
Aluno com Pré-escola	−0,016*	0,007		−0,058*	0,005		−0,007	0,010		−0,077*	0,009		−0,121*	0,012
Professor sem Graduação	0,238*	0,008		0,195*	0,008		0,251*	0,015		0,130*	0,015		0,306*	0,026
Professor Salário Baixo	0,514*	0,008		0,444*	0,011		0,329*	0,020		0,257*	0,015		0,564*	0,029
Professor Salário Alto	−0,420*	0,013		−0,310*	0,006		−0,275*	0,013		−0,171*	0,012		0,002	0,013
Escola Estadual	1,060*	0,009		0,571*	0,005		0,903*	0,011		1,536*	0,011		1,127*	0,013
Admissão Local de Moradia	0,039*	0,009		0,063*	0,005		0,107*	0,015		0,079*	0,009		−0,144*	0,014
Admissão Ordem de Chegada	−0,095*	0,007		0,071*	0,008		0,001	0,010		−0,110*	0,015		−0,170*	0,013
Dummies dos Estados
PI	0,116*	0,015	MG	−1,504*	0,011	RO	1,788*	0,026	SC	−0,208*	0,012	MT	0,824*	0,019
CE	−0,271*	0,011	RJ	−1,444*	0,012	AM	0,804*	0,019	RS	1,120*	0,01	GO	1,398*	0,018
RN	-0,607*	0,015	SP	−1,197*	0,010	RR	0,175*	0,033				DF	0,367*	0,019
PB	0,304*	0,014				PA	0,825*	0,020
PE	0,023*	0,011				AP	−0,736*	0,032
AL	−0,009	0,014				TO	0,051*	0,024
SE	-0,441*	0,019
BA	-0,318*	0,011
Número de Observações	433556			846883			178865			225138			140675
Log likelihood	32161,19*			37582,99*			16846,37*			62289,26*			17618,13*
Pseudo R 2	0,0350			0,0210			0,0414			0,1241			0,0552

Tabela 6
Matemática

Variáveis	Nordeste			Sudeste			Norte			Sul			Centro-Oeste
	Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão		Coeficientes	Erro-Padrão
Aluna Mulher	−0,008	0,006		−0,006	0,004		−0,004	0,009		0,007	0,009		0,003	0,011
Aluno Preto	0,005	0,010		0,007	0,008		0,070*	0,016		0,065*	0,018		0,041*	0,019
Mãe sem EF	0,042*	0,009		0,055*	0,008		0,058*	0,015		0,043*	0,015		0,090*	0,019
Pai sem EF	0,044*	0,008		0,045*	0,008		0,040*	0,015		−0,002	0,015		0,082*	0,018
Distorção Idade-Série	−0,006	0,008		0,065*	0,008		0,002	0,012		0,026*	0,014		0,049*	0,017
Aluno Reprovado	−0,005	0,007		0,037*	0,006		0,008	0,011		0,064*	0,012		0,091*	0,014
Aluno com Pré-escola	−0,015*	0,007		−0,060*	0,005		−0,009	0,010		−0,075*	0,009		−0,124*	0,012
Professor sem Graduação	0,236*	0,008		0,203*	0,008		0,279*	0,015		0,127*	0,015		0,322*	0,026
Professor Salário Baixo	0,520*	0,008		0,431*	0,011		0,332*	0,020		0,265*	0,015		0,519*	0,029
Professor Salário Alto	−0,406*	0,013		−0,308*	0,006		−0,274*	0,013		−0,178*	0,012		0,008	0,013
Escola Estadual	1,068*	0,009		0,570*	0,005		0,907*	0,011		1,527*	0,011		1,126*	0,013
Admissão Local de Moradia	0,036*	0,009		0,064*	0,005		0,088*	0,015		0,073*	0,009		−0,139*	0,014
Admissão Ordem de Chegada	−0,091*	0,007		0,062*	0,008		0,000	0,010		−0,107*	0,015		−0,174*	0,013
Dummies dos Estados
PI	0,106*	0,015	MG	−1,492*	0,011	RO	1,821*	0,0263	SC	1,337*	0,012	MT	0,860*	0,019
CE	−0,266*	0,011	RJ	−1,432*	0,012	AM	0,803*	0,0193	RS	0,212*	0,012	GO	1,423*	0,018
RN	-0,613*	0,015	SP	−1,192*	0,010	RR	0,142*	0,0332				DF	0,400*	0,019
PB	0,305*	0,014				PA	0,831*	0,0196
PE	0,029*	0,011				AP	−0,744	0,0317
AL	−0,018	0,014				TO	0,055*	0,0238
SE	-0,437*	0,019
BA	-0,320*	0,011
Número de Observações	435874			850629			179753			225721			140703
Log likelihood	32642,38*			37160,14*			17056,98*			62389,66*			17572,78*
Pseudo R 2	0,0348			0,0206			0,0416			0,1238			0,0550

Tabela 7
Estimativas do Modelo de Pareamento no Escore de Propensão e MQO - Português

		Grupos		Teste t
Resultado	Amostra	Tratamento	Controle	Diferença	E. P.	t	MQO
Região Nordeste
(0%, 25%]	Não Pareados	−1,438	−1,414	−0,024	0,009	−2,70	−0,0321
	ETT	−1,438	−1,421	−0,017	0,009	−1,88
(25%, 50%]	Não Pareados	−1,455	−1,412	−0,044	0,009	−5,11	−0,0221*
	ETT	−1,455	−1,420	−0,035	0,009	−4,15
(50%, 75%]	Não Pareados	−1,438	−1,413	−0,025	0,008	−3,25	−0,0186*
	ETT	−1,438	−1,421	−0,017	0,008	−2,23
Região Sudeste
(0%, 25%]	Não Pareados	−1,059	−0,944	−0,114	0,011	−10,18	−0,0785*
	ETT	−1,059	−0,957	−0,102	0,011	−9,28
(25%, 50%]	Não Pareados	−0,998	−0,947	−0,050	0,009	−5,39	−0,0463*
	ETT	−0,998	−0,961	−0,037	0,009	−3,96
(50%, 75%]	Não Pareados	−0,965	−0,949	−0,016	0,007	−2,22	−0,0174*
	ETT	−0,965	−0,958	−0,007	0,007	−1,01
Região Norte
(0%, 25%]	Não Pareados	−1,346	−1,293	−0,053	0,008	−6,44	−0,0688*
	ETT	−1,346	−1,271	−0,075	0,008	−8,99
(25%, 50%]	Não Pareados	−1,299	−1,299	0,000	0,008	0,04	−0,011*
	ETT	−1,299	−1,296	−0,003	0,008	−0,36
(50%, 75%]	Não Pareados	−1,281	−1,303	0,022	0,007	3,08	−0,008
	ETT	−1,281	−1,304	0,023	0,007	3,18
Região Sul
(0%, 25%]	Não Pareados	−0,997	−0,927	−0,070	0,010	−6,67	−0,104*
	ETT	−0,997	−0,902	−0,095	0,011	−8,88
(25%, 50%]	Não Pareados	−0,934	−0,933	−0,001	0,008	−0,11	−0,060*
	ETT	−0,934	−0,899	−0,035	0,009	−4,05
(50%, 75%]	Não Pareados	−0,923	−0,935	0,013	0,007	1,73	−0,041*
	ETT	−0,923	−0,921	−0,002	0,007	−0,27
Região Centro-Oeste
(0%, 25%]	Não Pareados	−1,144	−0,986	−0,159	0,009	−16,96	−0,121*
	ETT	−1,144	−1,018	−0,126	0,009	−13,72
(25%, 50%]	Não Pareados	−1,082	−0,989	−0,094	0,008	−11,38	−0,075*
	ETT	−1,082	−1,030	−0,052	0,008	−6,25
(50%, 75%]	Não Pareados	−1,001	−0,999	−0,002	0,006	−0,24	−0,027*
ETT	−1,001	−1,013	0,012	0,007	1,89

• Fonte: Elaboração própria a partir dos dados do Prova Brasil, 2011.
• Nota: ^(∗) valor-p < 1%.

Tabela 7
Estimativas do Modelo de Pareamento no Escore de Propensão e MQO - Matemática

		Grupos		Teste t
Resultado	Amostra	Tratamento	Controle	Diferença	E. P.	t	MQO
Região Nordeste
(0%, 25%]	Não Pareados	−1,130	−1,117	−0,014	0,009	−1,56	−0,030*
	ETT	−1,130	−1,123	−0,007	0,009	−0,78
(25%, 50%]	Não Pareados	−1,154	−1,113	−0,041	0,008	−4,87	−0,019*
	ETT	−1,154	−1,122	−0,033	0,008	−3,88
(50%, 75%]	Não Pareados	−1,134	−1,115	−0,019	0,008	−2,47	−0,019*
	ETT	−1,134	−1,123	−0,011	0,008	−1,43
Região Sudeste
(0%, 25%]	Não Pareados	−0,676	−0,551	−0,1252	0,011	−11,06	−0,080*
	ETT	−0,676	−0,588	−0,088	0,011	−7,85
(25%, 50%]	Não Pareados	−0,627	−0,552	−0,0755	0,009	−8,02	−0,045*
	ETT	−0,627	−0,565	−0,062	0,009	−6,67
(50%, 75%]	Não Pareados	−0,570	−0,557	−0,0131	0,007	−1,84	−0,019*
	ETT	−0,570	−0,562	−0,008	0,007	−1,13
Região Norte
(0%, 25%]	Não Pareados	−1,074	−1,006	−0,069	0,008	−8,52	−0,069*
	ETT	−1,075	−0,981	−0,094	0,008	−11,29
(25%, 50%]	Não Pareados	−1,016	−1,013	−0,002	0,008	−0,27	−0,020*
	ETT	−1,016	−1,008	−0,008	0,008	−0,99
(50%, 75%]	Não Pareados	−0,992	−1,018	0,027	0,007	3,79	−0,001
	ETT	−0,992	−1,020	0,028	0,007	4,00
Região Sul
(0%, 25%]	Não Pareados	−0,630	−0,524	−0,106	0,011	−9,91	−0,105*
	ETT	−0,630	−0,523	−0,107	0,011	−10,00
(25%, 50%]	Não Pareados	−0,558	−0,528	−0,029	0,008	−3,59	−0,062*
	ETT	−0,558	−0,523	−0,034	0,009	−4,02
(50%, 75%]	Não Pareados	−0,540	−0,531	−0,009	0,007	−1,19	−0,042*
	ETT	−0,540	−0,531	−0,009	0,008	−1,23
Região Centro-Oeste
(0%, 25%]	Não Pareados	−0,853	−0,651	−0,202	0,009	−21,64	−0,122*
	ETT	−0,853	−0,683	−0,169	0,009	−18,43
(25%, 50%]	Não Pareados	−0,760	−0,657	−0,103	0,008	−12,43	−0,074*
	ETT	−0,760	−0,699	−0,060	0,008	−7,14
(50%, 75%]	Não Pareados	−0,660	−0,671	0,010	0,006	1,63	−0,023*
ETT	−0,660	−0,682	0,021	0,007	3,30

• Fonte: Elaboração própria a partir dos dados do Prova Brasil, 2011.
• Nota: ^(∗) valor-p < 1%.

Os sinais dos coeficientes estimados ditam o efeito positivo ou negativo dos regressores sobre o aumento ou redução da probabilidade de uma variável dependente discreta assumir o valor unitário. Como frisado, os intervalos foram invertidos para que o tratamento T_i (0) seja a categoria que engloba o maior número de casos (mais de 75% dos professores com estabilidade), e, consequentemente, facilitar a análise do efeito da falta de professores com estabilidade nas escolas, que se encontra principalmente no tratamento T_i (3) (de 0% a 25% de professores com estabilidade). Nesse sentido, se os coeficientes são positivos, um aumento nas variáveis explicativas diminui (aumenta) a probabilidade de um aluno estar na categoria das escolas com mais de 75% (até 25%) dos professores com estabilidade.¹⁵

Observa-se, portanto, que tanto no quesito significância de uma variável como em relação ao sinal do coeficiente, os resultados apresentados nas Tabelas 6 e 7 seguem o mesmo padrão, ou seja, não há diferença nos impactos que as variáveis exercem sobre a probabilidade das escolas terem menos professores com estabilidade quando é considerado apenas os resultados do exame de português ou de matemática. Não obstante, observam-se variações nas magnitudes dos coeficientes entre as regiões brasileiras, evidenciando dessa forma a heterogeneidade presente no território brasileiro. Por exemplo, em relação às escolas estaduais da região Sul, seu efeito marginal, é cerca de 3 (razão dos coeficientes) vezes superior ao do Sudeste sobre a probabilidade de as escolas terem menos professores com estabilidade.

Neste estudo, utilizou-se o algoritmo de pareamento de Kernel no escore de propensão desenvolvido em (Heckman et al., 1998), que faz combinações usando todos os indivíduos na amostra de comparação ponderando com pesos menores as observações mais distantes.¹⁶ A metodologia de pareamento pondera a amostra do grupo controle a fim de aumentar a semelhança com os indivíduos do grupo tratamento. Essa é verificada a partir de uma análise de balanceamento das variáveis utilizadas na estimação do escore de propensão. Uma importante ferramenta são os histogramas dos escores de propensão para os indivíduos do grupo controle e tratamento, Gráficos A e B do ^Apêndice. Visualmente, verifica-se que as distribuições são em torno dos mesmos valores de escore de propensão, ou seja, os indivíduos apresentam escores de propensão que possibilitam o pareamento no escore de propensão.¹⁷

Em decorrência de o pareamento no escore de propensão ter removido a maior parte do viés atribuído às variáveis observadas, pode-se usar a diferença nos resultados médios encontrados nas amostras para obter uma estimativa do Efeito Médio do Tratamento sobre os Trados (ETT).¹⁸ As estimações do ETT a partir da metodologia de Pareamento no Escore de Propensão, para os exames de Português e Matemática estão expostas nas Tabelas 8 e 9, respectivamente.

Tabela 8
Probabilidades p_ij das Variáveis Utilizadas como Modelo - Português

Região	Local de Moradia		Salário Baixo
NORDESTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,16	0,17	0,17	0,19	0,19	0,18
p 10	0,13	0,15	0,15	0,23	0,22	0,17
p 01	0,16	0,16	0,16	0,13	0,13	0,13
p 00	0,13	0,13	0,13	0,14	0,14	0,15
p 1.	0,15	0,16	0,16	0,21	0,21	0,17
p 0.	0,15	0,14	0,14	0,14	0,14	0,14
SUDESTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,46	0,55	0,52	0,08	0,05	0,04
p 10	0,52	0,49	0,50	0,04	0,03	0,05
p 01	0,50	0,49	0,50	0,04	0,04	0,04
p 00	0,48	0,48	0,49	0,04	0,04	0,03
p 1.	0,49	0,52	0,51	0,06	0,03	0,05
p 0.	0,49	0,49	0,49	0,04	0,04	0,04
NORTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,13	0,11	0,15	0,08	0,07	0,05
p 10	0,13	0,10	0,16	0,11	0,06	0,05
p 01	0,12	0,12	0,11	0,06	0,06	0,07
p 00	0,12	0,12	0,11	0,07	0,07	0,07
p 1.	0,13	0,10	0,15	0,10	0,06	0,05
p 0.	0,12	0,12	0,11	0,06	0,07	0,07
CENTRO OESTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,15	0,13	0,22	0,06	0,06	0,03
p 10	0,21	0,13	0,20	0,06	0,04	0,03
p 01	0,20	0,20	0,19	0,03	0,03	0,04
p 00	0,17	0,18	0,17	0,04	0,04	0,04
p 1.	0,18	0,13	0,21	0,06	0,05	0,03
p 0.	0,19	0,19	0,18	0,03	0,03	0,04
SUL	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,51	0,48	0,52	0,12	0,11	0,05
p 10	0,48	0,53	0,47	0,10	0,11	0,11
p 01	0,48	0,48	0,48	0,08	0,08	0,09
p 00	0,45	0,44	0,45	0,11	0,11	0,11
p 1.	0,49	0,51	0,49	0,11	0,11	0,08
p 0.	0,47	0,46	0,46	0,10	0,09	0,10

• Fonte: Elaboração própria a partir dos dados do Prova Brasil, 2011.

Tabela 8
Probabilidades p_ij das Variáveis Utilizadas comoModelo - Matemática

Região	Local de Moradia		Salário Baixo
NORDESTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,13	0,16	0,17	0,20	0,19	0,17
p 10	0,16	0,15	0,16	0,22	0,22	0,18
p 01	0,15	0,15	0,15	0,13	0,13	0,13
p 00	0,14	0,14	0,14	0,15	0,14	0,15
p 1.	0,14	0,16	0,16	0,21	0,21	0,17
p 0.	0,15	0,15	0,14	0,14	0,14	0,14
SUDESTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,49	0,55	0,52	0,07	0,04	0,03
p 10	0,49	0,48	0,48	0,04	0,03	0,05
p 01	0,50	0,49	0,49	0,03	0,04	0,03
p 00	0,48	0,48	0,48	0,04	0,04	0,04
p 1.	0,49	0,51	0,50	0,06	0,04	0,04
p 0.	0,49	0,49	0,48	0,04	0,04	0,04
NORTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,11	0,11	0,14	0,09	0,07	0,05
p 10	0,13	0,10	0,16	0,10	0,06	0,05
p 01	0,12	0,12	0,11	0,06	0,06	0,07
p 00	0,12	0,12	0,11	0,06	0,07	0,07
p 1.	0,13	0,10	0,15	0,09	0,06	0,05
p 0.	0,12	0,12	0,11	0,06	0,07	0,07
CENTRO OESTE	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,19	0,13	0,23	0,06	0,05	0,02
p 10	0,17	0,13	0,19	0,06	0,05	0,04
p 01	0,20	0,21	0,19	0,03	0,03	0,04
p 00	0,17	0,18	0,17	0,04	0,04	0,04
p 1.	0,18	0,13	0,21	0,06	0,05	0,03
p 0.	0,19	0,19	0,18	0,03	0,04	0,04
SUL	(0%, 25%]	(25%, 50%]	(50%, 75%]	(0%, 25%]	(25%, 50%]	(50%, 75%]
p 11	0,50	0,51	0,52	0,11	0,11	0,06
p 10	0,49	0,50	0,46	0,11	0,11	0,08
p 01	0,49	0,48	0,48	0,09	0,08	0,09
p 00	0,45	0,44	0,45	0,10	0,10	0,11
p 1.	0,49	0,50	0,49	0,11	0,11	0,07
p 0.	0,47	0,46	0,46	0,09	0,09	0,10

• Fonte: Elaboração própria a partir dos dados do Prova Brasil, 2011.

Tabela 9
Análise de Sensibilidade do Efeito Médio do Tratamento sobre os Tratados - Português

Nordeste	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,029	−0,029	1,221	0,992	0%
(25%, 50%]	−0,014	−0,014	1,235	1,114	0%
(50%, 75%]	−0,032	−0,032	1,245	1,129	0%
Salário Baixo	(0%, 25%]	−0,029	−0,028	0,934	1,702	2%
(25%, 50%]	−0,014	−0,013	0,930	1,639	−4%
(50%, 75%]	−0,032	−0,032	0,881	1,317	0%
Sudeste	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,044	−0,044	1,085	1,017	0%
(25%, 50%]	−0,056	−0,056	1,041	1,132	0%
(50%, 75%]	−0,008	−0,008	1,036	1,079	0%
Salário Baixo	(0%, 25%]	−0,056	−0,056	1,057	1,501	0%
(25%, 50%]	−0,058	−0,058	1,084	0,881	0%
(50%, 75%]	−0,010	−0,010	1,302	1,222	0%
Norte	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,028	−0,028	1,001	1,126	0%
(25%, 50%]	−0,017	−0,018	0,971	0,859	−3%
(50%, 75%]	0,022	0,021	1,005	1,439	2%
Salário Baixo	(0%, 25%]	−0,028	−0,027	0,924	1,616	2%
(25%, 50%]	−0,017	−0,018	0,853	0,950	−3%
(50%, 75%]	0,022	0,021	0,889	0,719	2%
Centro-Oeste	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,050	−0,050	1,202	1,000	0%
(25%, 50%]	−0,051	−0,050	1,145	0,630	0%
(50%, 75%]	−0,002	−0,001	1,129	1,217	1%
Salário Baixo	(0%, 25%]	−0,050	−0,049	0,941	1,936	1%
(25%, 50%]	−0,051	−0,051	0,886	1,438	0%
(50%, 75%]	−0,002	−0,001	0,958	0,831	1%
Sul	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,035	−0,037	1,121	1,119	−3%
(25%, 50%]	−0,042	−0,042	1,192	1,191	0%
(50%, 75%]	0,019	0,018	1,111	1,132	−2%
Salário Baixo	(0%, 25%]	−0,035	−0,035	0,745	1,119	0%
(25%, 50%]	−0,042	−0,041	0,743	1,225	1%
(50%, 75%]	0,019	0,018	0,874	0,737	−2%

• Fonte: Elaboração própria a partir dos dados do Prova Brasil, 2011.

Tabela 9
Análise de Sensibilidade do Efeito Médio do Tratamento sobre os Tratados - Matemática

Nordeste	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,016	−0,016	1,108	0,971	0%
(25%, 50%]	−0,039	−0,039	1,074	1,104	0%
(50%, 75%]	−0,025	−0,025	1,075	1,145	0%
Salário Baixo	(0%, 25%]	−0,016	−0,014	0,855	1,751	7%
(25%, 50%]	−0,039	−0,041	0,859	1,656	−3%
(50%, 75%]	−0,025	−0,025	0,849	1,296	0%
Sudeste	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,016	−0,016	1,078	1,032	0%
(25%, 50%]	−0,040	−0,039	1,043	1,106	1%
(50%, 75%]	−0,017	−0,017	1,050	1,064	0%
Salário Baixo	(0%, 25%]	−0,016	−0,016	0,824	1,459	0%
(25%, 50%]	−0,040	−0,040	0,843	0,917	0%
(50%, 75%]	−0,002	−0,002	0,860	1,152	0%
Norte	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,051	−0,051	0,990	1,082	0%
(25%, 50%]	−0,015	−0,015	0,944	0,825	0%
(50%, 75%]	0,022	0,021	0,999	1,434	2%
Salário Baixo	(0%, 25%]	−0,051	−0,051	0,996	1,613	0%
(25%, 50%]	−0,015	−0,015	0,943	0,976	0%
(50%, 75%]	0,022	0,021	0,970	0,732	2%
Centro-Oeste	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,098	−0,098	1,215	0,955	0%
(25%, 50%]	−0,065	−0,063	1,217	0,631	2%
(50%, 75%]	−0,006	−0,005	1,187	1,180	9%
Salário Baixo	(0%, 25%]	−0,098	−0,097	0,842	1,826	1%
(25%, 50%]	−0,065	−0,064	0,803	1,425	1%
(50%, 75%]	−0,006	−0,005	0,970	0,846	9%
Sul	Percentual com Estabilidade	ETT	ETT Simulado	Efeito Resultado	Efeito Seleção	Diferença
Local de Moradia	(0%, 25%]	−0,056	−0,055	1,178	1,130	1%
(25%, 50%]	−0,012	−0,012	1,188	1,167	0%
(50%, 75%]	0,004	0,004	1,143	1,117	0%
Salário Baixo	(0%, 25%]	−0,056	−0,055	0,837	1,161	1%
(25%, 50%]	−0,012	−0,011	0,821	1,263	4%
(50%, 75%]	0,004	0,004	0,864	0,706	0%

• Fonte: Elaboração própria a partir dos dados do Prova Brasil, 2011.

Os resultados apontam para os significativos efeitos negativos das escolas em todos os intervalos de proporção de professores com estabilidade em todas as regiões. Na região Nordeste, o efeito médio do aluno estar matriculado em uma escola com menos de 25% de professores estáveis é um desempenho negativo nos exames de português 0,017 do desvio-padrão, e na região Centro-Oeste um efeito médio negativo nos exames de matemática é 0,169 do desvio-padrão. Esses resultados são os maiores comparados com as outras regiões. Ainda, verifica-se que na maioria das regiões, em ambos os exames, que os efeitos negativos nas escolas com mais de 25%de professores com estabilidade são maiores que nas demais regiões.

Para o segundo intervalo, (25%,50%], os impactos negativos também são significantes, no entanto verifica-se que o efeito se reduz em menos da metade, como pode ser observado para as regiões Sudeste, Sul e Centro-Oeste e chegando a ser praticamente nulo na região Norte, relativo ao primeiro intervalo. Os efeitos negativos não são expressivos para o terceiro intervalo, (50%,75%], principalmente nas regiões Sudeste e Sul onde não atingem sequer o nível de 0,001 do desvio-padrão. Ou seja, supondo que a ignorabilidade forte se confirme, escolas com altos percentuais de professores com estabilidade, mais de 50%, o efeito negativo da falta de professores com estabilidade é menor ou insignificante, principalmente, comparando com os resultados dos intervalos inferiores.

Em comparação com os resultados das estimativas dos efeitos por Mínimos Quadrados Ordinários (MQO), o efeito negativo das faixas de percentuais de professores sem estabilidade são maiores no Sudeste, Norte, Centro-Oeste e Sul (apenas para Português), menor no Nordeste e praticamente igual no Sul (para Matemática). Esse resultado havia sido confirmado por (Webbink, 2005), o qual aponta que inúmeros resultados encontrados na literatura da função de produção educacional que utilizam MQO sobre o efeito dos fatores escolares podem não ser estatisticamente confiáveis em virtude de o processo educacional ser a princípio endógeno.

Após verificar o efeito negativo maior nas escolas com menor percentual de professores com estabilidade sobre os desempenhos dos estudantes, pretende-se realizar uma análise de sensibilidade das estimativas dos efeitos para atestar a robustez dos resultados encontrados sob a Suposição de Independência Condicional. Nesse sentido, para implementar a análise proposta por (Ichino et al., 2006), faz-se necessário selecionar outra variável que represente uma variável não observada para simular os resultados encontrados. Essa escolha deve ser fundamentada sobre quais os valores dos parâmetros de referência da probabilidade da variável binária simulada, p_ij , apresentam alguma informação adicional sobre o efeito de uma variável não observada U. Ou seja, substitua satisfatoriamente uma variável não observada que poderia existir, porém, causar danos na inferência.

Duas variáveis observadas foram selecionadas como modelos para se determinar os valores de p_ij na simulação, as quais são: a escola contrata professores com baixos salários; a escola possui critério de admissão por local de moradia. A escolha dessas variáveis tem o objetivo de substituir variáveis não observadas que estão relacionadas ao mecanismo de escolha da escola pelos pais e as restrições impostas pela escola a essa escolha. Ademais, essas variáveis foram escolhidas porque em várias simulações apresentam características de uma variável não observada gerar p ₁₀ > p ₀₀ e p_1j > p_0j , pois, como já foi frisado, variáveis com essas probabilidades poderiam levar a uma significativa e positiva estimativa do ETT mesmo na ausência de um verdadeiro efeito causal.

A Tabela 8 expõe as probabilidades p_ij das variáveis utilizadas como modelo, o critério de admissão por localização da moradia dos alunos e o indicador de salários baixos dos professores. Para facilitar a análise da tabela, por exemplo, pode-se interpretar p ₁₀ como sendo as probabilidades das escolas utilizarem como critério de admissão o local de moradia, dado que a escola tem de 0 a 25% de professores estáveis e os alunos em média estão abaixo da média, tendo como referência os exames de Português e Matemática, respectivamente. Já em relação à variável salário baixo, observa-se que p ₁ é interpretado como sendo igual à probabilidade de a escola ter salário baixo dado que a escola tem de 0 a 25% de professores com estabilidade.

Verifica-se que a variável local de moradia para as regiões Nordeste, Norte e Sul apresenta percentuais entre 0,1 e 0,23 e para as regiões Sudeste e Sul, tais percentuais variam entre 0,44 a 0,55. Isto é, as probabilidades do critério de admissão por local de moradia dado o tratamento e o resultado observado são maiores nas regiões mais desenvolvidas do Brasil. Em relação à variável salário baixo dos professores, as probabilidades não apresentam uma variabilidade tão acentuada, visto que variam entre 0,02 e 0,23. Dessa forma, pode-se afirmar que as probabilidades do critério de professores com salários baixos não apresentam certa variabilidade entre as regiões brasileiras, no entanto as maiores probabilidades são verificadas na região Nordeste, onde observa-se uma variação de 0,13 a 0,23, já para as demais regiões esses valores transitam na faixa de 0,02 a 0,12.

Os resultados da análise de sensibilidade são apresentados na Tabela 9, onde constam as estimações de ETT pelo Pareamento no Escore de Propensão, os simulados ETT, o Efeito Resultado e o Efeito Seleção da simulação e a diferença percentual dos dois efeitos. Devido ao elevado número de observações individuais constantes na base de dados do Prova Brasil e a utilização do programa SENSATT para a análise de sensibilidade, gerou-se uma amostra aleatória de 5% do total de alunos para as todas as regiões.

Analisando os efeitos resultado e seleção da análise de sensibilidade, todos os efeitos são positivos, mas a relação entre os efeitos varia em vários casos. Por outro lado, várias das simulações apresentaram efeitos maiores do que um, significando que, dadas as variáveis utilizadas como não observadas, ocorrem casos em que os efeitos possam sinalizar que a inserção das variáveis pode ter implicado numa estimação significativa do ETT, mesmo quando não há uma relação causal. O único caso que em as variáveis escolhidas permitem uma inferência sobre a relação causal entre a estabilidade e o ETT simulado é para a variável local de moradia e salário baixo no Sudeste, que a diferença no efeito é zero na maioria dos tratamentos.

Em relação à comparação do ETT e ETT simulado, este último é nulo ou negativo na maioria dos casos. Isso implica que as variáveis não observadas simuladas enfraquecem apenas uma pequena quantidade das estimativas iniciais, em conjunto com a análise do efeito resultado e seleção, contribuindo para a robustez do impacto negativo da falta de professores com estabilidade. Inspecionando toda a coluna das diferenças nas estimativas, extrai-se da análise de sensibilidade que a existência de um confounder, comportando-se como a variável local de moradia e salário baixo dos professores, pode responder entre 0 e 9% da estimativa inicial do efeito dos percentuais de professores serem maior que a média sobre o desempenho dos estudantes.

6 Considerações Finais

Este artigo se propôs a investigar o efeito da estabilidade dos professores sobre a qualidade do ensino das escolas públicas brasileiras, pois não se sabe se essa característica do serviço público é um fator motivador ou um entrave burocrático na contratação de professores de qualidade. Por essa razão, a comparação entre as regiões teve a pretensão de apresentar essa discussão analisando diferentes mercados de trabalho dos professores, que são marcados por diferenças de competitividade e no conjunto de restrições socioeconômicas, tanto das famílias como dos empregadores.

A partir da metodologia de Pareamento no Escore de Propensão aplicada aos dados de uma avaliação nacional da qualidade da educação, Prova Brasil de 2011, estimou-se o efeito de diferentes faixas de percentual de professores com estabilidade sobre o desempenho no exame de Língua Portuguesa dos alunos do 5º ano do Ensino Fundamental. A aplicação de uma Análise de Sensibilidade possibilitou investigar a sensibilidade desta estimativa com relação à possível existência de uma variável não observável que afeta tanto os resultados potenciais como a seleção no tratamento. Ou seja, a partir de um exercício de simulação buscou-se revelar se as estimativas são robustas a desvios da Suposição de Independência Condicional que fundamenta a identificação da estimativa obtida pela estratégia de Pareamento.

Os resultados revelam que, em todas as regiões, quanto maior a falta de professores com estabilidade, menor é o desempenho dos alunos. Isso pode estar relacionado ao mercado de trabalho dos professores que, supostamente, pode ser menos ou mais competitivo, bem como indicar que o benefício não pecuniário da estabilidade é um importante benefício na seleção de profissionais que influenciam a melhoria da qualidade do ensino. Complementarmente, os resultados derivados da análise de sensibilidade, com suas especificidades e limitações, apontam que os efeitos negativos são robustos, dada a presença de uma variável simulada não observada que poderia invalidar a suposição de independência condicional, embora alguns resultados revelem o enfraquecimento do efeito em até 9%.

A pretensão deste artigo é propor um redirecionamento na discussão sobre as principais variáveis que influenciam a decisão de profissionais qualificados a ingressarem nas escolas públicas brasileiras. Nesse sentido, acredita-se que os resultados aqui obtidos contribuam com políticas educacionais voltadas para fatores escolares que influenciam a qualidade do ensino ofertado para os estudantes que tem restrições socioeconômicas à liberdade de escolha.

Referências Bibliográficas

• Aakvik, A. (2001), 'Bounding a matching estimator: the case of a Norwegian training program', Oxford Bulletin of Economics and Statistics 63(1), 115-143.
• Altonji, J. G. (1988), 'The effects of family background and school characteristics on education and labor market outcomes', Mimeo, Northwestern University.
• Altonji, J. G., Elder, T. E. & Taber, C. R. (2005), 'Selection on observed and unobserved variables: Assessing the effectiveness of catholic schools', Journal of Political Economy 113(1), 151-184.
• Barbosa Filho, F. H., Pessôa, S. A. & Afonso, L. E. (2009), 'Um estudo sobre os diferenciais de remuneração entre os professores das redes pública e privada de ensino', Estudos Econômicos 39(3), 597-628.
• Barros, R. P., Mendonça, R., dos Santos, D. D. & Quintaes, G. (2001), Determinantes do desempenho educacional no brasil, Technical report, IPEA. URL: Disponível em: http://www.ipea.gov.br/pub/td/td_2001/td_0834.pdf 26 out. 2011
  » http://www.ipea.gov.br/pub/td/td_2001/td_0834.pdf
• Becker, K. L. & Kassouf, A. L. (2012), 'Diferença salarial e aposentadoria dos professores do ensino fundamental', Economia Aplicada 16(1), 77-104.
• Becker, S. O. & Caliendo, M. (2007), 'Sensitivity analysis for average treatment effect', Stata Journal 7(1), 71-83.
• Betts, J. (1995), 'Does school quality matter? evidence from the national longitudinal survey of youth', The Review of Economics and Statistics 77, 231-247.
• Biondi, R. & Felicio, F. (2007), Atributos escolares e o desempenho dos estudantes: uma análise em painel dos dados do saeb, Texto para discussão, INEP.
• Blundell, R. & Costa-Dias, M. (2009), 'Alternative approaches to evaluation in empirical microeconomics', Journal of Human Resources 44(3).
• Blundell, R., Dearden, L. & Sianesi, B. (2005), 'Evaluating the impact of education on earnings in the uk: models, methods and results from the ncds', Journal of the Royal Statistical SocietySeries A 168(3), 473-512.
• Bresser-Pereira, L. C. (1996), 'Da administração pública burocrática à gerencial', Revista do Serviço Público 47(1).
• Caliendo, M., Hujer, R. & Thomsen, S. (2007), The employment effects of job creation schemes in germany - a microeconometric evaluation, Discussion Paper 1512, IZA.
• Caliendo, M. & Kopeinig, S. (2008), 'Some practical guidance for the implementation of propensity score matching', Journal of Economic Surveys 22(1), 31-72.
• Curi, A. & Menezes Filho, N. A. (2010), 'Os determinantes dos gastos com educação no brasil', Pesquisa e Planejamento Econômico 40, 1-39.
• Dehejia, R. & Wabba, S. (1999), 'Causal effects in nonexperimental studies: Reevaluating the evaluation of training programs', Journal of the American Statistical Association 94, 1053-1062.
• Diprete, T. & Gangl, M. (2004), 'Assessing bias in the estimation of causal effects: Rosenbaum bounds on matching estimators and instrumental variables estimation with imperfect instruments', Sociological Methodology 34(1), 271-310.
• Felicio, F. & Fernandes, F. (2005), O efeito da qualidade da escola sobre o desempenho escolar: Uma avaliação no ensino fundamental no estado de são paulo, Technical report. URL: Disponível em: http://ideas.repec.org/p/anp/en2005/157.html 21 out. 2011
  » http://ideas.repec.org/p/anp/en2005/157.html
• Franco, A. M. P. (2009), Os determinantes da qualidade da educação no Brasil, Tese de doutorado, Universidade de São Paulo.
• Grogger, J. (1996), 'School expenditures and post-schooling earnings: Evidence from high school and beyond', The review of Economics and Statistics 78, 628-637.
• Hanushek, E. A. (1986), 'The economics of schooling: Production and efficiency in public schools', Journal of Economic Literature 29, 1141-1147.
• Hanushek, E. A. (1997), 'Assessing the effects of school resources on student performance: An update, educational', Evaluation & Policy Analysis 19, 141-164.
• Hanushek, E. A., Kain, J. F. & Rivkin, S. G. (1998), Teachers, schools and academic achievement, NBER Working Paper 6691.
• Hanushek, E. A., Kain, J. F. & Rivkin, S. G. (2004), 'Why public schools lose teachers', Journal of Human Resources 39(2), 326-354.
• Hanushek, E. A. & Rivkin, S. G. (2007), 'Pay, working conditions and teacher quality', Future of Children 17(1), 68-86.
• Heckman, J., Ichimura, H. & Todd, P. (1998), 'Matching as an econometric evaluation estimator', Review of Economic Studies 65(2), 261-294.
• Heckman, J. & Todd, P. E. (2009), 'A note on adapting propensity score matching and selection models to choice based samples', Econometrics Journal 12, S230-S34.
• Hoxby, C. M. & Leigh, A. (2004), 'Pulled away or pushed out? explaining the decline of teacher aptitude in the united states', American Economic Review 94(2), 236-240.
• Ichino, A., Mealli, F. & Nannicini, T. (2006), From temporary help jobs to permanent employment: what can we learn from matching estimators and their sensitivity, Discussion Paper 2149, IZA, Bonn.
• Imbens, G. (2000), 'The role of the propensity score in estimating dose-response functions', Biometrika 87(3), 706-710.
• Imbens, G. (2003), 'Sensitivity to exogeneity assumptions in program evaluation', American Economic Review 93(2), 126-132.
• Imbens, G. (2004), 'Nonparametric estimation of average treatment effects under exogeneity: a review', Review of Economics and Statistics 86(1), 4-29.
• Imbens, G. M. & Wooldridge, J. M. (2008), Recent developments in the econometrics of program evaluation, NBER Working Paper 14251.
• Khandker, S., Koolwal, G. & Samad, H. (2010), Handbook on impact evaluation, Technical report, World Bank,Washington DC.
• Lalonde, R. J. (1986), 'Evaluating the econometric evaluations of training programs with experimental data', The American Economic Review 76(4), 604-620.
• Lechener, M. (1999), 'Earnings and employment effects of continuous off-the job training in east germany after unification', Journal of Business Economic Statistics 17(1), 74-90.
• Lechener, M. (2001), 'Identification and estimation of causal effects of multiple treatments under the conditional independence assumption', Econometric Evaluation of Labour Market PoliciesHeidelberg p. 1-18.
• Loeb, S. & Page, M. E. (2000), 'Examining the link between teacher wages and student outcomes: The importance of alternative labor market opportunities and non-pecuniary variation.'. URL: Disponível em: http://www.econ.ucdavis.edu/faculty/mepage/-econ250b/examining%20the%20link%20betwen%20wages%20and%20quality-%20in%20the%20teacher%20workforce.pdf 26 out. 2010
  » http://www.econ.ucdavis.edu/faculty/mepage/-econ250b/examining%20the%20link%20betwen%20wages%20and%20quality-%20in%20the%20teacher%20workforce.pdf
• Long, J. S. & Freeze, J. (2001), Regression Models for Categorical Dependent Variables Using Stata, Sata Press.
• Louzano, P. (2010), 'Quem quer ser professor? atratividade, seleção e formação docente no brasil', Estudos em Avaliação Educacional 21(47), 543-568.
• Menezes Filho, N. (2007), Os Determinantes do Desempenho Escolar no Brasil, Instituto Futuro Brasil/IBMEC, São Paulo.
• Morgan, S. L. & Winship, C.W. (2007), 'Counterfactuals and causal inference methods and principles for social research', Cambridge University PressNew York.
• Nannicini, T. (2007), 'A simulation-based sensitivity analysis for matching estimators', The Stata Journal 7(3), 334-350.
• Pires, J. C. S. & Macedo, K. B. (2006), 'Cultura organizacional em organizações públicas no brasil', Revista de Administração PúblicaRio de Janeiro 40(1), 81-104.
• Rice, J. K. (2003), Teacher quality: understanding the effectiveness of teacher attributes, Economic Policy Institute.
• Rivkin, S. G., Hanushek, E. A. & Kain, J. F. (2005), 'Teachers, schools, and academic achievement', Econometrica 73(2), 417-458.
• Rosenbaum, P. (2002), Observational Studies, Springer, New York.
• Rosenbaum, P. & Rubin, D. (1983a), 'Assessing sensitivity to an unobserved binary covariate in an observational study with binary outcome', Journal of the Royal Statistical SocietySeries B 45, 212-218.
• Rosenbaum, P. & Rubin, D. (1983b), 'The central role of the propensity score in observational studies for causal effects', Biometrika 70(1), 41-50.
• Scorzafave, L. G. & Ferreira, R. A. (2011), 'Desigualdade de proficiência no ensino fundamental público brasileiro: Uma análise de decomposição', Economia 12(2), 337-360.
• Smith, J. & Todd, P. (2005), 'Does matching overcome lalonde's critique of nonexperimental estimators?', Journal of Econometrics 125(1-2), 305-353.
• Todd, P. (2008), Evaluating social programs with endogenous program placement and selection of the treated, 'Handbook of Development Economics', Vol. 60, pp. 384-389.
• Webbink, D. (2005), 'Causal effects in education', Journal of Economic Surveys 19, 535-560.
• Wobmann, L. (2003), 'Schooling resources, educational institutions and student performance: the international evidence', Oxford Bulletin of Economics and Statistics 65(2), 117-170.
• Wooldridge, J. M. (2010), Econometric analysis of cross section and panel data, MIT press.

• 19
  JEL classification: I21, J38, C14
• 1
  A Constituição Federal (Art. 41) estabelece garantia de estabilidade para os servidores públicos, após três anos de efetivo exercício, nomeados em virtude de concurso público.
• 2
  Estudos relacionados à realidade americana, como (Hanushek & Rivkin, 2007) e (Hanushek et al., 2004), citam outros fatores não pecuniários que influenciam a decisão dos indivíduos em se tornarem professores. Por exemplo, a possibilidade de permanecer na mesma cidade, mesmo sabendo que mudar de cidade pode elevar seu salário.
• 3
  Pode-se supor, ainda, que as famílias mais próximas das escolas têm uma maior oportunidade para conseguir matricular seus filhos, e que pais mais motivados com a educação criam mecanismos que possibilitam a escolha das melhores escolas.
• 4
  As médias de desempenho nessas avaliações também constituem o cálculo do Índice de Desenvolvimento da Educação Básica (IDEB). Os dados dessas avaliações são comparáveis ao longo do tempo, ou seja, pode-se acompanhar a evolução dos desempenhos das escolas, das redes e do sistema como um todo.
• 5
  Optou-se por excluir os estudantes das escolas públicas federais pelo fato de essas instituições possuírem critérios de ingresso que são correlacionados com o nível socioeconômico dos seus alunos.
• 6
  Considerando as regiões, as correlações entre as proporções de mãe e pai sem EF e alunos com reprovações são de 85% e 92%, respectivamente, enquanto para pais graduados as correlações se revertem para -70% e -84%.
• 7
  Restringe-se a análise do efeito da estabilidade dos professores sobre os resultados dos alunos de escolas públicas, pois se supõe que a decisão dos pais que podem matricular seus filhos em escolas privadas é diferente.
• 8
  Os estados do Maranhão e Espírito Santo foram excluídos para evitar multicolinariedade nas estimações do escore de propensão.
• 9
  (Rosenbaum, 2002), (Morgan & Winship, 2007), (Imbens & Wooldridge, 2008) apresentam a importância da análise de sensibilidade em contextos em que se suspeita da veracidade das suposições de identificação das metodologias para avaliar os programas. Ademais, (Todd, 2008), (Blundell & Costa-Dias, 2009), (Heckman & Todd, 2009), (Khandker et al., 2010) são bons apanhados sobre as mais recentes metodologias de avaliação de programas.
• 10
  Um dos mais interessantes debates sobre a metodologia PEP ocorreu quando (Dehejia & Wabba, 1999), utilizando os dados do estudo de (Lalonde, 1986), mostrou que estimadores do PEP estão mais próximos aos estimadores de estudos experimentais do que os produzidos pelos métodos tradicionais de avaliação. Entretanto, (Smith & Todd, 2005) mostraram que os estimadores são melhores em apenas uma subamostra muito específicas dos dados Lalonde, gerando dúvidas sobre a generalização dos resultados de (Dehejia & Wabba, 1999).
• 11
  (Diprete & Gangl, 2004), (Becker & Caliendo, 2007), (Nannicini, 2007) desenvolveram rotinas estatísticas que realizam a análise de sensibilidade dos estimadores de pareamento no escore de propensão para o software Stata.
• 12
  Unconfoundedness e ignorabilidade do tratamento são utilizadas como sinônimos da Suposição de Independência Condicional (SIC) que requer a independência do tratamento em relação aos resultados potenciais.
• 13
  (Caliendo & Kopeinig, 2008) sintetizam a ideia que há sobre a escolha das variáveis explicativas que devem ser inseridas no cálculo do escore de propensão. Em suma, a quantidade não deve ser muito excessiva ou limitada, mas, conter variáveis relacionadas tanto com o tratamento como com o resultado e, principalmente, serem inseridas visando melhorar o balanceamento das variáveis entre o grupo controle e tratamento.
• 14
  Seguindo sugestão de (Long & Freeze, 2001), os interceptos foram suprimidos das equações para permitir que os mesmos variem dentre as variáveis dummies da equação.
• 15
  No modelo logístico ordenado os resultados ordenados são modelados para aumentar sequencialmente como uma variável latente, y ^*, que é dividida progressivamente por maiores cortes. Ou seja, y* é uma medida não observada do percentual de professores com estabilidade. Veja mais informações sobre esse modelo em (Wooldridge, 2010).
• 16
  Segundo Caliendo & Kopeinig (2008) o algoritmo de pareamento de Kernel é indicado quando há muitas observações para fazer o pareamento. Essa escolha obtém menores variâncias e estimações mais precisas, mas não se exime a possibilidade de haver pareamentos ruins. Os autores não encontraram diferenças significativas na estimação com o algoritmo de raio e a de vizinhos mais próximos. Tais resultados estarão prontamente disponíveis à solicitação do leitor.
• 17
  Os autores podem disponibilizar a análise de balanceamento das variáveis, proposta por (Rosenbaum, 2002) e (Caliendo & Kopeinig, 2008), utilizadas na estimação do escore de propensão.
• 18
  Nessa análise considera-se que o principal efeito a ser investigado é o efeito da falta de professores com estabilidade sobre os alunos que são afetados diretamente por essa ingerência dosmunicípios e estados. Nesse sentido, o efeito a ser identificado é o Efeito Médio do Tratamento sobre os Trados em vez do Efeito Médio do Tratamento.

Apêndice A

Figura A.1
Sobreposição do Escore de Propensão para a região Nordeste

Figura A.2
Sobreposição do Escore de Propensão para a região Sudeste

Datas de Publicação

• Publicação nesta coleção
  Apr-Jun 2015

Histórico

• Recebido
  23 Jul 2010
• Aceito
  19 Set 2014