Estudo Longitudinal sobre Eficácia Educacional no Brasil: Comparação entre Resultados Contextualizados e Valor Acrescentado ^*

The school effect in Brazil: value added, differential effectiveness and social equality

Étude Longitudinale sur l'Efficacité de l'Éducation au Brésil : Valeur Ajoutée, Efficacité Différentielle et Équité Sociale

Estudio longitudinal sobre la eficacia educacional en Brasil: valor añadido, eficacia diferencial y equidad social

RESUMO

O artigo apresenta e debate as análises de valor acrescentado, eficácia diferencial e equidade social realizadas através da aplicação de modelo multinível (UF, município, escola, aluno) aos dados longitudinais de estudantes que fizeram a Prova Brasil 2011, no 5 ^o ano, e a Prova Brasil 2015, no 9 ^o ano do ensino fundamental. Estimou-se a contribuição da escola brasileira em três dimensões: promoção da aprendizagem em Língua Portuguesa e Matemática, no período de 2011 a 2015 (valor acrescentado); influência diferenciada nas aprendizagens ocorridas durante o período em análise, tendo como referência o nível de conhecimento dos alunos à entrada, no 5º ano (eficácia diferencial); e influência diferenciada nas aprendizagens ocorridas durante esse período, tendo como referência o nível socioeconômico dos alunos (equidade social). Foram testadas ainda variáveis sociodemográficas do aluno, tais como sexo, cor/raça, situação face ao trabalho e se a mãe é ou não alfabetizada. O artigo apresenta resultados inovadores de eficácia educacional no Brasil, mostrando que, ao contrário do que consta na literatura internacional, a magnitude do indicador de valor acrescentado é similar à encontrada em estudos em países desenvolvidos. Os resultados confirmam o conhecimento acumulado sobre o desempenho escolar dos alunos por nível socioeconômico, sexo e cor/raça.

eficácia educacional; valor acrescentado; dados longitudinais; modelo multinível; Prova Brasil

ABSTRACT

The article analyzes the school effect in Brazilian school in three dimensions: the progress in learning the Portuguese Language and Mathematics (value added); the differential effect in the contents learned (differential efficacy) having as a yardstick the knowledge of students at entry level (5 ^th grade); and the differential effect in the contents learned taking into account the socioeconomic level of the students (social equity). To that end, we lied a multilevel model (UF, municipality, school, student) to a longitudinal database comprised of students who took the Prova Brasil 2011, while in the 5 ^th grade, and the Prova Brasil 2015, while in the 9 ^th grade. Control variables related to the students' sociodemographic status, such as sex, color/race, employment status, and mother's literacy, were taken into account. The article presents innovative results on the effectiveness of schooling in Brazil, showing that, contrary to the international literature, the magnitude of the value added is similar to that found in developed countries. Our analysis also confirms findings of previous studies on the school performance of students according to socioeconomic level, gender and color/race.

school effect; value added; multilevel model; Prova Brazil

RÉSUMÉ

L'article présente et discute les analyses de la valeur ajoutée, de l'efficacité différentielle et de l'équité sociale menées à traves de l'application du modèle multiniveaux (UF, municipalité, école, étudiant) aux données longitudinales des élèves qui ont fait la Prova Brasil 2011 pendent le 5ème et le 9ème siècles de l'enseignement fondamentale. La contribution de l'école brésilienne a été estimée selon trois dimensions: promotion de l'apprentissage du portugais et des mathématiques de 2011 à 2015 (valeur ajoutée); influence différenciée sur les apprentissages passées au cours de la période analysée, en référence au niveau de connaissance des étudiants à l'entrée, en 5ème année (efficacité différentielle); et influence différenciée dans les apprentissages de cette période en prenant comme référence le niveau socio-économique des élèves (équité sociale). Les variables sociodémographiques de l'élève ont également été testées, telles que le sexe, la couleur/race, la situation professionnelle et le fait le degré d'alphabétisation de la mère. L'article présente des résultats innovateurs sur l'efficacité pédagogique au Brésil et montre que, contrairement à la littérature internationale, l'ampleur de l'indicateur de valeur ajoutée est similaire à celle trouvée dans les études menées aux pays développés. Les résultats confirment les connaissances accumulées sur les performances académiques des étudiants par niveau socio-économique, sexe et couleur/race.

efficacité éducative; valeur ajoutée; données longitudinales; modèle multiniveau; Prova Brasil

RESUMEN

El texto presenta y debate los análisis de valor añadido, eficacia diferencial y equidad social realizados a través de la aplicación de modelo multinivel (Unidad Federativa; municipio; escuela; alumno) a los datos longitudinales de estudiantes que hicieron la 'Prova Brasil' 2011, en el 5 ^o año, así como la 'Prova Brasil' 2015, en el 9 ^o año, ambos de la enseñanza fundamental. Se ha estimado la contribución a la escuela brasileña base a tres dimensiones: i) la promoción del aprendizaje en portugués y matemáticas en el período 2011 a 2015 (valor añadido); ii) la influencia diferenciada en los aprendizajes ocurridos durante el período en análisis, teniendo como referencia el nivel de conocimiento de los alumnos a la entrada, en el 5 ^o año (eficacia diferencial) y; iii) la influencia diferenciada en los aprendizajes ocurridos durante ese período, teniendo como referencia el nivel socioeconómico de los alumnos (equidad social). Han sido probadas las variables sociodemográficas del estudiante, tales como sexo, color/raza, situación frente al trabajo y si la madre es o no alfabetizada. El artículo presenta resultados innovadores de eficacia educativa en Brasil, y demuestra que, a diferencia de lo que dice la literatura internacional, la magnitud del indicador de valor añadido es similar a la encontrada en estudios en países desarrollados. Los resultados confirman el conocimiento acumulado sobre el desempeño escolar de los alumnos por nivel socioeconómico, sexo y color/raza.

eficacia educacional; valor añadido; datos longitudinales; análisis multinivel

INTRODUÇÃO

A busca pela qualidade e equidade na educação básica é objetivo central do sistema educacional, segundo a Constituição Federal e a Lei de Diretrizes e Bases da Educação Nacional. A formulação e implementação de políticas e ações governamentais que assegurem a educação de qualidade a todas as crianças e jovens, consideradas as suas diferentes condições socioeconômicas e culturais, é assim parte essencial da agenda política educacional. Em países marcados pela desigualdade como o Brasil, a definição de estratégias para o alcance desse objetivo passa por incorporar o conhecimento de base científica que permita responder à questão fundamental: Como fazer com que todas as crianças e jovens tenham acesso e usufruam de uma educação de qualidade? A pesquisa em eficácia educacional procura contribuir para responder a tal questão, analisando o sistema educativo a partir do conceito de eficácia escolar. De acordo com Mortimore (1991), uma escola eficaz é aquela “onde os alunos têm um progresso além do que seria esperado considerando as suas características à entrada na escola” (p. 09). A evidência proveniente dos estudos de eficácia escolar podem servir de catalisadores na melhoria da escola ( Sammons, Hillman e Mortimore, 1995 ) e da educação. Ferrão e Fernandes (2003) , notam que,

Apesar de ser muito promissora em termos dos subsídios a políticas que promovam a mudança pró-aprendizagem e equidade, a investigação do efeito-escola ainda é relativamente recente nos países ibero-americanos. Tanto no Brasil como em Portugal, por exemplo, até à data não foi realizado qualquer estudo empírico que atenda integralmente às recomendações metodológicas e técnicas necessárias a uma investigação deste tipo. (p. 2)

A principal recomendação metodológica a que os autores aludiram em 2003 refere-se à existência de dados longitudinais com acesso viabilizado aos pesquisadores. No Brasil, a pesquisa sobre a eficácia escolar foi deflagrada a partir do ano 2000, após a disponibilização dos primeiros resultados do Sistema de Avaliação da Educação Básica – SAEB (e.g. Barbosa; Fernandes, 2000 , 2001 ). Em revisão da literatura nacional, Karino e Laros (2017) apontam vários pesquisadores que se debruçaram sobre a temática, tanto realizando trabalhos empíricos ( Barbosa; Fernandes, 2000 ; Ferrão et al., 2001 ; Soares, Alves, Oliveira, 2001; Albanez, Ferreira; Franco, 2002; Soares; Alves, 2003; Andrade; Franco; Carvalho, 2003 entre outros), quanto teóricos ( Ferrão; Fernandes, 2003 ; Franco; Bonamino, 2005; Soares, 2007). Em sua maioria, os estudos têm utilizado bases de dados transversais das avaliações nacionais, de modo a contextualizar os resultados educacionais dessas avaliações. Poucos estudos têm sido desenvolvidos com um delineamento longitudinal, registrando-se apenas estudos de escopo limitado, tais como Ferrão e Couto (2013) ou Soares et al. (2017) , que analisaram e modelaram dados do projeto GERES 2005, e Alves e Soares (2008) , que analisaram dados de escolas de Belo Horizonte. Segundo Ferrão (2014: 7),

Antes dos estudos GERES 2005 no Brasil e 3EM em Portugal, […] uma primeira geração de estudos em eficácia escolar baseou-se em dados transversais. Considerámos a primeira geração de estudos com base em dados transversais, a maioria deles são modelos de resultados contextualizados, e a segunda geração por estudos baseados em dados longitudinais.

Assim, aquela revisão dos estudos de eficácia educacional efetuados no Brasil e em Portugal classifica-os em “estudos de 1 ^a geração” ou “estudos de 2 ^a geração” consoante se trate de estudo baseado na modelagem de dados transversais, dando origem aos modelos de resultados contextualizados (OECD, 2008), ou estudo baseado na modelagem de dados longitudinais, dando origem aos modelos de valor acrescentado. No que se refere ao Brasil, tal revisão aponta grandes disparidades regionais em relação aos resultados educacionais, os quais estão relacionados à heterogeneidade socioeconômica e de conhecimento prévio dos alunos. Um dos principais achados da revisão sobre as propriedades científicas do efeito-escola no Brasil é a evidência de que as estimativas do efeito-escola, aferido pela aplicação de modelos de valor acrescentado são consideravelmente menores do que as obtidas pela aplicação de modelos de resultados contextualizados. Contudo, tal como a autora discutiu, a evidência comparativa era decorrente do estudo sobre o município de Campinas, portanto bastante limitado territorialmente.

Este artigo tem como finalidade contribuir com a pesquisa em eficácia educacional, apresentando análises de resultados contextualizados e de valor acrescentado, através da aplicação de modelos de regressão multinível aos dados longitudinais de alunos brasileiros que realizaram a Prova Brasil 2011, no 5 ^o ano (ou 4 ^a série) do Ensino Fundamental (EF), e a Prova Brasil 2015, no 9 ^o ano (ou 8 ^a série) do EF. Busca-se dessa forma estimar a contribuição da escola brasileira dos anos finais do EF quanto à promoção do progresso ou aprendizagem dos alunos em Língua Portuguesa e Matemática, no período de 2011 a 2015 (valor acrescentado); quantificar a relação entre conhecimento prévio e as aprendizagens realizadas durante o período de tempo em análise; e, adicionalmente, analisar e discutir a influência do nível socioeconômico do aluno nas aprendizagens realizadas durante o período em análise. Este estudo é inovador porque é o primeiro a comparar as estimativas obtidas da aplicação do modelo de resultados contextualizados com a estimativas do modelo de valor acrescentado, envolvendo dados longitudinais com cobertura nacional.

Espera-se com este estudo colaborar com a investigação sobre a contribuição do sistema educacional brasileiro para garantir a todos os estudantes o direito à aprendizagem e a um fluxo escolar regular, reduzindo as desigualdades, conforme estabelece a legislação brasileira e, particularmente, o Plano Nacional de Educação (PNE).

O artigo está organizado da seguinte forma: na primeira seção, apresentam-se o enquadramento teórico do estudo no campo da eficácia educacional, abordando-se também o efeito-escola; na segunda, apresentam-se a metodologia e as bases de dados utilizadas no estudo; na terceira, apresentam-se os resultados; e, na quarta, procede-se à discussão dos resultados considerando o sistema educacional brasileiro e a pesquisa na área de eficácia educacional.

O CAMPO DA EFICÁCIA EDUCACIONAL E O EFEITO-ESCOLA

De acordo com o exposto por Scheerens e Bosker (1997) a perspectiva conceptual de eficácia em educação tem dado origem ao uso da terminologia eficácia educacional ( educational effectiveness ), que engloba o campo da eficácia escolar ( school effectiveness ); da eficácia docente ( teacher effectiveness ); e da eficácia pedagógica ( instructional effectiveness ), cada qual com objeto de estudo focado nos diferentes modos e níveis de organização do sistema escolar. A pesquisa brasileira iniciou-se procurando a resposta para algumas questões fundamentais: “A escola brasileira faz diferença?”, “quais os fatores de capital físico e humano que diferenciam as escolas entre si?” ( Barbosa; Fernandes, 2001 ) ou “quais são as políticas e práticas das escolas, medidas nos questionários contextuais do SAEB, que, de um lado, impactam positivamente o desempenho cognitivo de seus alunos e, de outro, diminuem o efeito das desigualdades no desempenho, associadas a gênero, raça, cor, e nível socioeconômico?” ( Soares, 2004 ). A formulação dessas questões de pesquisa no Brasil teve origem na constatação de que 51% da variabilidade dos resultados escolares (em matemática na 8 ^a série/9 ^o ano do EF e na mesma região) era explicada por variáveis sociodemográficas do aluno, tais como sexo, escolaridade do pai (como proxy do nível socioeconômico) e tipo de rede (pública/não pública) ( Barbosa; Fernandes, 2000 ). Diante de tal variabilidade, o objetivo estabelecido daí em diante pelos pesquisadores foi o de contribuir para a elucidação daquelas questões por meio da modelagem de características individuais e de trajetória escolar dos alunos e também de características associadas aos professores (didática, formação inicial e capacitação, expectativas) e às escolas (infraestrutura e equipamento, tipo de rede) ( Barbosa e Fernandes, 2001 ; M.E. Ferrão et al., 2001 ). O enquadramento conceitual foi construído partindo da proposta de Mortimore (1998: 237), que define a “escola eficaz como aquela onde o progresso do aluno vai além do que seria esperado, levando em consideração as suas características socioeconômicas e outros fatores extraescolares existentes”. Essa concepção está muito alinhada com o pensamento segundo o qual o desenvolvimento integral da criança ou jovem ocorre ao longo de vivências dentro da escola e fora dela. Assim,

Pensar na escola eficaz é analisar o quê e o quanto o aluno aprendeu/desenvolveu durante os anos e ciclos definidos de escolarização. Entende-se nesta análise que o aluno não é “tábua rasa” nem vive fechado nas quatro paredes da escola ou na meia dúzia de horas diárias que passa na escola. Este aluno “transporta” conhecimentos e características pessoais, possui uma família, e todo um contexto educativo extraescolar, pertence a determinados grupos socioculturais (…) e tudo isto coexiste com a escola e interage com ela nesse processo de formação e de desenvolvimento do aluno. ( Almeida, 2009: 63)

Ferrão et al. (2001: 114) especificam que “escola eficaz é aquela em que os resultados escolares do aluno superam o resultado que ele obteria em qualquer outra escola, levando-se em conta o seu nível socioeconômico e cultural e o seu conhecimento prévio”. Porém, a operacionalização dessa definição apresenta algumas dificuldades. Uma delas foi a inexistência de mensuração do conhecimento prévio do aluno, o que implicava a existência de dados longitudinais. Assim, os autores assumiram “o pressuposto de que o conhecimento prévio do aluno à entrada na escola e o seu nível socioeconômico são fortemente correlacionados” (op. cit.: 114). E explicam que optaram por “por dar prioridade à modelagem dos dados da 4 ^a série do ensino fundamental e replicar os modelos encontrados para as demais séries avaliadas, de forma a minimizar as limitações acima enunciadas e conhecer melhor os fatores associados ao sucesso educativo em escolas cuja população estudantil tem espectro social mais largo” (p. 115). Ou seja, aplicaram um modelo de resultados contextualizados e essa concepção tem sido adotada por muitos outros estudos de eficácia educacional realizados no Brasil. Recentemente, alguns desses estudos têm trazido subsídios ao melhor entendimento da dinâmica da qualidade da educação, fazendo uso de sucessivos coortes de dados transversais. Por exemplo, Carnoy et al. (2015) analisaram as classificações de alunos brasileiros de 15 anos no PISA entre o ano 2000 e 2012, bem como as classificação de alunos do 9 ^o ano (ou 8 ^a série) no SAEB entre 1995 e 2013, com o interesse de aferir a “efetividade do ensino básico brasileiro (1 ^a a 8 ^a /9 ^a séries)” (p. 450). Segundo os autores “os ganhos no teste de matemática do Pisa são muito maiores do que no teste de leitura. Os ganhos (ou sua ausência) entre 1999 e 2013 no teste do Saeb são também maiores em matemática que em português. […] Os ganhos no Pisa para os estudantes brasileiros mais favorecidos são menores do que entre aqueles com níveis baixos de recursos acadêmicos familiares, o que também se verifica no teste do Saeb.” Travitzki; Ferrão; Couto (2016) apresentam evidência da atenuação das desigualdades intergeracionais na distribuição do conhecimento aferido quer pelo nível de escolaridade quer pela classificação no ENEM (2009-2012), mas referem que o desempenho educacional continua a ser sensível a fatores de natureza socioespacial e racial. Tais fatores também foram mencionados por Soares; Delgado (2016) , considerando a população discente do 5 ^o e 9 ^o anos, na análise cronológica entre 2005 e 2013, concluindo que “ocorreram melhorias tanto em Leitura como em Matemática” (op. cit.: 773), apesar da taxa de melhoria ser diferenciada entre grupos definidos por nível socioeconômico, raça/cor e gênero. Esta análise foi complementada por Alves et al. (2016) através da quantificação das desigualdades de aprendizado entre aqueles grupos, concluindo que “Onde houve melhoria na qualidade, não houve redução das desigualdades” ( Alves et al. 2016: 49). Alves e Ferrão (2019) analisaram os dados da Prova Brasil e do Censo Escolar entre 2007 e 2015 mostrando que, nesse período de tempo, a taxa de reprovação ao longo do Ensino Fundamental tem vindo a decrescer sem deterioração da qualidade da educação escolar, apesar de permanecerem desigualdades nos resultados escolares entre grupos definidos por atributos de natureza socioeconômica e de raça/cor. As autoras evidenciam que a melhoria da qualidade é mais notória nos dados do 5 ^o ano do que no 9 ^o ano e também mais pronunciada em Leitura do que em Matemática.

Ora, todos estes estudos se baseiam em modelos de resultados contextualizados. Por isso, a forte diferenciação dos resultados escolares entre grupos definidos por variáveis sociodemográficas e de raça/cor pode ser parcialmente devida à covariância espúria pela omissão no modelo da variável conhecimento prévio mensurada na unidade aluno. Ou seja, “o pressuposto de que o conhecimento prévio do aluno à entrada na escola e o seu nível socioeconômico são fortemente correlacionados” deixa de ser razoável quando a pesquisa é focada nas etapas do ensino fundamental II, no ensino secundário ou no ensino superior ( Ferrão, 2017 ).

Decorre da descrição anterior que a pesquisa em educação no Brasil tem contado com uma agenda ativa no campo de eficácia educacional, mas apenas alguns estudos se basearam na modelagem de dados longitudinais, concretamente através da aplicação de modelos de valor acrescentado. São exemplo os estudos ( Ferrão; Couto, 2013 ; Soares et al., 2017 ) sobre os dados da pesquisa longitudinal do projeto GERES 2005 ( Brooke; Bonamino, 2011 ).

No que diz respeito ao efeito-escola, é um conceito ao qual estão associadas diversas definições ao longo dos últimos 40 anos de investigação, como mostra a revisão efetuada por Teddlie e Reynolds (2000) . A mensuração desse efeito consiste não apenas em identificar e dissociar as variáveis controláveis pela escola das não controláveis e medir o contributo das primeiras para os resultados de aprendizagem dos alunos, mas também investigar políticas e práticas que conduzem à transformação e à melhoria continuada do desempenho escolar. Alguns estudos colocam em evidência o fato de o desempenho individual dos alunos de uma escola se encontrar associado ao perfil dominante e da composição dos seus alunos ( Ferrão e Couto, 2013 ; Matos e Ferrão, 2016 ). Adicionalmente, o termo efeito-escola tem sido usualmente associado à variabilidade, entre escolas, dos resultados escolares dos alunos, controlando ou ajustando pelas suas características à entrada da escola ( Goldstein, 1997 ; Raudenbush & Willms, 1995 ; Reynolds, 2010 ; Sammons, Thomas, & Mortimore, 1997). Tal operacionalização tem subjacente o conceito de valor acrescentado (VA) em educação, que pode ser adotado, assim, como um indicador do efeito-escola. Segundo Saunders (1999) a medição do VA diz respeito ao cálculo da contribuição da escola para o progresso dos alunos.

Com base nos dados longitudinais do GERES 2005, Ferrão e Couto (2013) estimaram o valor acrescentado das escolas no município de Campinas e verificaram que a magnitude da estimativa é semelhante à reportada em estudos sobre países desenvolvidos. Segundo Ferrão (2014) , relativamente às propriedades científicas do efeito-escola no Brasil e em Portugal, as estimativas do efeito-escola obtidas pela aplicação de um modelo de valor acrescentado são consideravelmente menores do que as obtidas pela aplicação de um modelo de resultados contextualizados e, portanto, tal evidência contraria a literatura internacional sobre a magnitude do efeito-escola nos países em desenvolvimento. Por exemplo, Sammons (2007) afirma que o tamanho do efeito-escola é geralmente muito maior em estudos de países em desenvolvimento e parece refletir uma maior influência dos recursos e variabilidade na disponibilidade de professores treinados, livros didáticos e materiais. De fato, o estudo reportado por Ferrão et al. (2001) , com aplicação de modelo de resultados contextualizados aos dados do SAEB 1999 emparelhados com os do Censo Escolar 1999, mencionava a associação positiva entre infraestrutura escolar, nível socioeconômico contextual e desempenho dos alunos:

Escolas com melhor infraestrutura, segurança e limpeza servem à população discente com nível socioeconômico mais elevado. A variável está positivamente correlacionada com a variável contextual do nível socioeconômico da escola. A variável tem um impacto positivo no desempenho dos alunos. (op.cit.:122)

Sugerindo que os alunos provenientes de famílias com nível socioeconômico mais elevado frequentavam escolas melhor equipadas, com melhor infraestrutura, segurança e limpeza e, que, consequentemente, esses alunos atingiam melhores resultados escolares.

METODOLOGIA

Os principais requisitos metodológicos da investigação em eficácia educacional que são registrados na literatura são os seguintes: (1) avaliar o conhecimento ou aptidão dos alunos no ano de referência (aferição do conhecimento prévio dos alunos / prior achievement ); (2) considerar a natureza longitudinal de “progresso” por meio da análise dos dados longitudinais, isto é, dados que são compostos por observações repetidas da variável que representa a aprendizagem aferida (geralmente com base nas pontuações dos testes padronizados dos alunos) e covariáveis para cada aluno; (3) considerar a estrutura multinível da população em estudo (o que se reflete nos dados recolhidos), ou seja, as unidades de observação estatística e de análise devem ser tais que viabilizem a desagregação dos efeitos envolvidos. Ter como unidades, por exemplo, o aluno, a turma (à qual está associado o professor), a escola, a região administrativa etc.; (4) considerar os fatores extraescolares que podem melhorar ou retardar o progresso, como é o caso do nível socioeconômico e cultural dos alunos; (5) dados longitudinais sobre um mínimo de três coortes, mas de preferência mais e (6) orientação para a análise de mudanças sistemáticas e para estimar o desempenho institucional de médio/longo prazo ( Ferrão e Couto, 2013 ).

Os primeiros quatro requisitos são satisfeitos pelos dados emparelhados da PB 2011 e PB 2015, considerando o subconjunto da coorte 2011 constituído pelos alunos que progrediram sempre entre o 5 ^o e o 9 ^o ano de escolaridade. Relativamente aos restantes alunos – aqueles que nem sempre foram promovidos para o ano seguinte – há registro no Censo Escolar 2015, mas não na PB 2015. Para esses alunos, o segundo requisito não é satisfeito no que concerne à aferição do desempenho em 2015. O cumprimento dos requisitos (5) e (6) implica a aplicação da abordagem metodológica aqui apresentada nos anos consecutivos. Concretamente, no que se refere aos requisitos (1) e (2), consideramos como variáveis-resposta o desempenho dos alunos na PB 2015 na escala única do SAEB/97, i.e. as proficiências de cada aluno em Língua Portuguesa (Proficiência LP) e em Matemática (Proficiência MT) calculadas na escala única do SAEB/97, com média 0 e desvio-padrão 1 na população de referência ( Klein, 2003 ). As variáveis que representam o conhecimento prévio dos alunos ( prior achievement) são as proficiências em LP e MT aferidas pela PB 2011, também na escala única padronizada. O intervalo de tempo considerado é de quatro anos e corresponde ao ciclo compreendido entre o 5 ^o e o 9 ^o ano de escolaridade.

No que se refere ao requisito (3), o modelo incorpora a seguinte estrutura hierárquica: unidade de nível 1 – Aluno; unidade de nível 2 – Escola; unidade de nível 3 – Município; unidade de nível 4 – Unidade da Federação (UF). Os modelos estatísticos ajustados têm assim quatro níveis. Deve-se notar que a estrutura hierárquica da população discente em análise considerou alunos (nível 1) agrupados na escola (nível 2) onde prestaram a Prova Brasil 2015. Assim, a escola de chegada foi a considerada na estrutura multinível dos modelos estatísticos. A assunção de que todos os alunos ali realizaram a formação entre o 5 ^o ano e o 9 ^o ano precisa ser verificada, uma vez que a estimativa da mobilidade dos alunos neste período, calculada com base no emparelhamento da Prova Brasil 2011 com o Censo Escolar 2015, situa-se em torno de 30%.

No que se refere ao requisito (4), as variáveis de controle que representam os fatores extraescolares que podem melhorar ou retardar o progresso do aluno são considerados o Indicador de Nível Socioeconômico (INSE) do aluno aferido em 2011 e a situação da mãe face à alfabetização. Variáveis sociodemográficas tais como sexo e autodeclaração de cor/raça do aluno também são consideradas.

A especificação do modelo estatístico referente à sua forma funcional segue a apresentada por Ferrão e Couto (2013) . O modelo de componentes de variância, designado por modelo de valor acrescentado tradicional – MVAT ( Ferrão e Goldstein, 2009 ) inclui como variáveis do perfil do aluno à entrada, o seu nível socioeconômico e o seu conhecimento prévio, enquanto o modelo de resultados contextualizados (MRC) inclui o nível socioeconômico do aluno (OECD, 2008).

A Tabela 1 sintetiza os modelos de regressão multinível ajustados. O procedimento de estimação usado foi IGLS – Iterative Generalised Least Squares ( Goldstein, 1986 ; Goldstein; Rasbash, 1992 ) implementado no MLwiN v3.0 ( Rasbash et al., 2014 ). Os estimadores IGLS, em condições dos dados presentemente analisados, têm propriedades equivalentes às dos estimadores de máxima verossimilhança ( Goldstein, 1989 ).

Tabela 1
Modelos de Regressão Multinível para Proficiência LP e MT em 2015

Modelo	Tipo	Variável dependente	Covariáveis
0	Nulo	Proficiência LP 2015 /Proficiência MT 2015	Nenhuma
1	Modelo de componentes de variância: MRC	Proficiência LP 2015 /Proficiência MT 2015	INSE
2	Modelo de componentes de variância: MVAT	Proficiência LP 2015 /Proficiência MT 2015	INSE Proficiência LP 2011 /Proficiência MT 2011
3	Modelo de componentes de variância: MVAT +	Proficiência LP 2015 /Proficiência MT 2015	INSE Proficiência LP 2011 /Proficiência MT 2011 Grande região: Norte, Nordeste, Sul, Centro-Oeste. Dependência administrativa Localização Sexo Situação face ao trabalho em 2011 e em 2015 Mãe alfabetizada Raça/cor
4	Modelo de componentes de variância: MRC +	Proficiência LP 2015 /Proficiência MT 2015	INSE Grande região: Norte, Nordeste, Sul, Centro-Oeste. Dependência administrativa Localização Sexo Situação face ao trabalho em 2011 e em 2015 Mãe alfabetizada Raça/cor

As bases de dados utilizadas neste estudo compreendem os microdados da Prova Brasil 2011 e 2015, os dados do Censo da Educação Básica 2011 e 2015, e o indicador de nível socioeconômico familiar (INSE) 2011 dos alunos, disponibilizado pelo Inep. A Avaliação Nacional do Rendimento Escolar (ANRESC), denominada Prova Brasil (PB), é uma avaliação censitária aplicada aos alunos do 5 ^o ano/4 ^a série e 9 ^o ano/8 ^a série do Ensino Fundamental, pertencentes às escolas públicas com no mínimo 20 alunos matriculados nas séries/anos avaliados. Considera-se assim a PB 2011 como uma grande amostra, de tamanho N, extraída de uma população infinita. De acordo com a definição de superpopulação, a população finita em questão é gerada aleatoriamente de uma população hipotética infinita constituída de populações finitas de tamanho N ( Thompson, 2006 ). Barnard (1973) declara que a sua experiência no uso de surveys/questionários nas ciências sociais sugere que o modelo de superpopulação é geralmente o mais apropriado quanto ao interesse nos parâmetros da superpopulação infinita.

O resultado da Prova Brasil é expresso nas Escalas de Proficiências de Língua Portuguesa (LP) e Matemática (MT) do SAEB, cujo 9 ^o ano/8 ^a série é o grupo de referência, e escala apresenta média 250 e desvio-padrão 50. Já o INSE é uma medida de nível socioeconômico calculada utilizando modelos de resposta ao item, a partir das respostas dos alunos a um questionário que investiga a posse de bens, características da residência, contratação de serviços, renda familiar mensal e escolaridade dos pais. Essa medida é estimada por aluno e expressa em uma escala contínua, com média igual a 50 e desvio-padrão igual a 10.

Para a concretização deste estudo foi constituída uma base de dados única, contendo os dados dos alunos tanto de 2011 quanto de 2015. A base de dados inicial referente aos alunos do 5 ^o ano EF da PB 2011 contém 2.648.342 alunos e 56.222 escolas; e a base de dados do 9 ^o ano EF da PB 2015 contém 2.381.722 e 57.745 escolas. É de se esperar que nem todos os alunos que fizeram a PB 2011 também a fizeram a PB 2015, isto porque os alunos podem ter repetido, evadido, falecido ou deixado de fazer parte do público-alvo da Prova Brasil, no período de 2011 a 2015. As escolas, de maneira semelhante, também podem não ter número suficiente de alunos na série avaliada para continuarem fazendo parte dessa avaliação. Por tais razões, após o tratamento e junção dessas bases, obteve-se uma única base de dados longitudinal, com 1.282.667 alunos, que fizeram a PB 2011 e a PB 2015, matriculados em 29.753 escolas, em 2015.

Nas análises, foram utilizadas as seguintes informações: do questionário da PB 2011, as variáveis relacionadas à escolaridade dos pais, contratação de serviços, posse de bens e características da casa para calcular o indicador de nível socioeconômico dos alunos e a informação se o aluno trabalha fora de casa. Do questionário do aluno da PB 2015, cujas respostas são autodeclaradas, foram usadas questões relativas a: sexo, raça/cor, reprovação, trabalho fora de casa e alfabetização mãe. Além dessas variáveis, utilizaram-se também da base de 2015 informações da escola como unidade da federação, município, localização (rural e urbana), região do país e dependência administrativa (federal, estadual e municipal).

Em seguida são apresentadas algumas estatísticas descritivas para caracterizar o panorama social e educacional que reveste esta pesquisa.

ESTATÍSTICAS DESCRITIVAS

A Tabela 2 apresenta a distribuição dos alunos por grande região e unidades da federação (UF), mostrando que 52,1% dos alunos estudam em escolas que se encontram na região Sudeste, 19,6% na Nordeste, 12,1% na Sul, 8,7% na Norte e 7,5% na região Centro-Oeste. Na Tabela 2 é possível, ainda, verificar também a distribuição por UF.

Tabela 2
Distribuição de alunos de acordo com a grande região e unidade da federação por dependência administrativa e localização, 2011-2015

Região e Unidade da Federação	Total		Dependência Administrativa						Localização
			Federal		Estadual		Municipal		Urbana		Rural
	Qtd.	%	Qtd.	%	Qtd.	%	Qtd.	%	Qtd.	%	Qtd.	%
Norte	112.057	8,7	249	17,0	66.263	8,6	45.545	9,0	99.588	8,3	12.469	16,4
Rondônia	8.938	0,7	0	0,0	7.516	1,0	1.422	0,3	7.674	0,6	1.264	1,7
Acre	6.105	0,5	37	2,5	5.665	0,7	403	0,1	5.643	0,5	462	0,6
Amazonas	32.573	2,5	41	2,8	23.512	3,0	9.020	1,8	30.312	2,5	2.261	3,0
Roraima	3.758	0,3	29	2,0	3.717	0,5	12	0,0	3.584	0,3	174	0,2
Pará	44.018	3,4	142	9,7	11.437	1,5	32.439	6,4	36.520	3,0	7.498	9,9
Amapá	6.296	0,5	0	0,0	6.087	0,8	209	0,0	5.796	0,5	500	0,7
Tocantins	10.369	0,8	0	0,0	8.329	1,1	2.040	0,4	10.059	0,8	310	0,4
Nordeste	251.265	19,6	71	4,8	67.132	8,7	184.062	36,2	210.576	17,5	40.689	53,5
Maranhão	40.286	3,1	39	2,7	5.476	0,7	34.771	6,8	32.656	2,7	7.630	10,0
Piauí	13.489	1,1	0	0,0	4.420	0,6	9.069	1,8	11.838	1,0	1.651	2,2
Ceará	53.516	4,2	8	0,5	6.478	0,8	47.030	9,3	44.262	3,7	9.254	12,2
Rio Grande do Norte	12.905	1,0	0	0,0	5.889	0,8	7.016	1,4	11.798	1,0	1.107	1,5
Paraíba	12.370	1,0	0	0,0	3.983	0,5	8.387	1,7	11.385	0,9	985	1,3
Pernambuco	38.578	3,0	8	0,5	17.772	2,3	20.798	4,1	33.400	2,8	5.178	6,8
Alagoas	15.326	1,2	0	0,0	3.987	0,5	11.339	2,2	12.496	1,0	2.830	3,7
Sergipe	6.450	0,5	8	0,5	3.013	0,4	3.429	0,7	5.320	0,4	1.130	1,5
Bahia	58.345	4,5	8	0,5	16.114	2,1	42.223	8,3	47.421	3,9	10.924	14,4
Sudeste	668.073	52,1	857	58,4	452.268	58,5	214.948	42,3	653.815	54,2	14.258	18,7
Minas Gerais	176.413	13,8	198	13,5	128.111	16,6	48.104	9,5	170.856	14,2	5.557	7,3
Espírito Santo	20.833	1,6	0	0,0	8.160	1,1	12.673	2,5	19.848	1,6	985	1,3
Rio de Janeiro	77.137	6,0	659	44,9	24.350	3,1	52.128	10,3	74.148	6,1	2.989	3,9
São Paulo	393.690	30,7	0	0,0	291.647	37,7	102.043	20,1	388.963	32,2	4.727	6,2
Sul	155.467	12,1	127	8,7	112.596	14,6	42.744	8,4	149.841	12,4	5.626	7,4
Paraná	68.418	5,3	14	1,0	66.721	8,6	1.683	0,3	65.856	5,5	2.562	3,4
Santa Catarina	47.818	3,7	50	3,4	27.910	3,6	19.858	3,9	45.878	3,8	1.940	2,5
Rio Grande do Sul	39.231	3,1	63	4,3	17.965	2,3	21.203	4,2	38.107	3,2	1.124	1,5
Centro-Oeste	95.805	7,5	163	11,1	74.778	9,7	20.864	4,1	92.732	7,7	3.073	4,0
Mato Grosso do Sul	15.024	1,2	22	1,5	8.900	1,2	6.102	1,2	14.478	1,2	546	0,7
Mato Grosso	24.365	1,9	0	0,0	20.477	2,6	3.888	0,8	23.154	1,9	1.211	1,6
Goiás	39.463	3,1	43	2,9	28.546	3,7	10.874	2,1	38.774	3,2	689	0,9
Distrito Federal	16.953	1,3	98	6,7	16.855	2,2	0	0,0	16.326	1,4	627	0,8
Total	1.282.667	100	1.467	100	773.037	100	508.163	100	1.206.552	100	76.115	100

• Fonte: Elaboração própria, 2018.

A distribuição de frequências por sexo mostra que 38,8% são do sexo masculino, 44,8% feminino e 16,3% não informaram. Quanto à distribuição por raça/cor autodeclarada é como segue: Branco(a) 24,7%, Pardo(a) 40,1%, Preto(a) 9,4%, Amarelo(a) 3,1%, Indígena 1,7% e 15,9% não informaram. Aproximadamente 80% dos alunos declararam que a mãe sabe ler e escrever.

As estatísticas descritivas do desempenho em Língua Portuguesa (Proficiência LP) e em Matemática (Proficiência MT), na PB 2011 e PB 2015 por sexo e cor/raça constam na Tabela 3 . Constata-se uma diferença entre as médias de proficiência dos dois grupos em LP de 8,6 pontos, em 2011, e 14,1, em 2015, em favor das meninas e, em MT, de 8,6 em 2011 e 9,3 em 2015, em favor dos meninos. Em relação às médias de proficiência, para LP, a maior diferença nas médias está entre os alunos brancos e pretos: 16,8 pontos em 2011 e 19,0 em 2015, em favor dos brancos; em MT a diferença se mantém: 18,4 em 2011 e 17,7 em 2015, também em favor dos brancos. Observa-se que, tanto em 2011 como em 2015, os meninos apresentam maior desempenho em Matemática e as meninas maior desempenho em Língua Portuguesa. A análise dessas estimativas confirma o conhecimento que temos sobre a diferença de desempenho por sexo e por cor/raça. No que se refere à comparação das médias em MT e LP por cor/raça, tanto em 2011 como 2015, o grupo dos alunos autodeclarado de raça/cor preto(a) obtém a menor média comparativamente com os restantes grupos, excetuando-se os que respondem “Não Sei”.

Tabela 3
Estatísticas Descritivas das Proficiências por Sexo e Cor/Raça

Variáveis Sociodemográficas		Proficiência LP – 5 o ano – 2011		Proficiência LP – 9 o ano – 2015		Proficiência MT – 5 o ano – 2011		Proficiência MT – 9 o ano – 2015
		Média	DP	Média	DP	Média	DP	Média	DP
Sexo	Masculino	196,2	44,7	245,5	49,0	224,8	47,7	260,3	45,7
	Feminino	204,8	44,6	259,5	45,3	216,2	45,4	251,0	43,2
	Não Informado	193,3	44,8	233,7	50,3	211,8	46,2	240,1	43,7
	Total	199,6	44,9	252,5	47,7	218,8	46,7	254,9	44,7
Cor/ Raça	Branco(a)	210,4	45,5	262,1	48,0	230,8	47,3	264,3	46,4
	Pardo(a)	198,0	43,9	251,0	46,4	217,0	45,8	253,1	43,6
	Preto(a)	193,6	43,6	243,2	47,4	212,4	44,5	246,7	42,0
	Amarelo(a)	201,9	44,2	255,8	46,3	219,5	45,5	255,3	44,1
	Indígena	199,1	42,4	250,6	45,3	216,0	44,2	251,4	42,0
	Não Sei	187,2	43,5	237,7	47,8	207,0	45,9	244,0	42,8
	Não Informado	194,0	44,8	239,5	51,5	212,5	46,2	244,9	45,2
	Total	199,6	44,9	252,5	47,7	218,8	46,7	254,9	44,7

• Fonte: Elaboração própria, 2018.

Não dispensando análises adicionais que ultrapassam o objetivo deste artigo, no âmbito deste trabalho, tanto o INSE 2011 quanto a situação face à alfabetização da mãe constituem as variáveis para o controle do nível socioeconômico do aluno. Considera-se que as duas variáveis melhoram a operacionalização do construto nível socioeconômico do aluno, principalmente no grupo de alunos mais desfavorecidos. A justificativa encontra-se no fato do INSE 2011, obtido por meio de um modelo de resposta ao item, ter maior erro de medida nos extremos da escala. Assim, os alunos cujas mães não sabem ler nem escrever encontram-se tendencialmente na cauda à esquerda da distribuição de INSE. Ademais, os resultados obtidos e apresentados na próxima seção permitem concluir que não há efeito de multicolinearidade na presença de ambas as variáveis no modelo estatístico.

RESULTADOS

As variáveis-resposta Proficiências dos alunos na PB 2015, i.e, Proficiência LP e Proficiência MT, foram consideradas na escala padronizada para a modelagem estatística. O mesmo com as variáveis que representam o conhecimento prévio dos alunos, respectivamente, as proficiências em LP e MT aferidas pela PB 2011, e com INSE.

As estimativas dos parâmetros fixos e aleatórios dos modelos ajustados encontram-se nas Tabelas 4 , 5 e 6 . De acordo com o modelo nulo LP (M0, Tabela 4 ), a variância total da proficiência LP é 0,769 e a variância total da proficiência MT é 0,653 (M0, Tabela 9). Se o modelo nulo tivesse sido aplicado aos dados de proficiência LP de todos os alunos que prestaram a PB 2015 com desempenho estimado, a variância total da proficiência na escala única padronizada do Saeb/1997 seria de 0,87658 ² em LP e de 0,79884 ² em MT (cf. Anexo I).

Tabela 4
Modelos de Resultados Contextualizados e de Valor Acrescentado

	M0-LP		M1-LP		M2-LP		M0-MT		M1-MT		M2-MT
	Estim.	EP	Estim.	EP	Estim.	EP	Estim.	EP	Estim.	EP	Estim.	EP
Constante	-0.080	0.041	-0.041	0.037	0.636	0.014	-0.025	0.041	0.021	0.036	0.432	0.013
INSE2011			0.085	0.001	0.025	0.001	–	–	0.116	0.001	0.041	0.001
Conhecimento prévio 2011					0.648	0.001	–	–	–	–	0.586	0.001
Nível: UF
Variância	0.044	0.012	0.035	0.010	0.005	0.001	0.045	0.012	0.033	0.009	0.004	0.001
Nível: MUNICIPIO
Variância	0.025	0.001	0.023	0.001	0.008	0.000	0.028	0.001	0.026	0.001	0.010	<0.001
Nível: ESCOLA
Variância	0.053	0.001	0.047	0.001	0.025	0.000	0.046	0.001	0.040	0.001	0.022	<0.001
Nível: ALUNO
Variância	0.653	0.001	0.645	0.001	0.416	0.001	0.540	0.001	0.535	0.001	0.352	<0.001

• Fonte: Elaboração própria (2018).

Tabela 5
MVAT+ e MCR+, LP

LP	M3		M4
	Estimat.	EP	Estimat.	EP
Const	0.521	0.035	0.003	0.062
INSE_2011	0.030	0.001	0.086	0.001
Conhecimento prévio 2011	0.618	0.001	–	–
R_Norte	-0.017	0.042	-0.251	0.079
R_Nordeste	-0.020	0.040	-0.248	0.074
R_Sul	0.020	0.050	0.003	0.094
R_Centro-Oeste	0.068	0.049	-0.005	0.091
DA_Federal	0.398	0.036	0.769	0.045
DA_Municipal	0.067	0.003	0.061	0.004
L_Rural	-0.011	0.005	-0.086	0.006
Feminino	0.135	0.001	0.213	0.002
aTrabalha_2011	-0.104	0.002	-0.297	0.003
aTrabalha_2015	-0.133	0.002	-0.198	0.003
aMaeAlfab_2015	0.070	0.003	0.169	0.004
aPardo	-0.043	0.002	-0.104	0.002
aPreto	-0.093	0.002	-0.196	0.003
aAmarelo	-0.015	0.004	-0.059	0.005
aIndigena	-0.042	0.005	-0.088	0.006
a_RC_nao_sei	-0.131	0.003	-0.285	0.004
Nível: UF
Variância	0.004	0.001	0.015	0.004
Nível: MUNICIPIO
Variância	0.008	<0.001	0.020	0.001
Nível: ESCOLA
Variância	0.023	<0.001	0.038	0.001
Nível: ALUNO
Variância	0.399	0.001	0.598	0.001

• Fonte: Elaboração própria.

Tabela 6
MVAT+ e MCR+, MT

MT	M3		M4
	Estimat.	EP	Estimat	EP
Const	0.436	0.027	0.277	0.058
INSE_2011	0.035	0.001	0.097	0.001
Conhecimento prévio 2011	0.577	0.001	–	–
R_Norte	-0.017	0.035	-0.293	0.074
R_Nordeste	0.010	0.032	-0.261	0.070
R_Sul	0.018	0.041	0.002	0.088
R_Centro-Oeste	0.065	0.040	-0.050	0.085
DA_Federal	0.616	0.033	0.991	0.043
DA_Municipal	0.065	0.003	0.056	0.004
L_Rural	-0.021	0.004	-0.046	0.006
Feminino	-0.092	0.001	-0.192	0.002
aTrabalha_2011	-0.040	0.002	-0.182	0.003
aTrabalha_2015	-0.070	0.002	-0.102	0.002
aMaeAlfab_2015	0.058	0.003	0.145	0.004
aPardo	-0.038	0.002	-0.087	0.002
aPreto	-0.088	0.002	-0.190	0.003
aAmarelo	-0.015	0.003	-0.043	0.004
aIndigena	-0.047	0.005	-0.099	0.006
a_RC_nao_sei	-0.089	0.003	-0.225	0.004
Nível: UF
Variância	0.003	0.001	0.013	0.004
Nível: MUNICIPIO
Variância	0.010	<0.001	0.024	0.001
Nível: ESCOLA
Variância	0.020	<0.001	0.035	0.001
Nível: ALUNO
Variância	0.348	0.001	0.519	0.001

• Fonte: Elaboração própria.

A variância das proficiências foi decomposta por meio do coeficiente de partição da variância (Goldstein; Browne; Rasbash, 2002). Verificamos que em LP, 85% da variância total se situa entre unidades de nível 1 (Aluno), 7% entre unidades de nível 2 (Escola), 4% entre unidades de nível 3 (Município) e 5% entre unidades de nível 4 (UF). Em MT, 83% são referentes à variabilidade entre alunos, 7% entre escolas, 5% entre municípios e 6% entre unidades da federação (M0, Tabela 4 ). O teste de hipóteses para a variância – sob a hipótese nula, a variância é zero e na hipótese alternativa é maior do que zero – indica que o parâmetro aleatório associado a cada um dos quatro níveis da hierarquia de dados é estatisticamente diferente de zero, motivo pelo qual decidimos manter a estrutura hierárquica de quatro níveis ao longo dos modelos apresentados.

O modelo 1 (M1-LP e M1-MT, Tabela 1 ), do tipo MRC, contextualiza os resultados de proficiência com a inclusão da variável INSE. Tanto em LP como MT se confirma a relação linear entre ambas as variáveis, tal como consta da literatura científica em educação/sociologia e, também na brasileira, desde os primeiros trabalhos de análise e modelagem dos dados do SAEB 1997 ( Barbosa e Fernandes, 2000 ). O modelo M2 é do tipo MVAT, incluindo o conhecimento prévio do aluno, além do INSE. Em qualquer deles se verifica a influência do nível socioeconômico na proficiência LP e MT. Contudo, podemos observar que a magnitude da estimativa diminui consideravelmente de M1 para M2 nos dois domínios avaliados. Da comparação entre as estimativas obtidas de M1 e M2, confirmamos a covariância espúria entre nível socioeconômico e proficiência devida à omissão das variáveis que representam conhecimento prévio (proficiência LP 2011 e proficiência MT 2011). Adicionalmente, através do coeficiente de determinação, constatamos que M1 tem capacidade explicativa de 3% da variabilidade de proficiência LP e 4% da variabilidade da proficiência MT, enquanto o modelo M2 tem capacidade explicativa em torno de 41%. Focando no nível dos alunos, a variância de nível 1 explicada pelo modelo M2 é aproximadamente 36%.

De acordo com M2, a proficiência LP 2015 aumenta em média 0,65 ponto por cada unidade adicional na proficiência LP 2011, mantendo controlado o nível socioeconômico do aluno. De forma semelhante, a proficiência MT 2015 aumenta em média 0,59 ponto por cada unidade adicional na proficiência MT 2011. No que se refere à quantificação da influência do nível socioeconômico do aluno nos resultados escolares, este modelo sugere que a proficiência LP 2015 aumenta em média 0,025 ponto e a proficiência MT aumenta em média 0,041 ponto, por cada unidade adicional no nível socioeconômico do aluno.

O modelo M3 ajustado para proficiência LP ( Tabela 5 ) e para proficiência MT ( Tabela 6 ) acrescenta variáveis sociodemográficas do aluno, tais como sexo, raça/cor, situação face ao trabalho em 2011, em 2015, se a mãe do aluno é ou não é alfabetizada. Também inclui a região, dependência e localização da escola. Na generalidade, verificam-se os resultados já registrados na literatura. Ou seja, a diferença de desempenho nos testes de 9 ^o ano ou 8 ^a série da PB 2015 favorecem os sujeitos do sexo masculino em MT e os do sexo feminino em LP, comparativamente com o grupo de alunos autodeclarados de raça/cor branca, todos os restantes grupos apresentam menor desempenho, a situação face ao trabalho reduz a proficiência em LP e em MT e os alunos cuja mãe é alfabetizada atingem em média melhores resultados do que aqueles cuja mãe não sabe ler e escrever. A estimativa do coeficiente associado alfabetização da mãe tem valor maior do que a estimativa do coeficiente associado ao nível socioeconômico. Apesar da escala das variáveis ser diferente, pois alfabetização da mãe é uma variável binária (sim/não), INSE foi ajustado para ter uma escala normal padrão. Ainda assim, tal comparação denota a existência de subgrupos de alunos extremamente desfavorecidos para quem a escola pode fazer toda a diferença. De acordo com este modelo, nenhuma das grandes regiões apresenta diferença estatisticamente significativa quando comparada com Sudeste. No que se refere à localização e dependência administrativa, verifica-se que os alunos que frequentam escolas federais têm, em média, mais 0,62 ponto em MT (e 0,40 em LP) do que os colegas das escolas estaduais, e que os alunos das escolas municipais atingem, em média, mais 0,065 ponto em MT (e 0,067 em LP) do que os das estaduais. Os alunos das escolas urbanas têm resultados ligeiramente melhores nos testes da Prova Brasil: em média, mais 0,021 ponto em MT e 0,019 em LP.

O modelo M4 não contém a variável de conhecimento prévio. Comparativamente com as estimativas de M3, pode observar-se que todas as estimativas dos coeficientes aumentam (em valor absoluto) e que aparece o efeito diferenciador associado à região, ou seja, os alunos que estudam nas regiões Norte e Nordeste têm a proficiência reduzida comparativamente à dos colegas que estudam das demais regiões. A comparação das estimativas dos dois modelos sugere que, já em 2011, quando esses alunos frequentavam o 5 ^o ano, tinham proficiência diferenciada por região. Fenômeno semelhante decorre da análise comparativa das estimativas associadas às demais variáveis. Em geral, as estimativas do MRC+ são maiores em valor absoluto do que as do MVAT+, conforme ilustrado nos Gráficos 1 e 2 , destacando-se a magnitude do conhecimento prévio principalmente em LP. A principal explicação tem a mesma natureza da comparação de MRC com MVAT.

Gráfico 1
Comparação das Estimativas dos Parâmetros Fixos MVAT+ e MRC+, LP

Gráfico 2
Comparação das Estimativas dos Parâmetros Fixos MVAT+ e MRC+, MT

DISCUSSÃO

Neste artigo foram utilizados modelos de resultados contextualizados e de valor acrescentado aos dados longitudinais da Prova Brasil 2011 e 2015, nas dimensões da aprendizagem de Matemática e de Língua Portuguesa (leitura). Alguns resultados são inovadores relativamente ao estado da arte da pesquisa em eficácia educacional no Brasil; outros vêm reforçar o conhecimento acumulado em educação. Confirma-se que o nível socioeconômico do aluno, alfabetização da mãe e situação face ao trabalho têm influência nos resultados obtidos pelo aluno na Prova Brasil 2015. Tais efeitos mantêm-se, mesmo controlando pelo conhecimento prévio do aluno. Contudo, nesta situação, aqueles efeitos perdem magnitude. Confirma-se ainda que as proficiências por categoria de cor/raça indicam as diferenças registradas na literatura, isto é, o grupo de alunos autodeclarado “branco” obtém o maior desempenho em LP e MT comparativamente com os demais grupos cor/raça, e o grupo autodeclarado “preto” obtém o menor desempenho juntamente com o grupo de alunos que responde “Não sei”. Contudo, também verificamos que a inclusão da variável conhecimento prévio do aluno contribui para que as diferenças nas proficiências PB 2015 associadas a raça/cor percam magnitude. Adicionalmente, a comparação dos resultados que incluem as regiões do país sugerem que as diferenças ou desigualdades entre elas na aferição educacional decorrem das diferenças existentes nos anos iniciais do ensino fundamental. Ou seja, a comparação das estimativas dos dois modelos (MVAT+ e MRC+) sugere que, em 2011, quando esses alunos frequentavam o 5 ^o ano, a proficiência já se diferenciava em função das regiões do país. E que, as diferenças regionais reportadas na literatura em etapas posteriores, são realmente devidas àquelas diferenças. Portanto, combater as desigualdades educacionais no que se refere a raça/cor, nível socioeconômico, gênero, diferenças territoriais, localização (urbana vs rural) impõe maior concentração do esforço educativo nos anos iniciais do ensino fundamental.

O modelo nulo para as proficiências LP e MT possibilita a decomposição da variância e indica que 85% da variabilidade dos dados encontra-se entre unidades de nível 1 (Aluno), 7% entre unidades de nível 2 (Escola), 4% entre unidades de nível 3 (Município) e 5% entre unidades de nível 4 (UF). Os resultados obtidos confirmam, em nível nacional, o argumento exposto por Ferrão (2014) , com base na evidência obtida com dados referentes ao município de Campinas, de que as estimativas do efeito-escola obtidas aplicando-se modelos de valor acrescentado são consideravelmente menores do que aquelas obtidas a partir de modelos de resultados contextualizados. Também confirmam que a magnitude das estimativas obtidas tende a contradizer a literatura internacional sobre o tamanho do efeito-escola em países em desenvolvimento. Segundo Sammons (2007) , o tamanho do efeito-escola encontrado nos estudos de países em desenvolvimento é geralmente muito maior do que em países desenvolvidos. Este estudo traz evidência contrária, pois a magnitude do efeito-escola nele aferido pelo indicador de valor acrescentado é similar ao reportado em países desenvolvidos. Adicionalmente, com base no modelo nulo, observa-se variabilidade da proficiência dos alunos entre municípios e entre Unidades da Federação. Todavia, essa variabilidade é explicada quase totalmente pelo modelo de valor acrescentado, sugerindo que o conhecimento prévio do aluno é a variável que mais contribui para diferenciar os municípios e as UFs entre si, corroborando a afirmação acima sobre diferenças entre regiões do país.

O modelo de valor acrescentado tradicional apresenta capacidade explicativa em torno de 41% da variabilidade total de proficiência e 36% na variabilidade no nível 1 (Aluno). Em outras palavras, a nota pregressa do aluno na PB 2011, no 5 ^o ano, é responsável por volta de 36% da variabilidade explicada da nota no 9 ^o ano, na PB 2015. Isso indica que o grau de preparação do aluno no 1 ^o segmento de estudos do EF parece ser basilar para o sucesso na sua trajetória escolar futura. O fato de que, de acordo com o modelo de valor acrescentado, a proficiência LP 2015 aumenta em média 0,65 ponto por cada unidade adicional na proficiência LP 2011, mantendo controlado o nível socioeconômico do aluno e, de forma semelhante, a proficiência MT 2015 aumenta em média 0,59 ponto por cada unidade adicional na proficiência MT 2011, conduz a essa mesma conjectura.

No que se refere à quantificação da influência do nível socioeconômico do aluno nos resultados escolares, este modelo sugere que a proficiência LP 2015 aumenta em média 0,025 ponto e a proficiência MT aumenta em média 0,041 ponto, a cada unidade adicional no nível socioeconômico do aluno. Esses resultados reforçam, assim, a relevância de se tomar em conta o conhecimento prévio dos alunos, além de sua condição socioeconômica, nos estudos sobre eficácia educacional. Pode-se supor que a relação entre INSE e desempenho é mais baixa do que tem sido reportado na literatura devido ao efeito de seleção de alunos, decorrente do emparelhamento dos dados de 2011 e 2015. O conjunto de dados em análise refere-se à subpopulação discente que progrediu entre o 5 ^o e o 9 ^o ano sem qualquer reprovação e, face ao conhecimento que temos sobre a associação entre reprovação e NSE, diz respeito a um público mais favorecido quanto ao nível socioeconômico. Adicionalmente, a subpopulação apresenta menor variabilidade quanto ao nível socioeconômico comparativamente com a população discente do 5 ^o ano/4 ^a série da PB 2011. Considerando todos os alunos que se submeteram à PB em 2011, a matriz de correlação entre INSE, proficiência em MT e proficiência em LP contém valores ligeiramente maiores que os apresentados acima, mas ainda denotam uma correlação baixa: 0,24 em LP e 0,27 em MT, quando comparada à obtida em outros estudos. Importa recordar, no entanto, que a população em estudo na PB é constituída apenas pelos alunos de escolas públicas com progresso regular entre o 5 ^o e o 9 ^o ano, enquanto noutros a população é constituída por todos os alunos de escolas públicas e privadas. Nestes termos, é preciso ponderar os dois aspectos seguintes. Primeiro, que muito do progresso regular dos alunos nos anos finais do EF se deve a redes que implantaram alguma política de não-repetência, o que atenua, em certa medida, o argumento do favorecimento desses alunos, pois quando se está numa rede com progressão, a progressão é menos afetada pelo NSE ( Ferrão, Beltrão e Santos, 2002 ). Segundo, o argumento de que o efeito-escola é maior nos países subdesenvolvidos parece estar associado à ideia de que, em virtude de precárias condições socioeconômicas, a escola teria mais chance de fazer diferença na vida desses alunos. Porém, os resultados dos alunos de trajetória regular não nos permitiram confirmar empiricamente esse resultado com base no modelo de valor acrescentado. Ele confirma-se no modelo de resultados contextualizados. Tal comparação põe em evidência todo o potencial da escola pública brasileira nos anos iniciais do EF como espaço privilegiado para reduzir as desigualdades na população discente e garantir que a performance do sistema educativo se caracterize globalmente pela qualidade e pela equidade. Ora, aquele tipo de seleção reflete uma característica de desempenho do sistema educativo brasileiro, que ainda é marcado por elevada taxa de reprovação. Sabendo-se que são tendencialmente os alunos mais desfavorecidos socioeconomicamente os sujeitos à reprovação precoce, que é um forte preditor de reprovação tardia ( Brophy, 2006 ; Ferrão, 2015; Ribeiro, 1991 ), e que a probabilidade individual de reprovação aumenta quando o aluno frequenta uma escola com maior proporção de alunos repetentes ( Ferrão; Costa; Matos, 2017 ), tem-se uma explicação possível para a seleção de escolas envolvidas na Prova Brasil 2015 a integrarem a modelagem de dados deste artigo. As escolas restantes foram implicitamente excluídas da análise devido à constituição da sua população discente. Na sequência do fenômeno de seleção, torna-se obrigatória a análise e modelagem da coorte de alunos do 5 ^o ano que em 2011 participaram na PB 2011 na perspectiva do fenômeno (in)sucesso do aluno, trabalho em curso.

Os resultados deste estudo suscitam questões relacionadas à promoção de políticas e ações destinadas à melhoria da qualidade e equidade no sistema educacional. Por um lado, ao sugerir a natureza cumulativa da contribuição do sistema escolar para a redução das desigualdades, indica a necessidade de se repensarem as políticas para a melhoria da qualidade da educação com equidade. Por outro, ao trazer à tona a relevância do conhecimento/desempenho prévio do aluno como variável determinante do desempenho escolar posterior, reforça a necessidade de se dar mais atenção e melhorar a qualidade da educação nas primeiras etapas da educação básica. Atentando-se para os resultados da Avaliação Nacional da Alfabetização (ANA) 2016, em que mais de 50% dos alunos avaliados tiveram sua proficiência localizada nos dois níveis mais baixos das escalas de leitura e de matemática, torna-se bastante evidente a urgência de medidas que garantam a aprendizagem nessa etapa e evitem que a escolarização futura desses alunos seja comprometida.

Uma implicação política das evidências deste estudo parece ser inequívoca. Combater as desigualdades sociais e educacionais obriga à maior atenção aos anos iniciais da escolaridade e, principalmente, à atenção especial e ao reforço educativo aos subgrupos desfavorecidos socioeconomicamente, a grupos minoritários tais como o constituído pelos alunos autodeclarados de cor/raça preta e cujas famílias têm menor nível socioeconômico e educacional.

Por outro lado, o fato de os modelos aqui utilizados também sugerirem diferenças na proficiência dos alunos devidas à dependência administrativa das escolas – em geral, os alunos que frequentaram escolas estaduais apresentam em média menor desempenho relativamente aos seus colegas que frequentaram escolas federais ou municipais – reforça o argumento sobre a necessidade de se adotar esta família de modelos para monitorar a contribuição da escola no desenvolvimento da população discente. No que se refere ao efeito das variáveis sociodemográficas e de grupos minoritários, a análise das estimativas obtidas aconselha que o modelo a adotar deve incluir no preditor linear, além do nível socioeconômico e conhecimento prévio do aluno, as variáveis sexo, cor/raça, situação do aluno face ao trabalho, e situação de alfabetização da mãe – enquanto se verificar efeito estatisticamente diferente de zero. Deste modo, o sistema de avaliação pode monitorar ao longo do tempo os grupos desfavorecidos e, assim, fornecer subsídios à decisão política para o planejamento de programas e medidas de caráter focalizado, que visem à melhoria da qualidade, mas com equidade, da rede pública da educação. Simultaneamente, permite a avaliação do impacto de políticas, programas e medidas na atenuação das desigualdades sociais e educacionais.

Se tivessem sido selecionadas outras coortes, os resultados poderiam ser ligeiramente diferentes. Nessa perspectiva, é muito importante desenvolver uma investigação mais ampla que contemple diferentes coortes e diferentes etapas, isto é, a modelagem apresentada neste artigo precisa ser generalizada a outras coortes de alunos e a outros níveis de ensino, prioritariamente nos anos iniciais do ensino fundamental. Esta prioridade decorre dos resultados aqui apresentados que mostram a importância do conhecimento do aluno no 5 ^o ano de escolaridade e do seu percurso anterior no desempenho/sucesso que o aluno atinge após quatro anos. Resultados similares foram registrados em estudo longitudinal realizado para aferir o valor acrescentado da coorte de alunos que fizeram a ANA 2013, no 3 ^o ano do EF, e a PB 2015, no 5 ^o ano do EF. Nele também foi constatada a relevância do conhecimento prévio na determinação dos resultados ulteriores ( Silva; Carvalho, 2017 ). Tais resultados confirmam ainda a evidência obtida sobre o desempenho dos alunos nos primeiros anos do ensino fundamental nos estudos que aplicaram o modelo de valor acrescentado aos dados do GERES 2005 do município Campinas ( Ferrão e Couto, 2013 ) ou de outros municípios ( Soares et al., 2017 ).

Por fim, apesar do caráter inovador do artigo e da relevância dos resultados nele contidos, concretamente em termos da contribuição para a literatura em educação e implicações para a política educativa, é necessária alguma cautela na generalização dos resultados apresentados. Além da seleção implícita da coorte analisada, deve-se notar que a estrutura hierárquica da população discente em análise considerou os alunos agrupados na escola onde prestaram a Prova Brasil 2015. Ou seja, a escola de chegada foi a considerada na estrutura multinível dos modelos estatísticos. A assunção de que os alunos ali realizaram a formação entre o 5 ^o ano e o 9 ^o ano precisa ser validada. Assim, uma das implicações para efeitos de pesquisa futura é a de quantificar a mobilidade dos alunos entre escolas e quantificar o efeito da mobilidade dos alunos nos indicadores escolares, entre os quais no indicador de valor acrescentado. Na mesma linha, será de grande valia para a pesquisa em educação e para a política educativa, a quantificação do efeito-escola de longo prazo, buscando resposta à seguinte pergunta: “Quanto é que a escola onde o aluno realiza os anos iniciais do ensino fundamental influencia o desempenho do aluno nos anos finais desta etapa ou no ensino médio?”.

REFERÊNCIAS BIBLIOGRÁFICAS

• ALMEIDA, Leandro. S. (2009), A relevância e complexidade do “valor acrescentado”: Os méritos do “Projecto 3EM”. In: Modelo de Valor Acrescentado: algumas evidências a partir do projecto 3EM, com discussão . Covilhã, Universidade da Beira Interior.
• ALVES, Maria Teresa G.; FERRÃO, Maria Eugénia. (2019), “A educação básica brasileira está mais eficaz? Análise da proficiência e aprovação segundo a Prova Brasil”. Submetido .
• ALVES, Maria Teresa G.; SOARES, José Francisco, XAVIER, Flávia P. (2016), “Desigualdades educacionais no ensino fundamental de 2005 a 2013?: hiato entre grupos sociais”. Revista Brasileira de Sociologia , 4 (7), pp. 49–81.
• ALVES, Maria Teresa G.; SOARES, José Francisco. (2008), “O efeito das escolas no aprendizado dos alunos: Um estudo com dados longitudinais do Ensino Fundamental”. Educação e Pesquisa , São Paulo, vol. 34, n ^o 3, pp. 527-544.
• BARBOSA, Maria Eugénia F.; FERNANDES, Cristiano. (2000), “Modelo multinível: uma aplicação a dados de avaliação educacional”. Estudos em Avaliação Educacional , vol. 22, pp. 135-153.
• BARBOSA, Maria Eugénia F.; FERNANDES, Cristiano. (2001), “A escola brasileira faz diferença? Uma investigação dos efeitos da escola na proficiência em matemática dos alunos da 4^asérie”. In: FRANCO, C. (Ed.), Avaliação, Ciclos e Promoção na Educação . Porto Alegre, Artmed Editora. pp. 155-172.
• BARNARD, George A. (1973), “Discussion of a paper by V.P. Godambe and M.E. Thompson, Bayes, Fiducial and Frequencist Aspects of Regression Analysis in Survey-sampling”. Journal of the Royal Statistical Society, B , vol. B, n ^o 33, pp. 361-390.
• BROOKE, Nigel; BONAMINO, Alicia. (Eds.) (2011), GERES 2005: Razões e Resultados de uma Pesquisa Longitudinal sobre Eficácia Escolar . Rio de Janeiro, Walprint.
• BROPHY, Jere. (2006), Grade Repetition . Paris: UNESCO.
• CÂMARA DOS DEPUTADOS. (2014), Plano Nacional de Educação 2014-2024. Lei n^o13.005, de 25 de junho de 2014, que aprova o Plano Nacional de Educação (PNE) e dá outras providências. Brasília, Edições Câmara.
• CARNOY, Martin; KHAVENSON, Tatiana; FONSECA, Izabel; COSTA, Leandro; MAROTTA, Luana. (2015), “A Educação Brasileira está Melhorando? Evidências do PISA e do SAEB”. Cadernos de Pesquisa , vol. 45, nE 157), pp. 450–485.
• FERRÃO, Maria Eugénia. (2014), “School Effectiveness Research Findings in the Portuguese Speaking Countries: Brazil and Portugal”. Educational Research for Policy and Practice , vol. 13, n ^o 1, pp. 3-24.
• FERRÃO, Maria Eugénia. (2017), “Estatística educacional e política pública: A propósito dos modelos de valor acrescentado”. Educação & Sociedade , vol. 39, n ^o 142, pp. 19–38.
• FERRÃO, Maria Eugénia; BELTRÃO, Kaizô I.; SANTOS, Dennis. (2002), “Políticas de Não-Repetência e a Qualidade da Educação: Evidências Obtidas a partir da Modelagem dos Dados da 4^asérie do SAEB-99”. Est. Aval. Educ. , vol. 26, pp. 47–73.
• FERRÃO, Maria Eugénia, BELTRÃO, Kaizô I., FERNANDES, Cristiano, SANTOS, Dennis, SUÁREZ, Maytê, & ANDRADE, Adler C. (2001), “O SAEB–Sistema Nacional de Avaliação da Educação Básica: Objetivos, características e contribuições na investigação da escola eficaz”. Revista Brasileira de Estudos de População , vol. 18, pp. 111–130.
• FERRÃO, Maria Eugénia; COSTA, Patricia M.; MATOS, Daniel Abud S. (2017), “The relevance of the school socioeconomic composition and school proportion of repeaters on grade repetition in Brazil: a multilevel logistic model of PISA 2012”. Large-scale Assessments in Education , vol. 5, n ^o 1, p. 7, 7 dez.
• FERRÃO, Maria Eugénia; COUTO, Alcino. (2013), “Indicador de valor acrescentado e tópicos sobre consistência e estabilidade: uma aplicação ao Brasil”. Ensaio: Avaliação e Políticas Públicas em Educação , vol. 21, n ^o 78, pp. 131-164, mar.
• FERRÃO, Maria Eugénia; COUTO, Alcino P. , (2014), “The use of a school value-added model for educational improvement: a case study from the Portuguese primary education system”. School Effectiveness and School Improvement , vol. 25, n ^o 1.
• FERRÃO, Maria Eugénia; FERNANDES, Cristiano. (2003), “O efeito-escola e a mudança –dá para mudar? Evidências da investigação brasileira”. REICE – Revista Electrónica Iberoamericana sobre Calidad, Eficacia Y Cambio en Educación , vol. 1, n ^o 1.
• FERRÃO, Maria Eugénia; GOLDSTEIN, Harvey. (2009), “Adjusting for measurement error in the value added model: Evidence from Portugal”. Quality and Quantity , vol. 43, n ^o 6.
• GOLDSTEIN, Harvey. (1986), “Multilevel mixed linear model analysis using iterative generalized least squares”. Biometrika , vol. 73, n ^o 1, pp. 43-56.
• GOLDSTEIN, Harvey. (1989), “Restricted unbiased iterative generalised least-squares estimation”. Biometrika , vol. 76, n ^o 3, pp. 622-623.
• GOLDSTEIN, Harvey. (1997), “Methods in school effectiveness research”. School Effectiveness and School Improvement , vol. 8, n ^o 4, pp. 369–395.
• GOLDSTEIN, Harvey; BROWNE, William; RASBASH, Jon. (2002), “Partitioning variation in multilevel models”. Understanding Statistics , vol. 1, n ^o 4, pp. 223-231, 2 dez.
• GOLDSTEIN, Harvey; RASBASH, Jon. (1992), “Efficient Computational Procedures for the Estimation of Parameters in Multilevel Models based on Iterative Generalised Least Squares”. Computational Statistics and Data Analysis , vol. 13, pp. 63-71.
• HOPKINS WG (2000). A New View of Statistics , Disponível em: < http://newstatsi.org >. Acesso em 02 de fevereiro de 2018.
  » http://newstatsi.org
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP) [s.n.], Indicador de nível socioeconômico das escolas de educação básica (INSE) participantes da Avaliação Nacional da Alfabetização (ANA) Nota técnica . Brasília-DF. Disponível em: < http://portal.inep.gov.br/basica-levantamentos-acessar> .
  » http://portal.inep.gov.br/basica-levantamentos-acessar>
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). (2011), Microdados Saeb . Banco de dados, 2011. Disponível em: http://portal.inep.gov.br/basica-levantamentos-acessar
  » http://portal.inep.gov.br/basica-levantamentos-acessar
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA (INEP). (2015), Microdados Saeb . Banco de dados, 2015. Disponível em: < http://portal.inep.gov.br/basica-levantamentos-acessar> .
  » http://portal.inep.gov.br/basica-levantamentos-acessar>
• KARINO, Camila A.; LAROS, Jaap A. (2017), “Estudos Brasileiros sobre Eficácia Escolar: Uma Revisão de Literatura”. Revista Examen , vol. 1, n ^o 1, pp. 95-126, jul./dez.
• KLEIN, Ruben. (2003), “Utilização da teoria de resposta ao item no Sistema Nacional de Avaliação da Educação Básica (SAEB)”. Revista Ensaio , vol. 11, n ^o 40, pp. 283-296.
• MATOS, Daniel A. S.; FERRÃO, Maria Eugénia. (2016), “Repetência e Indisciplina: Evidências de Brasil e Portugal no Pisa 2012”. Cadernos de Pesquisa , vol. 46, n ^o 161, pp. 614-636, set.
• MORTIMORE, Peter. (1998), The Road to Improvement: Reflections on School Effectiveness . Lisse, Swets & Zeitlinger Publishers.
• RASBASH, Jon et al. (2014), MLwiN 2.31BristolCentre for Multilevel Modelling . University of Bristol.
• RAUDENBUSH, Stephen W., & WILLMS, J. Douglas. (1995), “The Estimation of School Effects”. Journal of Educational and Behavioral Statistics , vol. 20, n ^o 4, pp. 307-335.
• REYNOLDS, David. (2010). Failure-Free Education? The Past, Present, and Future of School Effectiveness and School Improvement . Abingdon and New York, Routledge.
• RIBEIRO, Sérgio C. (1991), “A Pedagogia da Repetência”. Estudos Avançados , vol. 12, n ^o 5, pp. 7-21.
• SAMMONS, Pamela. (2007). School Effectiveness and Equity: Making Connections . Disponível em http://www.cfbt.com/evidenceforeducation/pdf/Full LiteratureReview.pdf
  » http://www.cfbt.com/evidenceforeducation/pdf/Full LiteratureReview.pdf
• SAMMONS, Pamela; HILLMAN, Josh; MORTIMORE, Peter. (1995), Key Characteristics of Effective Schools: a Review of School Effectiveness Research . London, Office for Standards in Education (OFSTED).
• SAMMONS, Pamela; THOMAS, Sally; MORTIMORE, Peter. (1997), Forging Links: Effective Schools and Effective Departments. London, Paul Chapman.
• SAUNDERS, Lesley. (1999), “A Brief History of Educational “Value Added”: How Did we get to Where we are?” School Effectiveness and School Improvement , vol. 10, n ^o 2, pp. 233–256.
• SCHEERENS, Jaap; BOSKER, Roel. (1997), The Foundations of Educational Effectiveness . Oxford, Pergamon.
• SILVA FILHO, Geraldo; CARVALHO, Regina. (2017), O Efeito da Formação Inicial do Professor sobre o Desempenho Escolar em Matemática nos Anos Iniciais do Ensino Fundamental / Geraldo Andrade da Silva Filho; Maria Regina Viveiros de Carvalho. Brasília, Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, Série Documental Textos para Discussão, 43.
• SOARES, José F. (2004), “Qualidade e Eqüidade na Educação Básica Brasileira: A Evidência do SAEB-2001”. Archivos Analíticos de Políticas Educativas , vol. 12, n ^o 38, pp. 1-28.
• SOARES, José F.; ALVES, Maria Teresa G. (2013), “Efeitos de escolas e municípios na qualidade do ensino fundamental”. Cadernos de Pesquisa , vol. 43, n ^o 149, pp. 492-517.
• SOARES, José F.; DELGADO, Victor Maia S. (2016), “Medida das Desigualdades de Aprendizado entre estudantes de ensino fundamental’. Estudos em Avaliação Educacional , vol. 27, nE 66, pp. 754–780.
• SOARES, Tufi M. et al. (2017), “Modelos de valor agregado para medir a eficácia das escolas Geres”. Ensaio: Avaliação e Políticas Públicas em Educação , vol. 25, n ^o 94, pp. 59-89.
• TEDDLIE, Charles.; REYNOLDS, David. (2000), The International Handbook of School Effectiveness Research . London and New York, Routledge/Falmer.
• THOMPSON, Mary E. (2006), “Superpopulation models”. In: KOTZ, S. et al. (Eds.), Encyclopedia of Statistical Sciences . 2. ed. New Jersey, John Wiley & Sons Inc. pp. 8437-8442.
• TRAVITZKI, Rodrigo; FERRÃO, Maria Eugénia; COUTO, Alcino P. (2016), “Atenuação das Desigualdades Educacionais e Socioeconómicas na População Brasileira Pré-Universitária: Uma Visão a partir da Análise de Dados do ENEM”. Education Policy Analysis Archives , vol. 24, n ^o 74.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2018

Histórico

• Recebido
  28 Mar 2018
• Aceito
  27 Nov 2018