Acessibilidade / Reportar erro

O efeito das escolas no aprendizado dos alunos: um estudo com dados longitudinais no Ensino Fundamental

The effect of schools on pupil's learning: a study with longitudinal data in Fundamental Education

Resumos

Nas pesquisas sobre o efeito das escolas, reconhece-se uma clara distinção entre desempenho escolar e aprendizado. A primeira noção se refere ao nível de desempenho em alguma etapa da escolarização, e a segunda, à aquisição de conhecimentos durante a trajetória escolar. Há um consenso na literatura que, para se estudar o sucesso de escolas específicas, é preciso analisar a segunda noção com dados longitudinais. O objetivo deste estudo é medir o efeito das sete escolas públicas de Belo Horizonte semelhantes quanto à localização e ao perfil socioeconômico. O estudo se baseou em dados longitudinais coletados em dois anos e com início na 5ª série. Os alunos foram submetidos a testes cognitivos em três ocasiões. Eles também responderam a um questionário contextual para levantar informações sobre suas características demográficas, socioeconômicas e outros dados. O efeito das escolas no aprendizado foi analisado com modelos multiníveis de regressão para dados longitudinais, nos quais as escolas foram incluídas com variáveis indicadoras. Os resultados mostraram que os alunos com nível inicial mais baixo, em média, progrediram mais que os alunos com nível inicial mais alto, embora as diferenças de nível persistam no final do estudo. Os atributos socioeconômicos dos alunos têm muito impacto na explicação de diferenças no nível inicial, mas apenas algumas têm impacto no aprendizado dos alunos, dependendo da disciplina e da série. Este estudo tem contribuições metodológicas importantes para a investigação do efeito das escolas em perspectiva longitudinal.

Efeito-escola; Pesquisa longitudinal; Ensino Fundamental


In the studies on the effects of schools there is a clear distinction between pupil's performance at school and learning. The former notion refers to the level of performance at some stage of the process of schooling, whereas the latter is related to the acquisition of knowledge along the school trajectory. There is a consensus in the literature around the fact that, in order to study the success of individual schools, one has to analyze the latter notion using longitudinal data. The objective of the present study is to measure the effect of seven public schools of the city of Belo Horizonte, which are similar in terms of their location and socioeconomic profile. The study is based on longitudinal data collected during two years starting at the 5th grade. The students were subjected to cognitive tests at three moments. They also responded to an in-context questionnaire to gather information on their demographic and socioeconomic characteristics, amongst other data. The effect of schools on learning was analyzed with multilevel regression models for longitudinal data, in which the schools entered with indicator variables. The results have shown that, on average, students with lower initial level improved more than students with higher initial level, although differences in level remain at the end of studies. The socioeconomic attributes of pupils have large impact on the explanation of differences of initial level, but only some of them have impact on pupils' learning, depending on the discipline and grade. This study offers important methodological contributions to the investigation of the effect of schools under a longitudinal perspective.

School effect; Longitudinal research; Fundamental education


ARTIGOS

O efeito das escolas no aprendizado dos alunos: um estudo com dados longitudinais no Ensino Fundamental* * A pesquisa que possibilitou a produção deste artigo contou com o apoio do CNPq, por meio de bolsa de doutorado, e da Fundação Ford, no âmbito da doação feita ao Grupo de Avaliação e Medidas Educacionais da Faculdade de Educação - GAME/FAE - UFMG.

The effect of schools on pupil's learning: a study with longitudinal data in Fundamental Education

Maria Teresa Gonzaga AlvesI; José Francisco SoaresII

IFundação João Pinheiro

IIUniversidade Federal de Minas Gerais

Correspondência Correspondência: Maria Teresa Gonzaga Alves Fundação João Pinheiro - CEPP Alameda das Acácias, 70 31275-150 - Belo Horizonte - MG e-mail: teresa.alves@fjp.mg.gov.br

RESUMO

Nas pesquisas sobre o efeito das escolas, reconhece-se uma clara distinção entre desempenho escolar e aprendizado. A primeira noção se refere ao nível de desempenho em alguma etapa da escolarização, e a segunda, à aquisição de conhecimentos durante a trajetória escolar. Há um consenso na literatura que, para se estudar o sucesso de escolas específicas, é preciso analisar a segunda noção com dados longitudinais. O objetivo deste estudo é medir o efeito das sete escolas públicas de Belo Horizonte semelhantes quanto à localização e ao perfil socioeconômico. O estudo se baseou em dados longitudinais coletados em dois anos e com início na 5ª série. Os alunos foram submetidos a testes cognitivos em três ocasiões. Eles também responderam a um questionário contextual para levantar informações sobre suas características demográficas, socioeconômicas e outros dados. O efeito das escolas no aprendizado foi analisado com modelos multiníveis de regressão para dados longitudinais, nos quais as escolas foram incluídas com variáveis indicadoras. Os resultados mostraram que os alunos com nível inicial mais baixo, em média, progrediram mais que os alunos com nível inicial mais alto, embora as diferenças de nível persistam no final do estudo. Os atributos socioeconômicos dos alunos têm muito impacto na explicação de diferenças no nível inicial, mas apenas algumas têm impacto no aprendizado dos alunos, dependendo da disciplina e da série. Este estudo tem contribuições metodológicas importantes para a investigação do efeito das escolas em perspectiva longitudinal.

Palavras-chave: Efeito-escola - Pesquisa longitudinal - Ensino Fundamental.

ABSTRACT

In the studies on the effects of schools there is a clear distinction between pupil's performance at school and learning. The former notion refers to the level of performance at some stage of the process of schooling, whereas the latter is related to the acquisition of knowledge along the school trajectory. There is a consensus in the literature around the fact that, in order to study the success of individual schools, one has to analyze the latter notion using longitudinal data. The objective of the present study is to measure the effect of seven public schools of the city of Belo Horizonte, which are similar in terms of their location and socioeconomic profile. The study is based on longitudinal data collected during two years starting at the 5th grade. The students were subjected to cognitive tests at three moments. They also responded to an in-context questionnaire to gather information on their demographic and socioeconomic characteristics, amongst other data. The effect of schools on learning was analyzed with multilevel regression models for longitudinal data, in which the schools entered with indicator variables. The results have shown that, on average, students with lower initial level improved more than students with higher initial level, although differences in level remain at the end of studies. The socioeconomic attributes of pupils have large impact on the explanation of differences of initial level, but only some of them have impact on pupils' learning, depending on the discipline and grade. This study offers important methodological contributions to the investigation of the effect of schools under a longitudinal perspective.

Keywords: School effect - Longitudinal research - Fundamental education.

Nos últimos 20 anos, o Brasil avançou muito em termos de educação formal, com Ensino Fundamental praticamente universalizado e com a grande expansão do Ensino Médio. No entanto, se por um lado os índices de cobertura do ensino não deixam dúvidas quanto ao sucesso das políticas públicas para melhoria da taxa de escolarização da população em idade escolar, por outro, o país tem ainda muitos desafios no setor. Atualmente, a cobertura da educação infantil é muito baixa e o fluxo de alunos durante a Educação Básica é bastante insatisfatório, principalmente no Ensino Médio (Klein, 2006). Entretanto, são os baixos níveis de aprendizado dos alunos, conforme os resultados das avaliações dos sistemas de ensino conduzidas pelo governo federal, alguns estados e municípios e estudos comparativos internacionais, o que mais vem se destacando em relação à qualidade da Educação do Brasil1 1 . No site do Instituto Nacional de Pesquisas Educacionais (INEP - www.inep.gov.br), pode-se consultar os resultados de vários sistemas de avaliação da Educação implementados no Brasil como, por exemplo, o Sistema de Avaliação da Educação Básica (SAEB), com resultados divulgados para as edições de 1995 a 2005; e o Programa Internacional de Avaliação de Alunos (PISA), com resultados das edições de 2000 e 2003. . Essas avaliações, de uma forma geral, têm revelado novas fases das desigualdades educacionais no país, com um quadro bem crítico da Educação em relação à qualidade do ensino e às disparidades de desempenho escolar entre os estratos regionais e sociais.

Para entender esses resultados educacionais, estudos com os dados de avaliação dos sistemas de ensino conduzidos no país mostram que a maior parte da variação nos resultados escolares pode ser explicada por fatores extra-escolares associados, principalmente, devido à origem social dos alunos (Soares, 2005), como é recorrente na literatura educacional (Forquin, 1995). Apesar disso, o valor remanescente, explicado por fatores escolares, é suficientemente alto para mostrar que existe variação entre as escolas, ou seja, a escola freqüentada faz diferença na vida do aluno (Ferrão-Barbosa; Fernandes, 2001).

Nas últimas décadas, o interesse pela investigação do efeito das escolas cresceu em vários países do mundo, com inúmeros trabalhos publicados, sobretudo, nos Estados Unidos, Inglaterra, Holanda e Austrália (Teddlie; Reynolds, 2000). Esse tipo de investigação procura analisar o impacto dos processos escolares sobre os resultados dos alunos e diminuir as diferenças entre grupos sociais, após o controle dos fatores macroestruturais associados à origem social dos alunos e ao contexto escolar. Na literatura dessa área específica no campo da Sociologia da Educação, reconhece-se que o grande impulso para as pesquisas sobre o efeito das escolas ocorreu a partir da publicação dos resultados de grandes surveys educacionais conduzidos ao longo dos anos 1960 e 1970 nos países desenvolvidos. Estes, de uma maneira geral, tinham como principal objetivo investigar a importância relativa dos fatores escolares e extra-escolares para os resultados dos alunos, a fim de subsidiar políticas públicas educacionais. Dentre os trabalhos da época, o mais influente é o Relatório Coleman, lançado em 1966, que teve um enorme impacto nas políticas públicas nos Estados Unidos e na Sociologia da Educação de uma forma geral (Coleman et al., 1966). Os resultados do Relatório Coleman, amplamente divulgados, levaram à conclusão que a maior parte das desigualdades tem origem nas famílias e no contexto social das escolas, e que as escolas não fazem diferença. Desde o seu lançamento, inúmeros estudos travam debates com as teses defendidas pelos autores que, apesar de polêmicas, não foram ainda completamente refutadas (Mosteller; Moynihan, 1972; Dreeben, 2000).

A partir dos anos 1990, houve uma grande evolução dessa linha de pesquisa, favorecida, em grande parte, pelo desenvolvimento de novas metodologias de análise para dados educacionais2 2 . Especialmente os modelos de regressão múltipla multiníveis, também conhecidos como modelos hierárquicos e respectivos programas computacionais. As pesquisas educacionais foram fundamentais para a evolução dos modelos multiníveis. Dois dos mais conhecidos softwares para análise de dados organizados em estrutura hierárquica (Mlwin e HLM) foram desenvolvidos no âmbito das Faculdades de Educação na Inglaterra e nos Estados Unidos. . Os pesquisadores também passaram a reconhecer a importante distinção entre desempenho escolar (achievement) e aprendizado (learning). Enquanto a primeira noção diz respeito a um determinado nível de desempenho, o aprendizado, também identificado como o progresso dos alunos, diz respeito à aquisição de conhecimentos, de habilidades, de crescimento intelectual ou físico ou de mudanças (nem sempre positivas) que ocorrem na trajetória escolar. O aprendizado é central para a Educação, porque reflete os processos que ocorrem com os alunos durante o tempo em que eles estão na escola (Doran, 2003; Franco, 2001; Goldstein et al., 1999; Singer; Willett, 2003). No entanto, para que essa dimensão seja incorporada nas pesquisas sobre o efeito das escolas, é necessário dispor de dados longitudinais, que permitem analisar o quanto elas contribuem para o aprendizado dos alunos devido às suas políticas e práticas durante o tempo que eles estiverem nelas matriculados. A coleta de dados longitudinais é considerada, atualmente, padrão nas pesquisas sobre o efeito das escolas conduzidas nos principais países produtores de pesquisa.

No Brasil, as investigações sobre o efeito das escolas são bem recentes. A literatura nacional sobre o tema começou a crescer bastante na última década, principalmente a partir da disponibilização dos dados do Sistema de Avaliação da Educação Básica (SAEB) pelo Instituto Nacional de Pesquisas Educacionais (INEP) do Ministério da Educação e Desporto (MEC) que, desde 1995, produz dados comparáveis (Alves, 2006b; Franco; Bonamino, 2001; Soares, 2005). No entanto, apesar da relevância dos trabalhos nacionais, eles são baseados em pesquisas com desenho metodológico limitado para se investigar o efeito das escolas. O SAEB e outros levantamentos semelhantes realizados nos estados e municípios brasileiros coletam dados transversais, com a aplicação de testes de desempenho em algumas disciplinas escolares (geralmente Matemática e Língua Portuguesa) no final da 4ª e da 8ª séries do Ensino Fundamental e no fim do 3º ano do Ensino Médio.

No estudo relatado neste texto, foram selecionadas sete escolas públicas (quatro estaduais e três municipais), localizadas na mesma região administrativa de Belo Horizonte, com o objetivo de se investigar, por meio da coleta de dados longitudinais, o efeito de cada uma delas para o aprendizado de seus alunos. A escolha das escolas visou controlar alguns fatores de heterogeneidade entre elas. Como todas são escolas públicas e atendem à mesma região da cidade, num cenário ideal, assumindo-se equivalência dos projetos pedagógicos, não existiriam diferenças entre elas e a expectativa de aprendizado dos alunos seria muito próxima em qualquer uma. Por outro lado, se houver diferença entre as escolas, mesmo levando-se em consideração a diversidade do alunado, provavelmente isso refletirá o efeito do contexto e dos processos dessas escolas.

Este estudo é resultado de uma pesquisa piloto de natureza exploratória, porque o número de escolas é pequeno e se trata de uma experiência pioneira no Brasil. Até o momento, não há publicações com resultados de pesquisas brasileiras sobre o efeito de escolas com desenho longitudinal. Sabe-se que o INEP realizou um estudo longitudinal entre a 4ª e a 8ª séries, com uma amostra de escolas das regiões norte, centro-oeste e nordeste, durante os anos de 1999 a 2003. No entanto, esses dados não foram ainda divulgados e publicados. Atualmente, existe um grande projeto semelhante em andamento, o projeto GERES3 3 . Detalhes sobre o GERES podem ser consultados no sítio www.geres.ufmg.br - Geração Escolar 2004 -, que acompanha uma coorte de alunos a partir do segundo ano de escolarização (alunos com sete anos) por quatro anos, mas o planejamento desta pesquisa antecedeu ao GERES, que conta com a participação de várias universidades, inclusive a UFMG, por meio do Grupo de Avaliação e Medidas Educacionais da Faculdade de Educação (GAME). No âmbito deste, muitas das decisões sobre o GERES foram influenciadas e discutidas em relação à experiência desta pesquisa.

Dados da pesquisa

Nas sete escolas públicas selecionadas, os alunos foram acompanhados a partir do início da 5ª série (ou ciclo equivalente) durante dois anos. No primeiro ano, ocorreram duas ondas de coleta de dados (uma no início e outra no final do ano) e, no segundo ano, com os alunos na 6ª série, ocorreu a terceira onda. Quando os resultados desta pesquisa foram discutidos pela primeira vez, houve um questionamento sobre a pertinência de se caracterizá-la como um estudo longitudinal, devido ao pequeno número de ondas de coleta de dados, e também uma sugestão para que a pesquisa fosse definida como um painel. Embora os comentários tenham sido muito válidos, optou-se por manter a terminologia "longitudinal", que é mais utilizada na pesquisa educacional sobre o efeito das escolas, haja vista que esse termo caracteriza o tipo de dado coletado, que é o mais importante para o tipo de pesquisa em foco, e não apenas a sistemática para a coleta dos dados, ainda que os termos possam ser intercambiados (Frees, 2004).

Em cada uma das ondas, os alunos responderam a testes de matemática e de língua portuguesa, com ênfase em leitura e interpretação de textos. Os testes foram compostos por itens pré-testados do Banco de Itens do GAME-UFMG, construído a partir de itens públicos usados pelo SAEB e pelo projeto Nova Escola, ambos desenvolvidos pela Fundação Cesgranrio, além de itens elaborados pelos professores das escolas4 4 . Registra-se aqui o agradecimento da equipe do GAME à Nilma Fontanive, da Fundação Cesgranrio, pela autorização para o uso dos itens. .

O uso desses itens públicos viabilizou a equalização da escala de desempenho dos alunos da pesquisa com a escala do SAEB, ou seja, as duas escalas têm a mesma interpretação substantiva. A interpretação pedagógica dessa escala indica o que o aluno sabe e consegue fazer com a proficiência que tem. Também informa quando o desempenho está em nível adequado, satisfatório ou apenas supera o que é básico5 5 . A metodologia de construção da proficiência do SAEB está descrita em Klein e Fontanive (1995) e a interpretação pedagógica da escala do SAEB, em Fontanive (2005). Registra-se aqui um agradecimento especial ao Ruben Klein, da Fundação Cesgranrio, por sua disponibilidade em responder às dúvidas sobre o processo de equalização. . Além disso, a equalização possibilitou a validação dos resultados da pesquisa por meio da comparação das proficiências obtidas pelos alunos no início do estudo longitudinal com os resultados divulgados sobre o desempenho das escolas em avaliações sistêmicas oficiais. A referência foram os resultados dos alunos no nível da 4ª série do Ensino Fundamental, que foram avaliados pelo Sistema Mineiro de Avaliação Educacional (SIMAVE) nas mesmas escolas da amostra. Esses resultados são mais diretamente comparáveis porque a primeira onda desta pesquisa ocorreu logo depois da conclusão da 4ª série (com os alunos no início da 5ª série).

Para a construção dessa escala, os escores dos alunos obtidos nos testes foram interpretados como proficiências, isto é, como uma evidência do aprendizado expressa por meio de um parâmetro de modelo da Teoria da Resposta ao Item - TRI (Hambleton, 1993; Valle, 2000). Na análise de dados longitudinais, a TRI apresenta grandes vantagens porque permite a expressão das proficiências dos alunos obtidas em diferentes momentos em uma mesma escala que, nesse caso, varia entre 100 a 500. Os detalhes sobre a produção dos escores dos alunos com o uso da TRI e a equalização das proficiências, bem como os algoritmos utilizados estão descritos em Alves (2006a).

Participaram da pesquisa 1194 alunos, distribuídos nas sete escolas. No entanto, menos de 50% destes estiveram presentes nas três ondas, principalmente por mudanças no alunado de um ano para o outro devido a transferências ou retenções. De forma mais precisa, há 575 alunos com dados completos (três observações); 252 com duas observações, que possibilitam uma análise do aprendizado durante o estudo, porém de forma limitada; e 367 com apenas uma observação, que trazem informações sobre a escola, mas apenas em um ponto específico da trajetória.

As mudanças no grupo de alunos se revelaram um fator importante para a compreensão da dinâmica própria de cada uma das escolas que, em maior ou menor grau, excedeu ao que foi previsto no início do estudo longitudinal. No entanto, essa é uma característica estrutural do sistema escolar brasileiro que não se pode desconsiderar em qualquer estudo com planejamento longitudinal. No entanto, apesar das mudanças nas bases dos alunos, existe uma relação de dependência entre as respostas dos próprios alunos (quando há três ou apenas duas observações de cada um deles) e entre os alunos, colegas da escola, mesmo que o grupo mude de uma onda para a outra. Diante dessa realidade, o desafio do trabalho foi encontrar a melhor solução para usar dados com essas limitações a fim de produzir estimativas do efeito das escolas, conforme será apresentado a seguir.

Apesar disso, o número reduzido de escolas e de alunos, comparativamente às amostras dos estudos em larga escala, ampliou as possibilidades de análises qualitativas para os sujeitos da pesquisa. Assim, em todas as escolas, foram realizadas entrevistas com profissionais e com famílias de alunos. Os resultados obtidos com as análises dos dados qualitativos serão objeto de análise em outro artigo, mas como são necessárias para a compreensão dos resultados gerais, algumas referências serão feitas na discussão.

Neste trabalho, as sete escolas são sempre referidas por números: escola 1, escola 2 etc.

Descrições dos resultados

Os resultados longitudinais gerais podem ser apreciados nos Gráficos 1 e 2, que mostram a descrição da evolução das médias dos alunos, por escola, nos testes de língua portuguesa e de matemática ao longo das três ondas.



Observa-se que na primeira onda as escolas estavam praticamente divididas em dois grupos, o que é mais evidente em matemática. O primeiro grupo com três escolas estaduais (E2, E3 e E4), cujas médias estavam acima de 200 pontos, e o outro, com as três escolas municipais (E5, E6 e E7) e mais uma estadual (E1), com médias abaixo de 190 pontos. No entanto, na segunda e na terceira onda, as escolas se tornaram muito mais parecidas. Em língua portuguesa, isso foi mais evidente, devido ao crescimento maior das médias dos alunos das escolas mais fracas e uma estabilidade ou decrescimento das médias dos alunos das escolas mais fortes. Em matemática, os dois grandes grupos se mantiveram, mas com uma distinção menos acentuada em comparação com o início do estudo6 6 . No Apêndice, estão as médias e os desvios-padrão das escolas em cada onda. .

A referência externa à escala do SAEB, explicada na seção anterior, foi importante para uma avaliação substantiva desses resultados, bem como a sua validação. Em (2006a), os resultados gerais por escola, na onda 1, foram comparados com os resultados disponíveis no SIMAVE para os alunos da 4ª série, que também foram equalizados com o SAEB. Os resultados dessa série são mais diretamente comparáveis porque a primeira onda ocorreu logo depois da conclusão desta (com os alunos no início da 5ª série) e as edições do SIMAVE ocorreram no final dos anos letivos de 2002 (língua portuguesa) e 2003 (matemática). A comparação, que serviu como um critério para validação dos resultados, mostrou que os resultados dos dois testes se aproximaram bastante.

Na aplicação da escala do SAEB, utilizouse a interpretação e nomenclatura adotadas pelo SIMAVE, que também adota essa escala. Os especialistas desse sistema estabeleceram alguns pontos de corte para definir níveis de desempenho desejáveis para os alunos das escolas de Minas Gerais, para cada série avaliada na Educação Básica. Assim, o SIMAVE recomenda que todos os alunos estejam no nível "básico" em relação à série avaliada. Espera-se, também, que um número substancial de alunos esteja acima do nível "adequado", mas não há um consenso sobre o percentual.

A Tabela 1 mostra o percentual de alunos das sete escolas com desempenho acima dos níveis "básico" e "adequado" nas três ondas e, como referência comparativa, as distribuições obtidas em alguns estudos em larga escala realizados no Brasil, que mostram o desempenho das escolas particulares de Minas Gerais (dados de 4ª série do SAEB) e do conjunto das escolas públicas de Belo Horizonte (dados de 4ª série do SIMAVE). Os resultados são para o teste de matemática.

A tabela mostra a grande diferença entre os resultados das escolas particulares e das escolas públicas. Enquanto as primeiras quase atingiram a meta de 100% dos alunos no nível básico ao final da 4ª série, nas escolas públicas de Belo Horizonte, esse índice não chegou a 60%. Os dados também mostram que as escolas desta pesquisa têm resultados superiores ao do conjunto das escolas públicas de Belo Horizonte. Entretanto, ainda são resultados ruins. Nota-se que, no início da 5ª série (onda 1), cerca de 35% dos alunos não haviam adquirido as habilidades esperadas no ano anterior (na 4ª série), e no final da 6ª série (onda 3), ainda há mais de 20% dos alunos abaixo do nível básico. Ou seja, dois anos depois, esses alunos ainda não alcançaram o que seria o mínimo esperado para a 4ª série.

Modelos de análise

As descrições apresentadas na seção anterior constituem uma visão parcial do fenômeno estudado. Isso porque o desempenho do aluno é fruto de muitos fatores que devem ser considerados, concomitantemente, ao se procurar explicar a trajetória entre as três ondas. Para isso, foram ajustados aos dados modelos multiníveis de regressão múltipla, que conseguem, por um lado, considerar todos os dados coletados e, ao mesmo tempo, incorporar a dependência existente entre as observações de um mesmo aluno e entre os alunos dentro das escolas (Raudenbush; Bryk, 2002). Os modelos multiníveis permitem uma grande flexibilidade para a análise de dados longitudinais, porque o intervalo entre as observações pode variar, assim como o número de observações, mas é desejável contar com, no mínimo, três observações por indivíduo.

Neste estudo, o uso dos modelos multiníveis aconteceu de forma bastante parcimoniosa. Como dito anteriormente, menos de 50% dos alunos participaram das três ondas. A existência de dados ausentes para uma grande parcela de alunos limitou as possibilidades de modelagem multinível. Por exemplo, os modelos multiníveis permitem examinar os padrões de progresso entre diferentes grupos por meio da estimativa da correlação entre o desempenho inicial e a taxa de crescimento. No entanto, para que essa estimativa seja válida, são necessárias mais que duas observações por unidade de análise a fim de compensar erros de medidas que podem subestimar o tamanho das desigualdades entre os grupos (Raudenbush; Bryk, 2002).

Além disso, com o estudo limitado a apenas sete escolas, não faria sentido considerá-las como um nível de análise. Nesse caso, a solução adotada foi incluí-las nos modelos de análise como variáveis indicadoras. Assim, em todos os modelos, os coeficientes das variáveis associadas às escolas devem ser interpretados como uma medida da diferença de seus respectivos efeitos em relação ao da escola tomada como referência. A escola 1 é tomada como a referência, mas essa escolha é arbitrária e não afeta de nenhuma forma os resultados.

De forma específica, este artigo responde às seguintes questões de pesquisa:

1. Qual foi o ganho médio dos alunos ao longo das três ondas?

2. Qual o efeito "puro" das escolas, depois de se retirar o efeito das variáveis do aluno, no nível inicial das trajetórias longitudinais destes?

3. Qual o efeito "puro" das escolas, depois de se retirar o efeito das variáveis do aluno, nos ganhos médios destes ao longo das três ondas?

Para responder a essas questões, foram usados modelos de análise estatística multinível cujos parâmetros permitem responder às questões citadas.

O ganho médio dos alunos ao longo das três ondas

O Modelo 1 foi ajustado aos dados para responder à primeira questão de pesquisa.

Os parâmetros do Modelo 1 têm os seguintes significados substantivos: a primeira equação diz que a proficiência (Profic) de um aluno i no tempo t pode ser descrita por meio de uma reta, na qual β0i é o valor médio da proficiência do aluno i na onda 1 (t = 0), e β1 é o ganho médio entre as três ondas para todos os alunos. Observa-se que o parâmetro β0i varia por aluno em torno de um valor típico, e o parâmetro β1 é o mesmo para todos os alunos. O índice t assume os valores 0, 1 ou 2 respectivamente para as ondas 1, 2 e 3. Embora seja possível ajustar modelos multiníveis para dados longitudinais com dados incompletos (alunos com uma ou duas observações), para que o parâmetro β1 pudesse ser aleatório, a fim de se estimar o impacto do nível inicial dos alunos em sua trajetória longitudinal por meio da correlação entre esses dois parâmetros (Seltzer et al., 2003), seria necessário um número bem maior de alunos como três ou no mínimo duas observações. No entanto, em testes preliminares com β1 variando por aluno, não se obteve estabilidade computacional. O número de iterações chegava a dois mil para os modelos com dados de língua portuguesa. Isso ocorre quando há um grau muito grande de incerteza devido ao número reduzido de informações por aluno. Por esse motivo, optou-se por manter apenas o parâmetro do nível inicial aleatório.

A Tabela 2 mostra os resultados do ajuste desse modelo para os testes de matemática e língua portuguesa.

Na Tabela 2, y00 é a proficiência média dos alunos no ponto inicial das suas trajetórias durante a pesquisa, valor somente conhecido depois que a trajetória foi observada. Esse construto será referido como "nível inicial". O parâmetro β1 é a taxa de crescimento do aluno ao longo das três ondas da pesquisa e representa a expectativa de mudança em cada período. Esse construto será referido como "onda".

A estimativa do nível inicial no Modelo 1 é de 199,9 pontos para matemática e 190 para língua portuguesa. O coeficiente de "onda" mostra que os alunos ganham, em média, de uma onda para a outra, 11,2 pontos em matemática e 13,9 pontos em português. Esses valores são bastante compatíveis com os observados no SIMAVE, especialmente em língua portuguesa, apesar de os dados não serem diretamente comparáveis. Os resultados dessa avaliação mostram que os alunos das escolas públicas de Belo Horizonte ganham, em média, a cada ano de escolaridade entre a 4ª e a 8ª série do Ensino Fundamental, 14 pontos em matemática e 13 pontos em português. Para chegar a esses valores, considerou-se que a diferença entre a proficiência média das escolas entre a 4ª e a 8ª série do EF é dividida por quatro (para contemplar as séries incluídas no intervalo, i.e., 5ª, 6ª, 7ª e 8ª), como uma estimativa do crescimento médio dos alunos da rede pública a cada série.

Esses resultados respondem à primeira questão de pesquisa.

O efeito das escolas no nível inicial da trajetória dos alunos

A resposta às duas questões seguintes exige que se considere, nos modelos de análise, o impacto tanto em β0i como em β1 de variáveis descritas no Quadro 1 que, segundo a literatura da área, são determinantes de desempenho escolar.


Assim, o Modelo 2 se distingue do modelo anterior por explicitar a dependência do nível inicial e da taxa de crescimento entre as ondas em relação às variáveis descritas no Quadro 1.

Observa-se que a variável rede não foi incluída diretamente no Modelo 2 devido à existência de multicolinearidade desta com as variáveis indicadoras de escola, isto é, há uma grande correlação entre elas. No entanto, a inclusão da variável "DEF*REDE" (a variável defasagem em interação com a variável rede) se justifica para se controlar o efeito das formas diferentes de progressão dos alunos nas duas redes. Na época da realização desta pesquisa, apenas a rede municipal organizava o ensino em ciclos por faixa etária. Assim, a ocorrência de alunos com defasagem era muito mais freqüente na rede estadual (Alves, 2006a).

O produto das variáveis rede e defasagem capta a interação dessas variáveis. Como ambas assumem apenas os valores zero e 1, seu produto se restringe também a esses valores. Assim, o valor 1 da interação ocorre quando as duas assumem esse valor, ou seja, a variável DEF*REDE contrasta os alunos defasados incluídos no sistema estadual com todos os outros. Portanto, na interpretação da interação, um coeficiente com sinal negativo significaria que os alunos da rede estadual com defasagem têm resultados piores que seus colegas da rede estadual sem defasagem e também dos alunos da rede municipal com ou sem defasagem. O sinal positivo significaria que os alunos da rede estadual com defasagem têm resultados melhores que todos os outros grupos.

A Tabela 3 apresenta um recorte dos resultados do ajuste do Modelo 2, referente ao impacto das variáveis no nível inicial (β0i). Os demais resultados estão na Tabela 4, na próxima seção.

O tema substantivo da segunda questão de pesquisa se refere ao efeito puro das escolas após o controle dos fatores do aluno (sexo, nível socioeconômico e defasagem) e da defasagem por rede no nível inicial dos alunos. A resposta a essa questão é obtida pelos coeficientes das escolas em β0i na equação de nível 2 do Modelo 2, ou seja, δ02 para a escola 2, δ03 para a escola 3, δ04 para a escola 4, δ05 para a escola 5, δ06 para a escola 6 e δ07 para a escola 7. Essa questão, vale destacar, equivale aos resultados dos estudos com dados transversais, porque mostra o impacto das escolas em um momento específico, no caso, na onda 1. No entanto, a abordagem deste estudo se difere porque o nível inicial foi estimado após toda a trajetória ter sido observada. Além disso, o nível inicial constitui uma variável de controle para a estimativa do crescimento dos alunos ao longo das três ondas.

Com o ajuste do Modelo 2, observa-se que os efeitos captados pelos coeficientes das escolas se diferenciam significativamente no seu impacto no nível inicial dos alunos nas duas disciplinas. Tomando-se a escola 1 como referência, os alunos das escolas 2, 3 e 4 têm um nível inicial, em média, bem mais alto que os das outras escolas com o sinal dos coeficientes a elas associados (δ02, δ03 e δ04, respectivamente) sempre positivos. Os alunos das escolas 5 e 6 (δ05 e δ06, respectivamente), ao contrário, têm um nível inicial abaixo dos alunos da escola referência e, portanto, com sinais negativos para os respectivos coeficientes. Entretanto, no caso dos alunos da escola 6 (δ06), a diferença não é significativa em matemática. Os alunos da escola 7 (δ07), apesar do sinal negativo dos respectivos coeficientes nas duas disciplinas, não se diferenciam significativamente dos alunos da escola referência. Com isso, respondese à segunda questão de pesquisa.

O efeito das escolas nos ganhos dos alunos ao longo das três ondas

A resposta à terceira questão de pesquisa é também construída a partir do ajuste do Modelo 2, porém observando-se os coeficientes das escolas em b1 na equação de nível 2 do modelo, isto é, δ12, δ13, δ14, δ15, δ16 e δ17 para as escolas 2, 3, 4, 5, 6 e 7, respectivamente. A Tabela 4, que é uma continuação da Tabela 3, mostra esses resultados.

Em relação à terceira questão de pesquisa, observa-se que o efeito das escolas na onda, após o controle dos fatores do aluno e do nível inicial, é muito pequeno, com algumas exceções: o efeito positivo dos coeficientes das escolas 2 e 7 (δ12 e δ17, respectivamente) em língua portuguesa; o efeito positivo da escola 5 (δ15) em matemática; e o efeito negativo da escola 4 (δ14) também em matemática. Ou seja, na maior parte das situações, após o controle das co-variáveis consideradas no modelo, o efeito das escolas no aprendizado dos alunos apenas contribui para que eles reproduzam as suas posições iniciais.

Impacto dos fatores do aluno no nível inicial e nos ganhos

Os impactos específicos das co-variáveis sexo, nível socioeconômico, defasagem e rede, embora consideradas no Modelo 2 prioritariamente para o controle do efeito das escolas, merecem uma leitura própria. Os coeficientes expressos na Tabela 3 mostram que a estimativa para o nível inicial das alunas é muito maior que para os alunos em língua portuguesa, e pior em matemática, mas esse último resultado não é significativo (coeficiente δ08). Da mesma forma, conforme mostra o coeficiente do sexo na onda (δ18), na Tabela 4, não há diferença significativa nos ganhos entre meninas e meninos ao longo do estudo em matemática, mas as alunas ganham mais que os alunos (em média de 8,4 pontos por onda) em língua portuguesa. Ou seja, as alunas saem na frente e crescem muito mais, aumentando a distância inicial em relação aos alunos.

Observa-se na Tabela 3 que o nível socioeconômico (NSE) tem um grande impacto positivo e significativo no nível inicial nas duas disciplinas (coeficientes δ09). No entanto, em relação aos ganhos na onda (apresentados na Tabela 4), apenas em matemática o coeficiente (δ19) é significativo. Isso evidencia que, nessa disciplina, os alunos com NSE mais alto, além do melhor desempenho inicial, também crescem, em média, mais que os alunos com NSE mais baixo.

Conforme a Tabela 3, alunos com defasagem idade-série têm nível inicial pior nas duas disciplinas, mas o efeito representado pelo coeficiente (δ010) é significativo apenas para língua portuguesa. No entanto, na interação dessa variável com a rede (δ011), o coeficiente negativo cresce muito para matemática e se torna significativo, ao contrário do que ocorre com o coeficiente para língua portuguesa. A interpretação disso é que os alunos com defasagem idade-série da rede estadual têm um nível inicial muito pior do que seus colegas da rede municipal, na qual os alunos, normalmente, são agrupados por idade quando entram no sistema público no município de Belo Horizonte. Na Tabela 4, observa-se que o impacto da defasagem na onda, significativo apenas na interação com a rede e em língua portuguesa (coeficiente δ111), sugere que os alunos com defasagem aprendem menos essa disciplina quando estão na rede estadual.

Discussão

O objetivo deste estudo foi medir o efeito das escolas no aprendizado dos alunos entre o início da 5ª série e o fim da 6ª série do Ensino Fundamental em sete escolas públicas (quatro estaduais e três municipais). Embora os estudos disponíveis no Brasil revelem que a variabilidade entre os resultados devida à escola é suficientemente alta de forma que a escola freqüentada faz diferença no desempenho dos alunos (Ferrão-Barbosa; Fernandes, 2001; Soares, 2005), a maior parte deles é ainda baseada em dados transversais, que não medem o efeito das escolas no aprendizado. Estudos internacionais mostram que, ao longo dos anos, o efeito das escolas se torna mais importante porque reflete a experiência de estar num determinado estabelecimento por anos acumulados (Singer; Willett, 2003).

Os resultados deste estudo mostraram que o desempenho das escolas incluídas na pesquisa é melhor que o do conjunto das escolas públicas de Belo Horizonte, embora com desempenho abaixo do nível "básico" esperado para alunos que já concluíram a 4ª série. Isso não deixa de ser um resultado preocupante, porque será muito difícil corrigir a defasagem em relação às habilidades que já deveriam ter sido conquistadas anteriormente se o ritmo de crescimento médio dos alunos não aumentar. Para que um aluno que está no nível básico na 4ª série chegue à 8ª série no mesmo nível, ele deve ganhar 75 pontos entre uma série e outra, aproximadamente 18,7 pontos na escala do SAEB em cada ano, mas os ganhos médios dos alunos que participaram deste estudo estão bem abaixo dessa meta. Chegou-se a essa meta considerando-se que o nível básico da 4ª série está no ponto 175 da escala, e o nível básico na 8ª série está no ponto 250 da mesma escala. Ou seja, 75 pontos separam esses dois níveis de referência. Supondo um progresso homogêneo entre a 4ª e a 8ª série, para que um aluno que está no nível básico na 4ª série chegue ao mesmo nível na 8ª série, ele teria que ganhar 18,7 pontos por ano (75 pontos dividido pelas quatro séries contidas no intervalo).

Apesar desses resultados gerais não serem muito bons, reconhece-se que a descrição dos resultados das escolas por onda, como os descritos na Tabela 1, constitui uma evidência apenas parcial. A coleta de dados longitudinais possibilitou uma análise mais original e mais completa sobre o efeito das escolas no aprendizado dos alunos.

O Quadro 2 sintetiza, com símbolos, os resultados do Modelo 2, que mostra o efeito das escolas após o controle dos fatores sexo, NSE, defasagem e defasagem*rede, no nível inicial e nos ganhos dos alunos durante o período do estudo.


Na síntese apresentada no Quadro 2, destaca-se que o efeito das escolas no nível inicial é bem mais evidente que o efeito nos ganhos. De uma forma geral, as escolas se tornaram muito mais parecidas no final do estudo, embora ainda com diferenças significativas. As escolas que tinham médias iniciais mais altas cresceram menos que as escolas com médias iniciais mais baixas. Isso deixa evidente que o efeito das escolas no aprendizado dos alunos pode ser subestimado com dados transversais.

Observa-se que, mesmo com o controle dos fatores dos alunos, persistem diferenças entre as escolas no nível inicial. Vale lembrar que essa medida (nível inicial) equivale ao resultado dos estudos sobre o efeito das escolas com dados transversais, porque se refere a um ponto específico estimado para a trajetória do aluno. No entanto, os achados mais originais desta pesquisa estão nos resultados sobre os ganhos dos alunos, também após o controle dos fatores dos alunos, ao longo do período analisado. Esses resultados constituem as evidências sobre o efeito das escolas no aprendizado.

Assim, em relação aos ganhos, destacam-se a escola 2 (em língua portuguesa), a escola 5 (em matemática), e a escola 7 (em língua portuguesa), comparativamente ao resultado da escola 1 (referência). A escola 4 apresentou efeito negativo nas duas disciplinas, mas significativo apenas em matemática.

A escola 2 apresentou ganhos positivos nas duas disciplinas, porém significativo apenas em língua portuguesa, com o mais alto coeficiente observado entre todas as escolas. Nessa escola, a mesma professora de língua portuguesa acompanhou os alunos nas duas séries e houve troca de professora de matemática de um ano para outro. Esse resultado sugere que o efeito cumulativo da professora pode ter contribuído para diferenças tão marcantes entre as disciplinas. Entretanto, não há como controlar o impacto desse fator nos modelos de análise, devido ao pequeno número de escolas e professores envolvidos7 7 . Essa questão específica foi explorada em outro tipo de modelo de análise, com o qual se verificou o efeito das escolas em cada uma das séries. No entanto, por questão de espaço, optou-se por não expor neste artigo esses resultados, que estão apresentados em Alves (2006a). Em outro trabalho, essa questão também foi discutida, porém com outro tipo de modelo de análise, por meio do qual se analisou o impacto da formação de turmas por nível de habilidade (Alves; Soares, 2007). .

No entanto, nas escolas 5 e 7, observaram-se os efeitos positivos nos ganhos mesmo com mudanças na equipe de professores de um ano para outro. No final do primeiro ano da pesquisa, os alunos dessas escolas mudaram de ciclo, o que significou mudança em todos os professores e coordenadores na nova etapa das escolas. Assim, nesses casos, não foi o efeito cumulativo dos professores que contribuiu para os resultados positivos, mas o trabalho do professor de cada série e dos demais profissionais ao longo dos dois anos.

Para as escolas 5 e 7, os resultados positivos nos ganhos, embora não sejam igualmente significativos nas duas disciplinas, são importantes porque mostram que, apesar do nível inicial mais baixo, as escolas fizeram diferença no aprendizado dos seus alunos em comparação com a escola referência (escola 1). Esses resultados são consistentes com as descrições das trajetórias longitudinais segundo alguns fatores associados aos alunos (especialmente o NSE, a defasagem, o sexo e a cor/raça) que mostraram que os grupos menos favorecidos melhoraram o desempenho no segundo ano do estudo (Alves, 2006a). Em entrevistas com profissionais dessas escolas, constatou-se que os alunos com grandes defasagens eram considerados prioritários. Como disse um professor de matemática da escola 7, ao explicar sua prática para lidar com a heterogeneidade de seus alunos, "a estratégia seria a paciência mesmo, é dar tempo ao tempo, quer dizer o ensino da disciplina flui com mais lentidão [...], paciência ao explicar, entender as deficiências de cada um". Na escola 5, todos os entrevistados deixaram evidente a prioridade da escola em relação aos alunos em situação de risco, como exemplificam as falas de duas professoras:

[...] aqui é uma escola que inclui alguns e exclui outros. Eu sinto que alunos que estão acima da média eles não têm muito espaço não. Então a gente fica o tempo inteiro pensando nesses alunos que têm mais dificuldade (professora de matemática); a gente preocupa muito com esses pobres coitados, que eu morro de dó, que tem uma série de dificuldades [...] às vezes eu brinco e falo: ´esses meninos são muito heróis´ (professora e coordenadora do 2º ciclo).

Na época da coleta de dados, essas escolas desenvolviam projetos para atender às necessidades dos alunos com dificuldades, como horários de atendimento em pequenos grupos e um acompanhamento pedagógico mais próximo. O efeito perverso dessa prática é que essas escolas podem se tornar desestimulante para os bons alunos8 8 . Foge ao escopo deste trabalho a apresentação e discussão dos resultados obtidos com entrevistas das famílias de alunos, mas se registra que as evidências colhidas com esses dados mostram que uma das mais fortes motivações para mudança de escola é a avaliação dos pais de que a escola do filho é pouco estimulante para os estudos (Alves, 2006a). .

O resultado negativo da escola 4 é preocupante. A escola tem um nível inicial significativamente mais alto que o da escola de referência (escola 1). Além disso, a escola 4 tem o perfil de uma escola média, ou seja, não tem o alunado mais rico, mas também não é o mais pobre. Tem alunos com defasagem idade-série, mas não está na pior situação nesse indicador. Considerando esse perfil, o resultado contraria as expectativas, mas as evidências obtidas nas entrevistas mostraram que a escola 4, na época da pesquisa, tinha muitas dificuldades nos fatores escolares analisados (infra-estrutura, ambiente, professores e relação família-escola), o que talvez explique os resultados ruins. No entanto, não há como controlar o impacto desses fatores nos modelos de análise.

Quanto às escolas que saíram na frente, com nível inicial mais alto, mas que perderam ritmo com ganhos menores (escola 2 e escola 3), os resultados sugerem que a trajetória dos alunos nessas escolas segue a lógica da reprodução. Mesmo havendo crescimento menor entre as ondas, as vantagens iniciais se transladaram para o ano seguinte, o que não sinaliza para redução das desigualdades escolares entre os grupos dentro das escolas. Nesse sentido, é sugestiva a análise de Grácio (2002) sobre concepções da teoria da reprodução nos processos educativos, que questiona o papel das escolas como produtoras ativas de desigualdades, acreditando que elas são apenas incapazes de efetivamente contrariar as desigualdades iniciais dos alunos. Segundo as entrevistas com os profissionais dessas escolas, eles fazem tudo para que o funcionamento seja o melhor possível, mas sem refletir no dia-a-dia sobre as próprias práticas pedagógicas. A diretora da escola 2, ao ser questionada sobre as práticas pedagógicas dos professores das turmas que participaram deste estudo, ressaltou que eles não vêm necessidade de mudanças, conforme suas palavras:

[...] [eles] são os profissionais mais antigos [...] e que foram treinados, de certa forma, a trabalhar mais individualmente [...], mais no tradicional, mais conteudismo, sabe? Têm mais resistência à mudança, ao novo, o novo assusta muito. É, eu acho que concentra mais profissionais que pensam assim: 'já sei, não quero saber, tenho raiva de quem sabe, eu aprendi assim, e vai ser assim até eu aposentar'.

Essas escolas resistem ao que possa mudar as práticas estabelecidas que têm garantido o próprio "sucesso". Como resumiu a diretora da escola 3: "a escola tem sido assim, uma resistência contra essas mudanças, que eu acredito que não levam a nada, entendeu?".

Outra novidade importante deste estudo foi mostrar, em perspectiva longitudinal, o impacto dos fatores dos alunos associados ao desempenho escolar. Assim, o incremento da distância entre meninos e meninas em língua portuguesa não deixa de ser preocupante porque aponta para um abismo no desenvolvimento das competências de leitura segundo o sexo. Isso também foi observado em um estudo longitudinal norte-americano que acompanhou uma coorte de alunos a partir da Educação Infantil (McCoach, 2003). Em matemática, a tendência foi bem mais equilibrada e socialmente justa. Apesar dos resultados mostrarem que os alunos tinham desempenho melhor que as alunas no nível inicial e nos ganhos entre as ondas, os valores observados foram baixos e não significativos.

O efeito do fator nível socioeconômico, como é recorrente nos estudos educacionais, foi positivo e muito forte. O que se espera é que as escolas possam reduzir o efeito desse fator na trajetória dos alunos, mas o ideal de equalização não se verificou. Os resultados mostram que as diferenças iniciais tendem a se manter ao se passar de uma onda para outra. Corroborando com resultados de outros estudos longitudinais (Lee; Burkam, 2002; McCoach, 2003), o efeito do nível socioeconômico é uma das principais fontes de desigualdade antes e durante a trajetória escolar.

O fator "defasagem", que mede o atraso escolar, foi analisado isoladamente e na iteração com a rede de ensino. Como esperado, o impacto desse fator no nível inicial foi negativo, ou seja, alunos com defasagem têm resultados piores, principalmente se matriculados na rede estadual (em relação aos resultados de matemática). A evidência é que a prática de repetência, inexistente na rede municipal, só atrapalha. No entanto, em relação aos ganhos entre as ondas para os resultados de língua portuguesa, os dados sugerem que o efeito da defasagem pode se reduzir com o tempo. Esse resultado, embora com coeficiente não significativo, pode ter captado a prioridade que algumas escolas davam ao desenvolvimento de competências associadas à leitura e à escrita em detrimento de outros conteúdos escolares, principalmente quando havia muitos alunos atrasados, de acordo com as entrevistas com professores e coordenadores.

Conclusão

Esta pesquisa teve como vantagens a produção de dados primários e longitudinais, a possibilidade de um planejamento adequado no que diz respeito ao uso de modelos de análise para o estudo do efeito das escolas. Mesmo se tratando de uma pesquisa piloto, o trabalho mostrou várias descobertas relevantes e trouxe contribuições metodológicas para o uso de modelos multiníveis para a análise de dados longitudinais, o que permitiu incorporar a dinâmica do processo de aprendizagem nos modelos de análise.

A apresentação dessa nova abordagem pode significar um desafio para as políticas públicas de avaliação de sistemas de ensino ao revelar que resultados pontuais medidos por meio de levantamentos transversais não constituem a melhor evidência para a avaliação das escolas em termos do aprendizado de seus alunos. Para isso, a experiência deste estudo mostra que, além da coleta de dados longitudinais, idealmente, deve-se realizar pelo menos duas ondas de coleta de dados em cada ano letivo, considerando as mudanças significativas na base de alunos de um ano para outro que se observa no sistema escolar.

Finalmente, os resultados sugerem que existe espaço para políticas e práticas escolares para minimizar, na escola, o efeito dos recursos associados à origem social. No entanto, também são necessárias políticas públicas para melhoria das escolas e de todos os alunos dentro das escolas. O desafio não é apenas garantir o aprendizado, mas um aprendizado com qualidade e com eqüidade entre os grupos sociais na escola. Alcançar os níveis básicos de ensino precisa se tornar a meta de todas as escolas, sem o que os filtros da seleção escolar continuarão bem atuantes.

Recebido em 17.04.07

Aprovado em 13.10.08

Maria Teresa Gonzaga Alves, mestre em Sociologia (Universidade de São Paulo), doutora em Educação (Universidade Federal de Minas Gerais), é pesquisadora em Ciência e Tecnologia e Gestora de Ensino e Pesquisa do Centro de Estudos de Políticas Públicas Paulo Camilo de Oliveira Penna (CEPP) da Fundação João Pinheiro (MG). E-mail: teresa.alves@fjp.mg.gov.br

José Francisco Soares, doutor em Estatística (University of Wisconsin - Madison), pós-doutorado em Educação (University of Michigan), é professor do Programa de Pós-Graduação em Educação da Universidade Federal de Minas Gerais e Coordenador do Grupo da Avaliação e Medidas Educacionais da Faculdade de Educação (GAME-FAE) da UFMG. E-mail: francisco-soares@ufmg.br

Descrição dos dados longitudinais

  • ALVES, M.T. G. Efeito-escola e fatores associados ao progresso acadêmico dos alunos entre o início da 5Ş série e o fim da 6Ş série do Ensino Fundamental: um estudo longitudinal em escolas públicas no município de Belo Horizonte. Tese (Doutorado)-Programa de Pós-Graduação em Educação-FAE, Universidade Federal de Minas Gerais, Belo Horizonte, 2006a. 202 p.
  • ______. As pesquisas sobre o efeito das escolas: constituição do campo de pesquisa e desenvolvimento no Brasil. In: IBIAPINA, I. M. L. M.; CARVALHO, M.V. C. (Orgs.). A pesquisa como mediação de práticas socioeducativas Teresina: EDUFPI, 2006b, p. 47-64.
  • ALVES, M. T. G.; SOARES, J. F. Efeito-escola e estratificação escolar: o impacto da composição de turmas por nível de habilidade dos alunos. Educação em Revista, Belo Horizonte, v. 45, p. 25-58, 2007.
  • COLEMAN, J. S. et al. Equality of educational opportunity Washington: US Government Printing Office, 1966.
  • DORAN, H. H. C. Value-added analysis: a review of related issues. Annual Meeting of the American Educational Research Association Chicago, april 21-25, 2003, 44 p.
  • DREEBEN, R. Structural effects in education: theoretical and methodological issues. In: HALLINAN, M. T. (Ed.). Handbook of the sociology of education New York: Kluwer Academic; Plenum Publishers, 2000.
  • FERRÃO-BARBOSA, M. E.; FERNANDES, C. A escola brasileira faz diferença? Uma investigação dos efeitos da escola na proficiência em matemática dos alunos da 4Ş série. In: FRANCO, C. (Ed.). Promoção, ciclos e avaliação educacional Porto Alegre: ArtMed, 2001, p. 155-172.
  • FONTANIVE, N. O uso pedagógico dos testes. In: SOUZA, A. M. (Ed.). Dimensões da avaliação educacional Petrópolis: Vozes, 2005, p.139-173.
  • FORQUIN, J.-C. A sociologia das desigualdades de acesso à educação: principais orientações, principais resultados desde 1965. In: ______. (Ed.). Sociologia da educação: dez anos de pesquisas. Petrópolis: Vozes, 1995. p.19-78.
  • FRANCO, C. O SAEB: potencialidades, problemas e desafios. Revista Brasileira de Educação, Rio de Janeiro, v. 17, n. 127-133, maio-ago., 2001.
  • FRANCO, C.; BONAMINO, A. Iniciativas recentes de avaliação da qualidade da educação no Brasil. Apresentação. In: FRANCO, C. (Org.). Promoção, ciclos e avaliação educacional Porto Alegre: ArtMed, 2001, p. 15-28.
  • FREES, E. Longitudinal and panel data: analysis and applications in the social sciences. Cambridge: Cambridge University Press, 2004.
  • GOLDSTEIN, H. H.; HUIQI,P.; RATH,T.; HILL, N.The use of value added information in judging school performance. OFSTED London: March, p. 22. 1999.
  • GRÁCIO, S. Versão forte ou versão matizada das teorias da reprodução cultural? Uma discussão. Educação, Sociedade & Cultura, Lisboa, v. 18, p. 41-66. 2002.
  • HAMBLETON, R. K. Principles and selected applications of item response theory. In: LINN, R. L. (Ed.). Educational Measurement 3. ed. Washington: American Council On Education; the National Council on Measurement in Education, 1993, p. 147-200.
  • KLEIN, R. Como está a educação no Brasil? O que fazer. Ensaio:Avaliação e Políticas Públicas em Educação, Rio de Janeiro, abr./ jun. 2006, v. 14, n. 51, p. 139-171.
  • KLEIN, R.; FONTANIVE, N. Avaliação em larga escala: uma proposta inovadora. Em aberto, Brasília, v. 66, p. 29-35. 1995.
  • LEE, V. E.; BURKAM, D. T. Inequality at the starting gate Washington: Economic Policy Institute, 2002.
  • McCOACH, D. E. Does grouping matter? A cross-classified random effects model of children's reading growth during the fist two years of school. 2003. 162 p. Dissertation. University of Connecticut, 2003.
  • MOSTELLER, F.; MOYNIHAN, D. P. On equality of educational opportunity Harvard University Faculty Seminar on the Coleman Report. Nova York: Random House, 1972.
  • RAUDENBUSH, S. W.; BRYK, A. Hierarchical linear models: applications and data analysis methods. Thousand Oaks; London; New Delhi: Sage, 2002.
  • SELTZER, M.; CHOI, K.; THUM,Y. M. Examining relationships between where students start and how rapidly they progress: using new developments in growth modeling to gain insight into the distribution of achievement within schools. Educational Evaluation and Policy Analysis, Washington, v. 25, n. 3, Fal., p. 263-286. 2003.
  • SINGER, J. D.; WILLETT, J. B. Applied longitudinal data analysis: modeling change and event occurrence. New York: Oxford University Press. 2003
  • SOARES, J. F. O efeito da escola no desempenho cognitivo de seus alunos. In: SOUZA, A. M. (Ed.). Dimensões da avaliação educacional Petrópolis: Vozes, 2005, p. 174-204.
  • SOARES, J. F.; ANDRADE, R. J. Nível socioeconômico, qualidade e equidade das escolas de Belo Horizonte. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 50, p. 107-126. 2006.
  • SOARES, T. M. Utilização da teoria da resposta ao item na produção de indicadores sócio-econômicos. Pesquisa Operacional, Rio de Janeiro, v. 25, n. 1, p. 83-112, 2005.
  • TEDDLIE, C.; REYNOLDS, D. The International Handbook of School Effectiveness Research London; New York: Falmer, 2000.
  • VALLE, R. C. Teoria da resposta ao item. Estudos em Avaliação Educacional, São Paulo, v. 21, jan./jun., p. 7-91. 2000.

Apêndice

  • Correspondência:
    Maria Teresa Gonzaga Alves
    Fundação João Pinheiro - CEPP
    Alameda das Acácias, 70
    31275-150 - Belo Horizonte - MG
    e-mail:
  • *
    A pesquisa que possibilitou a produção deste artigo contou com o apoio do CNPq, por meio de bolsa de doutorado, e da Fundação Ford, no âmbito da doação feita ao Grupo de Avaliação e Medidas Educacionais da Faculdade de Educação - GAME/FAE - UFMG.
  • 1
    . No site do Instituto Nacional de Pesquisas Educacionais (INEP -
    www.inep.gov.br), pode-se consultar os resultados de vários sistemas de avaliação da Educação implementados no Brasil como, por exemplo, o Sistema de Avaliação da Educação Básica (SAEB), com resultados divulgados para as edições de 1995 a 2005; e o Programa Internacional de Avaliação de Alunos (PISA), com resultados das edições de 2000 e 2003.
  • 2
    . Especialmente os modelos de regressão múltipla multiníveis, também conhecidos como modelos hierárquicos e respectivos programas computacionais. As pesquisas educacionais foram fundamentais para a evolução dos modelos multiníveis. Dois dos mais conhecidos softwares para análise de dados organizados em estrutura hierárquica (Mlwin e HLM) foram desenvolvidos no âmbito das Faculdades de Educação na Inglaterra e nos Estados Unidos.
  • 3
    . Detalhes sobre o GERES podem ser consultados no sítio
  • 4
    . Registra-se aqui o agradecimento da equipe do GAME à Nilma Fontanive, da Fundação Cesgranrio, pela autorização para o uso dos itens.
  • 5
    . A metodologia de construção da proficiência do SAEB está descrita em Klein e Fontanive (1995) e a interpretação pedagógica da escala do SAEB, em Fontanive (2005). Registra-se aqui um agradecimento especial ao Ruben Klein, da Fundação Cesgranrio, por sua disponibilidade em responder às dúvidas sobre o processo de equalização.
  • 6
    . No
    ApêndiceApêndice, estão as médias e os desvios-padrão das escolas em cada onda.
  • 7
    . Essa questão específica foi explorada em outro tipo de modelo de análise, com o qual se verificou o efeito das escolas em cada uma das séries. No entanto, por questão de espaço, optou-se por não expor neste artigo esses resultados, que estão apresentados em Alves (2006a). Em outro trabalho, essa questão também foi discutida, porém com outro tipo de modelo de análise, por meio do qual se analisou o impacto da formação de turmas por nível de habilidade (Alves; Soares, 2007).
  • 8
    . Foge ao escopo deste trabalho a apresentação e discussão dos resultados obtidos com entrevistas das famílias de alunos, mas se registra que as evidências colhidas com esses dados mostram que uma das mais fortes motivações para mudança de escola é a avaliação dos pais de que a escola do filho é pouco estimulante para os estudos (Alves, 2006a).
  • Datas de Publicação

    • Publicação nesta coleção
      09 Fev 2009
    • Data do Fascículo
      Dez 2008

    Histórico

    • Aceito
      13 Out 2008
    • Recebido
      17 Abr 2007
    Faculdade de Educação da Universidade de São Paulo Av. da Universidade, 308 - Biblioteca, 1º andar 05508-040 - São Paulo SP Brasil, Tel./Fax.: (55 11) 30913520 - São Paulo - SP - Brazil
    E-mail: revedu@usp.br