Uma Estratégia de Treinamento de Diretores Baseada em Dados

RESUMO

Neste artigo, descreve-se uma proposta para enfrentar o problema de equidade dentro de grandes redes municipais de ensino. Acredita-se que um programa de treinamento de diretores que use uma estratégia de mentoria entre pares seja capaz de melhorar o desempenho das escolas que apresentam consistentemente os piores resultados. Para defender a proposta, discuti-se experiências internacionais, trabalhos recentes que identificam pares de escolas geograficamente próximas, mas com desempenhos discrepantes e reporta-se os resultados de análises empíricas inéditas que revelam diferenças sistemáticas entre os diretores das escolas com performance boa e os diretores de escolas em risco.

Keywords
Basic Education; Bottom-up Regulation; School Management

ABSTRACT

In this paper, we describe a proposal to address the problem of equity within large municipal school networks. A principal training program that uses a peer mentoring strategy is believed to be able to improve the performance of schools that consistently perform the worst. To make the case for the proposal, we discuss international experiences, recent work that identifies peers from geographically close schools that nonetheless perform very differently and report the results of novel empirical analyses that reveal systematic differences between principals of schools performing well and principals of schools at risk.

Palavras-chave
Educação Básica; Regulação Bottom-up; Gestão Escolar

Introdução

Na cidade do Rio de Janeiro, escolas nos primeiros anos da educação básica no Rio saíram de uma nota de 4,6 no IDEB de 2007 para 5,7 em 2017¹. Essa melhora, porém, não ocorreu de maneira uniforme em todas as escolas. Algumas escolas melhoraram bastante, enquanto outras ficaram para trás, muito embora todas façam parte da mesma rede escolar e estejam sujeitas às mesmas regras jurídicas. Não obstante fatores socioeconômicos sejam relevantes e possam explicar parte dessa assimetria, existem situações em que outros fatores contribuem para explicar essa desigualdade (Ragazzo; Almeida, 2020). Dado que desejamos que todos tenham acesso a uma educação de qualidade, como podemos replicar os casos de sucesso por toda a rede?

Projeto de pesquisa recente, chamado Educação com equidade, acompanhou 215 escolas com corpo discente de baixo status socioeconômico no Brasil para identificar quais estratégias funcionavam melhor para reduzir a lacuna entre escolas com alta e baixa performance (Fundação Lemann; Itaú BBA, 2018; Faria; Guimarães, 2015). Os resultados da pesquisa – em consonância com o consenso acadêmico mais amplo que exploraremos mais à frente – apontam para a influência positiva de bons diretores e boas práticas de gestão no nível local. Por outro lado, a pesquisa também evidencia o problema causado pela existência de assimetrias dentro de um único sistema escolar. Com vistas a estudar esse mesmo tipo de problema, Abrucio (2010) pareou escolas no estado de São Paulo com corpos discentes semelhantes, mas diferenças significativas em performance acadêmica. A pesquisa mostrou que a liderança, inclusive a taxa de permanência de diretores e sua experiência, eram fatores centrais para explicar as discrepâncias acadêmicas.

Há um alto grau de concordância na comunidade acadêmica internacional em torno da ideia de que diretores exerçam uma influência sobre os resultados educacionais. Uma revisão recente da literatura a resume, dizendo que “[…] há um grau substantivo de evidência científica demonstrando que líderes escolares são um propulsor importante dos resultados estudantis” (Hernan et al., 2017, p. 3)². Trabalhos anteriores investigaram as causas dessa influência, mostrando que várias características dos diretores se correlacionam com a performance dos estudantes. Características como estilo de liderança (Polon, 2009), engajamento com professores (Oliveira; Waldhelm, 2016), experiência (Clark; Martorell; Rockoff, 2009) e treinamento (Gates et al., 2019), dentre outros, preveem o sucesso dos alunos das escolas em testes padronizados. Assim, é importante utilizar este conhecimento produzido em favor de nossos objetivos de política pública.

Essa estratégia parece especialmente promissora dada a robustez da associação entre diretores e resultados escolares. Se é verdade que parte da literatura investiga a atuação de diretores escolares em países em que eles têm ampla discricionariedade para contratar e demitir professores, como nos Estados Unidos e no Reino Unido (Branch; Rishkin; Hanushek, 2013; Thody et al., 2007), também existem vários estudos conduzidos no Brasil e na Europa, nos quais os diretores têm discrição limitada em matérias administrativas e pedagógicas que demonstram o mesmo efeito (Polon, 2009; Abrucio, 2010, Fundação Lemann; Itaú BBA, 2012, Faria; Guimarães, 2015; Oliveira; Waldhelm, 2016; Oliveira; Carvalho, 2018; Karstanje; Webber, 2008, Thody et al., 2007).

O objetivo do presente artigo é normativo: descrevemos uma proposta que acreditamos ser capaz de melhorar o problema da equidade dentro de grandes redes municipais de ensino. Mais especificamente, acreditamos que um programa de treinamento de diretores que use uma estratégia de mentoria entre pares é capaz de melhorar o desempenho das escolas que apresentam consistentemente os piores resultados. Existem bons motivos para explorar a ideia: governos do mundo inteiro investiram em programas de treinamento de diretores, em geral colhendo bons frutos (Gates et al., 2019; Hernan et al., 2017; Clark; Martorell; Rockoff, 2009; Karstanje; Webber, 2008; Thody et al., 2007; Walker; Hallinger, 2015). Em descompasso com o resto do mundo e a despeito do consenso acadêmico, no entanto, existem poucas políticas públicas focadas em diretores escolares na América Latina (fato reportado por Vailant, 2011). O Brasil e a cidade do Rio de Janeiro não são exceções na região. Tanto no âmbito nacional quanto no âmbito municipal, percebe-se a ausência de instrumentos focados em diretores escolares.

O resultado assimétrico das escolas da rede do município do Rio de Janeiro, associada com a análise da literatura sobre a influência dos diretores em desempenho de aprendizagem nas escolas, faz com que essa solução tenha um alto potencial para produzir uma política pública de baixo custo e efetiva. No entanto, existe razoável dificuldade em se estabelecer um formato de treinamento e, mais ainda, em identificar o que pode ser objeto de treinamento, dado que os problemas não são homogêneos na rede escolar. Para mostrar a plausibilidade da nossa proposta, seguiremos a seguinte estratégia: (i) apresentaremos uma revisão da literatura internacional sobre programas de treinamento de diretores, mostrando como programas de mentoria ajudaram redes de ensino estrangeiras; (ii) discutiremos trabalhos recentes que identificam pares de escolas geograficamente próximas, mas com desempenhos discrepantes; e, por fim (iii) descreveremos os resultados de análises empíricas inéditas mostrando que há diferenças sistemáticas entre os diretores das escolas com performance boa e os diretores de escolas em risco, para justificar a medida regulatória.

Programas de Treinamento de Diretores: mentoria como abordagem regulatória

O conhecimento de que diretores escolares importam deve ser explorado pela implementação de políticas públicas de educação que almejam a melhora de seu desempenho. Mas como exatamente devemos fazer isso? Entre as diversas possibilidades, qual o foco? Governos e pesquisadores do mundo inteiro sugerem que a resposta está em programas de treinamento de diretores.

De acordo com Clark, Martorell e Rockoff (2009, p. 4), somente na cidade de Nova York, vários desses programas foram implementados. A pesquisa dos autores mostrou resultados mistos sobre a sua influência, mas trabalhos posteriores apontam para a efetividade de pelo menos um deles (o Aspiring Principals Program) em várias métricas. Gates et al. (2019) reportam que estudantes em escolas lideradas por diretores que vieram do programa – que consiste em um curso de três semanas de duração seguido por uma residência de um ano – apresentam um desempenho significativamente melhor, mesmo quando usamos técnicas de comparação estritas com outras escolas, como o propensity score matching (Rosenbaum; Rubin, 1983).

Programas de treinamento de diretores que combinam conhecimento acadêmico com aprendizagem experiencial também são comuns no Canadá (Pedwell et al., 2010), no Reino Unido (Gunter; Forrester, 2009), na Europa continental (Karstanje; Webber, 2008; Thody et al., 2007), na Asia (Walker; Hallinger, 2015) e na Austrália (Dempster; Robson; Gaffney, 2010), embora existam menos dados quantitativos sobre os resultados dessas experiências. Em todo caso, o tom geral dos artigos revisados é de elogios à prática. Apesar dessa receptividade global quanto ao treinamento de diretores como política pública focada em melhorar o desempenho da rede escolar, a prática ainda é negligenciada na América Latina (Vailant, 2011, p. 583-584).

Dado que programas de treinamento de diretores parecem ser uma boa abordagem, quais são as características de um programa de treinamento de diretores efetivo? Uma marca dos programas de desenvolvimento pesquisados é a inclusão de um sistema de mentoria em adição aos métodos mais tradicionais de instrução acadêmica (Gates et al., 2019; Walker; Hallinger, 2015). Alguma evidência sugere que, nos Estados Unidos, os modelos de mentoria são inclusive superiores ao treinamento universitário mais tradicional (Grissom; Harringon, 2010). Assim, propomos que essa dimensão de aprendizado prático deve ser valorizada em programas de treinamento de diretores. Isso é especialmente verdadeiro em lugares como o Rio, em que pequenas variações geográficas podem causar grandes diferenças nos desafios que as escolas enfrentam.

Um bom modelo para o desenvolvimento de um programa de liderança escolar que respeita essa diversidade vem de Ontario, no Canadá. Desde 2003, uma das prioridades do governo de Ontario é melhorar a qualidade da educação na província, com um foco em liderança escolar (Pedwell et al., 2010). Um dos primeiros esforços feitos pela província foi sistematizar o conhecimento existente dentro do sistema escolar, o que incluiu o Congresso dos Diretores (Principals Congress), iniciado em 2007. O Congresso dos Diretores é um evento anual com foco em identificar e disseminar as melhores práticas dentro do sistema escolar (Leithwood et al., 2010). Eventualmente, esse conhecimento foi combinado com a expertise acadêmica para criar o Framework de Liderança de Ontario (Leithwood, 2012), um documento baseado em evidências que descreve as principais dimensões da liderança escolar efetiva. As estratégias de Ontario incluem um foco em escolas com desempenho abaixo do esperado e mentoria, com iniciativas tais como a iniciativa “De Líder Para Líder” (Leader-to-Leader), um projeto que “[…] reuniu 11 diretores de escolas com dificuldades com 11 diretores de escolas que superaram circunstâncias difíceis para compartilhar práticas efetivas”³, com grandes resultados (Pedwell et al., 2010, p. 610).

Estratégia bottom-up baseada em dados para políticas públicas de treinamento de diretores

A revisão de literatura sobre programas de treinamento de diretores mostra a eficácia dessa estratégia, especialmente quando o treinamento envolve programas de mentoria. Mas como podemos definir quais diretores devem ser envolvidos nesses programas? De maneira ainda mais precisa: quais diretores potencialmente podem ser integrados ao programa na qualidade de instrutores e quais devem ser incentivados a participarem na condição de recipientes? Os resultados reportados em Ragazzo e Almeida (2020) ajudam a responder essas perguntas.

O primeiro passo no procedimento previsto em Ragazzo e Almeida (2020) envolve identificar escolas referência e escolas com desempenho abaixo do esperado de acordo com o seu desempenho ao longo de um determinado período de tempo. Algumas escolas começam excelentes e permanecem excelentes durante todo o período. Essas escolas são bons exemplos e à primeira vista parecem ser os candidatos mais óbvios para servir como referência. Porém, se o objetivo é garantir não apenas qualidade, mas também equidade, elas são menos valiosas do que aquelas que passaram por melhorias recentes. Se o objetivo é ajudar as escolas com o pior desempenho, faz mais sentido estudar casos de escolas que costumavam estar dentre as piores, mas superaram as dificuldades para aumentar a qualidade acadêmica. No caso do Rio, foram classificadas as escolas como referência ou como em risco usando um misto de métricas de desempenho absolutas (IDEBs iniciais abaixo de 4 – “péssimo para bom” – ou 5 – “ruim para bom” – e notas finais do IDEB acima de 6, e relativas (permanência constante no último quartil das notas do IDEB)⁴. Contudo, diferentes circunstâncias vão levar a diferentes escolhas nesse ponto específico. Algumas circunstâncias podem exigir o uso de métricas puramente absolutas ou puramente relativas.

O segundo passo é usar essa classificação para encontrar escolas vizinhas que pertençam a categorias opostas. Assim, para cada escola com desempenho abaixo do esperado, identifica-se a escola referência mais próxima. Esse passo tem como objetivo reduzir as variações socioeconômicas entre as escolas de referência e em risco, e parece ter tido sucesso no caso do Rio (Ragazzo; Almeida, 2020). Essa é uma presunção que sempre precisa ser verificada. Caso a seleção de escolas vizinhas não seja capaz de garantir a comparabilidade socioeconômica, os pesquisadores devem incluir novos procedimentos. Por exemplo, pares com corpos discentes muito discrepantes sob o ponto de vista socioeconômico devem ser descartados do conjunto final⁵.

Porém, a literatura é, no mais das vezes, silente com relação ao método usado para selecionar quais escolas vão oferecer estágios, quais diretores serão selecionados como mentores e quais diretores devem ser incentivados a participar como estudantes. O nosso método oferece uma resposta para essa pergunta: dentro de cada par de escolas há um possível candidato a diretor que deveria assumir o papel de recipiente e outro que provavelmente pode cumprir o papel de mentor. Nesse contexto, a proximidade física também é importante para garantir que algum esquema de estágio ou mentoria entre os dois diretores seja pragmaticamente conveniente. Em contraste, em cidades com uma densidade populacional muito baixa, ou um número baixo de escolas dentro de cada sistema escolar, esse passo pode não revelar oportunidades óbvias para intervenção administrativa.

Dada a localização das escolas e o histórico de seu desempenho, qualquer sistema escolar pode aplicar o método para encontrar pares discrepantes. Nossa hipótese é que, onde a densidade populacional é alta e o tamanho absoluto do sistema escolar é grande, isso também vai revelar pares que são suficientemente fisicamente próximos para possibilitar programas de mentoria efetivos entre escolas recipientes e doadoras de conhecimento. Isso faz o nosso procedimento replicável e, em um certo sentido, escalável, já que o número de estudantes potencialmente beneficiado pode ser aumentado a partir da repetição do procedimento em diferentes locais.

Um instrumento regulatório que busca explorar esse método para aumentar a qualidade e a igualdade da educação pública deve começar definindo escolas referência e escolas em risco (passo 1). Essa classificação, por sua vez, permite que administradores públicos possam identificar os melhores pares de escolas para incluir em programas de mentoria (passo 2). Finalmente, sob esse instrumento, os administradores deveriam ter a capacidade de incentivar que diretores de escolas com desempenho abaixo do esperado participem de um programa de mentoria, bem como a capacidade de recrutar diretores de escolas referência para atuar como mentores.

Esse seria um instrumento regulatório bottom-up, dado que o currículo específico do programa de treinamento deveria ser deixado em ampla medida a cargo dos mentores. Dentro dessa proposta, não há um órgão central investido com a escolha de quais práticas devem ser valorizadas e incentivadas e quais práticas devem ser abandonadas. É claro que é possível que, depois de alguns ciclos, algumas lições gerais poderiam ser aprendidas e incorporadas em outros instrumentos regulatórios top-down. Mas, mesmo nesse caso, o procedimento garante que as realidades locais serão capazes de informar a política pública de maneira significativa.

Nesta seção, propusemos que os pares de escolas identificados por Ragazzo e Almeida (2020) possam ser utilizados para a criação de um programa de mentoria. Essa proposta, porém, depende da verificação de uma premissa empírica. Afinal, vários fatores diferentes podem explicar a discrepância de resultados entre os pares de escolas. Por exemplo: pode ser que essas escolas tenham professores muito diferentes, ou que os corpos discentes apresentem diferenças significativas não capturadas pelo Indicador de Nível Socioeconômico das Escolas de Educação Básica (INSE). Porém, tudo que foi dito até aqui pressupõe que é possível verificar se os resultados diferentes podem ser atribuídos, pelo menos em parte, a diferenças entre os diretores das escolas de cada grupo. Será que esse é o caso no município do Rio de Janeiro? Na próxima seção, buscamos responder a essa pergunta de modo empírico, tentando encontrar diferenças sistemáticas entre os diretores das escolas que melhoraram significativamente e os diretores das escolas que apresentaram um desempenho sistematicamente ruim.

Características dos Diretores e Performance Escolar no Rio de Janeiro

Conforme indicado em itens anteriores, diretores exercem ampla influência sobre os resultados educacionais de estudantes. Mas quais habilidades e características fazem com que alguns diretores sejam mais bem sucedidos do que outros? A evidência reportada a respeito dessa importante pergunta para políticas públicas é muito menos clara. A obra de Ana Cristina Prado de Oliveira (Oliveira; Waldhelm, 2016; Oliveira; Carvalho, 2018) mostrou que a percepção de liderança do diretor prevê de modo confiável a performance escolar na cidade do Rio de Janeiro, sugerindo que a chave para educação de qualidade pode estar com os diretores. De forma semelhante, Polon (2009) mostrou que diferenças no estilo de liderança podem afetar a performance. Porém, liderança é um conceito abstrato, e percepção é algo subjetivo.

Muito embora essas características sejam importantes e possam ajudar a explicar parte da variação de resultados entre diretores, optamos, neste trabalho, por explorar uma métrica objetiva. Assim, focamos as análises abaixo na experiência do diretor. Trata-se de uma hipótese – dentre muitas outras possíveis – que pode explicar o que faz com que alguns diretores obtenham resultados melhores que outros, controladas as variáveis socioeconômicas que, como se sabe, têm forte impacto: pode ser que diretores mais experientes, por conta do conhecimento prático adquirido por meio da gestão escolar, criem as condições pedagógicas necessárias para o sucesso dos alunos.

Abaixo, reportamos os resultados de análises quantitativas que têm como objetivo investigar a plausibilidade dessa hipótese (Osfhome, 2021). É importante notar, porém, que não temos a pretensão de estabelecer de modo decisivo a relação de causalidade expressada na hipótese. Conforme veremos, há muitos fatores inter-relacionados envolvidos, tornando difícil a inferência de causalidade. De todo modo, ainda que sejam incapazes de estabelecer causalidade, a influência reiterada das variáveis indicativas de experiência em várias análises diferentes é um indício da plausibilidade da hipótese levantada. Para operacionalizar a pesquisa, recorremos à Prova Brasil (Brasil, 2021), que também inclui questionários destinados a estudantes, professores e diretores, produzindo informações relevantes para essa análise. Trabalhos anteriores (Oliveira; Waldhelm, 2016; Oliveira; Carvalho, 2018) usaram itens no questionário dos professores para avaliar a liderança dos diretores. A experiência dos diretores pode ser extraída do questionário preenchido pelos próprios⁶.

Nós restringimos a nossa análise aos primeiros anos do Ensino Fundamental. Essa opção é justificada, dado que deficiências nos primeiros anos da educação básica podem levar a problemas de aprendizado mais graves em etapas posteriores. Assim, se precisamos priorizar de acordo com o impacto provável das nossas escolhas, os anos iniciais devem receber mais atenção.

O teste mais simples da hipótese de que a experiência dos diretores está associada a notas mais altas no IDEB é uma análise correlacional bivariada. Usando todas as 2.109 observações sobre notas dos primeiros anos do Ensino Fundamental de escolas municipais da cidade do Rio de Janeiro entre 2011 e 2017, encontramos uma correlação de Spearman pequena, mas estatisticamente significativa, entre as notas e a experiência dos diretores, como ilustrado na Figura 1⁷.

Figura 1
A performance das escolas se correlaciona significativamente com a experiência de seus diretores. Barras de erro representam o intervalo de confiança (95%) da média

Os resultados fornecem evidência preliminar para a ideia de que a performance das escolas está associada à experiência dos diretores. Porém, é bem sabido que fatores relativos ao corpo estudantil influenciam a performance acadêmica. Em particular, o status socioeconômico costuma ser apontado como um dos melhores preditores da performance em testes padronizados (Alves; Soares; Xavier, 2016; Alves; Soares, 2013). Assim, uma análise bivariada simples não é suficiente para estabelecer o efeito que nos interessa.

Para lidar com isso, construímos um modelo hierárquico com a nota no IDEB como a variável dependente e experiência dos diretores como variável independente de efeitos fixos, incluindo escola e status socioeconômico do corpo discente⁸ como variáveis de efeitos aleatórios. O modelo revelou que o efeito da experiência é significativo, mesmo levando em conta escolas com estudantes de backgrounds socioeconômicos diferentes (p = .001)⁹.

Também pode haver um problema de ovo e galinha com a nossa análise. Talvez, diretores de alta performance permaneçam mais tempo em seus empregos e sejam, portanto, mais experientes do que aqueles que apresentam performance insatisfatória. Afinal, a seleção dos diretores no município do Rio de Janeiro se dá mediante eleição pela comunidade escolar para mandatos de 3 anos (Rio de Janeiro, 2017). Presumivelmente, diretores bem-sucedidos têm mais facilidade em manter seus cargos do que diretores que alcançam menos sucesso. Assim, a correlação observada entre notas no IDEB e experiência poderia simplesmente refletir esse fato. Neste artigo, não estamos preocupados em estabelecer a direção casual dessa relação. Trabalhos mais rigorosos do ponto de vista econométrico que se debruçaram sobre essa pergunta indicam que diretores mais experientes são melhores em parte por causa da sua experiência (Clark; Martorell; Rockoff, 2009), ao invés de permanecerem diretores por mais tempo por conta das suas habilidades superiores. Mesmo que esse não seja o caso, porém, as implicações para políticas públicas – foco do presente artigo – ainda seriam as mesmas, como argumentamos de forma mais extensa abaixo.

Pensar a respeito das perguntas de política pública que motivam essa investigação também é útil para elucidar quais métricas devem ser avaliadas. Dado que o nosso objetivo é reduzir desigualdades dentro de redes escolares, não deveríamos focar apenas na performance no IDEB, mas também – e de modo crucial – em como essa performance evoluiu ao longo do tempo. Se queremos fazer recomendações sobre a melhora de escolas com performance baixa, aquelas escolas que figuraram consistentemente dentre as melhores não são o paradigma apropriado. Se descobrirmos que diretores experientes são bons em manter escolas de alta performance em um alto nível, mas ruins em melhorar escolas de baixa performance, as implicações em termos de políticas públicas são muito diferentes do que aquelas que se seguem caso a experiência ajude diretores a superarem obstáculos associados com escolas de baixa performance.

Focar a análise em escolas que saíram de notas historicamente baixas também tem uma outra virtude: dado que os candidatos à direção escolhem as escolas que pretendem dirigir, pode ser que eventuais diferenças entre diretores fossem causadas por diferenças pré-existente entre escolas (por ex: algumas escolas são melhores – por contarem com uma infraestrutura melhor, estarem inseridas em uma comunidade mais saudável, contarem com um corpo docente mais comprometido e etc. – e que os melhores diretores simplesmente buscassem suas candidaturas nessas escolas). Dada essa explicação, a experiência do diretor parece exercer relativamente pouca influência. Em contraste, se comparamos diretores de escolas que melhoraram com diretores de escolas que permanecem com notas baixas, essa explicação não está disponível. Afinal, no primeiro momento de análise, ambas escolas produziam resultados igualmente ruins.

Experiência no cargo como proxy para encontrar diretores que potencialmente poderão ser pareados em programas de treinamento

Dado que queremos identificar as melhores práticas para transformar escolas com resultados ruins em escolas com resultados bons – ao invés de simplesmente notar quais variáveis exercem influência sobre a performance escolar –, deveríamos investigar as escolas que seguiram esse percurso. Por outro lado, melhoras em termos absolutos não são suficientes para qualificar uma escola como modelo. Se, apesar de melhoras dramáticas nos resultados de aprendizagem da escola, a qualidade final identificada ainda é baixa, o objetivo político não foi alcançado.

Levando em conta esses fatores, nós empregamos a mesma estratégia descrita em Ragazzo d Almeida (2020) para classificar escolas entre diferentes níveis de risco e referência. Para serem classificadas como escolas de referência, as escolas precisavam ter melhorado de uma nota abaixo de 4 (“péssimo para bom”, 24 escolas) ou 5 (“ruim para bom”, 124 escolas) no IDEB de 2005 para uma nota acima de 6 no IDEB de 2017. Em contraste, para serem classificadas como escolas com desempenho abaixo do esperado, a escola tinha que ter ocupado o último quartil dos dados do IDEB de 2017 e o último quartil da média dos últimos 4 IDEBs (2011, 2013, 2015 e 2017). A ideia por trás desse critério duplo é que nós precisamos encontrar soluções regulatórias para escolas que têm problemas de forma consistente, ao invés de destinar recursos a escolas que podem ter tido uma performance baixa por causa de problemas pontuais que ocorreram em um ano específico. Cento e uma escolas com dados completos na base de dados foram identificadas usando as duas condições.

A Figura 2 mostra que, em 2013, 2015 e 2017, mas não em 2011, escolas nos grupos de referência tiveram diretores mais experientes que escolas com desempenho abaixo do esperado. Uma comparação direta entre os dois grupos (aglomerando os dois estratos de referência) mostra que a diferença em experiência dos diretores é estatisticamente significativa para o período completo (t(794.39) = 3.72, p < .001).¹⁰ Contudo, uma inspeção dos padrões revelados pela Figura 2 revela que essa diferença provavelmente se dá pela redução dramática na experiência média de experiência dos diretores em escolas com desempenho abaixo do esperado entre 2011 e 2015. Embora possamos ver uma redução semelhante na experiência das escolas dos grupos de referência de 2011 para 2013, não há qualquer diferença entre os pontos de 2013 e 2015 nesses grupos. Isso sugere que o desempenho baixo das escolas pode ter sido causado em parte por uma rotatividade mais alta nos cargos de diretor relativamente às escolas referência. Além disso, essa rotatividade parece ter substituído diretores experientes por diretores inexperientes.

Figura 2
Escolas que melhoraram significativamente desde 2005 têm diretores mais experientes. Barras de erro representam o intervalo de confiança (95%) da média

Embora os dados disponíveis não permitam um teste direto dessa hipótese, uma heurística pode nos ajudar a estimar os níveis de turnover entre os diretores. Uma das métricas reportadas pelos diretores em seu questionário é o tempo que possuem no cargo atual de diretor dessa escola específica. Sempre que um diretor reporta um tempo no cargo inferior do que aquele reportado pelo diretor da mesma escola no questionário anterior, podemos inferir que houve uma mudança de diretor. De acordo com essa estimativa, escolas com desempenho abaixo do esperado trocaram de diretor significativamente mais vezes (média = 1,13) do que escolas que saíram de uma performance péssima para boa (média = 0,79, t(173,18) = 4,74, p < 0,001) e do que escolas que saíram de desempenho ruim para bom (média = 0,84, t(1188,5) = 7,75, p < 0,001). Em contraste, não observamos diferenças entre os dois tipos de escola referência (t(178,09) = 0,69, p = 0,49).

Ainda que não tenhamos a pretensão de estabelecer uma relação causal, muitas influências potenciais seguem não modeladas nas análises acima. Por exemplo, o Rio de Janeiro é uma cidade notoriamente desigual. Muitos fatores culturais e socioeconômicos variam geograficamente ao longo da cidade. Assim, um teste mais limpo das hipóteses rascunhadas acima sobre o papel dos diretores envolve a identificação de pares comparáveis de escolas para ver se ainda assim subsistem diferenças nas dimensões relevantes (Abrucio, 2010).

Ragazzo e Almeida (2020) identificaram pares de escolas que estão fisicamente próximas, mas que pertencem a diferentes níveis de referência e risco na tipologia discutida acima. Cada par é composto por duas escolas: uma escola com desempenho abaixo do esperado e a escola de referência mais próxima (seja ela uma escola que passou de um desempenho “ruim para bom” ou “péssimo para bom”). As análises reportadas no artigo apontam que os pares resultantes se encontram razoavelmente próximos (a menor distância encontrada é de 98 metros e apenas cinco pares são separados por mais do que três quilômetros) e que as diferenças na performance entre as duas escolas de cada par não podem ser reduzidas às diferenças em status socioeconômico de seus corpos discentes, controlando-se esse fator como forma de validar a diferença por outros fatores.

Utilizamos os pares identificados por Ragazzo e Almeida (2020) para investigar nossa hipótese a respeito da influência da experiência dos diretores sobre os resultados educacionais no IDEB. Para cada par e cada pergunta no questionário dos diretores, nós computamos a diferença entre as respostas dadas por diretores da escola referência e da escola com desempenho abaixo do esperado.

Finalmente, nós calculamos a média das diferenças para encontrar as perguntas que foram respondidas de modo mais diferente pelas duas classes de diretores. Ao ranquear os 111 itens do questionário dos diretores, nós vimos que a experiência do diretor (terceiro item com menos concordância, 15,84%), tempo no cargo (menor concordância, 14,85%), problemas reportados com recursos financeiros (décimo quinto item com menos concordância, 28,71%) e professores adequados para as matérias (décimo sexto item com menos concordância, 28,71%) ocupam algumas das posições mais altas¹¹. Replicando a análise feita anteriormente, considerando apenas os pares de dados (o que pode fazer com que uma escola referência seja contada múltiplas vezes, já que ela pode ser a escola referência mais próxima de múltiplas escolas com performance abaixo do esperado), detectamos, novamente, uma diferença significativa na experiência dos diretores, de modo que diretores de escolas referência são mais experientes do que aqueles responsáveis por escolas em risco (t(197,75) = 3,54, p < 0,001). Consideradas em conjunto, as análises acima parecem em consonância com a literatura ao afirmar que diretores escolares importam (Branch, Rishkin; Hanushek, 2013) e que a experiência, em particular, é especialmente importante para a sua performance, como argumentam Clark, Martorelle Rockoff (2009).

A melhor forma de explorar a importância do diretor para alcançar objetivos de política pública passa pela explicação dos padrões de resultados observados acima. A hipótese de que os diretores mais experientes conseguem resultados melhores por conta das lições administrativas e pedagógicas que aprenderam ao longo da sua carreira é compatível com os dados. Se identificarmos diretores menos experientes em escolas comparáveis, é possível que as lições aprendidas na prática pelos diretores mais experientes possam ser transmitidas de modo mais rápido por meio de políticas públicas que facilitem essa troca. Mais especificamente, acreditamos que um programa de treinamento de diretores escolares com um componente de mentoria a partir dos pares de escolas identificados acima funcionaria como uma estratégia eficiente para reduzir as desigualdades existentes dentro do sistema escolar do município do Rio de Janeiro.

Conclusão

Embora a literatura seja consistente ao apontar para a importância da liderança escolar no desempenho acadêmico, há menos clareza sobre os mecanismos precisos que distinguem alguns diretores dos demais. Esse artigo contribui para essa literatura ao mostrar que, ao menos no Rio de Janeiro, a experiência parece ser um desses mecanismos. Além disso, os métodos que empregamos para demonstrar a influência da experiência podem servir de base para uma estratégia regulatória bottom-up envolvendo o treinamento de diretores. Ao usar dados para identificar pares de escolas fisicamente próximas com corpos discentes de backgrounds sociais e econômicos semelhantes, podemos selecionar os atores certos para desempenhar os papéis de mentor e mentoreado em programas de treinamento capazes de ajudar com os desafios específicos que cada escola enfrenta. Esse método é escalável, replicável e barato. Sistemas escolares com um certo número de escolas em áreas de alta densidade populacional poderiam beneficiar-se da adoção dessa estratégia.

Nosso método também é replicável e escalável em um sentido diferente: a qualquer ponto do tempo, podemos reaplicar o método para encontrar novos pares relevantes de diretores. Suponhamos que, em um dado momento, a cidade do Rio decida implementar uma política pública com os contornos defendidos aqui. Quatro anos depois, os resultados são ótimos: as escolas que originalmente apresentavam um desempenho abaixo do esperado não ocupam mais o último quartil de notas do IDEB, enquanto as escolas referência ainda apresentam uma performance adequada. Ao invés de encerrar o programa e mudar o foco para novos tipos de política educacional, um caminho possível seria repetir o procedimento. Já que o primeiro ciclo foi bem-sucedido, a aplicação do método deveria revelar novas (e melhores) escolas com desempenho abaixo do esperado, que agora seriam aquelas com mais a ganhar de um programa de mentoria.

Essa estratégia também implica custos baixos. Ela não requer que as cidades paguem por professores caros e tampouco envolve a criação de uma infraestrutura física custosa. Ela depende apenas de uma análise de dados barata (especialmente em lugares como o Rio, onde os dados já são coletados e estão publicamente disponíveis de forma gratuita) e da força de trabalho existente, que pode ser incentivada a custos muito menores do que aqueles que seriam necessários para obter ajuda externa. A pressuposição é de que os diretores mais experientes não são melhores exclusivamente por conta de sua senioridade, mas também por adquirirem habilidades e conhecimentos específicos aplicáveis ao seu contexto escolar. Se essa pressuposição se provar verdadeira, devemos esperar que essas habilidades e conhecimentos também sejam aplicáveis a escolas vizinhas que sirvam uma população socioeconomicamente semelhante.

Ressaltamos que essa proposta é agnóstica quanto à estrutura causal do efeito observado. Se a experiência melhora os diretores, deveríamos aproveitar a sua experiência em programas de treinamento. Por outro lado, se os efeitos são causados por seleção (apenas os diretores com bons resultados duram tempo suficiente em seus cargos para ganhar experiência), ainda assim deveríamos selecioná-los para treinar diretores iniciantes. Assim, os dados suportam a política pública proposta mesmo que nossas premissas sobre causalidade estejam erradas.

Finalmente, apesar de acreditarmos que a experiência do diretor está associada com a performance escolar, o nosso método ainda pode ser útil em contextos em que isso não seja verdade. Outras características dos diretores que variam sistematicamente entre escolas de alto e baixo desempenho também podem ser identificadas e enfrentadas a partir do método proposto. Imagine, por exemplo, que alguma tecnologia pedagógica que é usada de modo correto por apenas alguns diretores seja a razão para uma lacuna. Presumivelmente, ao parear diretores de escolas com alto e baixo desempenho, também descobriríamos esse problema e poderíamos atuar para saná-lo.

• 1
  Ver Brasil (2021).
• 2
  Tradução livre feita pelos autores do original: “there is substantial research evidence demonstrating that school leaders are a powerful driver of student outcomes”.
• 3
  Tradução livre dos autores do original: “brought together 11 principals from struggling schools with 11 principals from schools that had overcome difficult circumstances to share effective practices”.
• 4
  A opção por mensurar a performance das escolas através do IDEB é pragmática. Essa é uma estratégia bem estabelecida na literatura e que permite comparações. Contudo, isso não significa que essa seja uma métrica perfeita. Não há dúvidas de que ela deixa de capturar dimensões importantes da tarefa do educador. Portanto, não pretendemos assumir que o IDEB é a única métrica que deve ser avaliada por gestores públicos ao tomarem decisões sobre gestão escolar. Para um breve histórico crítico das métricas de performance escolar no Brasil, ver Coelho (2008).
• 5
  Em cidades com o Rio de Janeiro, em que a densidade populacional e o número de escolas públicas é alta, há uma alta probabilidade de revelar pelo menos alguns pares próximos o suficiente para garantir condições socioeconômicas semelhantes. Como vimos, programas de treinamento de diretores são com frequência baseados em ensino experiencial, envolvendo pelo menos tanto conhecimento prático quanto treinamento acadêmico tradicional.
• 6
  Ver Brasil (2021).
• 7
  Antes de 2011, a experiência era medida usando uma escala de 5 pontos, fazendo a comparação com esses anos mais difíceis. Por essa razão, restringimos nossa análise aos anos de 2011, 2013, 2015 e 2017.
• 8
  Conforme medido pelo Indicador de Nível Socioeconômico da Educação Básica, ou INSE (INEP, 2015).
• 9
  Efeitos semelhantes surgem se substituímos a variável independente que representa a experiência do diretor por uma variável que indica o tempo que o diretor atualmente possui no cargo. Uma pergunta que surge naturalmente a partir deste resultado é a seguinte: será que o fator associado a resultados melhores é a experiência ou a estabilidade dos diretores em seus cargos? Para testar essa hipótese, deveríamos construir um modelo que levasse em consideração, simultaneamente, essas duas variáveis. Porém, como experiência e tempo no cargo estão altamente correlacionadas no nosso conjunto de dados (coeficiente de correlação de Spearman = 0.8, p <.001), incluir as duas variáveis em um único modelo não é desejável. Na maioria das vezes, os diretores dão a mesma resposta para perguntas sobre experiência e tempo no cargo (algo que ocorre em 73% das nossas observações). Para destrinchar a contribuição causal de cada um desses fatores, seria necessário o emprego de técnicas estatísticas mais avançadas, como análises de mediação, que fogem ao escopo do presente artigo. À luz da literatura pregressa, optamos por apresentar os resultados levando em conta apenas a experiência como variável independente. Isso não altera o fato de que nossos resultados também são compatíveis com a ideia de que é o tempo no cargo, e não a experiência, que exerce influência sobre a performance escolar. Trabalhos futuros devem buscar qual dentre esses dois candidatos exerce influência causal sobre a variável dependente.
• 10
  Todos os t-tests reportados são do tipo Welch Two Sample com a variância estimada de forma separada para cada grupo.
• 11
  A outra variável que exploramos, problemas reportados com falta de pessoal de suporte pedagógico, fica um pouco abaixo no ranking, em quadragésimo quinto lugar, com 46,53% de concordância entre diretores das escolas referência e diretores das escolas com performance abaixo do esperado.

Referências

• ABRUCIO, Fernando Luiz. Gestão escolar e qualidade da educação: um estudo sobre dez escolas paulistas. Estudos & Pesquisas Educacionais, São Paulo: Fundação Victor Civita, n. 1, p. 241-274, maio 2010.
• ALVES, Maria Teresa; SOARES, José Francisco. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013.
• ALVES, Maria Teresa; SOARES, José Francisco; XAVIER, Flavia Pereira. Desigualdades educacionais no ensino fundamental de 2005 a 2013: hiato entre grupos sociais. Revista Brasileira de Sociologia, Porto Alegre, v. 4, n. 7, p. 49-81, jan./jun. 2016.
• BRANCH, Gregory; RIVKIN, Steven; HANUSHEK, Eric. A. School leaders matter. Education Next, v. 13, n. 1, 2013.
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira: Inep. Brasília, 2021. Disponível em: http://portal.inep.gov.br/web/guest/educacao-basica/ideb/resultados Acesso em: 04 abr. 2021.
  » http://portal.inep.gov.br/web/guest/educacao-basica/ideb/resultados
• CLARK, Damon; MARTORELL, Paco; ROCKOFF, Jonah. School principals and school performance. CALDER: National Center for Analysis of Longitudinal Data in Education Research, Washington, n. 38, dez. 2009. Disponível em: https://www0.gsb.columbia.edu/faculty/jrockoff/cmr_principals_calder_WP38.pdf Acesso em: 11 jun. 2021.
  » https://www0.gsb.columbia.edu/faculty/jrockoff/cmr_principals_calder_WP38.pdf
• COELHO, Maria Inês de Matos. Vinte anos de avaliação da educação básica no Brasil: aprendizagens e desafios. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 16, n. 59, p. 229-258, abr./jun. 2008.
• DEMPSTER, Neil; ROBSON, Greg; GAFFNEY, Michael. Leadership for Learning: Research Findings and Frontiers from Down Under. In: TOWNSEND, Tony; MACBEATH, John (Ed.). International Handbook of Leadership for Learning Springer International Handbooks of Education, vol. 25. Dordrecht: Springer, 2010. P. 143-163.
• FARIA, Ernesto Martins; GUIMARÃES, Raquel Rangel de Meireles. Excelência com equidade: fatores escolares para o sucesso educacional em circunstâncias desfavoráveis. Estudos em Avaliação Educacional, São Paulo, v. 26, n. 61, p. 192-215, jan./abr. 2015.
• FUNDAÇÃO LEMANN. ITAÚ BBA. Excelência com equidade: Dois estudos, um qualitativo e um quantitativo, sobre escolas que conseguem bons resultados com alunos de baixo nível socioeconômico, 2018. Disponível em: https://fundacaolemann.org.br/materiais/excelencia-com-equidade Acesso em: 02 maio 2019.
  » https://fundacaolemann.org.br/materiais/excelencia-com-equidade
• GATES, Susan M. et al. Preparing school leaders for success: evaluation of New Leaders’ Aspiring Principals Program, 2012-2017. Santa Monica: RAND Corporation, 2019.
• GRISSOM, Jason A.; HARRINGTON, James R. Investing in Administrator Efficacy: An Examination of Professional Development as a Tool for Enhancing Principal Effectiveness. American Journal of Education, v. 116, p. 583-612, ago. 2010.
• GUNTER, Helen M.; FORRESTER, Gillian. School leadership and education policy-making in England. Policy Studies, v. 30, n. 5, p. 495-511, Nov. 2009.
• HERMAN, Rebecca et al. School leadership interventions under the every student succeeds act: evidence review. Updated and expanded. Santa Monica: RAND Corporation, 2017.
• INEP. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Nota técnica: Indicador de Nível Socioeconômico das Escolas de Educação Básica (INSE). Brasília: INEP, 2015. Disponível em: http://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2015/nota_tecnica/nota_tecnica_inep_inse_2015.pdf Acesso em: 11 jun. 2021.
  » http://download.inep.gov.br/informacoes_estatisticas/indicadores_educacionais/2015/nota_tecnica/nota_tecnica_inep_inse_2015.pdf
• KARSTANJE, Peter; WEBBER, Charles F. Programs for school principal preparation in East Europe. Journal of Educational Administration, v. 46, n. 6, p. 739-751, 2008.
• LEITHWOOD, Kenneth et al. Lessons About Improving Leadership on a Large Scale: From Ontario’s Leadership Strategy. In: TOWNSEND, Tony; MACBEATH, John (Ed.). International Handbook of Leadership for Learning Springer International Handbooks of Education, v. 25. Dordrecht: Springer, 2010. P. 337-353.
• LEITHWOOD, Kenneth. The Ontario Leadership Framework 2012 - with a Discussion of the Research Foundations. Ontario: The Institute for Education Leadership, 2012. Disponível em: https://www.education-leadership-ontario.ca/application/files/2514/9452/5287/The_Ontario_Leadership_Framework_2012_-_with_a_Discussion_of_the_Research_Foundations.pdf Acesso em: 11 jun. 2021.
  » https://www.education-leadership-ontario.ca/application/files/2514/9452/5287/The_Ontario_Leadership_Framework_2012_-_with_a_Discussion_of_the_Research_Foundations.pdf
• OLIVEIRA, Ana Cristina Prado; CARVALHO, Cynthia Paes de. Gestão escolar, liderança do diretor e resultados educacionais no Brasil. Revista Brasileira de Educação, São Paulo, v. 23, e230015, 2018.
• OLIVEIRA, Ana Cristina Prado; WALDHELM, Andrea Paula Souza. Liderança do diretor, clima escolar e desempenho dos alunos: qual a relação? Ensaio: Avaliação e Políticas Públicas em Educação, v. 24, n. 93, p. 824-844, out./dez. 2016.
• OSFHOME. Uma estratégia bottom-up baseada em dados para o treinamento de diretores Center for Open Science, 2021. Disponível em: https://osf.io/23fs4/?view_only=50285b93849c4e85941b647242df18b2 Acesso em: 09 mar. 2021.
  » https://osf.io/23fs4/?view_only=50285b93849c4e85941b647242df18b2
• PEDWELL, Laurie et al. Building Leadership Capacity Across 5.000 Schools. In: TOWNSEND, Tony; MACBEATH, John (Ed.). International Handbook of Leadership for Learning Springer International Handbooks of Education, v. 25. Dordrecht: Springer, 2010. P. 603-617.
• POLON, Thelma Lucia Pinto. Identificação dos perfis de liderança e características relacionadas à gestão pedagógica eficaz nas escolas participantes do Projeto Geres – Estudo Longitudinal Geração escolar 2005 – Pólo Rio de Janeiro 2009. Tese (Doutorado em Educação) – Programa de Pós-Graduação em Educação, Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2009.
• RAGAZZO, Carlos E. J.; ALMEIDA, Guilherme F. C. F. Uma estratégia regulatória local para a educação básica no Rio de Janeiro. Educação & Realidade, Porto Alegre, v. 45, n. 3, nov. 2020.
• RIO DE JANEIRO. Secretaria Municipal de Educação. Resolução Nº 20, de 29 de setembro de 2017. Diário Oficial, Rio de Janeiro, 02 out. 2017.
• ROSENBAUM, Paul. R.; RUBIN, Donald B. The central role of the propensity score in observational studies for causal effects. Biometrika, v. 70, n. 1, p. 41-55, abr. 1983.
• THODY, Angela et al School principal preparation in Europe. International Journal of Educational Management, v. 21, n. 2, p. 37-53, 2007.
• VAILANT, D. Improving and supporting principals’ leadership in Latin America. In: TOWNSEND, Tony; MACBEATH, John (Ed.). International Handbook of Leadership for Learning Springer International Handbooks of Education, v. 25. Dordrecht: Springer, 2011 P. 571-585.
• WALKER, Allan; HALLINGER, Philip. A synthesis of reviews of research on principal leadership in East Asia. Journal of Educational Administration, v. 43, n. 4, p. 554-570, 2015.

Editado por

Editor-responsável: Luís Henrique Sacchi dos Santos

Datas de Publicação

• Publicação nesta coleção
  03 Out 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  08 Jul 2021
• Aceito
  04 Jan 2022