ANÁLISE DO INDICADOR DE DESENVOLVIMENTO DAS ESCOLAS ESTADUAIS DO ESPÍRITO SANTO

ANALYSIS OF THE DEVELOPMENT INDICATOR IN ESPÍRITO SANTO STATE SCHOOLS

ANÁLISIS DEL INDICADOR DE DESARROLLO DE LAS ESCUELAS ESTATALES DE ESPÍRITO SANTO

RESUMO

Durante a reforma educacional implantada na primeira década deste século no estado do Espírito Santo, foi instaurado, como política de bonificação por desempenho, o Indicador de Desenvolvimento das Escolas. Este artigo foi desenvolvido com o objetivo de analisar a metodologia utilizada na construção do algoritmo do indicador, estabelecendo algumas aproximações com o Índice de Desenvolvimento da Educação Básica. Para tanto, assume uma metodologia mista exploratória sequencial, subsidiada pela pesquisa documental e por análises correlacionais. Como resultado, percebeu-se que, embora apresente avanços em relação ao indicador nacional, sobretudo por considerar o fator socioeconômico em sua composição, existem fragilidades que são sinalizadas pensando um possível aperfeiçoamento futuro.

Palavras-chave
Indicadores Educacionais; Qualidade da Educação; Avaliação

ABSTRACT

During the educational reform implemented in the first decade of this century in the state of Espírito Santo, Brazil, it was established, as a bonus policy for performance, the School Development Indicator. This article was developed with the objective of analyzing the methodology used in the construction of the indicator algorithm, establishing some approaches with the Basic Education Index of Development. With this aim, it assumes a mixed sequential exploratory methodology, supported by documentary research and correlational analyses. As a result, it was noticed that, although presenting advances in comparison to the national indicator, primarily as it considers the socioeconomic factor in its composition, there are weaknesses signaled in order to think a possible improvement in the future.

Keywords
Educational indicators; Quality of Education; Evaluation

RESUMEN

Durante la reforma educativa implementada en la primera década de este siglo en el estado de Espírito Santo, se introdujo el Indicador de Desarrollo Escolar como política de bonificación por desempeño. Este artículo se desarrolló con el objetivo de analizar la metodología utilizada en la construcción del algoritmo del indicador, estableciendo algunas aproximaciones con el Índice de Desarrollo de la Educación Básica. Para ello, asume una metodología mixta exploratoria secuencial, apoyada en investigación documental y análisis correlacionales. Como resultado, se percibió que, si bien presenta avances en relación al indicador nacional, especialmente considerando el factor socioeconómico en su composición, existen debilidades que se señalan pensando una posible mejora futura.

Palabras clave
Indicadores educativos; Calidad de educación; Evaluación

Introdução

Os exames estandardizados têm assumido um lugar de considerável relevância no delineamento das políticas educacionais contemporâneas nos âmbitos nacional e internacional. Trata-se de ferramentas avaliativas desenvolvidas principalmente por órgãos governamentais como forma de balizar políticas, programas, projetos e ações educativas nos âmbitos escolar e comunitário e que podem ser caracterizadas de acordo com: a) sua natureza, considerando sua abrangência; b) seus propósitos, no que se refere às suas finalidades; e c) seus efeitos, no que diz respeito aos impactos que eles podem gerar para a população-alvo. Para esse último fator, assume-se que tais exames possam ser classificados como: de alto risco (high stakes tests), quando seus resultados são utilizados para tomar decisões importantes no ambiente escolar, oferecendo consequências conspícuas sobre seus atores; sem efeitos ou de efeitos fracos (low stakes tests), quando não oferecerem consequências diretas ou indiretas sobre esses sujeitos (POPHAM, 1987; ORFIELD; WALD, 2000; BAUER; ALAVARSE; OLIVEIRA, 2015).

O estado do Espírito Santo tem assumido esses exames como instrumentos políticos desde o ano 2000, quando surge o Programa de Avaliação da Educação Básica do Espírito Santo (Paebes), de natureza estadual, que foi criado com o propósito único declarado de “[...] avaliar o desempenho da rede pública estadual de Ensino Fundamental e Médio” (ESPÍRITO SANTO, 1999, p. 13). Desse modo, inicialmente, o Paebes produzia uma forma subjetiva de responsabilização, considerando que sua operacionalização não induzia, de forma clara, o aprimoramento das práticas educativas dos profissionais da educação (SCHNEIDER, 2017), podendo ser classificado como um exame de efeitos fracos para a população-alvo.

Entretanto, a partir de 2008, o programa ganhou maior notoriedade dentro das políticas educacionais do estado, passando por aprimoramentos que visavam à sua potencialização, e recebeu maiores investimentos da esfera estadual. Desde então, o Paebes passou a ser aplicado anual e censitariamente. Ademais, o gerenciamento técnico e pedagógico do Paebes ficou sob a responsabilidade do Centro de Políticas Públicas e Avaliação da Educação (CAEd), centro de pesquisa e desenvolvimento tecnológico vinculado à Universidade Federal de Juiz de Fora (UFJF). Essas ações fizeram com que o ano de 2008 fosse reconhecido como “[...] um marco na consolidação de ações para a qualificação e a ampliação da avaliação externa no Espírito Santo” (CÔCO; GONTIJO, 2017, p. 66).

Cabe ressaltar que, no período, o estado era governado por Paulo Hartung, do então Partido do Movimento Democrático Brasileiro (PMDB),¹ que estava no seu segundo mandato (2007–2011) e cuja gestão educacional assumiu os princípios de qualidade total e eficiência como bases para as políticas propostas que, em sua maioria, eram apoiadas pela comunidade empresarial capixaba e por segmentos políticos de cunho neoliberal. Nessa vertente, destaca-se a presença de parceiros do setor privado e organizações não governamentais, por exemplo, o Todos pela Educação (OLIVEIRA; LIRIO, 2017; ALCÂNTARA; MATOS, 2020).

Esse movimento é perceptível pela agenda de projeções e ações prioritárias para a educação, construída durante a gestão de Hartung, das quais, para além da reformulação do Paebes, destacam-se: a substituição do plano de cargos e salários por uma nova ordem de remuneração do magistério, que ficou conhecida como subsídio² (Lei Complementar n. 428, de 17 de dezembro de 2007); a elaboração do Plano Estratégico Nova Escola, que norteou a criação das Escolas Vivas³ no estado (ESPÍRITO SANTO, 2008); a implementação do novo currículo básico comum, baseado nas noções de competências e habilidades (Portaria n. 143-R, de 17 de novembro de 2009); e a instauração do Indicador de Desenvolvimento das Escolas Estaduais do Espírito Santo (IDE) (Lei Complementar n. 504, de 23 de novembro de 2009), que constitui objeto de análise deste artigo.

O IDE é um indicador estatístico multidimensional que, entre os seus usos e consumos (CERTEAU, 2002), é utilizado como política de bonificação para professores e servidores administrativos associados à Secretaria de Estado da Educação (Sedu), prevendo o pagamento de uma gratificação anual a esses profissionais, a qual pode chegar a até 150% do valor do seu rendimento mensal.

Desse modo, a criação do indicador, atrelada ao processo de reforma educacional implementado no governo Hartung, evidenciou uma mudança de perspectiva nos efeitos do Paebes, como exame estandardizado, que passou a oferecer altos riscos para os diferentes sujeitos que constituem o cotidiano das escolas. Em síntese, a Sedu passou a utilizar os resultados do programa de forma efetiva em suas ações na escola, ressurtindo as práticas de responsabilização, que se tornaram cada vez mais acentuadas no estado.

Considerando a importância do IDE no cenário educacional espírito-santense, este artigo tem o objetivo de analisar, sob as possibilidades teóricas do paradigma indiciário (GINZBURG, 1989), a metodologia utilizada na construção do algoritmo do indicador. Para tanto, são detalhados os cálculos matemáticos utilizados na composição do seu algoritmo e inseridos exemplos empíricos que ilustram os procedimentos adotados, visando tornar o indicador mais compreensível aos profissionais da educação que o utilizam cotidianamente. Além disso, busca-se estabelecer algumas aproximações com o Índice de Desenvolvimento da Educação Básica (Ideb) que, por meio da implementação do segundo Plano Nacional de Educação (PNE 2014–2024),⁴ consolidou-se como o principal indicador de qualidade em educação em nível nacional.

É preciso ressaltar que, em busca realizada no primeiro trimestre de 2021 no Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), por meio da Comunidade Acadêmica Federada (acesso CAFe), com acesso expandido às bases de dados eletrônicos que compõem o Portal e aplicando o descritor “Indicador de Desenvolvimento das Escolas”, não foram encontrados artigos produzidos com essas finalidades. Embora as autoras Gatti (2012), André (2015) e Schneider (2017) se refiram ao indicador “espírito-santense” em seus estudos, em todos se apresenta uma discussão mais ampla acerca de políticas e ações implementadas em âmbito nacional.

As duas primeiras autoras discutem sobre as condições de trabalho docente e suas implicações para a qualidade do ensino e da aprendizagem dos estudantes. Desse modo, sinalizam para o uso do IDE como uma prática de bonificação por mérito, relacionando-o com outras iniciativas similares presentes em outros estados. O artigo de Schneider (2017), por sua vez, realiza uma análise de políticas com finalidades de accountability na educação básica, discutindo as ações desenvolvidas nos estados brasileiros como formas de prestação de contas à sociedade.

A ausência de um estudo mais detalhado sobre o IDE também justifica o desenvolvimento deste artigo que, além desta introdução, apresenta, sequencialmente, as seções: teoria e método; estatística do algoritmo do IDE; aproximações entre o IDE e o Ideb; discussão; e, por fim, as considerações finais.

Teoria e Método

Este artigo foi desenvolvido sob as possibilidades teóricas do paradigma indiciário proposto por Ginzburg, que atribui ao homem a função de caçador que “[...] fareja, registra, interpreta e classifica as pistas” (1989, p. 151) deixadas no tempo. Desse modo, com vistas a investigar e compreender o conceito de qualidade em educação, adotado na concepção do IDE, utiliza-se o processo de caça ao objeto de estudo. Assim, por meio das “pistas” reveladas pelas análises dos documentos que regularizam e normatizam o indicador e pelas análises dos seus resultados, busca-se captar uma realidade mais complexa para além da evidenciada. Esse movimento é importante, pois permite identificar suas potencialidades, limitações e fragilidades como definidor de qualidade e equidade dos sistemas educacionais espírito-santenses.

Para tanto, adota-se uma metodologia de abordagem mista, empregando uma estratégia exploratória sequencial (CRESWELL; PLANO CLARK, 2015) que, inicialmente, enfatiza uma fase qualitativa, mediante a realização de uma pesquisa documental e, em seguida, uma fase quantitativa, com análises estatísticas que permitam investigar algumas aproximações entre os resultados obtidos pelas escolas vinculadas à Sedu no IDE e no Ideb.

A pesquisa documental na análise qualitativa, de acordo com Kripka, Scheller e Bonotto, “[...] é aquela em que os dados obtidos são estritamente provenientes de documentos, com o objetivo de extrair informações neles contidas, a fim de compreender um fenômeno” (2015, p. 58). Nessa vertente, os documentos assumidos como fontes foram aqueles produzidos com o intuito de regulamentar e direcionar as ações do governo do estado do Espírito Santo, apresentando relações com o IDE. Esses documentos foram obtidos mediante consultas à aba “Legislações e Publicações” do portal eletrônico da Sedu.⁵ Também se utilizou, como fonte, uma cartilha produzida pela Sedu para a divulgação do indicador, distribuída em formato físico nas unidades educacionais do estado. Essa cartilha traz informações acerca da composição do indicador e exemplos práticos em que se calcula o IDE de escolas hipotéticas.

A análise quantitativa realizada compreende a aplicação de técnicas descritivas e a determinação do grau de associação entre a variável resultado no IDE e no Ideb, mediante o cálculo do coeficiente de correlação de Pearson, cujo pressuposto da normalidade dos dados foi verificado por meio do teste de Kolmogorov-Smirnov e da significância com a aplicação do teste t de Student (BUSSAB; MORETTIN, 2017; FÁVERO; BELFIORE, 2017). Para tanto, considerou-se o resultado referente ao exercício de 2019, publicado em 2020, das 222 unidades educacionais do estado que oferecem Ensino Médio e que possuem resultados em ambos os indicadores. Quanto ao IDE, esses resultados foram divulgados por meio da publicação da Portaria n. 094-R, de 27 de agosto de 2020 (ESPÍRITO SANTO, 2020). Com referência ao Ideb, foram obtidos em consultas realizadas no portal eletrônico do Inep.⁶ Essas análises foram realizadas com o auxílio do software estatístico R versão 3.6.1 (R CORE TEAM, 2021).

Estatística do Algoritmo do IDE

Conforme exposto, o IDE é um indicador finalístico que permite monitorar o desempenho da educação no estado do Espírito Santo. De acordo com a Portaria n. 064-R, de 24 de maio de 2017, seu objetivo declarado é “[...] aferir os níveis de desempenho das unidades escolares para proporcionar informações que permitam avaliar seus processos e planejar a melhoria do processo educativo” (ESPÍRITO SANTO, 2017a, p. 19). Juntamente com as avaliações que compõem o Paebes, o indicador é assumido como um dos pilares do Sistema Capixaba de Avaliação da Educação Básica (Sicaeb) (ESPÍRITO SANTO, 2017a).

O algoritmo do IDE considera quatro dimensões: a) o resultado do Paebes em Língua Portuguesa e Matemática; b) o número de estudantes ausentes na avaliação; c) o nível socioeconômico dos estudantes (NSE); e d) as diferentes séries e níveis de ensino ofertadas pela escola (ESPÍRITO SANTO, s. d.). Por conseguir esse feito, para Aline Elisa Cotta D’Avila, gerente de informação e avaliação educacional da Sedu no ano em que a política de bonificação foi implementada no estado, o IDE merece destaque por ser “[...] um indicador mais justo do que outros existentes” (ESPÍRITO SANTO, 2011b, p. 3). Para a sua composição, as duas primeiras dimensões supracitadas são combinadas, resultando no Indicador do Resultado da Escola (IRE). As duas últimas, referentes ao “esforço” da escola ao alcançar seus objetivos, resultam no Indicador de Esforço da Escola (IEE). Assim, o algoritmo do IDE é obtido por meio do produto entre esses inidicadores secundários:

$$\mathrm{IDE} = \mathrm{IRE} \times \mathrm{IEE}$$

Para compor o cálculo⁷ do bônus recebido pelos servidores vinculados à Sedu, são considerados dois critérios: individual e coletivo. O critério individual compreende o Indicador de Contribuição ao Desempenho (ICD) e o Fator de Valorização de Assiduidade (FVA). Em síntese, o FVA prevê um desconto de 10%, no valor da bonificação por desempenho a que o profissional teria direito, para cada ausência ocorrida no período letivo, ainda que essas ausências tenham sido justificadas ou abonadas.⁸ O ICD garante que só tenha direito ao prêmio o profissional que tenha permanecido em uma mesma escola por, pelo menos, dois terços do período correspondente ao ano letivo (ESPÍRITO SANTO, 2011a, 2016).

O critério coletivo, por sua vez, é determinado pelo Índice de Merecimento da Unidade (IMU). Trata-se de uma medida, expressa em classes percentuais, que varia entre 30 e 100%, em intervalos de 3,5%, pela qual as escolas são classificadas segundo seu IDE. Para uma melhor compreensão desse índice, bem como dos indicadores secundários que compõem o IDE (IRE e IEE), as metodologias utilizadas em suas construções são explicitadas nas subseções que seguem.

O Indicador do Resultado da Escola (IRE)

O IRE é gerado a partir do percentual de estudantes classificados em cada padrão de desempenho da escala de proficiência⁹ adotada no Paebes. Essa escala, construída por meio de uma metodologia estatística conhecida como Teoria de Resposta ao Item (TRI),¹⁰ assume, para a vertente de alfabetização do programa (Paebes Alfa), média de 500 pontos e desvio-padrão de 100 pontos para cada prova aplicada. Para os 5° e 9° anos do Ensino Fundamental e para o 3º ano do Ensino Médio, a escala de proficiência do Paebes assume as mesmas características da escala utilizada pelo Sistema de Avaliação da Educação Básica (Saeb), possuindo média de 250 pontos e desvio-padrão de 50 pontos para cada prova aplicada (ESPÍRITO SANTO, 2017b).

Em ambas as vertentes, assume-se a divisão da escala em quatro padrões de desempenho: Abaixo do Básico (AB); Básico (B); Proficiente (P); e Avançado (A), cujos cortes, para as disciplinas de Língua Portuguesa e Matemática, estão indicados na Tabela 1.

Tabela 1
Padrão de Desempenho no Paebes

Série avaliada	Disciplina	Abaixo do Básico (AB)	Básico (B)	Proficiente (P)	Avançado (A)
1° ano do EF	Língua Portuguesa	até 400	400 a 500	500 a 600	acima de 600
	Matemática	até 350	350 a 450	450 a 550	acima de 550
2° ano do EF	Língua Portuguesa	até 500	500 a 600	600 a 700	acima de 700
	Matemática	até 400	400 a 500	500 a 600	acima de 600
3° ano do EF	Língua Portuguesa	até 600	600 a 650	650 a 750	acima de 750
	Matemática	até 450	450 a 550	550 a 650	acima de 650
5° ano do EF	Língua Portuguesa	até 150	150 a 200	200 a 250	acima de 250
	Matemática	até 175	175 a 225	225 a 275	acima de 275
9° ano do EF	Língua Portuguesa	até 200	200 a 275	275 a 325	acima de 325
	Matemática	até 225	225 a 300	300 a 350	acima de 350
3º ano do EM	Língua Portuguesa	até 250	250 a 300	300 a 350	acima de 350
	Matemática	até 275	275 a 325	325 a 375	acima de 375

• Fonte: Espírito Santo (2017b).

Por convenção, estabeleceu-se um escore para cada padrão de desempenho da escala de proficiência do Paebes, conforme indicado na Tabela 2. O valor do IRE para cada disciplina e série avaliada é obtido pela média aritmética desse escore, ponderada pelo percentual de estudantes classificados em cada padrão de desempenho (ESPÍRITO SANTO, s. d.).

Tabela 2
Escore por padrões de desempenho no Paebes

Padrão de Desempenho	Escore
Excluídos	0
Abaixo do Básico (AB)	2
Básico (B)	6
Proficiente (P)	8
Avançado (A)	10

• Fonte: Espírito Santo (s. d.).

O nível “excluídos” refere-se aos alunos que se ausentaram no dia da aplicação do Paebes. Com isso, é possível controlar unidades que corroboram o fato de estudantes de baixo desempenho não realizarem a avaliação, com vistas a obter melhores resultados (ESPÍRITO SANTO, s. d.). O salto maior existente entre o escore atribuído aos estudantes classificados com o padrão AB e B sinaliza para a preocupação da Sedu em recuperar estudantes com proficiência abaixo do básico. Nesses casos, uma priorização do atendimento desse grupo possibilitaria, para a escola, um maior avanço no IRE.

Para fins de ilustração, imagine que, para uma determinada escola, pretende-se calcular o IRE para a disciplina Matemática, considerando a aplicação do Paebes para o 5° ano do Ensino Fundamental. Sabe-se que 8% dos estudantes matriculados não compareceram à aplicação da prova e, consequentemente, são tratados como excluídos. Além disso, os percentuais de estudantes classificados com os padrões AB, B, P e A foram 12, 32, 38 e 10%, respectivamente. Dessa forma, têm-se:

$$IRE=\frac{0\times 8+2\times 12+6\times 32+8\times 38+10\times 10}{100}=6,2$$

Para essa mesma escola, vamos agora calcular o IRE para as demais séries ofertadas, tanto em Matemática como em Língua Portuguesa, com os valores indicados na Tabela 3, que também traz o número de alunos matriculados por série.

Tabela 3
IRE e número de alunos matriculados em uma determinada escola

Disciplina	Série	IRE	Matrículas
Matemática	5° ano do EF	6,2	40
Matemática	9° ano do EF	5,7	150
Matemática	3° ano do EM	4,5	60
Língua Portuguesa	5° ano do EF	6,8	40
Língua Portuguesa	9° ano do EF	6,5	150
Língua Portuguesa	3° ano do EM	5,5	60

• Fonte: Elaboração própria, 2021.

O IRE da escola será calculado por meio da média aritimérica dos IRE calculados para cada disciplina e série, ponderados pelo número de matrículas, gerando um valor compreendido entre 0 e 10. Assim:

$$\mathrm{IRE}=\frac{6,2\times 40+5,7\times 150+4,5\times 60+6,8\times 40+6,5\times 150+5,5\times 60}{500}=5,9$$

Portanto, para o exemplo supracitado, o IRE da escola seria igual a 5,9.

O Indicador de Esforço da Escola (IEE)

Partindo do pressuposto da existência de fatores externos que podem comprometer o desempenho escolar dos estudantes, o IEE foi desenvolvido para controlar duas dimensões com essas características: o NSE e a dificuldade de ensino nos diferentes anos e níveis (ESPÍRITO SANTO, s. d.). Para classificar os estudantes da rede estadual de ensino do Espírito Santo quanto ao NSE, foi desenvolvida uma escala ordinal, compreendida entre 0 e 10, a partir das respostas dos alunos a questões dos questionários contextuais, aplicados juntamente com a Prova Brasil,¹¹ em 2007, e ao Paebes, em 2008 (ESPÍRITO SANTO, s. d.). Em síntese, quanto maior o nível na escala, maior, em média, o NSE do estudante.

A dificuldade de ensino nos diferentes anos e níveis foi ponderada de modo que as unidades que atendem a séries mais avançadas recebessem um acréscimo mediante a adoção de um fator de multiplicação (FM), definido para cada série, conforme indicado na Tabela 4.

Tabela 4
Fator de multiplicação para o cálculo do IEE

Série	1° ano do EF	2° ano do EF	3° ano do EF	5° ano do EF	9° ano do EF	3° ano do EM
Fator de multiplicação	1,0	1,1	1,1	1,1	1,2	1,5

• Fonte: Espírito Santo (s. d.).

A justificativa descrita na cartilha do IDE para o uso do FM é que ensinar estudantes de séries mais avançadas tende a ser mais complexo do que nas séries iniciais, considerando que uma trajetória irregular de aprendizagem, experimentada em anos de escolarização, pode ampliar as dificuldades do processo de ensino e aprendizagem do estudante (ESPÍRITO SANTO, s. d.). Dessa forma, o IEE pode ser obtido por meio da seguinte equação:

$$IEE = FM \times (10 – NSE)$$

Para fins de ilustração, imagine que a mesma escola referida na seção anterior possua estudantes com NSE = 1,5. Na Tabela 5, indica-se o cálculo do IEE para cada série que ela oferta.

Tabela 5
Cálculo do IEE de cada série que determinada escola oferta

Série	NSE	10 – NSE	FM	IEE
5° ano do EF	1,5	8,5	1,1	1,1 × 8,5 = 9,35
9° ano do EF	1,5	8,5	1,2	1,2 × 8,5 = 10,2
3° ano do EM	1,5	8,5	1,5	1,5 × 8,5 = 12,75

• Fonte: Elaboração própria 2021.

O cálculo do IEE da escola é realizado por meio da média aritmética do IEE de cada série e de cada disciplina avaliada, ponderada pelo número de matrículas, conforme indicado na Tabela 6.

Tabela 6
Cálculo do IEE de uma determinada escola

Disciplina	Série	IEE	Matrículas	IEE × Matrículas
Matemática	5° ano do EF	9,35	40	374
Matemática	9° ano do EF	10,2	150	1.530
Matemática	3° ano do EM	12,75	60	765
Língua Portuguesa	5° ano do EF	9,35	40	374
Língua Portuguesa	9° ano do EF	10,2	150	1.530
Língua Portuguesa	3° ano do EM	12,75	60	765
Total	–	–	500	5.338

• Fonte: Elaboração própria, 2021.

O IEE da escola, então, é obtido pela razão entre o somatório dos IEE das diferentes disciplinas e séries que ela oferta e o número total de matrícula, ou seja:

$$IEE=\frac{5.338}{500}=10,676$$

Portanto, para o exemplo supracitado, o IEE da escola seria igual a 10,676.

O Índice de Merecimento da Unidade (IMU)

Conforme estabelecido pelo Decreto n. 2761-R, de 31 de maio de 2011, o IMU é uma medida que expressa a contribuição coletiva de cada unidade escolar ao desempenho global da Sedu, que considera os resultados dessas unidades no Paebes, consolidados por meio do IDE. Em síntese, para o estabelecimento do índice, os resultados obtidos no cálculo do IDE são agrupados em classes e convertidos em um novo percentual, conforme indicado na Tabela 7, cujas informações foram obtidas por meio do decreto supracitado (ESPÍRITO SANTO, 2011a).

Tabela 7
Conversão do IDE para o IMU

Intervalo do IDE	IMU	Intervalo do IDE	IMU
0,00	0%	44,7457 – 47,7679	65,0%
0,0001 – 17,5448	30,0%	47,7680 – 50,7902	68,5%
17,5449 – 20,5671	33,5%	50,7903 – 53,8125	72,0%
20,5672 – 23,5894	37,0%	53,8126 – 56,8348	75,5%
23,5895 – 26,6117	40,5%	56,8349 – 59,8571	79,0%
26,6118 – 29,6340	44,0%	59,8572 – 62,8794	82,5%
29,6341 – 32,6563	47,5%	62,8795 – 65,9017	86,0%
32,6564 – 35,6786	51,0%	65,9018 – 68,9240	89,5%
35,6787 – 38,7009	54,5%	68,9241 – 71,9463	93,0%
38,7010 – 41,7233	58,0%	71,9464 – 74,9686	96,5%
41,7234 – 44,7456	61,5%	74,9687 – 100,00	100,0%

• Fonte: Espírito Santo (2011b).

Nessa vertente, o valor do IME expressa a porcentagem máxima da retribuição mensal que todos os profissionais vinculados à unidade poderão receber a título de bonificação por desempenho (ESPÍRITO SANTO, 2011a). Para fins de ilustração, vamos calcular o IDE para a mesma escola citada nas duas subseções anteriores:

$$IDE=IRE\times IEE=5,9\times 10,676\approx 62,99$$

Dessa forma, de acordo com a conversão indicada na Tabela 7, o IMU será de 86%. Esse é o valor atribuído no critério coletivo para o cálculo da bonificação por desempenho, determinado pela Sedu. Considerando que um profissional, cujo vencimento mensal seja de três mil reais, tenha trabalhado nessa unidade por mais de dois terços do ano letivo e não tenha se ausentado em nenhum dia, o valor do bônus anual recebido seria equivalente a 1,5 × 86% × R$ 3.000,00 = R$ 3.870,00. Caso esse profissional tenha se ausentado em dois dias letivos, desse valor seriam descontados 20% e, assim, o valor recebido seria R$ 3.096,00.

Para os profissionais atuantes nas Superintendências Regionais de Ensino (SRE), atribui-se o IMU referente à média dos valores obtidos pelo IDE das unidades a elas vinculadas. Esse critério também é utilizado para as escolas estaduais que não participam do Paebes ou que tenham menos de dez estudantes avaliados. Para a Unidade Administrativa Central da Sedu, atribui-se o IMU referente à média obtida no IDE de todas as escolas da rede (ESPÍRITO SANTO, 2011a).

Aproximações entre o IDE e o Ideb

Criado em 2007, por meio do Decreto n. 6.094, de 24 de abril de 2007 (BRASIL, 2007b), o Ideb é um indicador estatístico que combina o desempenho dos estudantes nas provas de Língua Portuguesa e Matemática do Saeb com dados sobre aprovação escolar obtidos por meio do Censo Escolar. Sua metodologia está centrada na existência de um Trade Off ¹² (TRAVITZKI, 2020) entre essas duas dimensões (fluxo e aprendizagem), consideradas essenciais para representar a realidade brasileira (FERNANDES, 2007a). Mediante essa combinação, buscou-se o controle de situações em que os sistemas de ensino retinham seus estudantes visando obter melhores resultados nas avaliações externas ou facilitar a progressão de série, sem a preocupação com a questão da qualidade da aprendizagem.

Por meio do Ideb, o MEC passou a oferecer apoio técnico e financeiro aos municípios com índices insuficientes de qualidade de ensino. Para tanto, o aporte de recursos se fez mediante adesão ao Plano de Metas Compromisso Todos pela Educação, referenciado por Saviani (2007) como o “carro-chefe” do Plano de Desenvolvimento da Educação (PDE). Essa política efetivou, no Brasil, a instauração das práticas de responsabilização¹³ das escolas e de seus atores, influenciando a criação de programas e práticas municipais e estaduais de prestação de contas (accountability) e bonificação por mérito, como o IDE no Espírito Santo, por exemplo (OSHIRO; SCORZAFAVE; DORIGAN, 2015; SANTOS, 2019; ALCÂNTARA; MATOS; COSTA, 2020).

Entre as semelhanças entre o IDE e o Ideb, destacam-se: a) a opção por avaliarem apenas as habilidades e competências adquiridas em Língua Portuguesa e Matemática; b) a composição dos algoritmos dos indicadores que abrangem a combinação dos resultados obtidos em exames estandardizados com outras dimensões, embora distintas; c) a não prescrição de estratégias que auxiliem na melhoria da qualidade da educação; d) a concepção de qualidade como sinônimo de eficácia, considerando que, para ambos, a qualidade está diretamente relacionada com a capacidade de produzir resultados quantitativos.

Entre as principais diferenças entre os indicadores, destaca-se o fato de o Ideb estar centrado em um sistema que prevê metas para a qualidade da educação nacional que, por sua vez, possuem um prazo para serem atingidas, o que não é feito diretamente pelo IDE, embora a maximização dos resultados de ambos os indicadores seja um objetivo comum entre a gestão das unidades escolares.

Destaca-se, ainda, uma vantagem do IDE em relação ao Ideb no que se refere à forma com que os respectivos indicadores tratam os resultados obtidos nas avaliações estandardizadas. Enquanto, para o cálculo do Ideb, é realizada uma padronização das notas médias alcançadas no Saeb, de modo a obter valores compreendidos entre 0 e 10, para o cálculo do IDE, consideram-se os padrões de desempenho obtidos no Paebes, não as notas, conforme explicitado na seção que trata do IRE. A adoção por uma classificação em padrões de desempenho, em vez do uso da média aritmética dos desempenhos dos estudantes, permite controlar o impacto de outliers que podem tanto elevar quanto diminuir a nota média da escola, não permitindo que o bom desempenho de um aluno “compense” o mau desempenho de outro. Além disso, torna-se possível realizar uma interpretação qualitativa da escala de proficiência do Paebes, na medida em que a aprendizagem dos estudantes é expressa em juízos de valor (abaixo do básico, básico, proficiente ou avançado), o que pode facilitar a leitura dos seus resultados.

Outra vantagem apresentada pelo IDE está relacionada ao controle do NSE dos estudantes, considerado em sua composição. Embora diversos pesquisadores tenham demonstrado, em seus estudos empíricos, a influência desse fator no processo de aprendizagem dos alunos e sua alta correlação com os seus resultados no Ideb, ele não é controlado pelo indicador nacional¹⁴ (SOARES; XAVIER, 2013; ALVES; SOARES, 2013; ALVES; GOUVÊA; VIANA, 2014; SOARES; SOARES; SANTOS, 2020a). O algoritmo do IDE também permite controlar as ausências no dia de aplicação do Paebes. O Ideb não possui um mecanismo efetivo associado a esse fato e, assim, permite que estratégias adversas, que possam resultar em ganhos no desempenho escolar médio da unidade, sejam elaboradas, como o incentivo à ausência de estudantes com baixas habilidades no dia da aplicação do Saeb (gaming behavior) (FIGLIO; GETZLER, 2006; DEMATTHEWS, 2014; CAPOCCHI, 2017).

Quanto aos desempenhos obtidos pelas 222 unidades educacionais do estado que oferecem o Ensino Médio e possuem resultados em ambos os indicadores, considerando o exercício de 2019, com divulgação realizada em 2020, construiu-se a Tabela 8, em que algumas estatísticas descritivas são expostas, e as Figs. 1 e 2, em que se pode observar a distribuição de frequências por classes, considerando o desempenho dessas escolas no Ideb e no IDE, respectivamente. Note que é possível observar uma tendência de normalidade dos dados em ambos os cenários.

Tabela 8
Estatísticas descritivas considerando o desempenho das escolas analisadas no Ideb e no IDE

Variáveis	Média (μ)	Desvio-Padrão (σ)	Coeficiente de Variação (σ/μ × 100%)
Nota no Ideb	4,648	0,613	13,19%
Nota no IDE	58,212	9,133	15,69%

• Fonte: Elaboração própria, 2021.

Figura 1
Resultado das escolas do Espírito Santo no Ideb/Ensino Médio

Figura 2
Resultado das escolas do Espírito Santo no IDE/Ensino Médio

Em ambos os cenários, o coeficiente de variação é classificado como médio, de acordo com os intervalos definidos por Gomes (1985).¹⁵ Entretanto, o menor valor para essa estatística indica que os dados referentes à nota do Ideb são mais homogêneos do que os da nota do IDE.

O pressuposto da normalidade dos dados foi verificado por meio da aplicação do teste de Kolmogorov-Smirnov, em que se obteve: a) para os resultados referentes ao Ideb, estatística D ≈ 0,046 (p-valor ≈ 0,746); e b) para os resultados referentes ao IDE, estatística D ≈ 0,028 (p-valor ≈ 0,994). Desse modo, procedeu-se à avaliação do grau de associação entre esses resultados por meio do cálculo do coeficiente de correlação de Pearson, cujo valor obtido foi 0,635. Essa associação pode ser verificada na Fig. 3, em que os pontos representam as escolas amostradas; o eixo das abscissas, a nota do Ideb; e o eixo das ordenadas, o IDE alcançado por essas unidades.

Figura 3
Associação entre as notas obtidas no Ideb e no IDE, considerando as 222 escolas analisadas

De acordo com a classificação proposta por Callegari-Jacques (2009),¹⁶ pode-se concluir que os resultados obtidos pelas escolas analisadas, considerando os indicadores IDE e Ideb, são fortemente correlacionados. Ademais, essa correlação se mostrou significativa pela aplicação do teste t de Student (t = 12,2, df = 220, p-valor < 0,001). Entretanto, é preciso considerar que a correlação existente não é perfeita. A análise visual da Fig. 3 permite identificar casos em que uma mesma unidade possui um bom desempenho em um indicador e um desempenho ruim em outro.

Discussão

Embora já seja utilizado há mais do que uma década, por meio da realização desta pesquisa, percebeu-se que o IDE possui fragilidades que não são investigadas nas produções acadêmicas voltadas a analisar as políticas educacionais adotadas no estado. Com o intuito de preencher essa lacuna, apresentam-se, a seguir, quatro críticas relacionadas com o indicador que merecem atenção especial.

Apenas as disciplinas de Língua Portuguesa e Matemática são avaliadas

Embora a política de bonificação por desempenho, implementada no estado, contemple os professores de todas as disciplinas e os demais servidores administrativos associados à Sedu, somente as disciplinas de Língua Portuguesa e Matemática são avaliadas, desconsiderando as demais áreas de conhecimento. Entre as consequências dessa priorização, podemos destacar a cobrança e a pressão exercida sobre os docentes dessas disciplinas, que precisam prestar contas do desempenho coletivo da escola. Os estudos de Hypolito e Ivo (2013), Ivo e Hypolito (2015) e Oliveira e Lima (2019), que realizaram entrevistas semiestruturadas com esses profissionais, evidenciam a existência de práticas extremas de responsabilização, indicando, congruentemente, que esse fenômeno gera conflitos internos entre os atores do processo educacional, as quais são prejudiciais ao desenvolvimento dos alunos.

De fato, apenas as disciplinas supracitadas são avaliadas anualmente pelo Paebes, considerando todas as vertentes do programa. Entretanto, desde 2011, o Paebes passou a avaliar, também, as grandes áreas de Ciências da Natureza e Ciências Humanas, em anos alternados, para o 9° ano do Ensino Fundamental e para o 3° ano do Ensino Médio. Acredita-se que os resultados obtidos nessas avaliações também devam ser considerados no cálculo do IDE, visto que o currículo adotado no Estado não se constitui unicamente das disciplinas que atualmente são avaliadas.

Utilizam dados desatualizados para o nível socioeconômico

Até o momento em que esta pesquisa foi realizada, a escala utilizada para a classificação dos estudantes quanto ao NSE era a mesma desenvolvida no final dos anos 2000, que considerou as respostas dos alunos em questionários contextuais aplicados juntamente com a Prova Brasil, em 2007, e do Paebes, em 2008, assumindo que o perfil dos estudantes atendidos nas unidades não tenha mudado, embora o próprio estado tenha promovido reformas educacionais que possam ter promovido essa mudança, como a transformação de escolas regulares em escolas de tempo integral, por meio do Plano Estratégico Nova Escola, que norteou a criação das Escolas Vivas no estado (ESPÍRITO SANTO, 2008).

O uso de dados desatualizados pode suscitar perda de validade e fidedgnidade da escala, conforme indicado pela literatura especializada (PASQUALI, 2017; MOURA; BAPTISTA; PRIMI, 2022). Desse modo, uma nova escala para o NSE, que considere dados mais atualizados sobre os estudantes, precisa ser desenvolvida para que se tenham resultados mais precisos e confiáveis no IDE.

Adoção do fator multiplicativo no cálculo do IEE de diferentes séries

A atribuição de um fator multiplicativo no cálculo do IEE, conforme indicado na Tabela 5, deu-se considerando as variadas complexidades de ensino nas diferentes séries. Entretanto, não foi encontrada nenhuma menção, nos documentos analisados, ao processo decisório que culminou na adoção desse fator, bem como ao processo metodológico que resultou na determinação dos valores adotados. É preciso questionar até que ponto essa ação não intensifica as práticas de desvalorização do ensino nas séries iniciais, denunciadas em diversos estudos da literatura, como Guisso e Gesser (2019) e Prioste (2020).

Além disso, assumir como válida a justificativa descrita na cartilha do IDE, que correlaciona o uso do fator multiplicativo com as diferenças de complexidades de ensino entre as séries, vai na contramão da utilização de um mesmo índice para os 2°, 3° e 5° anos do Ensino Fundamental, considerando que cada série possui singularidades.

Existência de outros fatores de contexto com comprovada influência no desempenhoescolar não considerados pelo IDE

Embora apresente avanços em relação a outros indicadores de qualidade em educação, como o Ideb, por considerar o impacto do contexto social e econômico no desempenho escolar, há outros fatores de contexto com comprovada influência no rendimento escolar dos estudantes, como a infraestrutura das escolas (MARRI; RACCHUMI, 2012; SOARES; SOARES; SANTOS, 2020b), além de formação, escolaridade e experiência dos professores e gestores, amplamente discutidos na literatura especializada (COSTA-HÜBES, 2013; OLIVEIRA; CARVALHO, 2018), que não são controlados no cálculo do IDE.

Esses fatores precisam ser analisados e problematizados considerando a realidade da educação no contexto espírito-santense, suas particularidades e demandas específicas, o que pode ser feito por meio de estudos in loco e em diálogos com a comunidade escolar. A partir disso, seria possível propor alterações no algoritmo do IDE, tornando-o mais eficaz e equitativo.

Considerações Finais

Este artigo se propôs analisar a metodologia utilizada na construção do IDE, sinalizando para algumas fragilidades que merecem atenção especial, sobretudo ao se pensar um possível aperfeiçoamento futuro. Para além disso, estabeleceram-se algumas aproximações com o Ideb, concluindo-se que ele apresenta avanços em relação ao indicador nacional, sobretudo considerando: a adoção de padrões de desempenho, em vez de notas médias padronizadas; o controle de estudantes ausentes no dia de aplicação do Paebes; e o controle do nível socioeconômico dos estudantes em sua composição, fator amplamente apontado na literatura especializada como de alto impacto para o desempenho escolar (ANDREWS; VRIES, 2012; DUARTE, 2013, GARCIA; YANNOULAS, 2017).

Por outro lado, foi possível verificar que, assim como no Ideb, a concepção de qualidade adotada pelo IDE está diretamente relacionada com a capacidade de produzir resultados quantitativos. O caráter diagnóstico assumido não permite a prescrição de estratégias que auxiliem na melhoria dos processos de ensino e aprendizagem que ocorrem no interior da escola. Em síntese, o algoritmo de ambos enfatiza os produtos em detrimento dos processos e, portanto, eles podem ser compreendidos como indicadores de resultados educacionais que, por sua vez, não podem ser considerados isoladamente para revelar a qualidade da educação. Desse modo, o seu uso deve ser ponderado a partir dos próprios limites da metodologia estatística adotada.

Ademais, evidenciou-se que a criação do IDE e seu uso como critério coletivo para o cálculo do valor do bônus recebido pelos servidores vinculados à Sedu resultaram em uma significativa mudança no efeito do Paebes para professores e gestores da esfera estadual no Espírito Santo, passando de uma política que inicialmente oferecia baixo impacto no desempenho de suas funções para uma política de alto impacto. Esse movimento de transição de concepção expressa uma transferência de responsabilização do estado para os profissionais com atuação direta na escola que precisa ser investigada, minunciosamente, em pesquisas futuras. Por meio dele, as escolas administradas pelo estado têm sinalizado a apropriação dessa política de avaliação na busca pela maximização de seus resultados, gerando negociações, implicações e tensões nas práticas cotidianas que, embora não tenham sido o objeto de análise deste artigo, também precisam ser problematizadas.

Desse modo, parece-nos interessante abordar, em estudos futuros, como as diferentes maneiras de fazer desses espaços/lugares (Sedu, SRE e unidades escolares) evidenciam as práticas e os usos dos resultados obtidos por meio de indicadores educacionais, considerando a construção de uma política para o Ensino Médio focada em exames estandardizados. Esses estudos, que se referem às práticas de apropriação e/ou de resistência frente a essa política, podem contribuir para a construção da escola como um lugar plural, democrático e de formação humana, pensando no desenvolvimento de ações que versam sobre o fortalecimento da educação pública.

• Este artigo foi produzido com base nos dados da pesquisa “Avaliação estandardizada nos estados do Espírito Santo/Brasil e Baja California/México: dilemas e tensões do Paebes e do Exeims-BC”, financiada pela Fundação de Amparo à Pesquisa e Inovação do Espírito Santo (Fapes), Protocolo 45195.706.17880.29042021.

Notas

• 1
  No dia 15 de maio de 2018, o Tribunal Superior Eleitoral (TSE) aprovou a mudança do nome e da sigla do Partido do Movimento Democrático Brasileiro (PMDB) para Movimento Democrático Brasileiro (MDB).
• 2
  O subsídio é uma espécie de remuneração, possibilitada aos servidores públicos de carreira, prevista no § 4° do art. 39 da Constituição Federal (BRASIL, 1988), que incorpora ao vencimento vantagens fixas e variáveis, em parcela única, quando da sua definição em lei.
• 3
  As Escolas Vivas, no estado do Espírito Santo, são unidades escolares estaduais com jornada estendida, integral e em tempo integral, que assumem o “projeto de vida” de cada estudante no centro de suas preocupações e esforços (OLIVEIRA; LIRIO, 2017).
• 4
  Por meio de 36 estratégias assumidas como necessárias para fomentar a qualidade da educação básica nacional, a Meta 7 do PNE 2014-2024 propõe que até 2021 sejam atingidas as metas estabelecidas pelo Ideb em todas as etapas e modalidades de ensino (BRASIL, 2014).
• 5
  Portal eletrônico da Sedu: https://sedu.es.gov.br/
• 6
  Portal eletrônico do Inep: http://portal.inep.gov.br/
• 7
  Conforme o art. 7° do Decreto n. 2.761-R, de 31 de maio de 2011 (ESPÍRITO SANTO, 2011a), e o art. 1° da Lei Complementar n. 887, de 4 de abril de 2018 (ESPÍRITO SANTO, 2018), o valor da Bonificação por Desempenho (VBD) corresponde ao produto obtido pela multiplicação de 1,5 pela retribuição mensal do profissional (RMP), pelo IMU, ICD e FVA.
• 8
  Destaca-se que o FVA, ao propor esse desconto, vai na contramão do art. 32 da Lei Complementar n. 46, de 31 de janeiro de 1994, que dispõe sobre o Estatuto do Servidor Público Estadual, o qual garante o abono de até seis faltas por ano para que o servidor possa tratar de assuntos do seu interesse pessoal (ESPÍRITO SANTO, 1994).
• 9
  Escala utilizada para posicionar a proficiência (desempenho) dos estudantes no Paebes.
• 10
  Segundo Andrade, Tavares e Valle, a TRI é um “[...] conjunto de modelos matemáticos que visam explicar a probabilidade de um indivíduo responder corretamente a um item, considerando os parâmetros do item e a proficiência do indivíduo” (2000, p. 8).
• 11
  Para a Prova Brasil, foram considerados os questionários contextuais aplicados aos estudantes participantes, matrículados nas 4ª e 8ª séries (5º e 9º anos) do Ensino Fundamental (ESPÍRITO SANTO, s. d.).
• 12
  Trade off é um conceito comumente utilizado em Economia, que representa relações inversas entre variáveis. Em síntese, à medida que se almeje o aumento de uma variável, espera-se que a outra diminua (TRAVITZKI, 2020).
• 13
  De fato, de acordo com o Ministro da Educação à época em que o PDE foi implementado, Fernando Haddad (PT), o programa trazia “[...] inéditas conexões entre avaliação, financiamento e gestão, que invocam conceito até agora ausente do nosso sistema educacional: a responsabilização e, como decorrência, a mobilização social” (BRASIL, 2007a, p. 11).
• 14
  Embora o Saeb, por meio dos questionários contextuais aplicados juntamente com as provas, realize levantamentos acerca das características sociais, demográficas e culturais dos estudantes e do contexto e condições de funcionamento das escolas, essas informações não são consideradas na composição do Ideb.
• 15
  Gomes (1985) classifica o coeficiente de variação como baixo, caso o valor seja inferior a 10%; médio, caso o valor esteja entre 10 e 20%; alto, caso o valor esteja entre 20 e 30%; e muito alto para valores acima de 30%.
• 16
  Callegari-Jacques (2009) classifica a correlação entre duas variáveis como fraca, caso o valor obtido por meio do cálculo do coeficiente de correlação de Pearson esteja no intervalo compreendido entre 0,0 e 0,3; moderada entre 0,3 e 0,6; forte entre 0,6 e 0,9; e muito forte para valores acima de 0,9.

Referências

• ALCÂNTARA, A. B.; MATOS, L.; COSTA, R. Programa Escola Viva no estado do Espírito Santo: reflexões acerca da gestão educacional. Roteiro, Joaçaba, n. 45, p. 1-20, 2020. https://doi.org/10.18593/r.v45i0.23378
  » https://doi.org/10.18593/r.v45i0.23378
• ALVES, M. T. G.; SOARES, J. F. Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, São Paulo, v. 39, n. 1, p. 177-194, 2013. https://doi.org/10.1590/S1517-97022013000100012
  » https://doi.org/10.1590/S1517-97022013000100012
• ALVES, T.; GOUVEA, M. A.; VIANA, A. B. N. Proposta de um indicador socioeconômico para os alunos das escolas públicas dos municípios brasileiros. Dados, Rio de Janeiro, v. 57, n. 1, p. 129-166, mar. 2014. https://doi.org/10.1590/S0011-52582014000100005
  » https://doi.org/10.1590/S0011-52582014000100005
• ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria de resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000. Disponível em: https://docs.ufpr.br/~aanjos/CE095/LivroTRI_DALTON.pdf Acesso em: 15 set. 2021.
  » https://docs.ufpr.br/~aanjos/CE095/LivroTRI_DALTON.pdf
• ANDRÉ, M. Políticas de valorização do trabalho docente no Brasil: algumas questões. Ensaio – Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 86, p. 213-230, 2015. https://doi.org/10.1590/S0104-40362015000100008
  » https://doi.org/10.1590/S0104-40362015000100008
• ANDREWS, C. W.; VRIES, M. S. Pobreza e municipalização da educação: análise dos resultados do IDEB (2005-2009). Cadernos de Pesquisa, São Paulo, v. 42, p. 826-847, 2012. https://doi.org/10.1590/S0100-15742012000300010
  » https://doi.org/10.1590/S0100-15742012000300010
• BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. Avaliações em larga escala: uma sistematização do debate. Educação e Pesquisa, São Paulo, v. 41, p. 1367-1384, 2015. https://doi.org/10.1590/S1517-9702201508144607
  » https://doi.org/10.1590/S1517-9702201508144607
• BUSSAB, W. O.; MORETTIN, P. A. Estatística básica São Paulo: Saraiva Educação, 2017.
• BRASIL. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União, Brasília, DF: Presidência da República, 1988. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm Acesso em: 04 ago. 2022.
  » http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm
• BRASIL. Ministério da Educação. O Plano de Desenvolvimento da Educação: razões, princípios e programas. Brasília, DF: Instituto Nacional de Estudos e Pesquisas Anísio Teixeira, 2007a. Disponível em: http://portal.mec.gov.br/arquivos/livro/ Acesso em: 18 abr. 2022.
  » http://portal.mec.gov.br/arquivos/livro/
• BRASIL. Decreto n. 6.094, de 24 de abril de 2007. Dispõe sobre a implementação do Plano de Metas Compromisso Todos pela Educação, pela União Federal, em regime de colaboração com Municípios, Distrito Federal e Estados, e a participação das famílias e da comunidade, mediante programas e ações de assistência técnica e financeira, visando a mobilização social pela melhoria da qualidade da educação básica. Diário Oficial da União, Brasília, DF, 2007b. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/decreto/d6094.htm Acesso em: 12 set. 2021.
  » http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/decreto/d6094.htm
• BRASIL. Ministério da Educação. Lei n. 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação e dá outras providências. Diário Oficial da União Brasília, DF: Presidência da República, 2014. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l13005.htm Acesso em: 06 set. 2020.
  » http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2014/lei/l13005.htm
• BUSSAB, W. O.; MORETTIN, P. A. Estatística básica 9. ed. São Paulo: Saraiva, 2017.
• CALLEGARI-JACQUES, S. M. Bioestatística: princípios e aplicações. Porto Alegre: Artmed Editora, 2009.
• CAPOCCHI, E. R. Avaliações em larga escala e políticas de responsabilização na educação: evidências de implicações indesejadas no Brasil. 2017. 214 f. Dissertação (Mestrado em Educação) – Faculdade de Educação da Universidade de São Paulo, São Paulo, 2017. Disponível em: http://www.teses.usp.br/teses/disponiveis/48/48134/tde-13092017-145218/ Acesso em: 21 set. 2022.
  » http://www.teses.usp.br/teses/disponiveis/48/48134/tde-13092017-145218/
• CERTEAU, M. A invenção do cotidiano: artes de fazer. 15. ed. Petrópolis: Vozes, 2002.
• CÔCO, D.; GONTIJO, C. M. M. Avaliação externa nas classes de Alfabetização no Espírito Santo. Pro-Posições, Campinas, v. 28, p. 63-87, 2017. https://doi.org/10.1590/1980-6248-2016-0011
  » https://doi.org/10.1590/1980-6248-2016-0011
• COSTA-HÜBES, T. C. Formação continuada para professores da educação básica nos anos iniciais: ações voltadas para municípios com baixo Ideb. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 94, p. 501-523, 2013. https://doi.org/10.24109/2176-6681.rbep.94i237.375
  » https://doi.org/10.24109/2176-6681.rbep.94i237.375
• CRESWELL, J. W.; PLANO CLARK, V. L. Pesquisa de métodos mistos Curitiba: Penso Editora, 2015. (Série Métodos de Pesquisa.)
• DEMATTHEWS, D. E. Looks like 10 miles of bad road cheating, gaming, mistrust, and an interim principal in an urban Texas high school. Journal of Cases in Educational Leadership, Tempe, v. 17, n. 4, p. 19-33, 2014. Disponível em: https://eric.ed.gov/?id=EJ1045026 Acesso em: 20 abr. 2022. https://doi.org/10.1177/1555458914549667
  » https://doi.org/10.1177/1555458914549667» https://eric.ed.gov/?id=EJ1045026
• DUARTE, N. S. O impacto da pobreza no Ideb: um estudo multinível. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 94, p. 343-363, 2013. https://doi.org/10.24109/2176-6681.rbep.94i237.369
  » https://doi.org/10.24109/2176-6681.rbep.94i237.369
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Cartilha do IDE Vitória (ES): Sedu, s.d.
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Lei Complementar n. 46, de 31 de janeiro de 1994. Institui o Regime Jurídico Único para os servidores públicos civis da administração direta, das autarquias e das fundações do Estado do Espírito Santo, de qualquer dos seus Poderes, e dá outras providências. Diário Oficial dos Poderes do Estado Vitória: Sedu, 1994. Disponível em: http://www3.al.es.gov.br/Arquivo/Documents/legislacao/html/LEC461994.html Acesso em: 21 set. 2021.
  » http://www3.al.es.gov.br/Arquivo/Documents/legislacao/html/LEC461994.html
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Gerência de Qualidade da Informação e da Avaliação. Programa de Avaliação da Educação Básica do Espírito Santo. Diário Oficial dos Poderes do Estado Vitória: Sedu, 1999.
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Plano Estratégico Nova Escola Vitória: Sedu, 2008. Disponível em: http://www.planejamento.es.gov.br/Arquivos/PDF/plano_estrateg2011_2014.pdf Acesso em: 18 abr. 2022.
  » http://www.planejamento.es.gov.br/Arquivos/PDF/plano_estrateg2011_2014.pdf
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Lei Complementar n. 504. Institui a Bonificação por Desempenho, no âmbito da Secretaria de Estado da Educação - SEDU, e dá outras providências. Diário Oficial dos Poderes do Estado Vitória: Sedu, 2009. Disponível em: https://sedu.es.gov.br/Media/sedu/pdf%20e%20arquivos/leicomplementar5042011bonusdesemp.pdf Acesso em: 21 set. 2021.
  » https://sedu.es.gov.br/Media/sedu/pdf%20e%20arquivos/leicomplementar5042011bonusdesemp.pdf
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Decreto n. 2.761, de 31 de maio de 2011. Regulamenta concessão da Bonificação por Desempenho, instituída pela Lei Complementar n. 504, de 20 de novembro de 2009. Diário Oficial dos Poderes do Estado Vitória: Sedu, 2011a.
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Indicador de Desenvolvimento das Escolas Estaduais do Espírito Santo – IDE 2010 (Nota explicativa). Vitória: Sedu, 2011b. Disponível em: https://sedu.es.gov.br/Media/sedu/pdf%20e%20arquivos/notaexplicativabonus.pdf Acesso em: 21 set. 2021.
  » https://sedu.es.gov.br/Media/sedu/pdf%20e%20arquivos/notaexplicativabonus.pdf
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Decreto n. 3.949, de 29 de fevereiro de 2016. Altera alguns dispositivos que regulamentam a concessão da bonificação por desempenho, para professores e servidores da Secretaria de Estado da Educação. Diário Oficial dos Poderes do Estado Vitória: Sedu, 2016.
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Portaria n. 064-R, de 24 de maio de 2017. Institui o Sistema Capixaba de Avaliação da Educação Básica no âmbito do Sistema de Ensino do Espírito Santo – Sicaeb. Diário Oficial dos Poderes do Estado Vitória: Sedu, 2017a.
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Revista do Gestor, Juiz de Fora, 2017b.
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Lei Complementar n. 887, de 04 de abril de 2018. Altera a Lei Complementar n. 504, de 20 de novembro de 2009. Diário Oficial dos Poderes do Estado Vitória: Sedu, 2018. Disponível em: http://www3.al.es.gov.br/Arquivo/Documents/legislacao/html/LEC8872018.html Acesso em: 21 set. 2021.
  » http://www3.al.es.gov.br/Arquivo/Documents/legislacao/html/LEC8872018.html
• ESPÍRITO SANTO (Estado). Secretaria de Estado da Educação. Portaria n. 094-R, de 27 de agosto de 2020. Estabelece o valor do Indicador de Desenvolvimento das Escolas Estaduais do Espírito Santo (IDE) e do Índice de Merecimento da Unidade (IMU). Diário Oficial dos Poderes do Estado Vitória: Sedu, 2020. Disponível em: https://sedu.es.gov.br/Media/sedu/pdf%20e%20Arquivos/B%C3%B4nus%20Desempenho%2028-08-2020.pdf Acesso em: 21 set. 2021.
  » https://sedu.es.gov.br/Media/sedu/pdf%20e%20Arquivos/B%C3%B4nus%20Desempenho%2028-08-2020.pdf
• FÁVERO, L. P.; BELFIORE, P. Manual de análise de dados: estatística e modelagem multivariada com Excel^®, SPSS^® e Stata^® São Paulo: Elsevier Brasil, 2017.
• FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2007a. Disponível em: https://www2.unifap.br/gpcem/files/2011/09/IDEB-_Texto_para_discuss%C3%A3o26.pdf Acesso em: 02 ago. 2021.
  » https://www2.unifap.br/gpcem/files/2011/09/IDEB-_Texto_para_discuss%C3%A3o26.pdf
• FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2007b. Disponível em: https://download.inep.gov.br/educacao_basica/portal_ideb/o_que_sao_as_metas/Artigo_projecoes.pdf Acesso em: 02 ago. 2021.
  » https://download.inep.gov.br/educacao_basica/portal_ideb/o_que_sao_as_metas/Artigo_projecoes.pdf
• FIGLIO, D. N.; GETZLER, L. S. Accountability, ability and disability: Gaming the system? Improving school accountability Bingley: Emerald Group Publishing Limited, 2006. https://doi.org/10.1016/S0278-0984(06)14002-X
  » https://doi.org/10.1016/S0278-0984(06)14002-X
• GARCIA, A.; YANNOULAS, S. Educação, pobreza e desigualdade social. Em Aberto, Brasília, DF, v. 30, n. 99, 2017. https://doi.org/10.24109/2176-6673.emaberto.30i99.3262 https://doi.org/10.24109/2176-6673.emaberto.30i99
  » https://doi.org/10.24109/2176-6673.emaberto.30i99.3262» https://doi.org/10.24109/2176-6673.emaberto.30i99
• GATTI, B. A. Reconhecimento social e as políticas de carreira docente na educação básica. Cadernos de Pesquisa, São Paulo, v. 42, n. 145, p. 88-111, 2012. https://doi.org/10.1590/S0100-15742012000100007
  » https://doi.org/10.1590/S0100-15742012000100007
• GINZBURG, C. Sinais: raízes de um paradigma indiciário. Mitos, emblemas, sinais São Paulo: Companhia das Letras, 1989. p. 143-179.
• GOMES, F. P. Curso de estatística experimental Piracicaba: ESALQ/USP, 1985.
• GUISSO, L.; GESSER, M. Sentidos atribuídos pelos professores de séries iniciais aos desafios na carreira docente. Pro-Posições, Campinas, v. 30, 2019. https://doi.org/10.1590/1980-6248-2017-0187
  » https://doi.org/10.1590/1980-6248-2017-0187
• HYPOLITO, A. M.; IVO, A. A. Políticas curriculares e sistemas de avaliação: efeitos sobre o currículo. Revista E-curriculum, São Paulo, v. 11, n. 2, p. 376-392, 2013. Disponível em: https://revistas.pucsp.br/index.php/curriculum/article/view/16613 Acesso em: 20 abr. 2022.
  » https://revistas.pucsp.br/index.php/curriculum/article/view/16613
• IVO, A. A.; HYPOLITO, A. M. Políticas gerenciais em educação: efeitos sobre o trabalho docente. Currículo sem Fronteiras, Braga, v. 15, n. 2, p. 365-379, 2015. Disponível em: www.curriculosemfronteiras.org/vol15iss2articles/ivo-hypolito.pdf Acesso em: 20 abr. 2022.
  » www.curriculosemfronteiras.org/vol15iss2articles/ivo-hypolito.pdf
• KRIPKA, R. M. L.; SCHELLER, M.; BONOTTO, D. L. Pesquisa documental na pesquisa qualitativa: conceitos e caracterização. Revista de Investigaciones UNAD, Bogotá, v. 14, n. 2, p. 55-73, 2015. Disponível em: https://hemeroteca.unad.edu.co/index.php/revista-de-investigaciones-unad/article/viewFile/1455/1771 Acesso em: 22 ago. 2021.
  » https://hemeroteca.unad.edu.co/index.php/revista-de-investigaciones-unad/article/viewFile/1455/1771
• MARRI, I.; RACCHUMI, J. Infraestrutura escolar e desempenho educacional em Minas Gerais: possíveis associações. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS, 28., 2012, Águas de Lindoia. Anais.. Águas de Lindoia: Abep, 2012.
• MENEZES, D. MEC premia alunos e diretores de escolas públicas de todas as regiões do país. Portal MEC, 2019. Disponível em: http://portal.mec.gov.br/component/content/article/211-noticias/218175739/79921-mec-premia-alunos-e-diretores-de-escolas-publicas-de-todas-as-regioes-do-pais?Itemid=164 Acesso em: 23 jul. 2021.
  » http://portal.mec.gov.br/component/content/article/211-noticias/218175739/79921-mec-premia-alunos-e-diretores-de-escolas-publicas-de-todas-as-regioes-do-pais?Itemid=164
• MOURA, C. F.; BAPTISTA, M. N.; PRIMI, R. Tutoriais em análise de dados aplicados à Psicometria Petrópolis: Vozes, 2022.
• OLIVEIRA, A. C. P.; CARVALHO, C. P. Gestão escolar, liderança do diretor e resultados educacionais no Brasil. Revista Brasileira de Educação, Rio de Janeiro, v. 23, 2018. http://doi.org/10.1590/s1413-24782018230015
  » https://doi.org/10.1590/s1413-24782018230015
• OLIVEIRA, G. A.; LIMA, F. R. Retratos da avaliação da aprendizagem em uma escola pública: o foco em índices de aprovação e reprovação do 1º ao 5º ano do Ensino Fundamental. Revista da FAESF, Pedreiras, v. 3, n. 4, 2019. Disponível em: https://www.faesfpi.com.br/revista/index.php/faesf/article/view/97 Acesso em: 20 abr. 2022.
  » https://www.faesfpi.com.br/revista/index.php/faesf/article/view/97
• OLIVEIRA, U. J.; LIRIO, M. M. O projeto escola viva: a política de educação neoliberal de Paulo Hartung, no Espírito Santo (2003-2016). CLIO – Revista Pesquisa Histórica, Recife, v. 35, n. 1, p. 273-295, 2017. https://doi.org/10.22264/clio.issn2525-5649.2017.35.1.al.14
  » https://doi.org/10.22264/clio.issn2525-5649.2017.35.1.al.14
• ORFIELD, G.; WALD, J. The high-stakes testing mania hurts poor and minority students the most. The Nation, New York, v. 270, n. 22, p. 38-40, 2000. Disponível em: https://thenation.s3.amazonaws.com/pdf/testingtesting2000.pdf Acesso em: 21 set. 2022.
  » https://thenation.s3.amazonaws.com/pdf/testingtesting2000.pdf
• OSHIRO, C. H.; SCORZAFAVE, L. G.; DORIGAN, T. A. Impacto sobre o desempenho escolar do pagamento de bônus aos docentes do ensino fundamental do Estado de São Paulo. Revista Brasileira de Economia, Rio de Janeiro, v. 69, n. 2, p. 213-249, 2015. https://doi.org/10.5935/0034-7140.20150010
  » https://doi.org/10.5935/0034-7140.20150010
• PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. Petrópolis: Vozes, 2017.
• POPHAM, W. J. The merits of measurement-driven instruction. Phi Delta Kappan, Bloomington, v. 68, n. 9, p. 679-682, 1987. Disponível em: https://www.jstor.org/stable/20403467 Acesso em: 12 ago. 2021.
  » https://www.jstor.org/stable/20403467
• PRIOSTE, C. Hipóteses docentes sobre o fracasso escolar nos anos iniciais do Ensino Fundamental. Educação e Pesquisa, São Paulo, v. 46, 2020. https://doi.org/10.1590/S1678-4634202046220336
  » https://doi.org/10.1590/S1678-4634202046220336
• R CORE TEAM. R: a language and environment for statistical computing. Vienna: R Foundation for Statistical Computing, 2021. Disponível em: https://www.r-project.org/ Acesso em: 26 jun. 2021.
  » https://www.r-project.org/
• RABELO, M. Avaliação educacional: fundamentos, metodologia e aplicações no contexto brasileiro. Rio de janeiro: SBM, 2013.
• SANTOS, L. D. A política de bonificação/premiação e a gestão escolar: um estudo sobre Pernambuco e Paraíba. 2019. Tese (Doutorado em Educação) – Faculdade de Educação, Universidade Federal de Pernambuco, Recife, 2019. Disponível em: https://repositorio.ufpe.br/handle/123456789/35260 Acesso em: 18 abr. 2021.
  » https://repositorio.ufpe.br/handle/123456789/35260
• SAVIANI, D. O Plano de Desenvolvimento da Educação: análise do projeto do MEC. Educação & Sociedade Campinas, v. 28, n. 100, p. 1231-1255, 2007. https://doi.org/10.1590/S0101-73302007000300027
  » https://doi.org/10.1590/S0101-73302007000300027
• SCHNEIDER, M. P. Tessituras intergovernamentais das políticas de accountability educacional. Revista Educação em Questão, Natal, v. 55, n. 43, p. 162-186, 2017. https://doi.org/10.21680/1981-1802.2017v55n43ID11811
  » https://doi.org/10.21680/1981-1802.2017v55n43ID11811
• SOARES, J. F.; XAVIER, F. P. Pressupostos educacionais e estatísticos do Ideb. Educação & Sociedade, Campinas, v. 34, n. 124, p. 903-923, jul./set. 2013. https://doi.org/10.1590/S0101-73302013000300013
  » https://doi.org/10.1590/S0101-73302013000300013
• SOARES, D. J. M.; SOARES, T. E. A.; SANTOS, W. Índice de Desenvolvimento da Educação Básica (Ideb): revisão sistemática da literatura. Revista Meta – Avaliação, Rio de Janeiro, v. 12, n. 37, p. 912-932, out./dez. 2020a. https://doi.org/10.22347/2175-2753v12i37.2773
  » https://doi.org/10.22347/2175-2753v12i37.2773
• SOARES, D. J. M.; SOARES, T. E. A.; SANTOS, W. Infraestrutura e desempenho escolar na Prova Brasil: aspectos e conexões. Olhar de Professor, Ponta Grossa, v. 23, p. 1-18, jul. 2020b. https://doi.org/10.5212/10.5212/OlharProfr.v.23.2020.15023.209209227242.0626
  » https://doi.org/10.5212/10.5212/OlharProfr.v.23.2020.15023.209209227242.0626
• TRAVITZKI, R. Qual é o grau de incerteza do Ideb e por que isso importa? Ensaio – Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 28, p. 500-520, 2020. https://doi.org/10.1590/S0104-40362020002801770
  » https://doi.org/10.1590/S0104-40362020002801770

Editor de Seção: Nelson Cardoso do Amaral

Datas de Publicação

• Publicação nesta coleção
  25 Nov 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  26 Set 2021
• Aceito
  03 Ago 2022