AVALIAÇÃO EXTERNA E AVALIAÇÃO INSTITUCIONAL: EMBATES E DIÁLOGOS PARA CONSTRUÇÃO DA QUALIDADE SOCIAL

EXTERNAL EVALUATION AND INSTITUTIONAL EVALUATION: CONTESTS AND DIALOGUES TO BUILD SOCIAL QUALITY

RESUMO

O presente artigo estabelece um diálogo entre os processos de avaliação externa de larga escala e de avaliação institucional participativa, a partir da análise de quatro modelos de avaliação à luz de categorias consideradas importantes dentro da lógica emancipatória vista como contraposta à lógica mercadológica. Com isso, propõe-se uma forma de análise dos modelos avaliativos que, longe de ser norteada pelas díades quantitativo/qualitativo, externo/interno, filie-se à lógica emancipatória. Por fim, discute-se a importância de eleger indicadores de qualidade coerentes à epistemologia decolonial, construindo rotas de fuga a uma leitura de qualidade educacional ainda marcada pelo imperialismo cultural e econômico. Trata-se, pois, de um trabalho contra regulatório que subsidiará a reflexão e ação dos profissionais da educação, devidamente articuladas com as forças vivas da escola e expressas num pacto de qualidade negociado, responsavelmente administrado em nome de um futuro comprometido com a justiça social.

Palavras-chave
Avaliação externa de larga escala; Avaliação institucional participativa; Educação mercadológica; Educação emancipatória; Qualidade social

ABSTRACT

This article establishes a dialogue between the processes of large-scale evaluation and participatory institutional evaluation, based on the analysis of four evaluation models in the light of categories considered important within the emancipatory logic, seen as opposed to the managerial logic. We propose a form of analysis of evaluation models that, far from being guided by the quantitative/qualitative, external/internal dichotomies, pays particular attention to the logic behind them. Finally, we discuss the importance of choosing quality indicators aligned to decolonial epistemology that go in the opposite direction of some educational quality frameworks still marked by cultural and economic imperialism. Therefore, this is a counter-regulatory work that supports the reflection and action of education professionals, leaned on the living forces of the school, expressed by a negotiated quality pact and committed to achieving a socially just society.

Keywords
Large-scale external evaluation; Participatory institutional evaluation; Managerial education; Emancipatory education; Social quality

Introdução

No Brasil, a luta pela democratização da educação escolar marcada, por um lado, pelo movimento popular e de educadores e, por outro, pela intensificação dos processos neoliberais, tem significado o embate entre duas lógicas que refletem formas de avaliação e concepções de qualidade bastante distintas.

De um lado, a adoção das avaliações externas de larga escala atrelada aos princípios gerenciais de competitividade e mercantilização da educação comprometem o alcance de uma qualidade socialmente referenciada, pautada na formação humana e na justiça social (BERTAGNA et al, 2020; OLIVEIRA, 2022). Pesquisas nacionais e internacionais mostram as consequências negativas decorrentes do vínculo das avaliações externas com a lógica mercadológica, como o estreitamento da formação dos estudantes e sua vinculação aos ideais do empreendedorismo e da empregabilidade; o aumento das desigualdades entre escolas e da exclusão de estudantes que dificultam o alcance das metas de desempenho; a precarização, desvalorização e intensificação do trabalho docente; o enfraquecimento de espaços coletivos que considerem as pessoas como sujeitos históricos e sociais capazes de participar da tomada de decisões; a desconsideração dos processos, insumos e contextos que influenciam a construção da qualidade educacional (DARDOT; LAVAL, 2016; FREITAS, 2018).

Por outro lado, a perspectiva emancipatória reconhece a multidimensionalidade da qualidade educacional no que se refere tanto a fatores que influenciam a qualificação da escola pública (ex. condições de trabalho e de financiamento estatal adequadas) quanto a resultados voltados à formação humana ampliada. A avaliação adquire uma natureza formativa, processual e compartilhada, pois considera as comunidades escolares como lócus principais de reflexão sobre os indicadores de qualidade, interna e externamente produzidos. Assume-se, assim, que os projetos políticos pedagógicos precisam ser refletidos e negociados coletivamente em vista do melhoramento dos insumos, processos e resultados educacionais visando uma sociedade mais justa que proporcione a todos (as) condições dignas e igualitárias para a vivência e obtenção de resultados amplos na trajetória escolar.

A trajetória das políticas de avaliação no Brasil, apesar de dominada pelos princípios mercadológicos, também permitiu a emergência de experiências vinculadas à lógica emancipatória. Este artigo tenciona essas lógicas de ação, estabelecendo um diálogo entre os processos de avaliação externa e os de avaliação interna. Para tanto, discutem-se proposições de modelos de avaliação presentes em diferentes políticas públicas educacionais, tomando como ancoragem de análise categorias consideradas importantes dentro da lógica emancipatória. Por fim, introduz-se a importância de se dar visibilidade à eleição de indicadores de qualidade concebidos de modo aderente à epistemologia decolonial, construindo rotas de fuga a uma leitura de qualidade da educação pública ainda marcada pelo imperialismo cultural e econômico.

Metodologia

Elegemos quatro experiências avaliativas na Educação Básica para a análise realizada em 2022:

• Sistema de Avaliação da Educação Básica (Saeb). Realizado desde 1990, passou por diversos aprimoramentos desde então. Trata-se de um conjunto de avaliações externas de larga escala que se colocam como meio para o diagnóstico da educação básica brasileira. Pautado em testes e questionários de contexto, indica níveis de aprendizagem e informações contextuais das escolas e redes avaliadas.

• ITERS-R (Infant/toddler environment rating scales) e ECERS-R (Early childhood environment rating scale). São instrumentos norte-americanos focados na organização dos ambientes e das oportunidades educativas oferecidas aos bebês e crianças. Em 2009, foram aplicados em centros de Educação Infantil públicos e conveniados de seis capitais brasileiras como parte de uma iniciativa do Ministério da Educação (MEC) em parceria com o Banco Interamericano de Desenvolvimento e a Fundação Carlos Chagas (FCC) (CAMPOS et al, 2011).

• Indicadores de Qualidade da Educação (INDIQUEs) (BRASIL, 2013). A coleção começou a ser elaborada em 2004 por um grupo composto por organizações públicas e do terceiro setor, como Campanha Nacional pelo Direito à Educação, Instituto Ayrton Senna, União Nacional dos Dirigentes Municipais de Educação (UNDIME), entre outros, sob coordenação da Ação Educativa, Unicef, MEC e Inep. Os INDIQUEs têm sido usados por programas do MEC, Secretarias de Educação e projetos de ONGs e institutos empresariais em parceria com escolas e redes de ensino.

• Política de Avaliação Institucional Participativa (AIP). Gestada pela Secretaria Municipal de Educação de Campinas-SP em parceria com o grupo de pesquisa LOED da Faculdade de Educação da Unicamp, foi implementada a partir de 2008 nas escolas de Ensino Fundamental desta rede municipal.

A análise das experiências baseia-se na leitura de documentos oficiais, produções científicas e relatórios de assessoria que descreveram as principais características de cada uma. As experiências serão examinadas à luz das categorias explicitadas na Fig. 1.

Figura 1
Categorias de análise ancoradas na lógica emancipatória de avaliação.

Explicitação dos princípios avaliativos	Clareza sobre a concepção de avaliação assumida.
	Opção por processos avaliativos formativos, não classificatórios/punitivos.
Multidimensionalidade da qualidade educacional	Adoção da formação humana como norte (desenvolvimento e aprendizagem integrais, no que se refere às dimensões cognitiva, afetiva, física, política etc.).
	Abordagem de diferentes aspectos do contexto educativo (infraestrutura, materiais, oportunidades pedagógicas, acesso e permanência etc.).
Participação dos sujeitos	Inclusão de sujeitos cujas vozes têm sido subtraídas dos processos (tais como famílias, estudantes e funcionários).
	Trabalho coletivo favorecedor do protagonismo dos diferentes segmentos da comunidade escolar.
	Engajamento nas diferentes etapas dos processos de avaliação (concepção, implementação, decisão, atuação e avaliação dos resultados).
Responsabilização compartilhada	Os dados do processo avaliativo geram demandas para todos os segmentos, desde os sujeitos que atuam diretamente na escola até as Secretarias Municipais de Educação.
	Existência de espaços institucionais de negociação entre sujeitos e instâncias.
	Estabelecimento de horizontalidade nos diálogos entre as instâncias centrais e periféricas.
	Reconhecimento das unidades escolares como lócus preferencial para a interpretação contextualizada dos dados.
Metodologia colaborativa	Envolvimento dos coletivos escolares na construção dos instrumentos de coleta.
	Utilização de instrumentos externos com apropriações diversas pela comunidade escolar (forma de utilização e/ou reelaboração do instrumento).
	Interpretação e consumo dos resultados pela comunidade escolar.
Descritores claros e objetivos	Apresentação aos partícipes de forma compreensiva das dimensões da qualidade contidas em cada instrumento e/ou processo avaliativo.
	Explicitação de descritores operacionais, que traduzam as dimensões em práticas concretas realizadas no cotidiano.
Diálogo com os dados provindos da regulação externa	Incorporação relacional dos dados gerados pela política de avaliação externa de larga escala.

• Fonte: Elaboração própria.

Análise dos modelos avaliativos

Explicitação dos princípios avaliativos

O Saeb permite acesso ao delineamento técnico e metodologia de aplicação, mas não às concepções e princípios que o sustentam. Desde seus ciclos iniciais, de 1990 a 1997, os objetivos anunciados não evidenciam sua ancoragem teórico-conceitual (BONAMINO; FRANCO, 1999). Na mesma direção, as ITERS e ECERS priorizam a descrição de questões técnicas relativas à forma como as pontuações são calculadas, à apresentação dos aspectos do ambiente avaliados, à seleção das turmas e estabelecimentos etc., sem explicitar a concepção de avaliação que norteia a experiência.

As outras duas experiências consideram a natureza política dos processos avaliativos. Os INDIQUEs explicitam que a escola terá condições de melhorar sua qualidade somente com o envolvimento ativo de toda a comunidade escolar no processo de autoavaliação. É por meio da compreensão de seus pontos fortes e fracos que a escola poderá “intervir para melhorar sua qualidade conforme seus próprios critérios e prioridades” (BRASIL, 2013, p. 5). Já a política de AIP também reconhece o protagonismo da comunidade escolar, mas vai além ao marcar o início da experiência com a elaboração de uma Carta de Princípios. Esta carta consensuada entre equipes gestoras das escolas, membros da Secretaria Municipal de Educação e representantes da universidade deu visibilidade aos acordos que regeriam a proposta reforçando a feição formativa da avaliação e o afastamento das práticas de ranqueamento e culpabilização unilateral (SORDI; SOUZA, 2009).

Multidimensionalidade da qualidade educacional

Após processo de institucionalização, o Saeb focaliza de forma centralizada aspectos intraescolares, como aprendizagem dos alunos e práticas docentes e de gestão pedagógica - via testes padronizados e questionários contextuais. Mesmo de grande importância, são aspectos que não compreendem a produção da qualidade de forma mais ampla. Como destaca Pestana (2016, p. 81) sobre a evolução do Saeb ao longo dos anos, apesar do esforço do Inep em divulgar as informações dos questionários junto com os resultados dos testes, o maior destaque é dado a eles “empobrecendo a discussão sobre a qualidade da educação, deixando de iluminar as fortalezas ou fraquezas do processo educacional e impedindo o aprimoramento das políticas da área”.

Os instrumentos ITERS e ECERS focam na organização dos ambientes e das oportunidades educativas oferecidas aos bebês e crianças, partindo do pressuposto que seu desenvolvimento e aprendizagem compreendem os aspectos físico, socioemocional e cognitivo. As escalas consideram uma série diversa de aspectos importantes da qualidade educacional, o que pode ser percebido nas subescalas, nos itens que compõem cada subescala e nos descritores que compõem cada item, exemplificado na Fig. 2.

Figura 2
Exemplos de itens, descritores e subescalas da ECERS².

SUBESCALAS	ITENS	DESCRITORES1
1. Espaço e Mobiliário	3. Organização da sala para brincadeiras e aprendizagem	Descritor do Nível “Bom” 5.1. O espaço é organizado de modo que o trânsito pela sala não interrompe a brincadeira.
3. Linguagem	13. Encorajando as crianças a usar linguagem.	Descritor do Nível “Excelente” 7.1. A equipe faz muitas perguntas que exigem respostas mais longas por parte das crianças (ex. perguntas que começam com “como”, “e se”, “por que”, “conte-me sobre”). Observe pelo menos duas vezes
4. Atividades de Aprendizagem	26. Promovendo aceitação da diversidade	Descritor do Nível “Bom” 5.1. Pelo menos dois tipos diferentes de materiais representando diferentes raças/etnias ou culturas estão incluídos para uso nas brincadeiras de faz de conta (ex. bonecos, indumentária, comidinhas).
5. Interação	31. Interação entre pares	Descritor do Nível “Excelente” 7.1. A equipe menciona o comportamento social positivo das crianças em relação às outras crianças (ex. elogia crianças que ajudam as outras, que trabalham juntas para criar algo ou compartilham materiais sem brigar)
6. Organização dos momentos do dia	35. Atividades com o grande grupo	Descritor do Nível “Inadequado” 1.3. As atividades propostas requerem apenas um envolvimento passivo ao invés de ativo (ex. as crianças devem apenas sentar, ouvir e olhar a professora contando uma historinha em roda).

• Fonte: Elaboração própria com base na ITERS-3 e ECERS-3 (HARMS et al., 2020a e 2020b).

Os INDIQUEs reconhecem a multidimensionalidade da qualidade. O INDIQUE do Ensino Fundamental, por exemplo, elege sete dimensões: (1) ambiente educativo, (2) prática pedagógica e avaliação, (3) ensino e aprendizagem da leitura e da escrita, (4) gestão escolar democrática, (5) formação e condições de trabalho dos profissionais da escola, (6) acesso e permanência dos alunos na escola e (7) espaço físico escolar. Envolvem questões relativas tanto a insumos e processos - como infraestrutura, materiais e práticas pedagógicas - quanto a objetivos de aprendizagem que considerem a integralidade da formação humana.

A política de AIP vem se aprimorando longitudinalmente em diálogo com pesquisas realizadas pelo LOED. A multidimensionalidade do fenômeno educativo ganhou concretude a partir do envolvimento das escolas na elaboração de um instrumento de qualidade social referenciado na formação humana, composto pelas dimensões (1) Práticas Pedagógicas; (2) Trabalho Coletivo; (3) Acesso e Permanência; (4) Participação; (5) Relação Escola-Comunidade; (6) Compromisso com a Aprendizagem de Todos. Posteriormente foram feitos relatórios relacionando essas dimensões entre si e com dados do Saeb (Proficiências médias nos 5º e 9º anos). Tais relatórios foram discutidos inicialmente com as equipes gestoras, possibilitando o posterior compartilhamento com os coletivos escolares e a ampliação do ângulo de análise para além das métricas oficiais (SORDI et al, 2016).

Participação dos sujeitos e Metodologia colaborativa

O Saeb, após sua institucionalização, centralizou as atribuições no MEC (BONAMINO; FRANCO, 1999; WAISELFISZ; HORTA NETO, 2016) diminuindo as atividades realizadas em parceria com estados e municípios, característica de seu início (até 1994). Metodologicamente, além desta centralização, a aplicação dos testes passou para empresas contratadas e a elaboração dos instrumentos e a análise dos resultados passaram a ser realizadas por instituições com expertise na área, ficando o Inep com função de coordenação - acompanhamento e divulgação dos resultados.

Na experiência de aplicação da ITERS e ECERS os instrumentos foram elaborados por pesquisadoras(es) norte-americanas(os) sem discussão e reelaboração local, nem apropriação dos resultados pelas escolas por meio de tempos e espaços formativos. O processo de construção de legitimidade política está ausente nos textos, havendo priorização da descrição dos aspectos técnicos de aplicação da escala e de aferição dos resultados. Isso vai de encontro às evidências sobre a importância de elaboradores de políticas atentarem-se ao significado subjetivo que a mudança assume para os sujeitos que a implementam, sem o qual as práticas não mudam de forma efetiva e duradoura (FULLAN, 2009).

Os INDIQUEs baseiam-se no uso de metodologias participativas para realização da avaliação. O instrumento contém recomendações sobre como a comunidade escolar pode proceder para que todos os segmentos participem e sejam informados a respeito de seus objetivos e conceitos principais. Espera-se que essa participação ocorra no momento da reflexão a respeito de cada indicador, com marcação dos sinalizadores verde, amarelo e vermelho que denotam o quanto as situações descritas nos indicadores estão presentes na realidade escolar, até a etapa posterior de elaboração dos Planos de Ação contendo os problemas identificados, o que fazer para saná-los, os sujeitos responsáveis e o prazo de realização das ações. Por outro lado, pode-se dizer que as comunidades escolares que desenvolvem o processo de autoavaliação não participam diretamente da elaboração do instrumento.

A AIP elege a participação de todos os segmentos como condição inegociável para a construção da qualidade social, estimulando a constituição de Comissões Próprias de Avaliação no âmbito de cada unidade escolar. Compete-lhes o diagnóstico dos problemas da escola, sua priorização a partir de consensos plurais, a eventual elaboração de instrumentos de coleta ou utilização dos resultados já existentes e divulgados pela SME. A parceria com a universidade pública tem sido importante dispositivo para que a categoria da participação possa ser intensificada quanti-qualitativamente, por meio de estratégias de socialização dos dados via seminários, grupos focais, programas de formação continuada e pesquisa colaborativa.

Responsabilização compartilhada

No Saeb a forma de divulgação dos resultados induz processos de ranqueamento. Contrariando a perspectiva processual e de responsabilidades compartilhadas entre os diferentes sujeitos e instâncias, se efetiva “um movimento de responsabilização unidirecional da escola e de seus profissionais sem que a eles sejam dadas as condições objetivas de melhoria da qualidade do ensino ofertado à população” (ALMEIDA; DALBEN; FREITAS, 2013, p. 1169)

Após a aplicação da ITERS e ECERS, a FCC redigiu um relatório contendo explicações detalhadas sobre os resultados obtidos bem como sugestões de melhoria para os problemas identificados, atribuídas a cada nível de responsabilidade: Secretaria Municipal de Educação, equipes gestoras e professoras responsáveis pelas turmas (BHERING et al., 2020). No entanto, o princípio da responsabilização compartilhada restringe-se ao conteúdo desse relatório, cuja apropriação por parte da comunidade escolar torna-se limitada dada a ausência de espaços de negociação entre sujeitos e instâncias.

O INDIQUE prevê a participação da comunidade escolar na etapa de reflexão sobre as dimensões e indicadores por meio da constituição de um grupo para cada dimensão com posterior realização de uma plenária. Segue a isso a construção coletiva de um Plano de Ação que sinalize os problemas, estratégias, sujeitos responsáveis e o prazo de realização das ações. O instrumento define comunidade escolar de forma ampla, incluindo pais e mães, professores, diretores, alunos, funcionários, órgãos públicos, universidades etc. Por outro lado, no modelo de plano de ação oferecido pelo instrumento aparecem apenas exemplos de responsáveis internos à comunidade escolar. As orientações para uso do INDIQUE reforçam a sensação de que o processo de negociação deve ficar restrito à escola, uma vez que não preveem a construção de condições de trabalho e espaços institucionais que possibilitem a participação contínua dos vários segmentos e instâncias, dentre elas o poder público.

A AIP assume a responsabilização compartilhada entre sujeitos e instâncias institucionais da rede como inovação na forma de relacionamento entre órgãos centrais e as escolas, interferindo na lógica top down, presente nas políticas avaliativas que incidem sobre as escolas (SORDI; FREITAS, 2013). Pautada na aprendizagem da negociação responsável e contextualizada, os sujeitos assumem seu direito/dever de demandar e serem demandados visando o avanço da qualidade da escola, permitindo controle social sobre o processo de sua efetivação.

Descritores claros e objetivos

O Saeb, ao longo dos anos, aprimorou seus instrumentos de coleta de dados. Os testes são elaborados a partir de matrizes de referência que norteiam a construção dos itens. Organizadas em descritores, permitem clareza das competências e habilidades a serem avaliadas (ex. 5º Ano do Ensino Fundamental: Descritor Leitura, Tema “Procedimentos de Leitura”, D1- Localizar informações explícitas em um texto); Descritor Matemática, Tema “Tratamento da Informação”, D27- Ler informações e dados apresentados em tabelas). Já os questionários de contexto coletam informações sobre a vida escolar além de calcular o nível socioeconômico e captar aspectos relacionados ao capital social e cultural dos alunos.

A aplicação da ITERS e ECERS é feita por pesquisadores externos que comparecem à unidade para marcação das pontuações conforme a presença ou ausência das situações narradas nos descritores. Estes narram as situações de forma concreta e objetiva (ver Fig. 2), o que facilita a discussão formativa por parte dos sujeitos que atuam com as crianças e bebês. Esses descritores e suas dimensões, no entanto, não parecem ser discutidos em momentos e espaços formativos.

O INDIQUE contém tanto indicadores que explicitam claramente o que se espera observar na realidade escolar (ex. indicador 3.3 da Fig. 3) quanto indicadores que não se traduzem claramente em situações concretas (ex. indicadores 1.2 e 2.12 da Fig. 3), já que comportam ampla gama de significados a depender da visão de mundo que os sustenta.

Figura 3
Exemplos de dimensões e indicadores do INDIQUE.

Dimensão	Indicadores
Prática Pedagógica e Avaliação	3.2. Professores e alunos desenvolvem atividades para resolver problemas que percebem no entorno da escola? 3.3. A escola promove visitas no bairro e na cidade para que os alunos conheçam e aprendam a usar os equipamentos públicos da região?
Ambiente Educativo	1.2. O ambiente da escola favorece a amizade entre todos (entre os alunos; entre professores e alunos; entre os professores etc.)? 5.6. Os professores desenvolvem atividades para que os alunos aprendam a dialogar e negociar?
Ambiente Físico escolar	2.12. O conteúdo dos materiais (ex. livros, jogos, mapas etc) respeita a diversidade humana e a igualdade entre todos (negros, brancos, amarelos, indígenas, pobres, ricos, homens, mulheres, homossexuais e bissexuais).

• Fonte: Elaboração própria com base no INDIQUE (BRASIL, 2013).

A AIP nasce fomentando processos deliberativos locais sobre a forma de coleta e consumo de dados avaliativos. Tal opção, condizente com o reconhecimento da titularidade dos sujeitos locais, produziu alguns descompassos entre as escolas. Algumas sentiram falta de um instrumento padronizado e central, outras usaram com liberdade o espaço de autonomia e outras pouco se movimentaram. A análise deste processo alimentou novas demandas investigativas junto a escolas-piloto que avançam na formulação (ainda inconclusa) de um roteiro de autoavaliação pautado em descritores capazes de operacionalizar as dimensões da Qualidade Social em situações concretas (SORDI, 2022).

Diálogo com os dados provindos da regulação externa

Como se pode observar na Fig. 4, o mapeamento das categorias nas experiências avaliativas eleitas permite uma análise comparativa. Como política oficial, o Saeb produz e divulga dados que podem ser utilizados de diferentes formas pelas redes, escolas e sujeitos sociais. Com intuito, em seu desenho inicial, de envolver a sociedade civil nos problemas educacionais, ele poderia ser “uma espécie de prestação de contas, accountability, do poder público, referente a um dos serviços oferecidos à população” (WAISELFISZ; HORTA NETO, 2016, p. 189).

Figura 4
Mapeamento das categorias nas experiências avaliativas eleitas para análise.

		Saeb	Iters e Ecers	Indiques	AIP
Explicitação dos princípios avaliativos	Clareza, por parte da comunidade escolar, sobre a concepção de avaliação assumida.			X	X
	Opção por processos avaliativos formativos, não classificatórios/punitivos.		X	X	X
Multidimensionalidade da qualidade educacional	Adoção da formação humana como norte (desenvolvimento e aprendizagem integrais, no que se refere às dimensões cognitiva, afetiva, física, política etc.).		X	X	X
	Abordagem de diferentes aspectos do contexto educativo (infraestrutura, materiais, oportunidades pedagógicas, acesso e permanência etc.).	X	X	X	X
Participação dos sujeitos	Inclusão de sujeitos cujas vozes têm sido subtraídas dos processos (tais como famílias, estudantes e funcionários).			X	X
	Trabalho coletivo favorecedor do protagonismo dos diferentes segmentos da comunidade escolar.			X	X
	Engajamento nas diferentes etapas dos processos de avaliação (concepção, implementação, decisão, atuação e avaliação dos resultados).				X
Responsabilização compartilhada	Os dados do processo avaliativo geram demandas para todos os segmentos, desde os sujeitos que atuam diretamente na escola até as Secretarias Municipais de Educação.		X		X
	Existência de espaços institucionais de negociação entre sujeitos e instâncias.				X
	Estabelecimento de horizontalidade nos diálogos entre as instâncias centrais e periféricas.				X
	Reconhecimento das unidades escolares como lócus preferencial para a interpretação contextualizada dos dados.			X	X
Metodologia colaborativa	Envolvimento dos coletivos escolares na construção dos instrumentos de coleta.				X
	Utilização de instrumentos externos com apropriações diversas pela comunidade escolar (forma de utilização e/ou reelaboração do instrumento).			X	X
	Interpretação e consumo dos resultados pela comunidade escolar.	X		X	X
Descritores claros e objetivos	Apresentação aos partícipes de forma compreensiva das dimensões da qualidade contidas em cada instrumento e/ou processo avaliativo.			X	X
	Explicitação de descritores operacionais, que traduzam as dimensões em práticas concretas realizadas no cotidiano.	X	X
Diálogo com os dados provindos da regulação externa	Incorporação relacional dos dados gerados pela política de avaliação externa de larga escala.	X			X

• Fonte: Elaboração própria.

Nacionalmente consolidado, os dados do Saeb dadas sua abrangência e qualidade instrumental favorecem que seus resultados sejam consumidos na e pela escola, ainda que a indução pela política pública não seja potente nesta perspectiva. Por fornecer dados censitários e eleger um índice sintético como termômetro de qualidade, o qual assume fluxo e desempenho como indicadores (Índice de Desenvolvimento da Educação Básica - Ideb), a política pública de avaliação acaba por induzir formas mais restritas de análise da realidade (ALMEIDA; DALBEN; FREITAS, 2013).

Apesar de a aplicação da ITERS e ECERS gerar dados possíveis de serem usados para regulação externa, trata-se de uma experiência pontual, que não se traduziu em políticas públicas de avaliação externa de larga escala e que não dialoga com os dados gerados por elas.

Em relação ao INDIQUE, Ribeiro e Gusmão (2010) ressaltam que esse instrumento não foi elaborado para se contrapor às avaliações externas e pode ser utilizado em associação a elas. Já a política de AIP, reconhece a necessidade de complementação entre a avaliação externa de larga escala e a avaliação institucional participativa, o que pode contribuir para a construção de uma cultura que não dicotomize as duas abordagens avaliativas. A formação continuada dos sujeitos quando da implementação da política repercute para o entendimento das diferentes abordagens e das razões pelas quais a relocalização da avaliação no âmbito da escola fortalece o engajamento dos sujeitos no processo de melhoria da qualidade, afastando-os de leituras reducionistas e meritocráticas (FREITAS et al, 2009).

O exercício empreendido permite vislumbrar uma forma de análise de propostas avaliativas referenciadas pela lógica emancipatória e marcadas pela historicidade dos processos em diferentes conjunturas políticas que implicam negociação nos ritmos de implementação. Como as propostas são engendradas nas realidades e movimentos locais, contradições são inerentes ao processo. Tanto propostas mais centralizadas, pautadas em instrumentos de avaliação externa e sem processos participativos (ex. Saeb), quanto propostas mais voltadas para o local, centradas na participação e na construção de instrumentos com a escola (ex. AIP), carregam incompletudes e distintas formas de apropriação.

A abertura às críticas com eventual inclusão das mesmas nos formatos originais, constitui decisão importante em alguns modelos, mas insuficiente se não afetar as concepções que estão em disputa na agenda política. Temos visto alterações instrumentais e metodológicas (ex. Saeb) que mantém intocadas as concepções de qualidade e de avaliação, como se sobre estas houvesse consenso. Cabe, pois, vigilância ético-epistemológica. Neste sentido, recomendamos rigorosidade metodológica para analisarmos diferentes modelos avaliativos que têm sido propostos tendo em mente suas repercussões na vida das novas gerações. Interpelar suas lógicas e intencionalidades, visíveis e ocultas, se constitui postura desejada e que pode ser desenvolvida, de modo crítico, junto aos coletivos escolares ultrapassando os maniqueísmos presentes nas díades interno/externo; quantitativo/qualitativo.

A exploração da complementaridade entre propostas devidamente associadas às suas concepções de base, permite leituras circunstanciadas e mais globais que revelam o caráter inconcluso das mesmas e simultaneamente a complexidade da temática.

Posturas insurgentes como possibilidade transformadora

O campo político hegemônico elege uma concepção de qualidade ligada à lógica mercadológica, cujo modelo avaliativo oculta a existência de concepções rivais de qualidade. A legitimação de certos conhecimentos em detrimento de outros afeta e empobrece a matriz formativa dos estudantes, comprometendo a formação humana das novas gerações.

Por outro lado, a explicitação da multidimensionalidade do fenômeno educativo e o subsequente esforço de construção de descritores referenciados na formação humana fez emergir novas postulações no campo da avaliação buscando retirar-lhe o viés mercadológico e recuperá-la como um recurso de aprimoramento processual do Projeto Político-Pedagógico da escola.

Essa busca por novas postulações aproximou-nos dos estudos decoloniais, com destaque à formulação de indicadores de qualidade que se mostrem mais aderentes a um projeto histórico sensível aos anseios de uma sociedade pós-abissal. Nesse sentido, recorremos ao pensamento freireano, dado a aderência deste às categorias inscritas no pensamento decolonial (CANDAU; RUSSO, 2010)

Reconhecemos que a atual lógica das avaliações sistêmicas promove uma forte invasão cultural, ao naturalizar uma concepção de qualidade reducionista apresentada aparentemente sem contradições e indiferente às condições materiais e objetivas presentes na atual forma da escola capitalista. Uma forma oficial de conhecimento é veiculada independente das subtrações culturais que ela possa promover. Tal violência simbólica produz nas subjetividades dos coletivos escolares a aceitação dos resultados obtidos nos exames como signos de boa educação, os quais são reforçados por narrativas documentais e discursos políticos que proclamam seu compromisso com uma qualidade (abstrata) de educação.

Somos desafiados a pensar formas potentes de fortalecimento dos coletivos escolares para que assumam posturas insurgentes em defesa de uma qualidade socialmente referenciada, a partir da realidade local e das necessidades do entorno social, que ultrapassem a visão imperialista.

Freire (2005) defende a necessidade do diálogo e do deslocamento do lugar de fala pela horizontalização das relações sociais, o que abre espaço para o reconhecimento de outras vozes, plurais e alternativas à visão dominante, centrais à produção de pactos de qualidade negociados (BONDIOLI, 2004). Essa ideia aplica-se aos processos de avaliação institucional participativa que resgatam a titularidade dos coletivos escolares e os empoderam para diálogos com os dados da avaliação sistêmica em condições de igualdade e autonomia. Afasta-os da passividade da escuta daquilo que lhes é apresentado de forma neutra e inconteste, dada a pseudocientificidade que os cerca (SOUSA SANTOS, 1996).

Uma vez mais identificamos que as várias formulações dos designs avaliativos anunciam e se referenciam em diferentes epistemes confirmando a ético-epistemologia da avaliação (DIAS SOBRINHO, 2005). O diálogo saudável entre formas complementares de produção de dados no campo avaliativo não deve ser entendido como “harmonização” das concepções de qualidade e de suas cosmovisões. Nesta direção mais ampla, Mignolo (2007) aponta para a necessidade de se prestar mais atenção ao tipo de saber que atende às necessidades dos “condenados da terra”.

É mister fazer emergir e capilarizar experimentações sociais fortemente implicadas com a participação, colaboração, flexibilidade e negociação, como as da avaliação institucional participativa. Ao respeitar os valores da democracia e a ecologia dos saberes entre os sujeitos (SOUSA SANTOS, 1996), coloca-se a favor da responsabilização compartilhada contribuindo para a subversão de uma cultura de avaliação construída para justificar a mercantilização em uma sociedade socialmente injusta.

Trata-se de construir rotas de fuga a uma leitura de qualidade da educação pública ainda marcada pelo imperialismo cultural e econômico, na direção de um trabalho contra-regulatório que subsidiará a reflexão e ação dos profissionais da educação, devidamente articuladas com as forças vivas da escola e expressas num pacto de qualidade negociado, responsavelmente administrado em nome de um futuro comprometido com a justiça social.

Notas

• 1
  Os descritores de cada item são distribuídos em quatro níveis de qualidade (Inadequado, Mínimo, Bom e Excelente).
• 2
  As subescalas, itens e descritores foram extraídos dos livros HARMS et al. (2020a) e HARMS et al. (2020b).

Agradecimentos

Agrademos aos pesquisadores do LOED, estudantes e professores da Educação Básica e Ensino Superior, pela interlocução que permite a construção de reflexões como as aqui explicitadas.

• Número temático organizado por: Regiane Helena Bertagna https://orcid.org/0000-0003-4415-0978 e Maria Simone Ferraz Pereira https://orcid.org/0000-0001-7009-7571

• Financiamento

  Fundação de Amparo à Pesquisa do Estado de São Paulo
  Processos: 2022/06891-3 e 2022/02996-5

Disponibilidade de dados da pesquisa

Todos os dados foram gerados/analisados no presente artigo.

Referências

• ALMEIDA, L. C.; DALBEN, A.; FREITAS, L. C. O Ideb: Limites e Ilusões de uma política educacional. Educação & Sociedade, v. 34, n. 125, p. 1153-1174, 2013. https://doi.org/10.1590/S0101-73302013000400008
  » https://doi.org/10.1590/S0101-73302013000400008
• BERTAGNA, R. et al. Avaliação da qualidade social da escola pública: delineamentos de uma proposta referenciada na formação humana. Políticas Educativas, v. 13, n.2, p. 63-86, 2020. Disponível em: https://www.seer.ufrgs.br/Poled/article/view/107364 Acesso em: 18 mar. 2022.
  » https://www.seer.ufrgs.br/Poled/article/view/107364
• BHERING, E; OLIVEIRA, S. B.; SANTOS, M. H. Relatório de Aplicação das Escalas ITERS-3 e ECERS-3 nos Centros de Educação Infantil da Associação Santo Agostinho (ASA). Circulação Interna. Fundação Carlos Chagas, São Paulo, 2020.
• BONAMINO, A.; FRANCO, C. Avaliação e política educacional: o processo de institucionalização do Saeb. Cadernos de Pesquisa, 1999, n. 108, p. 101-132, 1999. https://doi.org/10.1590/S0100-15741999000300005
  » https://doi.org/10.1590/S0100-15741999000300005
• BONDIOLI, A. (Org). O Projeto pedagógico da creche e a sua avaliação: a qualidade negociada. Campinas – SP; Autores Associados, 2004.
• BRASIL. Indicadores da qualidade na educação. Ministério da Educação, Inep, Ação Educativa, Unicef. 4ª ed. São Paulo. 2013.
• CANDAU, V; RUSSO, K. Interculturalidade e educação na América Latina: uma construção plural, original e complexa. Revista Diálogo Educacional, Curitiba, v. 10, n. 29, p. 151-169, jan./abr. 2010. http://doi.org/10.7213/rde.v10i29.3076
  » https://doi.org/10.7213/rde.v10i29.3076
• CAMPOS, M. M. et al. A qualidade da educação infantil: um estudo em seis capitais brasileiras. Cadernos de Pesquisa, v.41, n.142, jan./abr. 2011. https://doi.org/10.1590/S0100-15742011000100003
  » https://doi.org/10.1590/S0100-15742011000100003
• DARDOT, P.; LAVAL, C. A nova razão do mundo: ensaio sobre a sociedade neoliberal. M. Echalar, Trad.,1 ed. Editora Boitempo, 2016.
• DIAS SOBRINHO, J. Avaliação como instrumento da formação cidadã e desenvolvimento da sociedade democrática: por uma ético-epistemologia da avaliação. In: RISTOFF, D. & ALMEIDA JUNIOR, V.P. Avaliação Participativa, perspectivas e desafios. Brasília, INEP, 2005, p.15-38
• FREIRE, Paulo. Pedagogia do Oprimido 47ª Ed. Petrópolis: Vozes, 2005.
• FREITAS, L. C., et al Avaliação Educacional: caminhando pela contramão. Petrópolis-RJ: Vozes, 2009.
• FREITAS, L. C. A reforma empresarial da educação: nova direita, velhas ideias. 1ª Ed. Editora Expressão, Popular, 2018.
• FULLAN, M. O significado da mudança educacional 4. Ed. Porto Alegre: Artmed, 2009.
• HARMS, T. et al. Escala de Avaliação de Ambientes de Educação Infantil (crianças de 3 a 5 anos) Tradução coordenada por Eliana Bhering. Editora Cortez. 2020a.
• HARMS, T. et al. Escala de Avaliação de Ambientes de Educação Infantil (crianças de 0 a 3 anos) Tradução coordenada por Eliana Bhering. Editora Cortez. 2020b.
• MIGNOLO, W. La Idea de América Latina: la herida colonial y la opción decolonial. Barcelona: Gedisa Editorial, 2007.
• OLIVEIRA, S. B. Contribuições de Sharon Gewirtz para uma análise das políticas educacionais baseada na justiça social. Currículo Sem Fronteiras v. 22, 2022. http://doi.org/10.35786/1645-1384.v22.1992
  » https://doi.org/10.35786/1645-1384.v22.1992
• PESTANA, M. I. Trajetória do Saeb: criação, amadurecimento e desafios. Em Aberto, Brasília, v. 29, n. 96, p. 71-84, 2016. Disponível em: http://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3152 Acesso em: 18 set.2022.
  » http://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3152
• RIBEIRO, V. M.; GUSMÃO, J. B. B. Uma leitura dos usos dos indicadores da qualidade na educação. Cadernos de Pesquisa, v.40, n.141, p.823-847, set./dez. 2010. Disponível em: https://www.scielo.br/j/cp/a/zVnN5wRj5Gg78g6rZZ4ZqJg/?format=pdf Acesso em: 18 set. 2022.
  » https://www.scielo.br/j/cp/a/zVnN5wRj5Gg78g6rZZ4ZqJg/?format=pdf
• SORDI, M. R. L.; SOUZA, E. (Orgs.) A avaliação institucional como instância mediadora da qualidade da escola pública: a Rede Municipal de Campinas como espaço de aprendizagem. Millennium Editora, 2009.
• SORDI, M. R. L., FREITAS, L.C. Responsabilização Participativa. Revista Retratos da Escola, Brasília: v. 7, n. 12, p. 87-99, jan./jun. 2013. https://doi.org/10.22420/rde.v7i12.263
  » https://doi.org/10.22420/rde.v7i12.263
• SORDI, M. R. L et al., Indicadores de qualidade social da escola pública: avançando no campo avaliativo. Estudos em Avaliação Educacional, v. 27, n. 66, p. 716–753, 2016. https://doi.org/10.18222/eae.v27i66.4073
  » https://doi.org/10.18222/eae.v27i66.4073
• SORDI, M.R.L ( Org) Desafiando a hegemonia do campo da avaliação da qualidade das escolas: a avaliação institucional participativa como estratégia - 1. ed. - Belo Horizonte [MG] : Fino Traço, 2022. Disponível em: https://www.finotracoeditora.com.br/e-book-desafiando-a-hegemonia-do-campo-da-avaliacao-da-qualidade-das-escolas Acesso em: 18 out. 2022.
  » https://www.finotracoeditora.com.br/e-book-desafiando-a-hegemonia-do-campo-da-avaliacao-da-qualidade-das-escolas
• SOUSA SANTOS, B. Para uma pedagogia do conflito. In: SILVA, H.L.; AZEVEDO, J.C.; SANTOS, E.S. Novos mapas culturais, novas perspectivas educacionais. Porto Alegre: Sulina, 1996.
• WAISELFISZ, J.; HORTA NETO, J. As origens do Saeb. Em Aberto, v. 29, n. 96, 177-193, Disponível em: http://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3159 Acesso em: 18 out. 2022.
  » http://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3159

Editoras Associadas:

Ana Luiza Bustamante Smolka https://orcid.org/0000-0002-2064-3391 e Daniela Dias dos Anjos https://orcid.org/0000-0002-7695-835X

Datas de Publicação

• Publicação nesta coleção
  13 Nov 2023
• Data do Fascículo
  Sep-Dec 2023

Histórico

• Recebido
  22 Nov 2022
• Aceito
  21 Jun 2023