Metodologia alternativa na construção de indicadores de eficiência para a avaliação de escolas

Alternative methodology in the elaboration of indicators to evaluate schools

Resumo

Este estudo teve como objetivo apresentar a construção de um indicador educacional que derivou das variáveis que compõem o fluxo do alunado na escola, utilizando a Análise Envoltória de Dados (DEA). O tratamento dos dados pela DEA possibilitou apurar as medidas de eficiência de cada unidade escolar e criar uma fronteira de referência interna para a rede municipal de ensino de Campinas. O princípio básico foi de obter pesos ideais para a contribuição de cada uma dessas variáveis na elaboração do indicador.

Palavras-chave
índice LOED; avaliação de escolas; análise envoltória de dados

Abstract

This study aims to present the elaboration of an educational indicator derived from the variables that make up the flow of students within the school, using data envelopment analysis (DEA). The data processing by DEA made it possible to ascertain the efficiency measures of each school and to create an internal reference margin to the public school system of the city of Campinas. The basic principle was to obtain the optimal weights for the contribution of each one of these variables in the development of the indicator.

Keywords
LOED index; assessment of schools; data envelopment analysis

Introdução

A construção de referências de qualidade para os sistemas de ensino sempre será um grande desafio para a educação, principalmente pela heterogeneidade das escolas e suas respectivas demandas. Essas referências estão diretamente ligadas ao uso de metodologias que possibilitem a construção de instrumentos adequados e rigorosos na obtenção dos resultados.

No que se refere ao conceito de avaliação institucional e/ou sistemas, muito já se avançou dentro do campo teórico, e cada vez mais definições e estudos encaminham ações de melhorias dentro do universo educacional (Castro, 2009; Duarte & Junqueira, 2013; INEP, 2015; Sordi & Ludke, 2009). Inclusive com o objetivo geral comum, na década de 1990 o governo federal implementou diversos sistemas de avaliação, como o Sistema Nacional de Avaliação da Educação Básica (SAEB), o Exame Nacional do Ensino Médio (ENEM), a Prova Brasil e o Sistema Nacional de Avaliação do Ensino Superior (SINAES), todos apresentando distintas características e possibilidades de usos, porém utilizando suas informações avaliativas principalmente para o próprio processo de formulação, implementação e ajuste de políticas educacionais de cada nível.

Capturar esse quadro em constante transformação torna-se elemento fundamental para uma proposta de avaliação que aproxime os resultados da realidade escolar; que seja consumida de forma constante pelos gestores em projetos institucionais que transcendam a gestão individual; e se torne um organismo de produção da aprendizagem e autoria da comunidade educativa local. Afinal, como cita Freitas (2002), “as ações educacionais precisam ter suas ligações com a vida fortalecida ... Não basta partir da prática social como recurso didático é preciso inserir-se nela ativa e criticamente” (p.1).

Em que pesem os avanços, muito há de se fazer para que os resultados das avaliações sejam uma expressão mais próxima da prática na escola. Essa necessidade de proximidade certamente pressionará para que se obtenham novos modelos de análise e de resistência às fragmentações no campo educacional. Neste ponto, uma tendência nas pesquisas educacionais que envolvem o uso de questionários é propor a formação de construtos,1 o que, por sua vez, pode implicar na produção de indicadores. De acordo com Franco et al. (2003), os construtos devem ser claros e apoiados em resultados e embasamentos teóricos já consolidados e publicados, porém, para Bottani (1998), a dificuldade maior dos construtos é justamente identificar o processo para sua seleção e construção, na medida em que esse processo exige uma estrutura conceitual que reflita os propósitos da avaliação.

A produção de indicadores descontextualizados da realidade escolar local acaba, de alguma forma, gerando uma inquietação prática. Freitas (2007) cita o indicador Índice de Desenvolvimento da Educação Básica (IDEB) como uma política de responsabilização unilateral que exclui as escolas, ao mesmo tempo em que as estigmatiza, ou seja, o autor não o considera como referência de qualidade da educação, principalmente porque não reflete a relação custo aluno/qualidade e também não é sensível às desigualdades sociais.

Todavia, os indicadores devem ser examinados, pois a maioria tem grande poder explicativo, basicamente porque descrevem intrinsecamente um conjunto de variáveis minuciosamente estudadas sobre o mesmo tema, resultando em uma única variável, normalmente ordinal ou intervalar, que representa o nível ou a intensidade do tema que está se medindo (Miranda, 2006). Além disso, quando os indicadores são construídos seguindo os mesmos padrões, a mesma amplitude e características semelhantes, podem ser agrupados em um índice mais amplo.

Na avaliação de um conjunto de escolas, redes ou sistemas, devido ao grande volume de dados quantitativos, é imprescindível o uso de ferramentas que nos auxiliem a discriminar possíveis pontos de análise para a compreensão dos resultados das unidades escolares. A boa prática dessa análise passa pelo estudo de conceitos, critérios, modelos, métodos e técnicas, inclusive estatísticas, que efetivamente favoreçam uma melhor compreensão das análises realizadas na avaliação, com o intuito de oferecer a cada unidade escolar resultados que possam ser consumidos de maneira prática e local.

Este estudo tem a intenção de produzir parâmetros de avaliação internos à rede de ensino (medida cumulativa), aplicando o método de análise por envoltória de dados (DEA) nos dados de 34 escolas de 1.º ao 4.º ano do Ensino Fundamental da rede municipal de ensino de Campinas - SP.

Os dados de 2004 e 2005 foram utilizados, por serem resultantes de um estudo inicial do LOED que tinha como objetivo a construção de indicadores de contexto na rede municipal de ensino de Campinas - SP, através do agrupamento determinado de diversas variáveis que definiam um construto. Vários estudos foram realizados desde 2005; no entanto, somente o projeto do Observatório da Educação (OBEDUC) em fase final de conclusão em 2017 tem o mesmo desenho metodológico desse estudo inicial.

A busca de referências de qualidade incorporadas ao âmbito do aparelho escolar tende a colaborar no entendimento da dinâmica do fenômeno educativo e de como suas práticas são desenvolvidas. E pode, potencialmente, estabelecer qual a melhor composição de forças nas ações da escola, seja de caráter pedagógico e/ou técnico-administrativo, desde que as referências de qualidade sejam determinadas por cada escola da rede.

Justificativa

O lado mais visível da produtividade escolar, via de regra, é uma medida de eficiência obtida na escola, ainda que de forma reduzida, dada pelas taxas de promoção e repetência. Tratar essas taxas dentro da rede de ensino, deixando outras de mesma natureza e importância fora da análise, influencia sobremaneira as estatísticas sobre o fluxo de alunos da escola. Como a implicação se dá na rede de ensino, mormente na escola, o que realmente interessa é a contribuição que cada escola pode oferecer à rede, pois não se trata apenas de avaliar cada uma em separado. Assim sendo, mais do que uma prática estatística padronizada na descrição dos dados, serão necessárias projeções que devem possibilitar que a escola se articule na superação das suas dificuldades e/ou limitações.

A maioria das avaliações de escolas e/ou redes realizadas pelos órgãos governamentais utiliza taxas de promoção e repetência como medidas de eficiência das escolas (Bitar, Fares, Conholato, Cunha, & Ferreira, 1998; Castro, 2009; Indicadores de qualidade na Educação, 2004). Essas taxas se baseiam em dados do censo escolar, fornecidos pelo INEP/MEC/ (http://educacenso.inep.gov.br), que trabalha com informações coletadas anualmente, para calcular as taxas de rendimento (promoção, repetência e evasão), considerando, para o procedimento, o total de matrículas dos anos letivos sequenciais.

Neste ponto, poderíamos iniciar uma série de indagações, que não fazem parte do tema do estudo, mas que envolvem decisões metodológicas, como: o que fazer com o número de alunos que transitaram pela escola? Foi considerado o quanto cada um participou do período letivo? A assiduidade? Ou o momento que evadiu ou transferiu?

O aluno evadido está fora da ação intencional da escola para a sua recondução, geralmente limitada pelas variáveis incontroláveis que atuam no fenômeno social. Já a transferência parece ser a decisão menos traumática por parte da escola, pois o aluno desenvolverá suas atividades em outra unidade escolar, seja por opção ou determinação.

De qualquer maneira, não há consenso para essas decisões, e indubitavelmente elas podem influenciar os resultados finais, porém, essa é uma das limitações imposta pela falta de minúcia dos números fornecidos pelos órgãos competentes.

Para Klein (2003) em seu modelo de fluxo educacional, um aluno matriculado na escola será considerado, no final do ano letivo, aprovado, reprovado ou afastado por abandono (Figura 1). Portanto, um aluno não aprovado é um aluno que foi considerado reprovado ou afastado por abandono.

Figura 1
Modelo de fluxo educacional

No modelo de fluxo educacional apresentado por Klein, a transferência de alunos entre unidades escolares, embora ocorra, não aparece como variável a ser considerada no fluxo.

Com isso, para supor que qualquer motivo de saída da escola deve compor a taxa de rendimento da unidade escolar, usamos os dados deste estudo, analisando as correlações entre o total de alunos/repetentes (r= 0,75) e o total de alunos/transferidos (r= 0,74), sendo que os valores encontrados, embora moderados, acima de 70% (Levin, 1987) são suficientes para a inclusão dessa variável na taxa de rendimento de cada escola. Seguem-se também dessas análises os vários motivos da transferência, entre outros, a mudança de endereço, a determinação dos órgãos competentes, a falta de segurança na escola e/ou bairro, a intolerância dos colegas − de ordem sexual, racial, estética, por desigualdade social, homofobia − e a violência verbal e física.

Do ponto de vista descritivo, esses números podem representar de maneira parcial o desempenho da unidade escolar. Entretanto, para se obter de forma endógena um parâmetro que represente o desempenho da unidade escolar na rede de ensino, faz-se necessário cotejar os resultados das unidades entre si, o que gera outra indagação: sobre a importância de cada uma dessas variáveis na análise.

O dilema de desconhecer a força de cada medida (repetência, evasão, transferência) no cômputo da análise se constitui em uma questão nada trivial, pois de forma singular a produtividade escolar faz parte da função estruturante da escola. Freitas et al. (2009) salientam:

é necessário frisar que a avaliação-ensino aprendizagem em sala de aula tem como seu contraponto dialético a avaliação global da escola, a avaliação institucional ... As relações entre estes dois níveis de avaliação são muito ricas e permitem criar um novo entendimento sobre a publicização da atividade de ensino do professor.

(p. 13)

A força de cada medida está associada ao peso que cada uma das variáveis tem na análise, e esse peso pode ser atribuído por julgamento de especialistas, por análise estatística dos dados, dentre outras opções. Neste caso, os pesos foram calculados através da análise estatística, tendo sido necessário utilizar uma proposta de avaliação de desempenho que apurasse medidas de obtenção dos resultados e de eficiência de cada escola. O estudo foi intencionalmente desenhado para ser modelado na análise por envoltória de dados - DEA (Charnes, Cooper, & Rhodes, 1978), que, através de uma programação linear, define os pesos de cada componente da análise.

Basicamente o método DEA, ao construir uma fronteira empírica de eficiência - com as escolas 100% eficientes na rede de ensino -, nos permitiu identificar as metas referentes ao desempenho de cada unidade escolar dentro da própria rede. No Brasil, o emprego deste método na área educacional vem ganhando importância com o aumento, ainda discreto, das publicações e dos estudos de mestrado e doutorado (Belloni, 2000; Lapa & Neiva, 1996; Miranda, 2008; Moita, 1995; Nunes, 2002; Paiva Junior, 2000; Rodrigues, 2005, entre outros).

Esse método possibilita ainda tratar conjuntamente um grupo de variáveis sem a necessidade de conhecer a priori qualquer relação de valor ou importância (pesos) entre eles, ou seja, a DEA permitiu que a eficiência de cada escola fosse avaliada com um conjunto de pesos individualizados e que refletiram as suas especificidades. Além disso, a DEA possui propriedades que possibilitaram considerar conjuntamente variáveis de diferentes categorias, que caracterizavam as atividades escolares em uma análise global da rede/sistema e, ao mesmo tempo, contemplavam características próprias de cada escola, em respeito à sua identidade institucional.

As discussões de metodologias alternativas para análise dos dados educacionais realizadas no Laboratório de Observações e Estudos Descritivos (LOED) da Faculdade de Educação (FE) da Universidade Estadual de Campinas (UNICAMP) nos levaram a propor a criação de um índice, denominado índice LOED. De fato, este valor deveria conter uma recíproca dependência da qualidade de cada escola, pois a princípio cada rede de ensino tem um conjunto de condições próximas de oferecimento ao aluno; o exercício de apresentar alternativas de análise na área educacional se coaduna com o propósito de aumentar a sensibilidade dos resultados, que, em composição com as variáveis apuradas nos questionários contextuais (Franco et al., 2003), podem fornecer resultados que tenham como característica fundamental um cunho objetivo na gestão escolar, segundo as condições locais de organização do trabalho pedagógico.

A construção do índice LOED

Em 2002 e 2003, pesquisadores em avaliação, da Faculdade de Educação da UNICAMP-LOED e da Prefeitura Municipal de Campinas - SP, decidiram trabalhar conjuntamente na elaboração de um processo de avaliação para a rede municipal de ensino de Campinas - SP. Uma proposta inicial foi apresentada em seis audiências públicas envolvendo profissionais da rede municipal, o que conduziu à organização de um conjunto de princípios orientadores da proposta de avaliação. Dentro deste escopo, foi planejada uma coleta de dados com questionários contextuais e administrativos, para ser mais um elemento a compor a avaliação diagnóstica da rede.

O índice LOED foi desenvolvido a partir dos estudos realizados em 34 escolas de 1.º ao 4.º ano do Ensino Fundamental da rede municipal de ensino de Campinas - SP entre 2004 e 2005, com o objetivo de produzir parâmetros de avaliação internos à rede de ensino, representados por uma medida alternativa (cumulativa) assim composta: número total de alunos, número de repetentes, número de evadidos e número de transferidos de cada unidade escolar.

De acordo com Babbie (1999), apesar do cuidado ao construir questionários, raramente é possível chegar a uma única pergunta que represente adequadamente um conceito. Por conseguinte, com o uso de índices e escalas combinadas, através de diversos itens de questionários, se conseguem minimizar as possíveis distorções inerentes ao uso de itens únicos.

Sendo impraticável considerar simultaneamente todas as respostas particulares dadas por todos os respondentes, a construção de um índice pode reduzir estas respostas a uma única medida, e mesmo assim, os detalhes específicos daquelas respostas serem mantidos quase na totalidade. Um índice pode ser construído pela somatória simples de escores atribuídos a respostas específicas aos itens individuais que formam o índice.

(Babbie, 1999, p. 214)

Os pressupostos mínimos exigidos na construção de um índice robusto e na manutenção dos detalhes específicos de cada item, de acordo com Babbie (1999), são:

1. A unidimensionalidade, isto é, uma medida composta que deve representar apenas uma dimensão.

2. A variância dos itens que compõem o índice.

3. As forças relativas das relações entre os vários pares de itens (Cohen, 1988) devem usar os coeficientes de correlação.

A partir desses pressupostos, os dados das 34 unidades escolares de 1.º ao 4.º ano foram submetidos aos testes estatísticos que confirmaram a factibilidade da construção do índice LOED.

O coeficiente de confiabilidade gerado pelo método da matriz de covariância, usando o método Cronbach, foi de 0,51, o que permitiu estudar as propriedades das escalas e a composição dos itens em uma única dimensão.

O coeficiente de variação² (CV) representa a variabilidade dos dados em relação à média. Quanto menor for este coeficiente, mais homogêneo será o conjunto de dados, podendo ser bastante útil na comparação de duas variáveis que, a princípio, não eram comparáveis. Na descrição realizada na Tabela 1, a variável “total de alunos da escola” aparece com o menor CV (49,97%), sendo o conjunto mais homogêneo dos dados apresentados, enquanto a variável “alunos evadidos” é a menos homogênea (CV= 127,66%). A princípio a variabilidade pode ser encontrada na grande maioria das escolas, não havendo mecanismos para controlá-la.

Tabela 1
Estatística descritiva das variáveis de construção do índice LOED

	Total de Alunos da Escola	Alunos Repetentes	Alunos Evadidos	Alunos Transferidos
Intervalo	606	117	46	125
Mínimo	125	5	1	6
Máximo	731	122	47	131
Média	371,36	44,79	9,76	38,74
Desvio Padrão	152,15	28,60	12,46	27,10
Percentil: 25	256,50	23,75	1	20,25
Percentil: 50	349,00	42,00	5	30,00
Percentil: 75	456,25	60,50	10,5	48,25
Variância	23148,791	817,926	155,337	734,504
CV	49,97%	63,85%	127,66%	69,95%

• Fonte: Secretaria Municipal da Educação de Campinas, 2005.

Os coeficientes de correlação entre as variáveis total de alunos/repetentes (r=0,655), total de alunos/evadidos (r=0,318) e total de alunos/transferidos (r=0,653) se mantiveram dentro do esperado entre os vários pares. Para Cohen (1988), valores entre 0,10 e 0,29 podem ser considerados pequenos; escores entre 0,30 e 0,49 podem ser considerados como médios; e valores entre 0,50 e 1 podem ser interpretados como grandes.

Composição do índice LOED

A composição do índice LOED, como resultado de uma prática avaliativa alternativa para o sistema de ensino, trouxe em seu arcabouço conceitos teóricos e metodológicos próprios de áreas de pouca interface com o campo educacional, pelo menos no que diz respeito ao entendimento que cada área tem sobre o que é educação.

O índice LOED deriva das variáveis que compõem o fluxo do alunado no sistema educacional e que, de alguma forma, representa o nível de desempenho de cada unidade escolar.

O uso do método DEA no campo educacional provocou indagações e dilemas metodológicos que experimentalmente foram sendo parcialmente superados, pelo seu estudo e por intensas discussões teóricas no campo da educação. Por conseguinte, definindo a aplicação da DEA, foi imprescindível definir limites e estabelecer procedimentos que pudessem atender à metodologia aplicada e à sua interface com a área educacional.

A DEA prevê, em sua formulação original e de maneira bastante simplificada, a eficiência de uma unidade escolar baseada nos resultados (outputs) e nos recursos (inputs), foco das primeiras indagações: o que seriam os resultados na área educacional? O número de alunos aprovados? O número de repetentes, transferidos, evadidos? A proficiência do aluno? Por outro lado, quais seriam, entre outros, os recursos: a biblioteca? os professores? A natureza da atividade educacional torna complexa a composição de uma matriz DEA que responda de forma consistente e exequível às necessidades do sistema educacional a ser avaliado.

São fundamentais na aplicação da DEA a discussão e a transparência dos critérios envolvidos no modelo e, principalmente, as questões que envolvem julgamento de valor. Deve-se buscar uma clareza interna entre os seus atores.

Para estruturar o modelo de análise dos dados deste estudo, estabelecemos os seguintes pressupostos:

1. A escola como instituição de ensino é uma unidade de produção acadêmica e de tomada de decisões, relativamente aos recursos de que dispõe e aos resultados que gera.

2. O desempenho da escola pode ser medido como o de uma unidade modelo de produção educacional.

3. Os dados fornecidos pela Secretaria Municipal de Educação são elementos de avaliação de desempenho e servem como instrumento de apoio à atividade de planejamento e à tomada de decisão.

A aplicação do método DEA foi determinada pela forte característica de gerar informações para os processos de ordenamento e de ajustamento organizacional, uma vez que permite relacionar recursos e resultados para tomada de decisão.

Como todo método que parte da tentativa de racionalização de uma dada realidade, a interpretação dos resultados tem limitações. Sendo um modelo determinístico que usa valores observados, tais resultados correm o risco de incorporar pelo menos três tipos de problemas:

1. Os decorrentes do banco de dados disponível, que pode não cobrir, com fidedignidade, o fenômeno a ser observado.

2. Os de natureza intrínseca dos dados disponíveis e utilizados, que, eventualmente, podem não refletir toda a variabilidade existente nas escolas.

3. A definição da unidade escolar como entidade dotada de poder de decisão sobre a alocação de recursos.

Os indicadores deste estudo foram construídos através do método baseado nos pressupostos de análise previamente estabelecidos e só podem ser considerados dentro deste balizamento. Outrossim, é preciso compreendê-los como uma informação subsidiária dentre muitas outras que deverão ser consideradas no momento de qualquer tomada de decisão.

Formulação do índice LOED

A análise por envoltória de dados (DEA), segundo Miranda e Rodrigues (2010), é uma ferramenta que deve ser usada para avaliar o desempenho de unidades tomadoras de decisão, no nosso caso as escolas, tendo como base recursos/resultados em dois modelos. Charnes, Cooper e Rhodes (1978) desenvolveram o modelo CCR voltado para os recursos, que tinha como meta reduzi-los, (input) sem alterar os resultados (output), mantendo o retorno de escala constante. Posteriormente, Banker, Charnes e Cooper (1984) propuseram o modelo BCC, que permite que os rendimentos sejam crescentes ou decrescentes na fronteira de eficiência e não exige um aumento proporcional entre recursos ou resultados. Com essa evolução no modelo, a DEA ganhou maior aplicabilidade em diferentes setores, entre eles educação, saúde, indústria, instituições financeiras e programas sociais.

O cálculo do índice LOED foi realizado para manter os detalhes específicos dos resultados (outputs): número total de alunos da escola, e reduzir os recursos (inputs): repetentes, evadidos e transferidos, bem como preservar a capacidade de comparação ao longo do tempo.

O método DEA usa a programação linear como base dos cálculos, o que possibilita o uso de vários modelos de aplicação. Dentre os modelos estudados, o que atendeu às necessidades para a formulação do índice LOED, segundo os pressupostos levantados por este estudo, foi o modelo CCR, orientado para minimizar os recursos (inputs) e manter os resultados (outputs), sem restrições de pesos.

Os pesos gerados pela DEA foram utilizados para construir uma medida do tipo:

Índice LOED= ^w₁^{. p}₁^{+ v}₁^{. i}₁^{+ v}₂^{. i}₂⁺ ....... ^{+ v}_n ^{. i}_m

Sendo. ^w₁ >0; ^p₁ >0; ^v_n >0; ⁱ_m >0,

onde ^p₁ é a quantidade observada do resultado; ⁱ_m é a quantidade observada do m-ésimo recurso; ^w₁ é o peso relativo associado ao resultado e ^v_n é o peso relativo associado ao n-ésimo recurso, sendo que os pesos foram calculados pela DEA.

^p₁ = Número de alunos da Escola

ⁱ₁ = Número de alunos Repetentes

ⁱ₂ = Número de alunos Evadidos

ⁱ₃ = Número de alunos Transferidos

O princípio básico foi de obter pesos ideais para a contribuição de cada uma dessas variáveis na elaboração do índice LOED, e a análise da DEA possibilitou calcular esses pesos, considerando, ao mesmo tempo, todas as variáveis e todas as escolas.

Resultados e discussão

Os dados das 34 escolas foram submetidos a duas análises DEA distintas: a primeira delas foi realizada com o objetivo de criar o índice LOED e fornecer informações detalhadas sobre o desempenho da escola. Neste caso, o modelo aplicado foi o CCR orientado para minimizar os recursos, tendo como recurso (input) o número de repetentes, evadidos, transferidos; e como resultado (output) o total de alunos.

Na aplicação do modelo teórico, verificou-se que as correlações entre o índice LOED e as medidas de eficiência no modelo CCR estavam próximas a 90%, mostrando a influência do índice no resultado das medidas de eficiência.

Do mesmo modo, os resultados do modelamento permitiram verificar a forte contribuição de cada variável nas medidas de eficiência da escola, pois a variável “repetente” contribuiu de 80,5% a 100% nas medidas de eficiência de 7 escolas; a variável “evadido” contribuiu de 76,3% a 100% nas medidas de eficiência de 9 escolas, enquanto a variável “transferido” contribuiu de 80,7% a 97,3% em 18 escolas.

A proposta do uso do índice LOED, no modelo DEA, é estimar o desempenho do fluxo dos alunos na escola, identificando quais detêm as melhores taxas de acesso e permanência na rede. A verificação in loco das práticas que determinam essa eficiência na unidade escolar é imprescindível, para compor uma rede de informação que auxilie as unidades no aperfeiçoamento das ações e dos procedimentos para a permanência do aluno.

A segunda análise foi realizada, considerando os dados dos questionários contextuais de 760 (88,26%) alunos e 36 (90%) professores, e os seguintes indicadores de recurso (input): nível socioeconômico (NSE)³, experiência do professor (ExpProf)⁴, clima escolar (Clima)⁵, liderança administrativa (LiderAdm)⁶. O modelo DEA utilizado foi o CCR/max.output e BCC/max.output com restrição de pesos, utilizando o índice LOED com resultado (output).

Em função das variáveis contidas nessa análise, a DEA gerou uma medida de eficiência de 0% a 100% para cada unidade escolar, e as unidades 100% eficientes foram as referências das unidades menos eficientes. Cabe salientar que o tamanho da escola não é um fator limitante para o cálculo da eficiência (Belloni, 2000), ou seja, independentemente do número de alunos atendidos, é possível gerar tanto a medida de eficiência quanto o índice LOED.

A melhoria do desempenho das escolas com eficiência abaixo de 100% irá exigir ações no âmbito do acesso e da permanência. Essas ações estão associadas a uma organização do trabalho pedagógico que viabilize e crie condições para novas experiências: no campo da didática, no estilo pedagógico do professor, no clima escolar que valorize a função social da escola junto à comunidade e na liderança administrativa na constante construção coletiva e participativa do projeto político-pedagógico da escola.

O tratamento dos dados pela DEA apura as medidas de eficiência de cada unidade escolar e cria uma fronteira de referência interna para a rede municipal de ensino, ao mesmo tempo em que determina, para cada unidade escolar, qual a sua distância da fronteira de eficiência, as suas metas e folgas e a força das variáveis. As metas sugeridas para que a escola alcance uma maior eficiência dentro da rede de ensino devem ser analisadas pelo coletivo da escola, quanto à viabilidade de implantação, à operacionalização e aos desafios a serem vencidos na escola, na comunidade e no relacionamento com o poder público.

Os resultados obtidos na primeira análise dão conta de que a escola 16⁷ apresenta uma medida de eficiência de 16,26% e tem como metas a diminuição da ordem de 83,7% (de 94 alunos para 15) no número de alunos repetentes; da ordem de 92,4% (de 31 alunos para 2) para os evadidos; e para os transferidos, 83,7% (de 131 alunos para 21).

Na segunda análise, a Tabela 2 apresenta, na linha (1), o plano de operação executado pela escola 2 com as variáveis: índice LOED (853), NSE (12,95), ExpProf (10,23), Clima (21,66) e LiderAdm (6,67), que geram uma medida de eficiência de 100%. O plano de operação executado pela escola 2 serve de referência para a escola 16.

Tabela 2
Resultados da ineficiência de escala da escola 16 (IEP= 2,56)

Fatores de Produção
			Produto	Insumos
			Índice LOED	NSE		ExpProf		Clima		LiderAdm
Escola 2		Eficiente (100) (1)	853	12,95		10,23		21,66		6,67
		Observado (2)	242,61	8,14		8,97		19,34		7,17
Escola		Expansão (3)	620,65	-		-		-		-
16		Meta (4)	-	9,42		7,45		15,76		4,85
		Diferença (5)	-	1,28		-1,53		-3,59		-2,32

• Fonte: Escolas da rede municipal de ensino de Campinas, 2005
  Notas: IEP= Índice de Eficiência Produtiva; NSE= nível socioeconômico; ExpProf= experiência profissional; LiderAdm= liderança administrativa.

Na linha (2), há o plano de operação executado pela escola 16, com as variáveis: índice LOED (242,61), NSE (8,14), ExpProf (8,97), Clima (19,34) e LiderAdm (7,17) que gera uma medida de eficiência de 39,09%.

A linha (3) “Expansão” mostra a meta de produção equiproporcional que pode ser alcançada por meio da mudança na escala de produção e que aumentaria a produtividade em 156%. A realização desta meta consumiria todos os insumos disponíveis.

A linha (4) “Metas” apresenta a meta de produção que pode ser alcançada, usando-se plenamente os insumos disponíveis. A escola 16 opera na região de retornos crescentes, por isso sua meta mais produtiva deve ser calculada através de uma combinação linear do plano de operação executado pela escola 2, ponderada pelo vetor de intensidade (0,728), resultado esse que corresponde ao valor do novo plano de operações da escola 16 (meta).

A linha (5) “Diferença” mostra as quantidades de produtos adicionais que podem ser gerados na produção, trata-se da diferença entre a produção “meta” e o “observado”.

A eficiência da escola 16 foi influenciada pelo nível socioeconômico (NSE). Nesta perspectiva foi constatado que a melhoria do NSE dos alunos da escola na ordem de 15,8% pode trazer benefícios para a organização e a execução do trabalho pedagógico. Este fator não pode ser controlado pelas instituições educacionais; no entanto, deve ser objeto de reflexão quando da implementação e da operacionalização de programas educacionais. No que tange ao índice LOED, a escola deve baixar os índices de repetência, evasão e transferência, a fim de obter uma melhoria da ordem de 155,8%.

A escola 16 é tecnicamente eficiente (100%), porém é ineficiente do ponto de vista produtivo (IEP= 2,56). Portanto, a ineficiência dessa unidade escolar é determinada por sua escala de operação. A produção gerada pela escola 16 é a máxima possível, sem que seja alterado o índice LOED. Neste caso, a melhoria do desempenho da escola está intrinsecamente ligada à mudança de porte da unidade escolar, ou seja, o aumento do número de alunos da escola, juntamente com a redução da repetência, da evasão e da transferência de escola, visto que os retornos são crescentes na região da fronteira.

No âmbito da rede de ensino, a análise possibilita uma leitura das necessidades imediatas e de maior impacto em cada unidade escolar, e mensura o comportamento de seus indicadores, resolvendo em parte a dificuldade de avaliar quantitativamente o que falta e onde falta, e qual o impacto da ação de uma variável sobre as outras.

Considerações finais

A grande dificuldade que se apresenta na construção de modelos estatísticos nas ciências sociais é que não temos acesso a situações que obedeçam a uma regra geral de procedimento e, portanto, podemos apenas inferir sobre esses processos. Segundo Livio (2010), a situação das ciências sociais é claramente mais complexa ainda por causa da multiplicidade de elementos inter-relacionados, muitos dos quais são, na melhor das hipóteses, altamente incertos.

Por sua vez, Gatti (2004) ressalta:

Devemos considerar também que, muitos dos estudos quantitativos em educação, especialmente os que se utilizam de técnicas de análise mais sofisticadas, mais flexíveis e mais robustas, não são realizados por educadores, mas por pesquisadores de outras áreas que se debruçam sobre o objeto educação (economistas, físicos, estatísticos, sociólogos, psicólogos, etc.). Com isto, interpretações e teorizações nem sempre incorporam as discussões em pauta no campo das reflexões sobre a educação.

(p. 14)

Belloni (2000) afirma que a preocupação com o desempenho não tem sido traduzida na construção de modelos de avaliação que explicitem o significado das variáveis e dos indicadores relativos a esse desempenho. Nesse contexto, Moreira, Cunha, Ferreira e Silveira (2011) argumentam que as atividades de avaliação do desempenho são essenciais à legitimação social das organizações de ensino e que, segundo Lapa e Neiva (1996), a análise da eficiência de organizações de ensino deve ser feita em termos relativos, tomando-se como referência uma ou algumas instituições que, em dado contexto similar ou equivalente, possam ser consideradas mais eficientes.

A principal contribuição dos indicadores é iluminar a realidade, fornecendo elementos de juízo para interpretá-la (Bryk & Hermanson, 1993), trazendo dados que favoreçam a reflexão de todos os atores e ajude-os a compreender a complexidade das instituições e dos processos educacionais em diferentes âmbitos.

A DEA permitiu analisar a relação recursos – resultados em uma escola, cotejando simultaneamente com o conjunto das escolas existentes, tendo como “padrão” local o conjunto das escolas, que fornece a posição de cada uma em relação a uma “fronteira de qualidade”, traçada a partir do conjunto das mais eficientes. Portanto, não é um padrão criado externamente às escolas.

Cada escola foi tratada como uma unidade básica de observação, e sua eficiência na obtenção dos resultados exigiu informações sobre um conjunto de outras escolas como referência, partindo do pressuposto que elas tinham procedimentos escolares semelhantes e que utilizavam os mesmos recursos (professores, bibliotecas, cursos, vagas, etc.) para produzir os mesmos resultados (alunos aprovados, clima escolar, etc.). Miranda e Rodrigues (2010) alertam sobre a orientação do modelo:

Entretanto, devemos ressaltar que, no campo educacional, os modelos de eficiência orientados para minimizar os recursos, não são adequados à avaliação de sistemas públicos de educação, uma vez que seria inviável pensar a administração da educação pública orientada para a redução dos recursos nos campos: administrativo e pedagógico. Mesmo quando há recursos excedentes, em educação não é adequado reduzi-los, mas sim ampliar a prestação de serviços para mais pessoas e com melhor qualidade.

(p.168)

Não faz parte do estudo verificar se os avanços observados estão em sintonia com o projeto político-pedagógico de cada escola ou com o projeto da Secretaria de Educação. Tal dimensão é verificada melhor a partir das discussões diretas com as escolas na análise de seus projetos político-pedagógicos. Os dados deste estudo podem alimentar essa discussão de caráter mais qualitativo.

Este trabalho foi escrito assumindo riscos e elaborando propostas de tratamento dos dados de maneira não convencional, saindo do conforto de procedimentos já consagrados na área quantitativa ou qualitativa, quando o escopo é educacional. O objetivo secundário do trabalho foi criar um campo de incertezas, que pudesse suscitar o interesse de outros pesquisadores em se debruçar sobre este mesmo tema e produzir avanços.

A criação do índice LOED está definida como um experimento, uma maneira não convencional de se criar um índice, utilizando os pesos gerados através de uma programação linear. Portanto, sujeita à consolidação através de outros estudos.

• 1
  Construto: é um conceito amplo que, associado com diferentes variáveis, pode gerar um indicador. Por exemplo: construto de segregação: variáveis indicadoras do grau de separação dos alunos quanto a status econômico, etnia, raça, capacidade, proficiência acadêmica, entre outros critérios (Franco et al., 2003).
• 2
  Coeficiente de Variação = (Desvio Padrão/Média) x 100
• 3
  O indicador do nível socioeconômico (NSE) da escola foi calculado a partir da metodologia desenvolvida pela Associação Nacional de Empresas de Pesquisa (ANEP), pela Associação Brasileira de Anunciantes (ABA) e pela Associação Brasileira dos Institutos de Pesquisas de Mercado (ABIPEME).
• 4
  Todas as variáveis escolhidas para o indicador sobre experiência profissional (ExpProf) foram extraídas dos questionários dos professores e envolveram os seguintes itens do questionário: 1) Q01: Anos de Escolaridade; 2) Q26: Quantos anos você trabalha na Escola?; 3) Q30: Quantos anos você é professor/monitor?
• 5
  Todas as variáveis escolhidas para o indicador sobre o clima escolar (Clima) foram extraídas dos questionários dos professores e envolveram 12 itens: 1) Q33: a) Insuficiência de recursos financeiros; 2) Q33: b) Insuficiência de professores; 3) Q33: c) Insuficiência de pessoal administrativo; 4) Q33: d) Insuficiência de pessoal de apoio; 5) Q33: e) Insuficiência de recursos pedagógicos; 6) Q33: f) Interrupção das atividades escolares; 7) Q33: g) Falta por parte dos professores; 8) Q33: h) Falta por parte dos alunos; 9) Q33: i) Roubos e depredações; 10) Q33: j) Violência contra aluno/professor/funcionário; 11) Q33: k) Rotatividade de professores; e 12) Q33: l) Problemas disciplinares.
• 6
  Todas as variáveis escolhidas para o indicador sobre liderança administrativa (LiderAdm) foram extraídas dos questionários dos professores e envolveram os seguintes itens: 1) Q28: Projeto Político-Pedagógico, 2) Q29: Quantas vezes o conselho se reuniu e 3) Q31: Horas de formação continuada.
• 7
  A escola 16 foi escolhida para exemplificar o uso dos resultados das análises DEA. As escolas da rede municipal de Campinas - SP foram numeradas para manter o anonimato.

Referências

• Babbie, E. (1999). Métodos de pesquisa de survey (G. Cezarino, Trad.) Belo Horizonte: Editora da UFMG, p. 519. (Obra original publicada em 1997).
• Banker, R. D., Charnes, A., & Cooper W. W. (1984). Some models for estimation technical and scale inefficiencies in Data Envelopment Analysis. Management Science. 30(9), 1078-1092.
• Belloni, J. A. (2000). Uma metodologia de avaliação da eficiência produtiva de universidades federais brasileiras Tese de Doutorado, Universidade Federal de Santa Catarina, Florianópolis, 245p. Recuperado em 23 de agosto de 2015, de http://teses.eps.ufsc.br/defesa/pdf/1757.pdf
  » http://teses.eps.ufsc.br/defesa/pdf/1757.pdf
• Bitar, H. A. F., Fares, J., Conholato, M. C., Cunha, M. C. A. A. da, & Ferreira, M. J. A. (1998). O sistema de avaliação de rendimento escolar do estado de São Paulo: implantação e continuidade (Série Ideias, vol. 30, pp. 9-20). São Paulo: FDE. Recuperado em 11 de janeiro de 2015, de http://www.crmariocovas.sp.gov.br/pdf/ideias_30_p009-020_c.pdf
  » http://www.crmariocovas.sp.gov.br/pdf/ideias_30_p009-020_c.pdf
• Bottani, N. (1998, março). Los indicadores educativos de la OCDE: objetivos, límites y procesos de producción. Perspectivas: Revista trimestral de educación comparada. 23(8), 69-85.
• Bryk, A. S., & Hermanson, K. L. (1993). Educational indicator systems: Observations on their structure, interpretation and use. Review of Research in Education, 19, 451-484.
• Castro, M. H. G. (2009, setembro/dezembro). A consolidação da política de avaliação da Educação Básica no Brasil. Meta: Avaliação, 1(3), 271-296.
• Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring efficiency of decision making units. European Journal of Operational Research, 1, 429-444.
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences Hillsdale, NJ: Erlbaum.
• Duarte, M. R. T., & Junqueira, D. S. (2013, maio/agosto). A propagação de novos modos de regulação no sistema educacional brasileiro: o Plano de Ações Articuladas e as relações entre as escolas e a União. Pro-Posições, 24, .(71), 165-193. Recuperado em 8 de setembro de 2015, de http://dx.doi.org/10.1590/S0103-73072013000200012.
  » https://doi.org/10.1590/S0103-73072013000200012
• Franco, C., Fernandes, C., Soares, J. F., Beltrão, K. I., Barbosa, M. E., & Alves, M. T. G. (2003). O referencial teórico na construção dos questionários contextuais do SAEB 2001. Estudos em Avaliação Educacional, 28, 39-71.
• Freitas, L. C. (2002). Avaliação de sistemas públicos de ensino: construindo metodologias alternativas (Documento para discussão, n.º 1, versão 2). Campinas, SP: Faculdade de Educação; LOED – UNICAMP.
• Freitas, L. C. (2007). Eliminação adiada: o acaso das classes populares no interior da escola e a ocultação da (má) qualidade do ensino. Educação e Sociedade. 28(100), 965-987.
• Freitas, L. C., De Sordi, M. R. L., Malavazi, M. M. S., & Freitas, H. C. L. (2009). Avaliação educacional: caminhando pela contramão (2a ed.). Petrópolis-RJ: Vozes.
• Gatti, B. A. (2004, abril). Estudos quantitativos em educação. Educação e Pesquisa, São Paulo, 30(1),11-30. Recuperado em 12 de setembro de 2015, de http://www.scielo.br/scielo.php?
  » http://www.scielo.br/scielo.php?
• Indicadores de qualidade na educação. Ação Educativa, Unicef, PNUD, Inep-MEC (Coords.). (2004). São Paulo: Ação Educativa. Recuperado em 8 de setembro de 2015, de http://portal.mec.gov.br/seb/arquivos/pdf/Consescol/ce_indqua.pdf
  » http://portal.mec.gov.br/seb/arquivos/pdf/Consescol/ce_indqua.pdf
• Inep. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2015). Recuperado em 8 de novembro de 2015, de http://portal.inep.gov.br/superior-avaliacao_institucional
  » http://portal.inep.gov.br/superior-avaliacao_institucional
• Klein, R. (2003, janeiro). Produção e utilização de indicadores educacionais: metodologia de cálculo de indicadores do fluxo escolar da educação básica. Revista Brasileira de Estudos Pedagógicos. 84(206-207-208),107-157.
• Lapa, J. S., & Neiva, C. C. (1996). Avaliação em Educação: comentários sobre desempenho e qualidade. Ensaio: avaliação e políticas públicas em educação. Rio de Janeiro: A Fundação, 4(12), 213-236.
• Levin, J. (1987). Estatística aplicada a ciências humanas (S. F. Costa, Trad.). São Paulo: Harbra. (Obra original publicada em 1987).
• Livio, M. (2010). Deus é matemático? (J. P. Assis, Trad.). Rio de Janeiro: Record. (Obra original publicada em 2009).
• Miranda, A. C. (2008). O desafio da construção de referências de qualidade para os sistemas de ensino: uma avaliação com o uso de análise envoltória de dados – DEA (330 pp.). Tese de Doutorado, Universidade Estadual de Campinas, UNICAMP, Campinas, SP.
• Miranda, A. C., & Rodrigues, S. C. (2010, setembro). O uso da DEA como ferramenta alternativa da gestão escolar na avaliação institucional. Educação: Teoria e Prática. 20(35), 163-180. Recuperado em 11 de setembro de 2015, de http://www.periodicos.rc.biblioteca.unesp.br/index.php/educacao
  » http://www.periodicos.rc.biblioteca.unesp.br/index.php/educacao
• Miranda, E. C. M. (2006). O SAEB-2003 no estado de São Paulo: um estudo multinível (216 pp.). Dissertação de Mestrado, Universidade Estadual de Campinas-UNICAMP, Campinas, SP.
• Moita, M. H. V. (1995). Medindo a eficiência relativa de escolas municipais da cidade do Rio Grande - RS usando a abordagem DEA (Data Envelopment Analysis) (105 pp.). Dissertação de Mestrado, Universidade Federal Santa Catarina - UFSC, Florianópolis.
• Moreira, N. P., Cunha, N. R. S, Ferreira, M. A. M., & Silveira, S. F. R. (março, 2011). Fatores determinantes da eficiência dos programas de pós-graduação acadêmicos em Administração, Contabilidade e Turismo. Avaliação. 16(1), 201-230. Recuperado em 12 de setembro de 2015, de http://www.scielo.br/scielo
  » http://www.scielo.br/scielo
• Nunes, N. (2002). Avaliação da eficiência produtiva de organizações educacionais. Uma avaliação do método de análise envoltória de dados sobre a produção científica dos departamentos de ensino da Universidade Federal de Santa Catarina Florianópolis: Insular.
• Paiva Junior, H. (2000). Avaliação de desempenho de ferrovias utilizando a abordagem integrada DEA/AHP (178 pp.). Dissertação de Mestrado, Universidade Estadual de Campinas - UNICAMP, SP.
• Rodrigues, S. C. (2005). Construção de uma metodologia alternativa para a avaliação das escolas públicas de ensino fundamental através do uso da análise por envoltória de dados (DEA): uma associação do quantitativo ao qualitativo (324 pp.). Tese de Doutorado, Universidade Estadual de Campinas - UNICAMP, Campinas.
• Sordi, M. R. L., & Ludke, M. (2009, julho). Da avaliação da aprendizagem à avaliação institucional: Aprendizagens Necessárias. Avaliação. 14(2), 253-266.

Datas de Publicação

• Publicação nesta coleção
  Sep-Dec 2018

Histórico

• Recebido
  02 Maio 2016
• Revisado
  21 Maio 2017
• Aceito
  14 Jul 2017