Acessibilidade / Reportar erro

Eficiência das escolas públicas urbanas das regiões nordeste e sudeste do Brasil: uma abordagem em três estágios

Resumos

Nesse trabalho foi calculada uma medida de eficiência técnica para as escolas públicas urbanas das regiões Nordeste e Sudeste do Brasil, avaliadas pela Prova Brasil 2007, por meio da metodologia chamada de Análise da Envoltória de Dados (DEA) em três estágios, adotando-se a escola como unidade de análise. Em relação a todas as escolas estudadas, há indícios para afirmar que, mesmo descontando os fatores ambientais e aleatórios, ainda persiste a necessidade de melhorias ligadas à gestão de cada uma delas.

Análise da Envoltória de Dados (DEA); eficiência; educação; Análise das Fronteiras Estocásticas (SFA); Nível Socioeconômico (NSE); Prova Brasil


In this study, we calculated a measure of technical efficiency for urban public schools in the Northeast and Southeast of Brazil; evaluated by a battery of tests called Prova Brasil; year 2007, using Three-stage Data Envelopment Analysis (DEA) methodology; taking the school as unit of analysis. Based on our results we can say that there are margins for improvements in Brazilian urban public schools in terms of pure managerial ability.

Data Envelopment Analysis (DEA); efficiency; education; Stochastic Frontier Analysis (SFA); Socioeconomic Status (SES); Prova Brasil


Eficiência das escolas públicas urbanas das regiões nordeste e sudeste do Brasil: uma abordagem em três estágios

Luciana Duarte Bhering de CarvalhoI ; Maria da Conceição Sampaio de Sousa I I

ICoord. de Avaliação Macrofiscal - Secretaria de Orçamento Federal do Ministério do Planejamento - SOF/MP - Endereço: SEPN 516, Lote 08 - Bloco D, Sala 418 - Asa Norte Brasília/DF - Brasil - CEP: 70770-524 - E-mail: lubhering@gmail.com IIProfessora - Universidade Federal da Paraiba (UFPB) Endereço: Cidade Universitária, s/n - Castelo Branco - João Pessoa/PB - Brasil CEP: 58051-900 - E-mail: csampaiodesousa@gmail.com

RESUMO

Nesse trabalho foi calculada uma medida de eficiência técnica para as escolas públicas urbanas das regiões Nordeste e Sudeste do Brasil, avaliadas pela Prova Brasil 2007, por meio da metodologia chamada de Análise da Envoltória de Dados (DEA) em três estágios, adotando-se a escola como unidade de análise. Em relação a todas as escolas estudadas, há indícios para afirmar que, mesmo descontando os fatores ambientais e aleatórios, ainda persiste a necessidade de melhorias ligadas à gestão de cada uma delas.

Palavras-Chave: Análise da Envoltória de Dados (DEA), eficiência, educação, Análise das Fronteiras Estocásticas (SFA), Nível Socioeconômico (NSE), Prova Brasil

ABSTRACT

In this study, we calculated a measure of technical efficiency for urban public schools in the Northeast and Southeast of Brazil; evaluated by a battery of tests called Prova Brasil; year 2007, using Three-stage Data Envelopment Analysis (DEA) methodology; taking the school as unit of analysis. Based on our results we can say that there are margins for improvements in Brazilian urban public schools in terms of pure managerial ability.

Keywords: Data Envelopment Analysis (DEA), efficiency, education, Stochastic Frontier Analysis (SFA), Socioeconomic Status (SES), Prova Brasil

1. Introdução

É patente a importância da educação na sociedade em que vivemos, seja do ponto de vista dos indivíduos, seja do ponto de vista coletivo. Hanushek e Kimko (2000), ao considerarem a qualidade da educação de cada país, além dos anos de escolaridade da população, que é a variável usual, mostraram que a educação pode ter efeitos até mesmo sobre as taxas de crescimento nacionais, o que vai ao encontro do preconizado pela teoria do capital humano. Além de todos esses benefícios diretos provenientes de melhores níveis educacionais, há também as chamadas externalidades positivas normalmente associadas à educação, tais como: redução nas taxas de criminalidade, melhorias nas condições de saúde da população e maior coesão social. Existe, pois, um grande incentivo para se investir em educação.

Em razão do exposto acima, a educação é um tema que recorrentemente figura como preocupação central dos governos. No Brasil, a situação não é diferente e fica evidente quando se examina o montante de recursos destinados a esse setor. Entre 2000 e 2008, o gasto com educação em termos percentuais do PIB passou de 3,5% para 5,3%, dos quais 2,6% e 4,1%, respectivamente, correspondem às aplicações nos níveis primário e secundário de educação (OECD, 2011). Porém, esse elevado aporte de recursos não se traduziu em melhorias substanciais dos resultados em educação, visto que a avaliação do país em estudos padronizados internacionais situa-se em patamares muitos baixos, particularmente quando se leva em conta o seu nível de renda (Wilson, 2005). Temos, então, indícios para questionar se o problema da educação no Brasil se deve apenas ao volume insuficiente de investimentos na área, como afirmam alguns, ou também à má qualidade do gasto nessa área.

É nesse contexto que se situa o presente trabalho, cujo objetivo é calcular medidas de eficiência técnica das escolas públicas urbanas brasileiras das regiões Nordeste e Sudeste. Mais especificamente, buscamos responder às seguintes questões: quão eficientes são essas escolas? Que fatores estão relacionados ao seu grau de eficiência? Como os fatores que não estão sob seu controle afetam sua eficiência? Onde estão as escolas mais eficientes? As respostas para essas questões serão úteis para a identificação de práticas bem-sucedidas em algumas escolas, as quais poderão ser difundidas para as demais unidades.

Além disso, a obtenção de tais informações poderá servir de guia para uma aplicação mais racional dos recursos públicos na área da educação.

Para lidar com as questões levantadas acima, tomamos como unidade de análise a escola, a metodologia da Análise da Envoltória de Dados (DEA)1 1 A sigla corresponde à expressão Data Envelopment Analysis. em Três Estágios, desenvolvida por Fried et al. (2002), que combina o método DEA com a Análise de Fronteira Estocástica (SFA).2 2 A sigla corresponde à expressão Stochastic Frontier Analysis. Essa técnica foi concebida com o objetivo de separar a medida de eficiência resultante da aplicação do método DEA em três partes, a saber, uma atribuída a fatores externos, outra, a fatores aleatórios e a restante, ao nível de habilidade gerencial do responsável pelo processo em estudo.

Este trabalho está dividido em cinco seções além desta introdução. A seção seguinte busca dar um panorama da literatura atinente ao tema; a seção 3 aborda a metodologia escolhida; as seções 4 e 5 descrevem os dados e os resultados obtidos e, finalmente, a última seção reúne as principais conclusões do trabalho.

2. Literatura

A produção dos primeiros trabalhos sobre eficiência na área educacional se confunde com a origem do método DEA. O aspecto essencial desse método consiste na construção de uma fronteira, formada pelas Unidades Tomadoras de Decisão (DMUs)3 3 A sigla corresponde à expressão Decision Making Units. mais eficientes, que, assim, passam a delimitar as demais unidades, de forma que aquelas mais eficientes estejam localizadas na fronteira, ou próximas a ela, e as menos eficientes, em posição mais afastada.

Convém lembrar que o método DEA originou-se dos esforços para avaliar os resultados de um programa educacional Follow Through, doravante mencionado como FT (Cooper; Seiford; Tone, 2007). Desde então, outros trabalhos nessa vertente metodológica vêm sendo desenvolvidos, tanto no Brasil, como no exterior, para tratar de temas ligados à eficiência no processo produtivo educacional. Bradley, Johnes e Millington (2001) cotejaram trabalhos produzidos desde os fins da década de 70 até o trabalho deles próprios. No Brasil, esse tipo de pesquisa começou a produzir seus primeiros resultados em meados da década de 1990 (Delgado; Machado, 2007). Porém, os trabalhos da literatura nacional, que adotam a escola como unidade de análise, lidam com um universo de escolas pertencentes a uma ou algumas cidades, com abrangência máxima de um estado completo. Em decorrência disso muitas das amostras estudadas estão na casa das dezenas ou centenas, o que pode gerar estimativas viesadas de eficiência devido à chamada "maldição da dimensionalidade." 4 4 A "maldição da dimensionalidade" refere-se ao fato de que o aumento do número de variáveis conduz à superestimação dos escores de eficiência e reduz o poder discriminatório da técnica DEA.

Uma das restrições ao método DEA, em seu formato original, advém do fato de que ele não é capaz de distinguir a ineficiência atribuída às más práticas gerenciais no setor educacional da ineficiência decorrente de diferenças socioeconômicas e demais fatores não controláveis pelos gestores da educação. Ora, em um país grande e diverso como o Brasil, a consideração de diferenças ambientais, de acesso, econômicas, institucionais, culturais, entre outras, é indispensável. Ao passo que governos locais, ou regiões limitadas e geograficamente concentradas se defrontam com ambientes socioeconômicos relativamente similares, grandes nações e continentes usualmente diferem de forma substancial no âmbito interno; por essa razão, avaliações que não levam em conta essas diferenças são questionáveis, pois responsabilizam os gestores por todas as diferenças constatadas nos indicadores de desempenho educacional. Por fim, o método DEA não leva em conta fatores aleatórios, por isso os escores de eficiência computados por essa abordagem podem ser fortemente enviesados se o processo produtivo for caracterizado por elementos estocásticos.

Concluímos, pois, que o uso de medidas de eficiência baseadas unicamente nos insumos e produtos gerenciáveis pelas escolas pode distorcer o desempenho observado de uma dada escola. É necessário, dessa forma, levar em conta, na análise da eficiência técnica, tanto os fatores aleatórios como os elementos exógenos, para melhorar a qualidade e a representatividade dos indicadores de eficiência e permitir, assim, um ordenamento inequívoco das escolas.

A inclusão de variáveis exógenas na análise não paramétrica de eficiência é um tópico importante da literatura especializada. Diferentes modelos se propõem a tratar esse tema. Nos modelos não paramétricos de Banker e Morey (1986) e de Ruggiero (1996), as variáveis exógenas são consideradas por meio de modificações nas restrições do sistema de programação linear. No entanto, devido aos seus muitos inconvenientes, destacando-se, entre eles, o já mencionado problema da maldição da dimensionalidade, essa abordagem foi praticamente descartada e substituída pela análise em dois ou mais estágios que combinam o método DEA com técnicas econométricas (Ray; 1991, Ruggiero; 1998, Banker; Natarajan, 2008). Nesses modelos, computam-se medidas de eficiência não paramétricas do tipo DEA, em que todos os insumos são tratados como controláveis. Nos estágios subsequentes, regridem-se os escores de eficiência nos fatores exógenos para se obter os índices de eficiência técnica "puros". Embora as abordagens acima mencionadas considerem os fatores ambientais, elas não permitem distinguir a ineficiência dos fatores aleatórios existentes na produção de serviços educacionais. Nosso trabalho representa uma contribuição à literatura, na medida em que propõe estudar a eficiência das escolas públicas brasileiras de duas importantes regiões geográficas, o Nordeste e o Sudeste, em presença de fatores exógenos e aleatórios.

A metodologia utilizada combina o método DEA no primeiro estágio com a abordagem da SFA no segundo estágio. A vantagem dessa combinação – quando comparada com as análises já mencionadas - advém da utilização de duas técnicas que envolvem estimações de fronteiras de eficiência e permitir a distinção entre ineficiência gerencial e a decorrente de fatores externos e aleatórios. A justificativa principal para o uso da SFA no segundo estágio, ao invés dos modelos Tobit e Mínimos Quadrados Ordinários (MQO), é a existência de um termo de erro assimétrico que permite identificar o componente assimétrico, que corresponde à ineficiência gerencial, e o componente simétrico (ruído estatístico) captando, assim, de forma mais acurada, o conceito de fronteira. Ademais, a abordagem DEA-SFA, além de acomodar facilmente discrepâncias estatísticas e fatores exógenos, permite que testes estatísticos padrão sejam usados para se fazer inferência. Dessa forma, é possível contornar uma limitação importante do método DEA que decorre da hipótese da inexistência de erros de mensuração e, ainda, considerar os efeitos das variáveis ambientais. A favor do método DEA-SFA lista-se, ainda, o fato de que esses modelos têm obtido melhor desempenho em simulações de Monte Carlo (Cordero-Ferrera et al., 2009). No que se segue, detalharemos essa metodologia.

3. Metodologia

No primeiro estágio aplica-se o método DEA - BCC5 5 Formulação proposta por Banker, Charnes e Cooper (1984) que considera retornos variáveis de escala. Por essa razão, tal modelo é também chamado DEA – VRS, Variable Returns Scale. aos insumos e produtos relativos ao processo em análise. No segundo estágio, utiliza-se a técnica SFA, (Aigner et al., 1977). Nesse passo, a insuficiência de cada produto,6 6 Devido à escolha da orientação da análise para produto. No caso da orientação para insumo, a variável dependente seria o excesso de cada insumo. identificada no primeiro estágio, é considerada variável dependente, enquanto as variáveis chamadas de ambientais, que não estão sob controle do gestor do processo, são consideradas variáveis independentes. A partir dos resultados desse estágio as variáveis de produto são ajustadas de modo a expurgar os fatores aleatórios e ambientais que as influenciam. Feita essa correção, recalculam-se os escores DEA utilizando os dados ajustados. Desse novo cálculo, espera-se que as medidas obtidas reflitam primordialmente o grau de eficiência gerencial das unidades em estudo.

3.1 1 o Estágio – O modelo DEA-BCC produto orientado

Nessa metodologia, o Conjunto de Possibilidade de Produção (CPP) é definido a partir do conhecimento das variáveis relativas aos insumos e produtos utilizados pelas DMUs em seu processo produtivo. Tal conjunto, representado por T, abrange todas as correspondências factíveis entre os insumos capazes de produzir os produtos , e pode ser representado como:

Em que Y e X são os vetores dos produtos e dos insumos de todas as DMUs, com dimensões M x I e N x I, respectivamente. O escalar θ deve ser maior ou igual a um e é limitado inferiormente por um; quando assume valor igual a 1 indica eficiência técnica plena da DMU. O escalar θ é chamado de medida de eficiência de Farrell (1957). O vetor λ expressa a intensidade com que insumos e produtos devem ser empregados e produzidos, respectivamente, para que a DMU se torne tecnicamente eficiente. As quantidades de insumos e produtos multiplicadas por essa intensidade, portanto, representam as metas (targets) que as DMUs devem buscar alcançar a fim de se tornarem eficientes. Esses targets são as projeções dos pontos que representam o processo produtivo de cada unidade na fronteira, que é o locus das combinações de insumos e produtos consideradas tecnicamente eficientes.

Em relação à interpretação da medida de eficiência de Farrell (1957), caso a DMU apresente uma medida de eficiência θ=1,25, por exemplo, isso significa que ela deve aumentar em 25% o seu mix de produtos, mantidas as proporções entre eles, e fixados seus insumos, a fim de se tornar tecnicamente eficiente. Essa medida também é apresentada pelo seu inverso, nesse caso, igual a 0,80, que corresponde ao conceito de função distância do produto de Shephard 7 7 a tecnologia de produção (4) (Fried; Lovell; Schdmidt, 2008).

A escolha da orientação produto reconhece que a finalidade primordial das instituições públicas voltadas para a educação não é minimizar custos. Todavia, não podemos ignorar o fato de que os gastos em educação concorrem com outros de importância equivalente, e.g., gastos em saúde, em um contexto de restrição orçamentária. Dessa forma, quando não houver mais a necessidade de se ampliar o atendimento, tornar-se-á necessária a redução de custos. Nada impede, portanto, que se aborde o problema em questão desses dois ângulos. Porém, como já esclarecido, optamos nesse trabalho pela orientação a produto.

3.2 2 o Estágio - O modelo DEA-SFA

A abordagem DEA-SFA consiste na estimação de uma fronteira estocástica no seguinte formato:

Em que é o slack total relativo ao produto "n" e à DMU "i", equivalente ao hiato ou à insuficiência total de cada produto de dada DMU; Zni são as variáveis ambientais; βi é o vetor de parâmetros a ser estimado por Máxima Verossimilhança e a expressão corresponde ao erro composto por uma parte estocástica e simétrica e outra parte assimétrica e associada às ineficiências gerenciais, respectivamente. As suposições relativas aos componentes do erro são: e , ou seja, que seu componente aleatório seja distribuído normalmente, com média zero e variância, e que o componente ligado às ineficiências gerenciais seja distribuído conforme uma Normal Truncada, com média e variância. Assume-se ainda que cada parte do erro é distribuída independentemente da outra e que o erro composto não está correlacionado às variáveis independentes. Aplicada a formulação SFA aos slacks totais de cada variável de produto, não só teremos a tripartição da medida de ineficiência obtida no primeiro estágio, como também as direções e magnitudes dos efeitos atribuídos às variáveis ambientais sobre tal medida. Note-se, por fim, que a variância de cada componente do erro pode ser tanto homocedástica como heterocedástica. A heterocedasticidade está geralmente relacionada ao tamanho das unidades em análise. Para se considerar esse aspecto, variáveis relacionadas ao tamanho das unidades foram incluídas na estimação de cada uma dessas variâncias, da seguinte maneira: , em que wn são as referidas variáveis de tamanho. Não levar em conta esse aspecto pode levar à superestimação do intercepto da fronteira e a vieses nos demais coeficientes (Caudill; Ford, 1993).

Ainda no segundo estágio, o passo seguinte consiste no ajuste dos valores originais das variáveis de produto a partir das estimações geradas pela SFA, cuja intenção é eliminar as diferenças das DMUs no que se refere ao ambiente e aos fatores aleatórios, a fim de compará-las apenas no que tange à capacidade gerencial de cada uma. A proposta de Fried et al. (2002) para tanto é penalizar as unidades muito favorecidas pelos fatores ambientais e aleatórios, diminuindo seus produtos no montante equivalente a esses fatores que as favorecem, ou compensar as unidades menos favorecidas na direção oposta. A segunda opção foi a escolhida por uma questão de conveniência, já que a segunda poderia gerar valores negativos para algumas unidades, o que não é compatível com o método DEA–BCC, a ser utilizada no passo seguinte. O referido ajuste é o que se segue:

Em que

refere-se ao valor original da variável do produto "n" da DMU "i" e o mesmo símbolo, com o sobrescrito "a", representa o valor do produto em questão ajustado. Os demais símbolos seguem a mesma notação da fronteira apresentada no início dessa seção. Tone e Tsuitsui (2009) argumentaram que a adição ou subtração de uma constante aos valores originais dos produtos (operação chamada de translação), ao mudar a amplitude dos dados originais, pode causar grande viés nos escores da DEA, já que os modelos DEA-BCC produto (insumo) orientados não apresentam a propriedade da Invariância à Translação nos valores dos produtos (insumos), como nos explicam Cooper, Seiford e Tone (2007, p. 97). Desse modo, a fim de corrigir esse problema, os autores propõem o seguinte ajuste:

A correção acima proposta, por manter a amplitude dos dados originais, não introduz o viés já comentado. Por esse motivo, optamos por essa forma de ajustar os dados.

3.3 3 o Estágio – DEA-BCC com dados ajustados

Nessa última parte calculamos o mesmo modelo DEA utilizado inicialmente, porém, com os dados ajustados conforme descrito na seção anterior. Por fim, comparamos as medidas de eficiência obtidas no primeiro estágio com aquelas obtidas no terceiro. Constatada estatisticamente a diferença entre a medida de eficiência do primeiro e a do terceiro estágio, teremos um indicativo de que os fatores ambientais, além daqueles considerados estocásticos, influenciam a eficiência das unidades avaliadas.

4. Dados

Os dados utilizados neste trabalho foram extraídos dos Microdados do Censo Escolar 2007 e daqueles relativos à Prova Brasil desse mesmo ano, disponíveis no site do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Em 2007, foram coletadas informações de 198.507 escolas em atividade, total que engloba instituições públicas, privadas, urbanas e rurais. Contudo, o presente trabalho se ocupará de um subgrupo das 78.138 escolas públicas e urbanas ativas do país, que são aquelas avaliadas pela Prova Brasil 2007.

A Prova Brasil é parte integrante do Sistema de Avaliação da Educação Básica (SAEB). Tal avaliação é realizada a cada dois anos, desde 2005, por meio da aplicação de provas de português e matemática aos alunos da 4a série e da 8a série e/ou do 5o e do 9o ano do Ensino Fundamental Regular, das escolas que possuam pelo menos vinte alunos matriculados na série avaliada e cujos resultados podem ser comparados ao longo dos anos, graças à metodologia de elaboração dessa avaliação, a chamada Teoria de Resposta ao Item (TRI).

Os resultados dos alunos nas avaliações variam de 0 a 350 pontos na prova de Língua Portuguesa e, de 0 a 425 pontos na prova de Matemática, tanto para a 4a como para a 8a série. A Prova Brasil 2007 foi aplicada a todas as escolas públicas urbanas com turmas de 4a e/ ou 8a séries e cujos gestores tinham aderido à Prova Brasil. Nesse conjunto há escolas que ofertam apenas 4a ou 8a série. A fim de comparar unidades mais homogêneas, decidimos por incluir apenas aquelas que oferecem 4a e 8a séries. Dessa decisão, nosso conjunto diminuiu de cerca de 48 mil escolas para pouco mais de 16 mil. A última restrição aplicada ao conjunto a de estudar as escolas das regiões Nordeste e Sudeste do Brasil, culminou na redução do grupo de escolas a ser estudado para quase 10 mil escolas. Finalmente, desse conjunto, terminamos com 8.155 escolas, devido às perdas de observações que ocorreram em função de informações ausentes e incompletas por parte de algumas unidades.

4.1 Variáveis de insumo e produto

No tocante às variáveis de produto, vem persistindo ao longo do tempo nessa literatura o uso de notas em exames padronizados, como medidas de resultado. Por essa razão, as variáveis escolhidas como produtos/resultados são as notas medianas de matemática da Prova Brasil de cada escola para a 4a e para a 8a série e o número total de alunos matriculados em cada uma delas. Essa escolha teve como critério a disponibilidade dos dados e a compatibilidade com a literatura. A decisão pela mediana das notas de matemática, ao invés da média dessa variável, deu-se pela tentativa de se captar, em alguma medida, aspectos distribucionais do desempenho escolar dentro de cada escola, aspectos esses ocultados pela média. O que é de extrema importância, já que devemos considerar como boa escola aquela que atenua os efeitos do processo chamado pelos sociólogos de "reprodução social" (Riordan, 2004, p. 20), especialmente para os que ocupam a base da hierarquia social.

Cabe explicar o porquê do uso das notas de matemática apenas. Convém salientar que os resultados dos alunos em português e matemática estão relacionados de maneira significativa, como era de se esperar, apresentando os seguintes coeficientes de correlação: 64,06% e 58,61% para os alunos de 4a e 8a série, respectivamente. A escolha pela nota de matemática se deu, no entanto, por dois motivos: (a) a disciplina em questão é tipicamente escolar, em contraposição ao aprendizado da linguagem, que se dá nos mais diversos ambientes (Franco et al., 2007); e (b) os alunos apresentaram pior rendimento em matemática.8 8 Cabe destacar que, em termos absolutos, a média das notas de matemática, tanto nacional como das duas regiões estudadas, é maior que a da prova de português. Todavia, como as escalas dos testes de cada disciplina são diferentes, conforme já comentado neste trabalho, ao dividirmos as notas pelo máximo da escala de cada disciplina, enxergamos que o rendimento dos alunos em matemática é pior que o verificado em português. Para termos uma ideia, em âmbito nacional os alunos atingem em média 49% e 65% dos pontos da prova de português, resultado esse relativo à 4 a e à 8 a série, respectivamente, enquanto na prova de matemática eles acertam em média 45% e 57%. Em decorrência dessa constatação, consideramos que esse resultado merece maior atenção, já que precisa ser melhorado com maior urgência.

Por fim, decidiu-se por utilizar o número total de alunos, ao invés daquele restrito à Educação Fundamental (EF), para que fosse mantida a compatibilidade com o insumo número de funcionários, a ser comentado a seguir, que engloba, além do número de professores, o pessoal administrativo das escolas, que não poderia ser apropriado para cada nível, modalidade e etapa de ensino.

Em relação às variáveis de insumo, dispomos apenas o número de funcionários da escola,9 9 No Censo Escolar há variáveis relativas ao número de computadores por escola. Porém, como há muitos valores missing, utilizar tais variáveis implicaria a perda de muitas observações. Há o mesmo problema para outras variáveis relacionadas a insumos. que compreende não só os ligados às funções docentes como também aqueles ligados às atividades administrativas da escola. Em que pese o fato de ser apenas uma variável, ela representa parte significativa do orçamento de cada escola para o caso do Brasil (Farenzena, 2005). Outra variável considerada como insumo é a Taxa de Distorção Série Idade (TDI) da EF, que é o percentual de alunos do ensino fundamental de cada escola em idade superior em dois anos à considerada adequada para cada série. Essa taxa reflete um resultado inerente à atividade escolar, mas que não é desejado, sendo, pois, tratado como insumo (Thanassoulis; Portela; Despić, 2008, p. 301). A Tabela 01 apresenta as estatísticas descritivas para insumos e produtos.

A respeito dos dados extremos, utilizamos o método jackstrap de detecção de outliers (Sampaio de Sousa; Štosić, 2005) para inspecionar a base de dados. No entanto, as medidas de influência (alavancagens) calculadas por este método revelaram-se pouco importantes para a grande maioria das observações. Das 8.155 escolas, com dados consistentes, apenas 320 apresentaram alavancagens não nulas – menos de 4% das observações. O exame desses resultados mostrou que as observações com maiores alavancagens correspondem às escolas com valores de insumos e produtos realistas, que são, portanto, exemplos de melhores práticas. Diante disso, não foi necessária a eliminação de nenhuma observação, sendo todas as escolas selecionadas com probabilidade 1.10 10 Maiores detalhes sobre os resultados da aplicação da metodologia Jackstrap neste trabalho poderão ser obtidos juntos aos autores.

5. Resultados

O Gráfico 01 apresenta o histograma dos escores obtidos no primeiro estágio do modelo.


A medida de Farrell equivalente ao escore médio apresentado é 1,32 (1÷0,76), indicando que, em média, as escolas devem aumentar seus resultados, mantidas as proporções entre eles, em 32% para se tornarem plenamente eficientes. A ineficiência máxima, equivalente ao escore mínimo, é de 78% (1÷0,56=1,78).

O conceito de slack total, como apresentado na seção desse trabalho relativa à metodologia, refere-se à diferença entre as metas calculadas pelo algoritmo DEA para as variáveis de produto e seus valores originais. A Tabela 02 apresenta as estatísticas descritivas para os slacks totais.

5.1 Resultados do 2 o Estágio

Nessa seção serão apresentadas e comentadas as estimações dos parâmetros das três fronteiras estocásticas, além das variáveis de produto ajustadas, que serão utilizadas no último estágio. As três fronteiras de eficiência, cujas variáveis dependentes são os slacks dos três produtos utilizados na fronteira DEA, computada no primeiro estágio, a saber, nota de matemática da 4a série, nota de matemática da 8a série e número de alunos. Como as variáveis dependentes de cada uma das fronteiras são insuficiências relativas a cada um dos resultados esperados das escolas, devem ser lidas como ineficiências. Por essa razão, os coeficientes das variáveis independentes que apresentam sinal negativo mostram que a variável independente em questão tem efeito redutor sobre a ineficiência, analogamente para o caso contrário. Como não temos informações a priori sobre a forma funcional da fronteira, assumimos linearidade, como é o uso corrente nesse caso. A forma funcional adotada foi a seguinte:

Os parâmetros e variáveis da expressão acima foram previamente definidos na seção 3 deste trabalho. Note-se que as variáveis ambientais z são aquelas ligadas aos fatores sobre os quais as escolas possuem pouco ou nenhum controle, tais como: composição étnica e Nível Socioeconômico (NSE) de seus alunos, composição étnica e qualificação de seus docentes, tamanho das escolas, esfera administrativa a que pertencem (estadual, municipal ou federal), características dos seus diretores e dos municípios em que se encontram, dentre outras.

Essas serão as variáveis independentes que serão utilizadas nas fronteiras estocásticas, cujas variáveis dependentes serão os slacks totais de cada uma das três variáveis de produto. Abaixo apresentaremos as estatísticas descritivas dessas variáveis. Elas se dividem em três grupos: proporções que variam de 0 a 1; variáveis dummies e as variáveis que expressam alguma quantidade (número de salas, número de turmas, etc.). A única que foge a esse padrão é a variável info, variável discreta que assume valores 0, 1 ou 2, indicando, respectivamente, se a escola não possui laboratório de informática, nem outros computadores; se a escola possui um ou outro; ou se a escola possui os dois.

As variáveis de proporção têm seus rótulos iniciados pela letra "p", seguidas de um ou dois números ou de uma expressão que indicam a que a etapa ou a que modalidade de ensino se referem, e.g., 4a série, 1a a 4a série, ensino fundamental, seguida por uma palavra que se presta a descrever resumidamente a variável. As dummies têm os rótulos iniciados pela letra "d". As demais variáveis foram rotuladas com palavras que buscam descrevê-las de forma sucinta. A Tabela 03 apresenta as estatísticas descritivas para as variáveis ambientais usadas na fronteira da 4a série.

Os resultados das estimações dos parâmetros relativos à fronteira cuja variável dependente é o slack total referente à nota mediana de matemática da 4a série de cada escola encontram-se na Tabela 04.

Passemos aos comentários acerca dos coeficientes. A primeira variável, proporção de alunos da 4a série que participaram da Prova Brasil (p4_participação) foi incluída com o propósito de verificar se há indícios de algum comportamento estratégico por parte das escolas para melhorar seu desempenho na referida avaliação, tal como incentivar apenas os bons alunos a participar. Uma ou outra escola pode até ter adotado esse tipo de estratégia, mas, no agregado, esse comportamento não parece ter sido predominante, já que o coeficiente em questão, apesar de sua pequena monta, mostrou-se estatisticamente significativo e apresentou sinal negativo, sugerindo que quanto maior a participação menor a ineficiência. Se todos os alunos de dada escola participaram da Prova Brasil, a variável em questão atinge valor igual a 1 e isso representa uma diminuição na ineficiência em 4,50 pontos. Dizemos pontos porque o slack da nota de matemática da 4a série está expresso nessa unidade.

Os coeficientes β2 a β7, β17 a β19 e β21 a β23, referentes às variáveis que descrevem o contexto socioeconômico dos alunos, são estatisticamente significativas, se não individualmente, pelo menos em conjunto, como veremos adiante, e apresentaram os sinais esperados. Na escolha dessas variáveis buscamos contemplar, além do que naturalmente entendemos como elementos definidores do NSE (e.g., variáveis proxies para renda e escolaridade dos pais), o conceito de capital social, destacado por Riordan (2004), que trata da relação dos adultos de uma família, sobretudo dos pais, com suas crianças. Tal conceito possui duas principais dimensões, uma estrutural e outra funcional. A primeira diz respeito à presença física dos membros da família e a segunda diz respeito à intensidade do relacionamento entre pais e filhos.

O ponto aqui é entender que não basta a existência de renda e de capital humano nas famílias, se não há presença e envolvimento dos pais nas atividades escolares de seus filhos. O coeficiente β2, que busca captar a estrutura familiar, é positivo, indicando que quanto maior a proporção de alunos na 4a série cujos pais não vivem juntos (p4_pais_sep), maior é a ineficiência da escola. Os coeficientes relacionados às variáveis ligadas à frequência com que os pais vão às reuniões escolares (p4_reunião_sempre e p4_reunião_alguma), ao fato dos alunos da 4a série realizarem até duas horas de trabalhos domésticos (p4_trab_dom_ate_2h) e ao fato de trabalharem fora (p4_trab_fora); buscaram capturar o comentado envolvimento dos pais com os filhos.

Quanto maior a proporção de pais que participam das reuniões escolares, menor a ineficiência da escola, com um efeito mais forte quando os pais vão sempre às reuniões. Da mesma forma ocorre quanto maior a proporção de alunos da 4a série que realizam até duas horas de trabalho doméstico. Isso pode indicar que crianças que realizam alguns trabalhos domésticos estão bem integradas às suas famílias, pois participam da rotina de suas casas, além de estarem exercitando a disciplina, característica fundamental para o sucesso nos estudos. Já a proporção de alunos da 4a série que declararam trabalhar fora, pode indicar não só a pobreza da família a que esses alunos pertencem, como o descaso dos pais em relação ao cotidiano de seus filhos, ou até mesmo, uma situação de exploração dos filhos pelos pais. Como esperado, tal variável aumenta a ineficiência da escola quanto maior a proporção observada.

O coeficiente da proporção de alunos que dizem possuir o equivalente a uma estante de livros em casa (p4_estante_livros), que pode ser considerada uma medida de capital humano, também mostrou efeito redutor sobre a ineficiência corroborando estudos anteriores (Delgado; Machado, 2007). As variáveis relativas à proporção de alunos que pertencem a cada classe social foram construídas com base no Critério de Classificação Econômica Brasil da Associação Brasileira de Empresas (ABEP, 2009), que atribui uma pontuação para cada tipo e quantidade de bens que uma família possui (geladeira, carro, televisor, etc.) e também para o grau de escolaridade de seu chefe. O critério da ABEP define 8 classes diferentes: A1, A2, B1, B2, C1, C2, D e E. Contudo, para facilitar a exposição, agregamos as duas primeiras classes sob o rótulo de A, as duas seguintes, da mesma maneira, delimitando a classe B e as três, seguintes sob a denominação CD. Os resultados dessas variáveis se mostraram como o esperado, quanto maior a proporção de alunos em classes mais altas, menor a ineficiência da escola. É interessante notar a grande magnitude do coeficiente relativo ao pertencimento à classe mais alta e a queda de seu valor à medida que passamos às classes mais baixas. Sobre a escolaridade do chefe de família, optamos por utilizar o grau de escolaridade da mãe, pelo fato de haver um volume maior de respostas nesse item em comparação com a mesma resposta dada em relação ao pai.

As características raciais dos alunos, como são autodeclaradas, podem refletir outros aspectos tais como nível socioeconômico e até mesmo autoestima dos alunos, por isso são de difícil interpretação. A inclusão dessas características, amplamente utilizadas na estimação das funções de produção educacional, facilita a comparação do nosso trabalho com outros estudos. Nossos resultados sugerem que escolas cuja proporção de alunos que se autodeclaram brancos é maior, a ineficiência é menor.

As variáveis relativas ao gênero dos alunos e professores (e às suas características) e à taxa de abandono são proporções que consideram alunos da 1a a 4a série. A utilização dessa agregação reflete melhor o contexto da escola. Acerca do gênero dos alunos, esperava-se resultado contrário ao verificado, já que quando se relaciona desempenho em matemática com gênero, geralmente os meninos se saem melhor (Menezes-Filho; Ribeiro, 2009). Em relação às características dos professores, no que se refere à raça, aplica-se a mesma discussão feita para os alunos no que tange à dificuldade em se entender o que exatamente a autodeclaração da raça expressa.

Com respeito à qualificação dos professores e às suas atitudes (frequência da correção das tarefas de matemática), os sinais dos efeitos sobre a ineficiência se mostraram como esperado: quanto mais professores qualificados e que corrigem as tarefas de casa, menor a ineficiência. Sobre o gênero dos docentes, não havia expectativa a respeito do efeito dessa variável. Em nossas estimativas observamos um pequeno decréscimo na ineficiência para escolas com maior proporção de professoras.

No que se refere ao tamanho das salas e das escolas, as evidências empíricas não são conclusivas e há argumentos tanto pró como contra escolas e salas pequenas. Riordan (2004) expõe argumentos e resultados de diversos trabalhos para os dois lados dessa disputa. A favor das escolas menores o autor elenca as razões apontadas para o sucesso dessas escolas, tais como, possuir maior controle sobre o comportamento dos alunos, evitando abandono e comportamentos desviantes em seu corpo discente; além do que, tais escolas são capazes de oferecer um atendimento mais personalizado, dentre outras.

Por outro lado, há argumentos no sentido contrário que afirmam que, por uma questão de economia de escala, as escolas maiores são capazes de oferecer uma melhor infraestrutura e uma maior diversidade de atividades.

A evidência mais forte em favor da existência de um tamanho ótimo de escola é verificada quando relacionamos tamanho das escolas com eficiência econômica, já que, em muitos casos, constatou-se a existência de uma curva de custo médio por aluno em formato de "U", o que significa que esses custos decrescem à medida que a escola admite mais alunos, porém, isso só ocorre até certo ponto, quando o custo médio por aluno atinge seu valor mínimo, a partir daí a admissão de mais alunos implicará custos médios crescentes (Slate; Jones, 2005). Para testar essa tese, incluímos a variável número de salas (n_salas) em uma especificação polinomial até o terceiro grau. Daí, obtivemos que a ineficiência é decrescente para escolas que possuem entre 13 e 88 salas, o que equivale, em termos de número de alunos, ao intervalo entre 377 e 2.552 alunos, considerando uma média geral de 29 alunos por turma. Das 8.155 escolas em estudo, 3.452 escolas se encontram nessa faixa.

Raciocínio análogo àquele feito para o tamanho das escolas foi tecido para o tamanho das turmas. Especificamente para as turmas de ensino regular da 4a série, encontramos que escolas com turmas de tamanho médio entre 20 e 47 alunos estão no intervalo de ineficiência cadente. Grande parte das escolas se encontra nesse intervalo (7.540). Os argumentos pró e contra salas pequenas são bem parecidos àqueles empregados para justificar o tamanho das escolas. Ademais, os custos de se reduzir o tamanho das salas são muitos altos diante da fraca evidência de que tal redução será benéfica na maioria dos casos (Riordan, 2004; Hanushek, 1998). Hanushek (1998) argumenta ainda haver evidências econométricas de que o impacto positivo de professores qualificados pode mais que compensar a pequena melhoria no aproveitamento dos alunos em turmas reduzidas, quando tal efeito é detectado.

Sobre a dependência administrativa das escolas, como já esperado, as escolas federais mostraram-se muito mais eficientes que as demais. E as escolas estaduais mostraram-se pouco mais eficientes que as municipais. Já em termos das características dos diretores, a literatura empírica sugere que o papel do diretor é fundamental para o desempenho da escola (Witziers et al., 2003). Em nosso estudo, testamos várias características dos diretores; a única significante foi a que se refere à forma de seleção. Escolas que apresentam diretores com dedicação exclusiva e que foram selecionados e eleitos, apresentam menor ineficiência, com destaque, em termos de magnitude, para essa última variável. Esse resultado não é surpreendente; diretores bem preparados e cuja liderança na escola foi chancelada por meio de eleição terão melhores condições de conduzi-la para obter melhores resultados.

Uma maior proporção de alunos da 1a à 4a série que abandonam a escola aumenta a ineficiência das escolas, o que era esperado. Hanushek, Lavy e Hitomi (2006), em estudo feito com dados do Egito, também encontraram resultados nesse sentido, de que as taxas de abandono são bastante sensíveis à qualidade das escolas.

As variáveis d_infra_otima e info tentam captar o impacto da infraestrutura, tanto básica como relativa aos equipamentos que as escolas possuem, sobre seus níveis de eficiência. A primeira foi escolhida porque resume várias características físicas da escola. Por ocasião da Prova Brasil, pesquisadores preenchem um questionário que cobre desde a existência de estruturas e equipamentos, seu estado de conservação, passando por questões de segurança. Com base nessas respostas, o pesquisador responde à questão "Como você avalia esta escola, considerando sua infraestrutura e condições gerais de funcionamento?" marcando uma, entre cinco alternativas que variam de péssima a ótima. Nossa variável se refere à última alternativa. Seu coeficiente, como esperado, apresentou sinal negativo corroborando estudos anteriores que mostram que características ligadas à infraestrutura básica da escola, tais como qualidade dos telhados, paredes, piso, com mesas e cadeiras, além da existência de biblioteca, conduzem ao melhor rendimento dos alunos (Glewwe et al., 2012). A variável info, que se refere ao fato da escola ter laboratório de informática e/ou outros computadores, não parece afetar a eficiência das escolas. Esse resultado é compatível com estudos anteriores que atestam que o efeito desse tipo de equipamento sobre os resultados das escolas não é claro. 18 das 26 estimativas analisadas por Glewwe et al. (2012) não apresentaram significância estatística e, em termos de sinais, são distribuídas quase que igualmente. O fato de a variável info não influenciar os resultados educacionais deve-se, provavelmente, ao fato de que, em muitos casos, esses laboratórios não passam de uma sala com finalidade múltipla em que os computadores são guardados. Embora declarados como laboratório, eles não desenvolvem, de forma sistemática, atividades que efetivamente permitam aos alunos um melhor aprendizado na área de informática. Raciocínio similar aplica-se às bibliotecas, fazendo com que o poder discriminatório dessa variável seja praticamente nulo.

O primeiro teste constante dessa tabela confirma a significância estatística da variância ligada ao termo ineficiência, u, apontando para o bom ajuste dos dados a essa forma de fronteira. O segundo teste prestou-se à escolha entre duas hipóteses de distribuições possíveis para a variável u, conduzindo-nos à rejeição da distribuição seminormal em favor da exponencial. Os demais testes permitem verificar a significância conjunta dos parâmetros. Conforme podemos ver, todos os parâmetros testados foram validados.

Passaremos agora à análise dos resultados da fronteira relativa aos slacks da nota mediana de matemática da 8a série (Tabelas 06 a 08 ).

A Tabela 06 apresenta as estatísticas descritivas para as variáveis utilizadas na fronteira, a Tabela 07, os coeficientes estimados e a 08, os testes de Razão de Verossimilhança relativos à fronteira em questão.

Nessa estimativa, a maioria dos coeficientes manteve o sinal da primeira fronteira. Os que não seguiram esse padrão foram os relativos às seguintes variáveis: proporção de pais de alunos da 8a série que frequentam algumas reuniões (p8_reunião_alguma), ao percentual de alunos dessa mesma série que trabalham fora (p8_trab_fora) e ao fato dos diretores serem eleitos apenas (d_dir_eleito).

A primeira inversão pode ser lida como a perda da importância desse aspecto, quando falamos de crianças mais velhas. Especialmente se a referida inversão for interpretada levando-se em conta tanto a redução da magnitude do coeficiente relativo à outra variável que trata da frequência dos pais às reuniões escolares (p8_reunião_sempre), como a perda de significância estatística de cada um desses coeficientes. A segunda inversão pode indicar que adolescentes que trabalham fora não têm rendimento prejudicado por isso, uma vez que os que chegaram até a 8a série são os mais persistentes, já acumularam conhecimento e que, por todos esses motivos, conseguem ir bem na escola, apesar de trabalharem fora.

Outras variáveis que merecem destaque são as que tiveram seus coeficientes muito aumentados ou diminuídos em termos absolutos, mantidos os sinais. Na primeira categoria estão as variáveis relativas ao fato dos pais morarem separados (p8_pais_sep), às classes sociais a que os alunos pertencem (p8_a, p8_b, p8_cd), aos alunos da 5a à 8a série que se declaram negros (p5_8_alun_pretos), aos docentes que se declaram brancos (p5_8_doc_brancos) e aos que possuem nível superior (p5_8_doc_nivel_sup), além daquela variável referente ao fato dos diretores serem selecionados e eleitos (d_dir_sel_eleito). Esperava-se que esse grupo de variáveis, sobretudo àquelas relativas aos alunos, exercesse efeitos de menor intensidade que aquela verificada no caso dos alunos mais novos, já que, intuitivamente, crianças mais velhas, ou adolescentes, seriam menos suscetíveis ao meio que vivem. Diante disso, não sabemos se a intensificação dos impactos de algumas variáveis se deve à existência de um efeito cumulativo do meio sobre a criança ou decorre da melhor qualidade das respostas dadas nos questionários por crianças maiores ou adolescentes.

Na categoria das variáveis que tiveram seus efeitos reduzidos em termos absolutos, mantidos os sinais, destacamos as proporções de: alunos que realizam até duas horas de trabalhos domésticos (p8_trab_dom_ate_2h), alunos que afirmam que os professores corrigem sempre as tarefas de matemática (p8_correcao_sempre), alunos que afirmam que os professores corrigem algumas vezes as tarefas de matemática (p8_correcao_alguma), alunos da 5a à 8a série que abandonaram a escola (p_abandono_5_8_séries), alunos da 5a à 8a série que se declaram pardos (p5_8_alun_pardos), docentes da 5a à 8a série que se declaram pardos (p5_8_doc_pardos). Sobre os tamanhos tanto de salas como das escolas, encontramos que: para salas entre 20 e 50 alunos e para escolas que tenham entre 14 e 88 salas, a ineficiência é decrescente, resultados bem parecidos com aqueles encontrados na primeira fronteira. Finalmente, a Tabela 08 apresenta os testes estatísticos relativos à especificação da fronteira.

Trataremos agora da fronteira relativa aos slacks do número de alunos. As Tabelas 09 e 10 apresentam as estatísticas descritivas para as variáveis utilizadas na fronteira relativa aos slacks referentes ao número de alunos.

E a Tabela 11 mostra os coeficientes estimados para essa fronteira.

Nessa fronteira procuramos inserir variáveis que pudessem explicar porque as escolas não atendem à quantidade de alunos que poderiam atender. Levamos em conta os seguintes aspectos que podem influenciar tanto a demanda como a oferta por vagas: o tamanho do município em que a escola se encontra, se tais municípios atraem população, qual a composição da população em termos de faixa etária, qual o tamanho da escola, se ela é de qualidade, bem administrada, dotada de boa infraestrutura e equipamentos e se oferece segurança aos alunos.

As duas primeiras dummies constantes da fronteira acima: se escola está em um município com até vinte mil habitantes (d_0_20mil), (IBGE, 2011b) e se está em município considerado região metropolitana (d_rm), (IBGE, 2011a), nos mostram que há ineficiências tanto em cidades grandes como pequenas, proporcionais ao tamanho das cidades.

Escolas localizadas em municípios com maior parcela de idosos, pessoas com mais de sessenta anos (p60_mais) (IBGE, 2011b), mostraram ser menos ineficientes. Provavelmente pelo fato de não terem muita demanda para seus serviços. Em relação ao tamanho das escolas (n_salas e seus termos ao quadrado e ao cubo), os resultados obtidos sugerem que as escolas maiores são menos ineficientes. As escolas que possuam entre 32 e 95 salas, ou, entre 928 e 2.755 alunos, considerando a já citada média de 29 alunos por sala, são as que estão no intervalo de ineficiência cadente. Apenas 37 escolas na amostra se enquadram nessa faixa.

Convém considerar que a diferença entre o tamanho ideal de escola verificada entre as duas primeiras fronteiras e essa é justificável, uma vez que as duas primeiras referiam-se às ineficiências ligadas ao rendimento dos alunos, enquanto a última se refere à ineficiência ligada à realidade física das escolas. Acerca da proporção de alunos da EF que abandonam a escola, como esperado, maiores proporções de abandono indicam escolas com maior ineficiência, com destaque para o tamanho do coeficiente. Em termos da dependência administrativa a que a escola pertence e às características do diretor, os resultados são bem similares aos obtidos nas duas primeiras fronteiras. O que se repete para as variáveis d_infra_otima e info. As duas últimas variáveis que tratam do estado de conservação da escola (se há sinais de depredação) e da segurança (se os diretores adotam medidas de segurança nas imediações da escola) apresentaram também os efeitos esperados. Escolas com sinais de depredação atraem menos alunos e, portanto, deixam de atingir sua capacidade máxima de atendimento. Por outro lado, escolas que oferecem maiores condições de segurança, atraem mais alunos e por isso reduzem sua ineficiência. Como nessa fronteira estamos lidando com escolas de tamanhos muito diferentes, levamos tal heterogeneidade em conta incluindo a variável número de turmas por escola (n_turmas), que é uma medida do tamanho da escola, como variável explicativa da variância relativa à parte do erro ligada às ineficiências. Como podemos ver na Tabela 12, esse parâmetro, assim como os outros relativos às variâncias, tanto do termo u , como do termo υ, são significativos, o que mostra o bom ajuste dos dados ao formato da fronteira. Sobre a hipótese distribucional da parte do erro ligada à ineficiência, não tivemos que escolher, uma vez que a distribuição seminormal foi a única que se ajustou aos dados.

Seguindo o padrão de apresentação das fronteiras, a Tabela 12 apresenta os testes de exclusão das variáveis explicativas, assim como foi feito para as estimações anteriores.

5.2 Resultados do 3o Estágio

Com base na estimação das fronteiras descritas na seção anterior, ajustamos os dados referentes às variáveis de resultado de acordo com (Tone; Tsuitsui, 2009). As variáveis ajustadas foram utilizadas junto com as variáveis de insumo originais em um novo cálculo do algoritmo DEA – BCC, gerando um novo conjunto de escores, que apresentam distribuição, conforme Gráfico 02.


Gráfico 2 - Histograma relativo aos escores gerados no 3 o Estágio

Observa-se que a distribuição dos escores está em torno de um patamar mais alto que aquele verificado no primeiro estágio, sugerindo que os fatores ambientais e aqueles residuais, tratados como aleatórios, têm influência significativa sobre a eficiência de cada escola. Assim como fizemos para os escores do primeiro estágio, é interessante ressaltar que a média da medida de Farrell equivalente ao escore médio apresentado acima é 1,15, indicando que as escolas devem aumentar seus resultados, mantendo-se a proporção entre eles, em média em 15% para lograrem eficiência máxima. E a escola que está em pior situação, tem medida de Farrell de 1,30, com interpretação análoga. Podemos observar ainda a evolução dos escores de eficiência por tamanho de escola, conforme a Tabela 13.

Verificamos que os incrementos relativos de eficiência entre o 1o e o último estágio são crescentes no tamanho das escolas até 1.217 alunos.

Com base nos resultados acima, vê-se que os novos escores são, em média, maiores que aqueles obtidos no primeiro estágio. Agora vejamos as alterações ocorridas em termos de ordenação. Calculamos, para tanto, os coeficientes de correlação de Kendall (1938) e de Spearman (1904), além dos testes t para pares e Wilcoxon para dados ordenados. Para os dois primeiros, encontramos os valores estatisticamente significativos de 26,43%11 11 Esse é o valor do τ α, que não considera os "nós", que ocorrem quando as observações mantêm sua posição relativa nos dois rankings comparados. O valor de τ b, que considera esse nós, mostrou-se muito próximo ao primeiro, assumindo valor igual a 26,45%. e 38,51 %, respectivamente. Convém comentar que era esperado que o primeiro coeficiente fosse menor que o segundo. Em relação ao teste t para pares, obtivemos que a diferença entre as médias das duas distribuições é estatisticamente significativa. Por fim, para o teste de Wilcoxon, a hipótese nula de que o primeiro ranking é igual ao segundo é fortemente rejeitada. Com base nesses testes, portanto, temos fortes indícios de que os escores ajustados são realmente diferentes dos originais.

Sobre a evolução dos escores médios regionais, a região Nordeste apresentou maiores incrementos, tanto em termos absolutos como relativos. Isso era esperado na medida em que sabemos que essa região enfrenta maiores problemas socioeconômicos que o Sudeste. Como parte desse resultado constatou-se que das 259 escolas que tiveram seus escores reduzidos, do primeiro para o terceiro estágio, 242 estão na região Sudeste. Cabe ainda destacar que apesar da maior evolução do escore médio da região Nordeste, esse ainda assim permaneceu um pouco abaixo do escore médio da outra região. Diante dos resultados, naturalmente surge a curiosidade acerca das práticas presentes nas escolas eficientes que as levam a esse patamar. Contudo, isso foge ao escopo deste trabalho.

6. Conclusões

Neste trabalho, aplicamos o método DEA em três estágios (Fried et al.,2002; Tone; Tsuitsui, 2009), a variáveis extraídas dos microdados, tanto do Censo Escolar como da Prova Brasil 2007 (INEP, 2007a, 2007b), para 8.155 escolas que oferecem EF, localizadas no Sudeste e no Nordeste do Brasil, mediante a aplicação do método DEA-BCC aos dados acima, com orientação para produto. Daí, obtivemos os escores de eficiência para cada escola, além dos slacks totais relativos às variáveis de produto, que são o resultado adicional que cada escola deve lograr para se tornar plenamente eficiente. Nessa etapa observamos que as escolas estudadas precisariam aumentar seus resultados em média em 32%, mantidas as proporções entre eles, a fim de atingirem eficiência técnica máxima. No entanto, a utilização desse resultado para cobrar melhor desempenho das unidades escolares poderia fazer com que tais escolas fossem responsabilizadas por resultados que não se encontram sob seu domínio, já que muitas das chamadas variáveis ambientais estão relacionadas a características dos estudantes e de suas famílias, as quais não estão sob o controle direto da escola. Para corrigir esse tipo de distorção, estimamos, a partir desses resultados iniciais, três fronteiras estocásticas de produção, cujas variáveis dependentes foram os mencionados slacks totais, calculados para cada variável de produto. Nessa segunda etapa, verificamos que o NSE dos alunos, assim como as características de suas famílias, influi significativamente nos níveis de eficiência das escolas.

Destaca-se pela magnitude de seu efeito estimado, principalmente para os alunos de 4a série, o fato de os professores corrigirem as tarefas de casa de matemática frequentemente. Diferentemente das variáveis que refletem as características dos alunos e de suas famílias, o hábito de corrigir as tarefas de matemática é algo passível de modificação por parte das escolas e que, portanto, pode e deve ser estimulado dentro de cada uma delas, já que essa é uma medida simples e de grande efeito que pode ser tomada para melhorar o desempenho dos alunos. Por isso, os diretores das escolas poderiam cobrar mais dos professores esse tipo de atividade. Outras variáveis que mostraram interferir positivamente no desempenho das escolas foram aquelas relacionadas às suas boas condições de infraestrutura, à melhor capacitação dos professores, à escolha dos diretores ser feita por meio de seleção combinada com eleição e ao fato dos diretores se dedicarem exclusivamente às escolas. Por outro lado, a variável que mostrou possuir maiores efeitos no sentido de aumentar a ineficiência das escolas foi a proporção de abandono por parte dos alunos, podendo tal variável ser interpretada de várias maneiras, até mesmo como um indicador da qualidade das escolas, como já comentado.

Nossos resultados sugeriram também a existência de tamanhos ótimos tanto de salas como de escolas. Esse tipo de informação poderá ser útil, por exemplo, na definição dos tamanhos das classes por parte das escolas ou, até mesmo, por parte do poder público. Unidades escolares com turmas muito pequenas poderão decidir aumentá-las até certo tamanho limite, e, desse modo, liberar alguns professores para a realização de outras atividades dentro das escolas. No nosso caso, encontramos que esse tamanho limite está entre 47 e 50 alunos, para classes de 4a e 8a séries, respectivamente.

O poder público poderá ainda determinar que as turmas sejam de certo tamanho, o que poderá ensejar menor necessidade de contratação de professores e funcionários.

Recebido em 01 de fevereiro de 2013

Aceito em 03 de maio de 2014

NOTAS

  • ASSOCIAÇÃO BRASILEIRA DE EMPRESAS DE PESQUISA. Critério de Classificação Econômica Brasil: Dados com base no Levantamento Socioeconômico 2006 e 2007 – IBOPE. 2009.
  • AIGNER, D.; LOVELL, C. A. K.; SCHMIDT, P. Formulation and
  • BANKER, R. D.; CHARNES, A.; COOPER, W. W. Some Models for
  • BANKER, R. D; R.C. MOREY. Efficiency analysis for
  • BANKER, R. D.; NATARAJAN, R. Evaluating contextual
  • BRADLEY, S.; JOHNES, G.; MILLINGTON. The
  • CAUDILL, S. B.; FORD, J.M. Biases in
  • COOPER, W.; SEIFORD, L.M.; TONE, KAORU. Data Envelopment Analysis
  • CORDERO, J. M.; PEDRAJA, F.; D. SANTÍN. Alternative
  • DELGADO, V. M. S.; MACHADO, A. F.
  • FARENZENA, N. (Org.) Custos e condições
  • FARRELL, M. J. The Measurement of Productive Efficiency. Journal
  • FRANCO, C. et al. Qualidade e
  • FRIED; H. O. et al Accounting
  • FRIED; H. O.; LOVELL, C. A. K.; Schmidt, S. S. Efficiency
  • GLEWWE, P.; HANUSHEK, E.; HUMPAGE, S.; RAVINA, R. School
  • GUTIERREZ, R. G.; CARTER, S.; DRUKKER, D. M. sg160: On
  • HANUSHEK, E. A. The evidence on class size. Occasional
  • HANUSHEK, E. A.; KIMKO, D. D. Schooling, Labor-Force
  • HANUSHEK, E. A.; LAVY, V.; HITOMI, K. D. Do students care
  • IBGE. rm_atualizada_2008.xls, 14 de dez.
  • _____. tab2.xls. Brasil.zip. Indicadores Sociais Municipais: uma análise dos resultados do universo do Censo Demográfico. Censo 2010, nov. de 2011b. Disponível em: <http://www.ibge.gov.br/home/estatistica/populacao/censo2010/indicadores_sociais_municipais/indicadores_sociais_municipais_tab_zip.shtm>. Acesso em: 27 de fev. de 2012.
  • INEP. Microdados Censo Escolar 2007
  • _____. Microdados Prova Brasil 2007
  • _____. Portal INEP Disponível
  • KENDALL, M. G. A. New Measure of Rank Correlation. Biometrika, v. 30, n. 1/2, p. 81-93,
  • MENEZES-FILHO, N.; RIBEIRO, F. P. Os
  • OECD. Education at a Glance 2011: OECD Indicators. OECD Publishing, 2011.
  • RAY, S. C. Resource-Use Efficiency in
  • RIORDAN, C. Equality and Achievement:
  • RUGGIERO, J. On the measurement of
  • _____ Non-discretionary inputs in data envelopment analysis. European Journal of Operational Research, 111, 461-469, 1998.
  • SAITECH DEA- Solver -PRO: Professional Version 8.0. 2012.
  • SAMPAIO DE SOUSA, M. C.; STOSIC, B. D.
  • SLATE, J. R.; JONES, C. H. Effects of
  • SPEARMAN, C. The Proof and Measurement
  • STATACORP. Stata Statistical Software: Release 11. College Station, Texas: Stata Corp LP.2009b.
  • THANASSOULIS, E.; PORTELA, M. C. S.;
  • TONE, K.; TSUISUI, M. Tuning regression
  • WILSON, P. W. Efficiency in Education
  • WITZIERS, B.; R. J. BOSKER; M. L. KRÜGER. Educational
  • 1
    A sigla corresponde à expressão Data Envelopment Analysis.
  • 2
    A sigla corresponde à expressão Stochastic Frontier Analysis.
  • 3
    A sigla corresponde à expressão Decision Making Units.
  • 4
    A "maldição da dimensionalidade" refere-se ao fato de que o aumento do número de variáveis conduz à superestimação dos escores de eficiência e reduz o poder discriminatório da técnica DEA.
  • 5
    Formulação proposta por Banker, Charnes e Cooper (1984) que considera retornos variáveis de escala. Por essa razão, tal modelo é também chamado DEA – VRS, Variable Returns Scale.
  • 6
    Devido à escolha da orientação da análise para produto. No caso da orientação para insumo, a variável dependente seria o excesso de cada insumo.
  • 7
    a tecnologia de produção (4)
  • 8
    Cabe destacar que, em termos absolutos, a média das notas de matemática, tanto nacional como das duas regiões estudadas, é maior que a da prova de português. Todavia, como as escalas dos testes de cada disciplina são diferentes, conforme já comentado neste trabalho, ao dividirmos as notas pelo máximo da escala de cada disciplina, enxergamos que o rendimento dos alunos em matemática é pior que o verificado em português. Para termos uma ideia, em âmbito nacional os alunos atingem em média 49% e 65% dos pontos da prova de português, resultado esse relativo à 4
    a e à 8
    a série, respectivamente, enquanto na prova de matemática eles acertam em média 45% e 57%.
  • 9
    No Censo Escolar há variáveis relativas ao número de computadores por escola. Porém, como há muitos valores
    missing, utilizar tais variáveis implicaria a perda de muitas observações. Há o mesmo problema para outras variáveis relacionadas a insumos.
  • 10
    Maiores detalhes sobre os resultados da aplicação da metodologia
    Jackstrap neste trabalho poderão ser obtidos juntos aos autores.
  • 11
    Esse é o valor do τ
    α, que não considera os "nós", que ocorrem quando as observações mantêm sua posição relativa nos dois rankings comparados. O valor de τ
    b, que considera esse nós, mostrou-se muito próximo ao primeiro, assumindo valor igual a 26,45%.
  • Datas de Publicação

    • Publicação nesta coleção
      14 Nov 2014
    • Data do Fascículo
      Dez 2014

    Histórico

    • Aceito
      03 Maio 2014
    • Recebido
      01 Fev 2013
    Departamento de Economia; Faculdade de Economia, Administração, Contabilidade e Atuária da Universidade de São Paulo (FEA-USP) Av. Prof. Luciano Gualberto, 908 - FEA 01 - Cid. Universitária, CEP: 05508-010 - São Paulo/SP - Brasil, Tel.: (55 11) 3091-5803/5947 - São Paulo - SP - Brazil
    E-mail: estudoseconomicos@usp.br