Acessibilidade / Reportar erro

Estrutura de dependência espacial da eficiência em universidades federais brasileiras

Spatial dependence structure of the efficiency in brazilian federal universities

Resumos

Desenvolve-se uma análise da eficiência relativa das universidades federais brasileiras com foco na estrutura de dependência espacial, no período de 2008 a 2015. Utilizou-se Análise por Envoltória de Dados (DEA) para a mensuração da eficiência e análise de semivariogramas para a verificação da dependência espacial. Os resultados indicam que houve dependência espacial para a eficiência das universidades federais no período analisado, no entanto constatou-se diminuição da dependência ao longo do tempo. A distribuição espacial apontou grandes extensões de baixa eficiência em 2009, com ampliação das áreas que indicam nível intermediário de eficiência nos anos seguintes e concentração de universidades de alta eficiência em áreas distribuídas em todas as regiões do País.

Palavras-chave:
Universidades federais; Eficiência; Diferenças regionais


An analysis on relative efficiency for brazilian federal universities, focused on the spatial dependence structure was carried out for the period from 2008 to 2015. The Data Envelopment Analysis was used to measure the efficiency, and the semivariograms analysis was carried out to verify the special dependence. Results show that a spatial dependence for the efficiency of universities was found in the period under study then, leading to the decrease of the dependence over time. The spatial distribution showed great length of the low efficiency in 2009, with enlargement of areas which indicate intermediate level of efficiency in the following years, and concentration of higher efficiency universities in areas clustered within all regions of the country.

Keywords:
Federal universities; Efficiency; Regional differences


1 Introdução

O ensino superior brasileiro se estabeleceu tardiamente e, se comparado a outros países latino-americanos, ainda apresenta significativo déficit no acesso da população a esse nível de ensino (MACEDO et al., 2005MACEDO, Arthur Roquete de et al. Educação superior no Século XXI e a reforma universitária brasileira. Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 13, n. 47, p. 127-148, abr./jun. 2005.). Por isso, nos últimos anos, ganhou destaque na agenda política os programas que buscaram promover a expansão e democratização do acesso ao ensino superior.

Silva (2001SILVA, Alberto Carvalho da. Alguns problemas do nosso ensino superior. Estudos Avançados, São Paulo, v. 15, n. 42, p. 269-293, 2001.) ressalta que, além da pressão por aumento de vagas, da necessidade de expansão e atualização da pesquisa e de elevação dos padrões de qualidade, o ensino superior brasileiro ainda enfrenta grandes diferenças regionais. As regiões Sul e Sudeste mostram-se mais desenvolvidas em termos de produção científica, formação e concentração de pesquisadores (GUIMARÃES, 2002GUIMARÃES, Reinaldo. Pesquisa no Brasil: a reforma tardia. São Paulo em Perspectiva, São Paulo, v. 16, n. 4, p. 41-47, 2002.; SIDONE; HADDAD; MENA-CHALCO, 2016SIDONE, Otávio José Guerci; HADDAD, Eduardo Amaral; MENA-CHALCO, Jesús Pascual. A ciência nas regiões brasileiras: evolução da produção e das redes de colaboração científica. TransInformação, Campinas, v. 28, n. 1, p. 15-31, jan./abr., 2016. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S0103-37862016000100015&script=sci_abstract&tlng=pt . Acesso em: 23 jul. 2017.
https://www.scielo.br/scielo.php?pid=S01...
) e, juntamente com a região Centro-Oeste, concentram os quadros docentes mais qualificados (FERREIRA; SANTOS; PESSANHA, 2013FERREIRA, Marlon Cruz; SANTOS, Waldir Jorge Ladeira dos; PESSANHA, José Francisco Moreira. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 18, n. 1, p. 104-124, jan./abr. 2013. Disponível em: Disponível em: https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889 . Acesso em: 23 jul. 2017.
https://www.e-publicacoes.uerj.br/index....
). Nesse sentido, a partir de 2003 o processo de expansão desse nível de ensino se intensificou com a abertura de cursos e unidades federais de ensino superior na direção do interior dos estados, com destaque à maior concentração de novas unidades nas regiões Nordeste e Centro-Oeste (VINHAIS, 2013VINHAIS, Henrique Eduardo Ferreira. Estudo sobre o impacto da expansão das universidades federais no Brasil. 234 p. 2013. Tese (Doutorado em Ciências) - Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, São Paulo, 2013. Disponível em: Disponível em: http://www.teses.usp.br/teses/disponiveis/12/12138/tde-20012014-152929/pt-br.php . Acesso em: 20 jul. 2016.
http://www.teses.usp.br/teses/disponivei...
).

Com essa expansão cresce também a demanda de recursos públicos para financiar a ampliação e manutenção das estruturas acadêmicas, tornando-se importante a análise do desempenho das universidades no intuito de promover um diagnóstico que possa auxiliar no processo de gestão, bem como fornecer subsídios à tomada de decisões de investimento, de forma a direcionar recursos visando garantir a qualidade das atividades desenvolvidas.

Ressalta-se que o termo desempenho pode assumir diversas conotações, variando conforme a ótica utilizada. De acordo com Marinho e Façanha (2001MARINHO, Alexandre; FAÇANHA, Luís Otávio. Programas Sociais: efetividade, eficiência e eficácia como dimensões operacionais da avaliação. Texto para discussão nº 787. Rio de Janeiro, abr. 2001. Disponível em: Disponível em: http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_0787.pdf . Acesso em: 22 jun. 2016.
http://www.ipea.gov.br/portal/images/sto...
), é comum identificar na literatura as dimensões desejáveis de desempenho de organizações, dentre elas a efetividade, eficiência e eficácia. Assim, sendo a eficácia e a efetividade dimensões subjetivas da avaliação das instituições de ensino superior, esse estudo tratará somente da dimensão da eficiência dessas organizações.

Assim, considerando as transformações pelas quais as universidades brasileiras vêm passando, bem como as diferenças regionais em termos de desenvolvimento científico, emergem questões relacionadas ao desempenho dessas instituições, que podem ser expressas nos seguintes problemas de pesquisa: i) qual a eficiência relativa das universidades federais brasileiras?; e ii) existe dependência espacial dos níveis de eficiência dessas instituições de ensino superior? Portanto, esse estudo busca desenvolver uma análise do desempenho, com foco na estrutura de dependência espacial da eficiência relativa das universidades federais brasileiras.

2 Ensino superior brasileiro e diferenças regionais

Em 1998 o governo federal iniciou a implementação de medidas visando expandir o acesso ao ensino superior, inicialmente ampliando o número de vagas nas universidades já existentes. A partir de 2003, este processo foi intensificado com a expansão da oferta de cursos e vagas em direção ao interior dos estados brasileiros, por meio da abertura de novos campi e novas universidades (VINHAIS, 2013VINHAIS, Henrique Eduardo Ferreira. Estudo sobre o impacto da expansão das universidades federais no Brasil. 234 p. 2013. Tese (Doutorado em Ciências) - Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, São Paulo, 2013. Disponível em: Disponível em: http://www.teses.usp.br/teses/disponiveis/12/12138/tde-20012014-152929/pt-br.php . Acesso em: 20 jul. 2016.
http://www.teses.usp.br/teses/disponivei...
).

Essas ações ganharam força com a instituição do Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (REUNI), mediante o Decreto nº 6.096/2007. Esse programa do governo federal teve como objetivo criar condições para a ampliação do acesso e permanência na educação superior, no nível de graduação, pelo melhor aproveitamento da estrutura física e de recursos humanos existentes nas universidades federais (BRASIL, 2007BRASIL. Decreto nº 6.096/2007. Institui o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais - REUNI. DOU, Brasília, 2007. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2007/Decreto/D6096.htm . Acesso em: 29 jul. 2016.
http://www.planalto.gov.br/ccivil_03/_At...
).

Após tais medidas, ampliou-se expressivamente o número de matrículas em cursos de nível superior, bem como no quantitativo de novos campi e instituições federais. De acordo com Vinhais (2013VINHAIS, Henrique Eduardo Ferreira. Estudo sobre o impacto da expansão das universidades federais no Brasil. 234 p. 2013. Tese (Doutorado em Ciências) - Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, São Paulo, 2013. Disponível em: Disponível em: http://www.teses.usp.br/teses/disponiveis/12/12138/tde-20012014-152929/pt-br.php . Acesso em: 20 jul. 2016.
http://www.teses.usp.br/teses/disponivei...
), até o ano de 2000, das 558 microrregiões brasileiras apenas 102 possuíam campus de universidade federal. No período de 2001 a 2010, 107 microrregiões receberam campus, sendo que 92 destas ainda não dispunham de unidades federais de ensino superior. Observou-se também maior concentração de novos campi na região Nordeste, com 38 microrregiões recebendo campus no período, seguida pela região Centro-Oeste, com 24 novas microrregiões sendo atendidas (VINHAIS, 2013VINHAIS, Henrique Eduardo Ferreira. Estudo sobre o impacto da expansão das universidades federais no Brasil. 234 p. 2013. Tese (Doutorado em Ciências) - Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, São Paulo, 2013. Disponível em: Disponível em: http://www.teses.usp.br/teses/disponiveis/12/12138/tde-20012014-152929/pt-br.php . Acesso em: 20 jul. 2016.
http://www.teses.usp.br/teses/disponivei...
).

A ampliação no quantitativo de campi de universidades federais revela o empenho do governo no atendimento à demanda por acesso ao ensino superior. Nos anos de 1990, apesar das universidades públicas apresentarem-se bem distribuídas regionalmente, era notável a concentração de universidades privadas nas regiões Sudeste e Sul do País (SILVA, 2001SILVA, Alberto Carvalho da. Alguns problemas do nosso ensino superior. Estudos Avançados, São Paulo, v. 15, n. 42, p. 269-293, 2001.). Nesse sentido, o processo de expansão da rede pública federal parece ter priorizado aquelas regiões em que, tradicionalmente, o atendimento da rede privada de ensino superior era menor.

Embora os recentes investimentos voltados à ampliação da oferta de vagas no ensino superior tenham, a princípio, possibilitado melhorias no processo de democratização do acesso a esse nível de ensino, muito ainda se discute sobre as diferenças regionais no desenvolvimento científico e consequente impacto nas condições de oferta dos cursos superiores no País.

No período de 2007 a 2009, por exemplo, a produção científica brasileira apresentou uma acentuada heterogeneidade espacial, com grande concentração nas regiões Sudeste e Sul, que juntas, foram responsáveis por mais de três quartos da produção nacional, seguidas pela região Nordeste, com cerca de 15%, e pelas regiões Centro-Oeste e Norte, as quais, conjuntamente, não atingiram 10% do total nacional (SIDONE; HADDAD; MENA-CHALCO, 2016SIDONE, Otávio José Guerci; HADDAD, Eduardo Amaral; MENA-CHALCO, Jesús Pascual. A ciência nas regiões brasileiras: evolução da produção e das redes de colaboração científica. TransInformação, Campinas, v. 28, n. 1, p. 15-31, jan./abr., 2016. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S0103-37862016000100015&script=sci_abstract&tlng=pt . Acesso em: 23 jul. 2017.
https://www.scielo.br/scielo.php?pid=S01...
).

Embora a concentração geográfica da produção científica seja expressiva, a heterogeneidade espacial já foi mais intensa no passado, sugerindo a ocorrência de um processo de desconcentração regional. Comparando dados dos triênios 1992-1994 e 2007-2009, Sidone, Haddad e Mena-Chalco (2016SIDONE, Otávio José Guerci; HADDAD, Eduardo Amaral; MENA-CHALCO, Jesús Pascual. A ciência nas regiões brasileiras: evolução da produção e das redes de colaboração científica. TransInformação, Campinas, v. 28, n. 1, p. 15-31, jan./abr., 2016. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S0103-37862016000100015&script=sci_abstract&tlng=pt . Acesso em: 23 jul. 2017.
https://www.scielo.br/scielo.php?pid=S01...
) concluem que a região Sudeste perdeu aproximadamente 14% de participação na produção científica total, sendo essa parcela distribuída entre as outras regiões, com destaque para o Sul e o Nordeste, que aumentaram suas participações em cerca de 6%.

Guimarães (2002GUIMARÃES, Reinaldo. Pesquisa no Brasil: a reforma tardia. São Paulo em Perspectiva, São Paulo, v. 16, n. 4, p. 41-47, 2002.) afirma que a concentração geográfica das atividades de pesquisa é bastante comum em países com alguma tradição em ciência e tecnologia. No Brasil, dados também sugerem a existência de expressiva concentração geográfica em termos de desenvolvimento científico.

Historicamente, a USP, UNICAMP, UFRJ, UNESP, UFRGS, UNIFESP, UFMG, PUC/SP, PUC/RJ e a UFV, todas localizadas nas regiões Sudeste e Sul, foram as instituições que mais contribuíram para a formação de pesquisadores no Brasil. Em conjunto, foram responsáveis pela formação de 82,3% dos pesquisadores que se doutoraram no País e por 58,9% do total de doutores ativos em pesquisa em 2000 (GUIMARÃES, 2002GUIMARÃES, Reinaldo. Pesquisa no Brasil: a reforma tardia. São Paulo em Perspectiva, São Paulo, v. 16, n. 4, p. 41-47, 2002.).

Em pesquisa que analisou indicadores de desempenho das universidades federais brasileiras no período de 2008 a 2010, Ferreira, Santos e Pessanha (2013FERREIRA, Marlon Cruz; SANTOS, Waldir Jorge Ladeira dos; PESSANHA, José Francisco Moreira. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 18, n. 1, p. 104-124, jan./abr. 2013. Disponível em: Disponível em: https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889 . Acesso em: 23 jul. 2017.
https://www.e-publicacoes.uerj.br/index....
) verificaram que, em média, as instituições das regiões Sudeste, Centro-Oeste e Sul contavam com quadros docentes mais qualificados, se comparadas às demais regiões do País. Essa constatação apoia a hipótese das diferenças geográficas em termos do desenvolvimento científico, tendo em vista que, além de serem as que mais contribuem com a formação de pesquisadores, as regiões Sudeste e Sul aparecem como as que concentram os docentes mais qualificados.

Analisando a qualidade de cursos de graduação por meio da média do Indicador de Diferença entre os Desempenhos observado e esperado (IDD), Ferreira, Santos e Pessanha (2013FERREIRA, Marlon Cruz; SANTOS, Waldir Jorge Ladeira dos; PESSANHA, José Francisco Moreira. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 18, n. 1, p. 104-124, jan./abr. 2013. Disponível em: Disponível em: https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889 . Acesso em: 23 jul. 2017.
https://www.e-publicacoes.uerj.br/index....
) identificaram ainda que as universidades federais do Sul do País apresentaram os maiores resultados, seguida das regiões Centro-Oeste, Sudeste, Norte e Nordeste, nesta ordem. O mesmo estudo apontou que, comparando a média do conceito CAPES para a pós-graduação, novamente, a região Sul mostrou desempenho superior às demais. Em seguida aparecem as instituições da região Sudeste, Centro-Oeste, Nordeste e Norte.

Comparando o desempenho de universidades brasileiras em 2011, a partir da análise do Índice Geral de Cursos (IGC), Hoffmann et al. (2014HOFFMANN, Celina et al. O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educ. Pesqui., São Paulo, v. 40, n. 3, p. 651-666, jul./set. 2014. Disponível em: Disponível em: https://www.scielo.br/pdf/ep/v40n3/aop1491.pdf . Acesso em: 23 jul. 2017.
https://www.scielo.br/pdf/ep/v40n3/aop14...
) constataram que, em média, as instituições públicas da região Norte apresentaram os maiores indicadores, seguida pela região Nordeste, Sudeste e, com o mesmo valor médio, as universidades públicas das regiões Sul e Centro-Oeste. Esses resultados contrastam com os achados de Ferreira, Santos e Pessanha (2013FERREIRA, Marlon Cruz; SANTOS, Waldir Jorge Ladeira dos; PESSANHA, José Francisco Moreira. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 18, n. 1, p. 104-124, jan./abr. 2013. Disponível em: Disponível em: https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889 . Acesso em: 23 jul. 2017.
https://www.e-publicacoes.uerj.br/index....
), no entanto, ressalta-se que, além do período analisado ser diferente, o estudo de Hoffmann et al. (2014) contemplou também universidades estaduais e municipais, além de serem utilizados indicadores diferentes, o que pode também levantar questionamentos acerca da legitimidade dos mesmos.

Não obstante, os resultados de Hoffmann et al. (2014HOFFMANN, Celina et al. O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educ. Pesqui., São Paulo, v. 40, n. 3, p. 651-666, jul./set. 2014. Disponível em: Disponível em: https://www.scielo.br/pdf/ep/v40n3/aop1491.pdf . Acesso em: 23 jul. 2017.
https://www.scielo.br/pdf/ep/v40n3/aop14...
) são reveladores, tendo em vista que, segundo os mesmos autores, as regiões mais bem colocadas são historicamente estigmatizadas devido ao desempenho de seus indicadores socioeconômicos serem, geralmente, abaixo da média nacional, além de não apresentarem tradição frente às instituições das regiões Sul e Sudeste.

Nesse sentido, considerando a qualidade dos cursos oferecidos pelas universidades, embora alguns indicadores tenham sugerido classificações conflitantes, é notável a existência de diferenças regionais. Percebe-se que, em termos de desenvolvimento científico, parece existir maior concentração de produção nas regiões Sudeste e Sul, o que pode refletir também no desempenho das universidades, sugerindo discussões acerca da influência da disposição geográfica nos níveis de eficiência dessas instituições.

3 Procedimentos metodológicos

O estudo baseou-se na análise das instituições de ensino superior organizadas academicamente como universidades e cuja categoria administrativa seja pública federal. Buscou-se ainda contemplar as universidades que aderiram ao REUNI, no intuito de garantir uniformidade ao estudo, tendo em vista que o referido programa gerou significativas transformações nas estruturas organizacionais.

Das 54 universidades federais existentes em 2007, 53 aderiram ao programa, com implementação dos planos em 2008 (BRASIL, 2009BRASIL. Ministério da Educação/SESu. Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais REUNI 2008 - Relatório de Primeiro Ano. -, 30 de outubro de 2009. Disponível em: Disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=2069-reuni-relatorio-pdf&category_slug=dezembro-2009-pdf&Itemid=30192 . Acesso em: 25 maio 2017.
http://portal.mec.gov.br/index.php?optio...
). O REUNI estabeleceu metas a serem alcançadas num período de cinco anos, a contar do início de cada plano, por isso, o presente estudo abordou o período de 2008 a 2015, compreendendo os dois Planos Plurianuais do governo federal (2008-2011 e 2012-2015). Em função da disponibilização de dados fora do padrão determinado pelo Tribunal de Contas da União (TCU), excluiu-se uma universidade do estudo, que contemplou, portanto, 52 universidades.

O desenvolvimento do trabalho ocorreu por meio dos seguintes procedimentos de investigação: a) geração de escores de eficiência, pelo uso da Análise por Envoltória de Dados (DEA) e b) análise da dependência espacial da eficiência, utilizando-se a análise de semivariogramas, que são explicitados a seguir.

3.1 Análise por Envoltória de Dados (DEA)

Modelos DEA calculam a eficiência relativa de unidades produtivas e usam Problemas de Programação Linear (PPLs) que otimizam cada observação individual de modo a estimar uma fronteira eficiente, composta pelas unidades que apresentam as melhores práticas observadas na amostra em avaliação, sendo consideradas referências ou benchmarks. Possibilita a inclusão de diversos insumos, ou fatores de produção, e produtos para o cálculo da eficiência de unidades tomadoras de decisão, denominadas DMUs (Decision Making Units) (GOMES et al., 2009GOMES, Eliane Gonçalves et al. Dependência espacial da eficiência do uso da terra em assentamento rural na Amazônia. Produção, São Paulo, v. 19, n. 2, p. 417-432, maio/ago. 2009.).

Empregou-se o modelo com retornos variáveis de escala (BCC) e orientação para o produto, ou seja, cujo objetivo é maximizar a produção, dado um volume de insumos. A escolha desse modelo corrobora a opção metodológica adotada por Eckles (2010ECKLES, James E. Evaluating the efficiency of top liberal arts colleges. Research in Higher Education, [S. l.], v. 51, p. 266-293, 2010.), Obadic e Aristovnik (2011OBADIC, Alka; ARISTOVNIK, Aleksander. Relative efficiency of higher education in Croatia and Slovenia: an international comparison. Amfiteatru Economic, Bucharest, v. 13, n. 30, p. 362-376, jun. 2011. Disponível em: Disponível em: https://www.researchgate.net/publication/226651368_Relative_efficiency_of_higher_education_in_Croatia_and_Slovenia_An_international_comparison . Acesso em: 23 jul. 2017.
https://www.researchgate.net/publication...
) e Barra e Zotti (2016BARRA, Cristian; ZOTTI, Roberto. Measuring efficiency in Higher Education: an empirical study using a bootstrapped data envelopment analysis. International Advances in Economic Research, Atlanta, v. 22, n.1, p. 11-33, feb. 2016. Disponível em: https://link.springer.com/article/10.1007/s11294-015-9558-4. Acesso em: 23 jul. 2017.
https://link.springer.com/article/10.100...
).

Para Soares de Mello et al. (2005SOARES DE MELLO, João Carlos Correia Baptista et al. Curso de Análise de Envoltória de Dados. In.: SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 37., Gramado, 2005. Anais [...]. Gramado, 2005.), o método DEA com orientação-produto e que pressupõe retornos variáveis de escala (BCC) é modelado em (1), em que x ik representa o input i da DMUk ; y jk representa o output j da DMUk ; λ k é a contribuição da DMUk na formação do alvo da DMU0 e h 0 é a eficiência.

Max h 0

Sujeito a

x i 0 - k = 1 n x i k k 0 , i

- h 0 y j 0 + k = 1 n y j k k 0 , j

k = 1 n k = 1

k 0 , k

Buscou-se incorporar no presente estudo variáveis que expressassem os resultados das atividades desenvolvidas, tanto em termos do quantitativo de alunos atendidos, quanto da qualidade dos cursos oferecidos pelas universidades, conforme mencionadas a seguir:

Variável de insumo (x)

  • i) CustoC: custo corrente, representado pelo total das Despesas Correntes, menos 65% das despesas dos hospitais universitários, deduzindo-se ainda despesas com aposentadorias e reformas, pensões, sentenças judiciais, despesas com pessoal cedido ou com afastamento.

Variáveis de produto (y)

  • ii) AluGra: alunos de graduação, resultado do produto do número de alunos equivalentes na graduação pelo Conceito Médio da Graduação (CMG) da universidade.

  • iii) AluPos: alunos de pós-graduação, composta pelo produto do número total de alunos regularmente matriculados em cursos de mestrado e doutorado e a média do conceito CAPES de todos os programas de pós-graduação oferecidos pela universidade.

3.2 Análise de semivariogramas espaciais

O nível de dependência entre duas variáveis regionalizadas é representado pelo variograma, função intrínseca que reflete a estrutura do fenômeno estudado, medindo as relações estatísticas que existem entre as amostras espaçadas. O variograma indica quão díspares se tornam os valores quando a distância de medida aumenta (ANDRIOTTI, 1988ANDRIOTTI, José Leonardo Silva. Introdução à geoestatística. Acta Geológica Leopoldensia, São Leopoldo, v. 11, n. 27, p. 7-82, 1988.). No entanto, para a análise da estrutura de dependência espacial utiliza-se o semivariograma, que de acordo com Camargo (2000CAMARGO, Eduardo Celso Gerbi. Geoestatística: fundamentos e aplicações. In: GEOPROCESSAMENTO: teoria e aplicações. São José dos Campos: INPE, 2000. p. 5.1-5.36.), pode ser assim estimada:

2 γ ^ h = 1 N h i = 1 N ( h ) ( z ( x i ) - z ( x i + h ) ) 2

Em que 2ŷ(h) é o semivariograma estimado; N(h) é o número de pares de valores medidos z(x i ) e z(x i + h), separados por um vetor de distância h; e z(x i ) e z(x i + h) são valores da i-ésima observação da variável regionalizada, coletados nos pontos x i e x i + h (i=1, ... , n), separados pelo vetor h.

A função semivariograma permite gerar o gráfico da semivariância em função da distância ℎ, denominado de semivariograma experimental, o qual possibilita interpretar a continuidade espacial da variável regionalizada. Assim, pode-se inferir que quanto mais próximos estiverem os pontos amostrados, maior será a semelhança entre eles e, portanto, menor a semivariância. Por outro lado, quanto mais distantes estiverem os pontos amostrados, menor será a semelhança e, consequentemente, maior a dispersão entre eles.

Idealmente, na distância h=0 o valor do semivariograma deve ser y(0)= 0, entretanto, na prática, à medida que h tende para 0 (zero), y(h) se aproxima de um valor positivo denominado Efeito Pepita (C0), que revela a descontinuidade do semivariograma para distâncias menores do que a menor distância entre as amostras.

Com o incremento de h, a semivariância y(h) cresce até atingir um valor constante para y(h) que corresponde às variações aleatórias, ou seja, variações que não são justificadas pela semelhança de um ponto com outro (GUIMARÃES, 2004GUIMARÃES, Ednaldo Carvalho. Geoestatística básica e aplicada. Material Didático. Uberlândia: UFU/FAMAT, 2004.). Assim, a dependência espacial existe quando há aumento da semivariância até determinada distância, denominada “alcance” (a) que é a distância dentro da qual as amostras encontram-se correlacionadas espacialmente, sendo que as observações localizadas a distâncias maiores que (a) têm distribuição espacial aleatória e, portanto, são independentes entre si. Após o alcance ocorre uma estabilização da semivariância em um valor denominado Patamar (C), sendo que após este valor não existe mais dependência espacial. A diferença entre o Patamar e o Efeito (C) Pepita (C0 ) é denominada Contribuição (C1 ) (CAMARGO, 2000CAMARGO, Eduardo Celso Gerbi. Geoestatística: fundamentos e aplicações. In: GEOPROCESSAMENTO: teoria e aplicações. São José dos Campos: INPE, 2000. p. 5.1-5.36.).

Caso o resultado do semivariograma seja o mesmo e igual ao valor do Patamar (C) para qualquer distância (h), tem-se o que se denomina efeito pepita puro, o que indica ausência total de dependência espacial. Quanto menor a relação entre Efeito Pepita (C0 ) e o Patamar (C), maior o grau de dependência espacial (GD) da variável em análise (CAMBARDELLA, 1994CAMBARDELLA, Cynthia A. et al. Field-Scale Variability of Soil Properties in Central Iowa Soils. Soil Science Society of America Journal, Madison, v. 58, n. 5, p. 1501-1511, sept./oct. 1994.).

Considerando a estrutura de dependência espacial do fenômeno, para a elaboração das figuras que retratam a distribuição espacial da eficiência, realizou-se a interpolação de valores por meio do método de krigagem. Segundo Camargo (2000CAMARGO, Eduardo Celso Gerbi. Geoestatística: fundamentos e aplicações. In: GEOPROCESSAMENTO: teoria e aplicações. São José dos Campos: INPE, 2000. p. 5.1-5.36.), esse procedimento é semelhante ao de interpolação por média móvel ponderada, exceto pelo fato de que os pesos são determinados a partir de uma análise espacial, baseada no semivariograma experimental, fornecendo, em média, estimativas não tendenciosas e com variância mínima.

4 Resultados

4.1 Escores de eficiência das universidades federais brasileiras

Em média, nota-se que as universidades federais brasileiras operam aquém de suas capacidades produtivas, tendo em vista que apresentaram resultados abaixo do potencial, se comparados aos melhores desempenhos observados em cada ano (TABELA 1).

Tabela 1
Estatísticas descritivas dos escores de eficiência das universidades federais, por região geográfica, Brasil, 2008-2015

As universidades da região Sul do País mostraram-se, em média, mais eficientes que as demais, em todos os anos analisados. As instituições do Nordeste aparecem com a segunda maior média de desempenho no período de 2011 a 2015, resultado comparativamente superior ao observado nas universidades do Sudeste, que alcançaram a segunda maior média apenas de 2008 a 2010. Na região Centro-Oeste, o desempenho médio observado indica que as universidades alcançaram o terceiro melhor resultado em 2008 e 2015, colocando-as em posição superior às instituições do Norte do País que obtiveram as médias mais baixas.

Considerando a variabilidade da eficiência, nota-se expressiva variação em torno da média tanto em termos nacionais quanto regionais. Destaca-se que as universidades da região Sudeste apresentaram coeficiente de variação superior à média nacional em praticamente todo o período analisado, sendo possível identificar nessa região o contraste de instituições com os mais altos escores e outras com os menores níveis de eficiência. Por outro lado, com exceção do período de 2012 a 2014, as universidades da região Sul mostraram-se com desempenho mais homogêneo.

4.2 Dependência espacial da eficiência das universidades federais brasileiras

Durante todo o período analisado observou-se que a dispersão nos dados sugeriram a existência de tendência cúbica. Procedeu-se, portanto, à retirada da tendência do conjunto de dados e foram realizadas as análises dos semivariogramas dos resíduos (FIGURAS 1 e 2).

Figura 1
- Semivariogramas dos escores de eficiência das universidades federais, Brasil, 2008-2011



Apesar de visualmente os semivariogramas ajustados mostrarem, por vezes, pontos bastante dispersos, o melhor ajuste se deu pelo modelo wave. Tal dispersão ocorre em função da presença de outliers espaciais, caracterizados por pares de pontos cuja variância atinge valores não esperados para as distâncias das observações. Como exemplo pode-se observar que, no período de 2008 a 2011, universidades distantes cerca de 500 quilômetros mostraram grande variação entre escores de eficiência, de forma que o modelo ajustado não foi capaz de representar adequadamente tal dispersão.

Observa-se também que universidades distantes cerca de 600 a 800 quilômetros apresentaram pequena variância, se comparadas às instituições menos distantes entre si e cuja variância mostrou ser maior. Tal cenário sugere ainda a existência de regionalidades, ou seja, grupos de universidades distantes espacialmente que apresentam comportamentos semelhantes no que se refere ao nível de eficiência.

No período de 2012 a 2015 (FIGURA 2) também se pode constatar a existência de outliers espaciais. Observa-se ainda que os semivariogramas sugerem uma diminuição do grau de dependência espacial ao longo do período, como se pode constatar pela suavização da curva ajustada nos modelos, principalmente de 2013 a 2015, período em que se pode notar que universidades próximas espacialmente apresentaram grande variância de eficiência.

Figura 2
Semivariogramas dos escores de eficiência das universidades federais, Brasil, 2012-2015



Na Tabela 2 são apresentados os parâmetros dos semivariogramas (C0, a, C1 e C), os valores do grau de dependência espacial (GD), bem como os parâmetros de validação dos modelos (EMR e DPe) ajustados aos dados.

Tabela 2
Parâmetros dos semivariogramas, valores do grau de dependência espacial e parâmetros da validação dos modelos, Brasil, 2008-2015

Os parâmetros de validação indicam bom ajustamento dos modelos, tendo em vista que o erro médio reduzido (EMR) apresentou valores próximos de zero, assim como os desvios padrão dos erros reduzidos (DPe) mostraram-se próximos da unidade. Apesar disso, pode-se constatar uma diminuição no grau de dependência espacial ao longo do tempo, uma vez que, no período de 2008 a 2012 os modelos apresentaram grau de dependência moderada (GD entre 0,25 e 0,75). Nos demais anos, os escores de eficiência das universidades federais brasileiras apresentaram fraca dependência espacial (GD maior que 0,75).

Por meio dos modelos ajustados observa-se que o efeito pepita (𝐶 0 ) apresentou valores que variaram de cerca de 120 a 180 nos anos de 2008 a 2012, crescendo consideravelmente nos anos seguintes, revelando variação aleatória não explicada pela dependência espacial. O alcance (𝑎) observado variou de 448 a 449 km, correspondendo à zona de influência ou à dependência espacial, sendo que, a partir dessa distância, os valores dos escores de eficiência tornam-se independentes.

Após a verificação da existência de dependência espacial foi realizada a interpolação de dados nos locais não amostrados pelo método da krigagem ordinária. Visando garantir maior confiabilidade dos resultados, não foram elaborados mapas do período de 2013 a 2015, anos em que a dependência espacial mostrou-se fraca. Além disso, para facilitar a análise da evolução do desempenho das universidades, buscou-se representar os escores de eficiência classificados de acordo com três categorias: i) alta eficiência, reunindo os escores iguais ou maiores que 0,80; ii) eficiência intermediária, contemplando os escores menores que 0,80 e iguais ou maiores que 0,70; e iii) baixa eficiência, cujos escores de eficiência são menores que 0,70, conforme a Figura 3.

Figura 3
Mapas da espacialização dos escores de eficiência das universidades federais, Brasil, 2008-2012



No ano de 2008, é possível observar maior potencial de eficiência intermediária e alta em grande parte do País. Nota-se concentração de universidades com alta eficiência em áreas espalhadas na região Norte, abrangendo os estados do Amazonas, Amapá, Pará e Rondônia. Na região Nordeste se pode observar uma extensão que indica alta eficiência no Piauí e parte do Maranhão, bem como no estado de Alagoas. Constatou-se grande área de alta eficiência que ocupa todo o estado do Rio de Janeiro e grande parte de Minas Gerais. Outra grande faixa de alta eficiência é observada desde o Centro-Oeste até a região Sul, contemplando parcialmente Goiás e Mato Grosso do Sul, e grande parte do Paraná, Santa Catarina e Rio Grande do Sul. Por outro lado, notam-se pequenas ilhas de baixa eficiência nas regiões Norte e Nordeste, localizadas em Roraima e no Acre, parte do Pará e Maranhão, Ceará e Rio Grande do Norte e grande parte da Bahia. Na região Centro-Oeste, o estado de Mato Grosso também apresentou uma área de baixo desempenho. Por sua vez, a região Sudeste dispõe de uma faixa de baixa eficiência no estado de São Paulo e uma pequena área de Minas Gerais.

Em 2009 é notável a maior concentração de áreas que indicam baixa eficiência. São observadas reduzidas faixas que sugerem eficiência intermediária na região Norte do País, além de pequenas ilhas que indicam alta eficiência localizadas no Nordeste, contemplando parcialmente os estados de Piauí e Maranhão. No Centro-Oeste, constata-se uma pequena área de Goiás com eficiência alta, no Sudeste, observa-se uma considerável área em Minas Gerais com maiores escores de eficiência e, no Sul do País, uma pequena faixa que ocupa parcialmente o Rio Grande do Sul, Santa Catarina e, em menor proporção, o Paraná.

Nota-se uma ligeira ampliação da eficiência intermediária das universidades em 2010. No Norte encontra-se uma pequena ilha com alta eficiência no estado do Amapá. No Nordeste a área que figura os mais altos desempenhos se estendeu, indicando alta eficiência em grande parte de Piauí. Manteve-se uma pequena ilha com potencial de alto desempenho na região Centro-Oeste, entre Goiás e Mato Grosso, e nas regiões Sudeste e Sul houve uma pequena ampliação das faixas de alta eficiência, contemplando parcialmente Minas Gerais e Rio de Janeiro, bem como os estados do Paraná, Santa Catarina e Rio Grande do Sul.

É percebido um pequeno aumento da eficiência intermediária em 2011, agora com o surgimento de uma ilha com potencial de alta eficiência no estado do Amazonas. No Nordeste ocorreu a ampliação da área que indica alta eficiência, compreendendo parcialmente os estados do Maranhão, Pernambuco e Bahia, bem como grande parte do Piauí e Ceará. Nas regiões Centro-Oeste, Sudeste e Sul mantiveram-se as áreas com potencial de alto desempenho.

Por fim, verifica-se que em 2012 houve expressiva ampliação da área que indica eficiência intermediária das universidades federais brasileiras, estendendo-se por todo o território nacional, sendo observadas apenas algumas ilhas de alta e baixa eficiência. A concentração de universidades com alta eficiência é retratada por cinco ilhas, sendo uma delas localizada na região Norte, abrangendo grande parte do estado do Amapá e uma pequena faixa do Pará. No Nordeste a área de alta eficiência compreende uma pequena área do Maranhão e uma extensa área de Piauí e Ceará. Na região Centro-Oeste observa-se uma pequena ilha de alta eficiência entre Goiás e Mato Grosso. No Sudeste ocorreu uma redução da área que indica alta eficiência, cuja concentração se deu principalmente no estado do Rio de Janeiro, ocupado somente uma pequena parte de Minas Gerais. Semelhantemente, no Sul do País a área de alta eficiência mostrou-se reduzida, compreendendo parte do Rio Grande do Sul e Santa Catarina e apenas uma pequena área do Paraná. As áreas de baixa eficiência também são representadas por pequenas ilhas distribuídas por todo o território nacional.

5 Discussões

Os escores de eficiência indicam que as universidades poderiam gerar resultados significativamente maiores, ou seja, considerando os recursos financeiros utilizados para o financiamento de suas atividades, muitas instituições mostraram-se com capacidade para atender maior número de alunos, bem como elevar os indicadores de qualidade dos cursos oferecidos. No período de 2008 a 2015, observou-se uma queda no desempenho médio no ano de 2009, com recuperação gradativa nos anos seguintes.

Constatou-se que, em média, as universidades localizadas na região Sul do Brasil foram as mais eficientes em todo o período analisado. Levando em consideração todo o período analisado, o segundo melhor desempenho médio foi alcançado pelas instituições do Nordeste, seguidas pelas universidades federais da região Sudeste. Por sua vez, as instituições das regiões Centro-Oeste e Norte foram responsáveis pelas médias de eficiência mais baixas.

Ao considerar as diferenças regionais em termos de produção científica, formação e concentração de pesquisadores no País, em que as regiões Sudeste e Sul são apontadas como as mais desenvolvidas cientificamente, concentrando, juntamente com a região Centro-Oeste, os quadros docentes mais qualificados (GUIMARÃES, 2002GUIMARÃES, Reinaldo. Pesquisa no Brasil: a reforma tardia. São Paulo em Perspectiva, São Paulo, v. 16, n. 4, p. 41-47, 2002.; FERREIRA; SANTOS; PESSANHA, 2013FERREIRA, Marlon Cruz; SANTOS, Waldir Jorge Ladeira dos; PESSANHA, José Francisco Moreira. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 18, n. 1, p. 104-124, jan./abr. 2013. Disponível em: Disponível em: https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889 . Acesso em: 23 jul. 2017.
https://www.e-publicacoes.uerj.br/index....
; SIDONE; HADDAD; MENA-CHALCO, 2016SIDONE, Otávio José Guerci; HADDAD, Eduardo Amaral; MENA-CHALCO, Jesús Pascual. A ciência nas regiões brasileiras: evolução da produção e das redes de colaboração científica. TransInformação, Campinas, v. 28, n. 1, p. 15-31, jan./abr., 2016. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S0103-37862016000100015&script=sci_abstract&tlng=pt . Acesso em: 23 jul. 2017.
https://www.scielo.br/scielo.php?pid=S01...
), observa-se que as universidades federais da região Nordeste, apesar de estarem, a princípio, inseridas em contexto acadêmico menos privilegiado, apresentaram desempenho médio superior a outras instituições das regiões Sudeste e Centro-Oeste, por exemplo.

Esse resultado corrobora, em parte, à pesquisa realizada por Hoffmann et al. (2014HOFFMANN, Celina et al. O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educ. Pesqui., São Paulo, v. 40, n. 3, p. 651-666, jul./set. 2014. Disponível em: Disponível em: https://www.scielo.br/pdf/ep/v40n3/aop1491.pdf . Acesso em: 23 jul. 2017.
https://www.scielo.br/pdf/ep/v40n3/aop14...
) que apontou serem as instituições públicas de ensino superior das regiões Norte e Nordeste as que apresentaram as maiores médias do Índice Geral de Cursos (IGC) em 2011, apesar de serem regiões historicamente estigmatizadas pelo fato de seus indicadores socioeconômicos mostrarem-se geralmente abaixo da média nacional e não apresentarem tradição em ensino e pesquisa, se comparadas às regiões Sudeste e Sul.

Ressalta-se que os escores de eficiência gerados no presente estudo consideram, além dos indicadores de qualidade dos cursos de graduação e pós-graduação, também o quantitativo de alunos matriculados nesses cursos e sua relação com os recursos financeiros utilizados pelas universidades. Portanto, outros fatores relacionados às condições de oferta dos cursos podem influenciar o resultado expresso por esse indicador.

Em termos da distribuição espacial da eficiência das universidades federais brasileiras estudadas, verificou-se que essas instituições mostraram-se dependente espacialmente a uma distância máxima de 449 quilômetros, ou seja, nesse raio de abrangência, os desempenhos das universidades tendem a ser semelhantes. Nesse intervalo espacial as universidades encontram características semelhantes que exercem influência em sua gestão, fazendo com que o nível de eficiência desse grupo seja pouco variável. A partir dessa distância, a variação dos escores de eficiência ocorre de forma aleatória, não existindo dependência espacial.

Pôde-se notar uma redução da dependência espacial no período analisado, principalmente a partir do ano de 2013, período a partir do qual se observou a presença de universidades com alta eficiência próximas a outras com baixo desempenho. Essa constatação sugere que as modificações nas estruturas acadêmicas e físicas, provocadas após a implementação do REUNI, influenciaram a eficiência da gestão das universidades de tal forma que a distribuição espacial passou a ter menor impacto no desempenho nesse período.

Por meio dos mapas gerados a partir dos escores de eficiência alcançados pelas 52 universidades analisadas também se pôde observar uma queda no desempenho no ano de 2009, com gradativa recuperação nos anos seguintes. Em 2008 observavam-se grandes áreas com potencial de alta eficiência, ao passo que, nos anos seguintes essas áreas reduziram-se, apresentando predominância de áreas de baixa eficiência em 2009. Nos anos posteriores, notou-se o crescimento das áreas com potencial de eficiência intermediária, ficando os potenciais escores de alta e baixa eficiência restritos a pequenas ilhas espalhadas em todo o território nacional. Esse comportamento sugere maior homogeneidade do desempenho médio das universidades, sendo que as características que indicam alto ou baixo desempenho encontram-se concentradas em pequenas regiões.

Constatou-se que em 2008, ano de implementação do REUNI, havia uma nítida regionalização dos escores de eficiência das universidades. No período de 2009 a 2011, observou-se a ocorrência de uma perturbação espacial do nível de eficiência, em que apenas algumas universidades resistiram ao declínio do desempenho, enquanto as outras instituições mostraram queda nos resultados com ampliação dos escores de eficiência médios, apresentando melhoria ao longo do tempo.

Em 2012 observou-se novamente clara regionalização, com uma perda de eficiência. Destaca-se a formação de áreas que parecem ter resistido à queda do desempenho, formando bolsões de eficiência localizados no Amapá e divisa com o estado do Pará, uma área que ocupa parte do Maranhão, Piauí e Ceará, um bolsão de alta eficiência em Goiás e divisa com Mato Grosso, outro situado no estado do Rio de Janeiro e divisa com Minas Gerais, e na região Sul, uma área que abrange parte do Rio Grande do Sul, de Santa Catarina e uma pequena porção do Paraná também apresentaram resistência à redução de eficiência.

Portanto, constatou-se a existência de dependência espacial da eficiência das universidades federais brasileiras, no entanto, os resultados da pesquisa sugerem que as modificações ocorridas em função da implementação do REUNI enfraqueceram o grau de dependência espacial, tendo em vista as significativas alterações no desempenho da gestão dessas instituições, indicando também um processo de tendência ao desempenho médio.

6 Considerações finais

Ressalta-se como limitação da pesquisa o fato de, em razão da indisponibilidade de dados, o modelo utilizado para mensurar a eficiência não contemplou aspectos relacionados às atividades de pesquisa e extensão. Não obstante, ao serem incluídos os indicadores de qualidade, como o conceito médio da graduação e o conceito CAPES para a pós-graduação, esteja-se ponderando, mesmo que de forma indireta, as diversas atividades desenvolvidas pelas instituições federais de ensino superior.

Outro aspecto a ser considerado como limitador dos resultados consiste nos dados de localização das universidades. Apesar de muitas dessas instituições serem constituídas administrativamente como multicampi, com unidades instaladas em diferentes municípios, os dados necessários para a mensuração da eficiência são disponibilizados apenas em seus valores globais, por isso, não se pôde verificar o desempenho de cada campus, sendo adotado o campus sede como localização da universidade. Notou-se ainda que o desempenho dessas organizações apresentou características que sugerem a ocorrência de fenômenos regionalizados, dos quais a análise de semivariogramas não se mostrou capaz de interpretar adequadamente. Nesse sentido, sugerem-se novas pesquisas que busquem aprimorar ferramentas operacionais para o estudo desses fenômenos.

Limitações relacionadas ao período de análise também devem ser consideradas, pois, nos anos de 2012 e 2015 ocorreram greves de servidores, provocando descompassos nos calendários acadêmicos, pois nem todas as universidades aderiram às paralizações. Além disso, por se tratar de um fenômeno ainda recente, uma vez que a ampliação das vagas no ensino superior ocorreu também após a implantação dos programas de expansão, sugere-se que sejam realizadas novas pesquisas contemplando períodos maiores, de forma a evidenciar seus efeitos a longo prazo, bem como buscar evidenciar os efeitos do funcionamento de campi instalados fora do campus sede na eficiência das universidades.

Referências

  • ANDRIOTTI, José Leonardo Silva. Introdução à geoestatística. Acta Geológica Leopoldensia, São Leopoldo, v. 11, n. 27, p. 7-82, 1988.
  • BARRA, Cristian; ZOTTI, Roberto. Measuring efficiency in Higher Education: an empirical study using a bootstrapped data envelopment analysis. International Advances in Economic Research, Atlanta, v. 22, n.1, p. 11-33, feb. 2016. Disponível em: https://link.springer.com/article/10.1007/s11294-015-9558-4 Acesso em: 23 jul. 2017.
    » https://link.springer.com/article/10.1007/s11294-015-9558-4
  • BRASIL. Decreto nº 6.096/2007. Institui o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais - REUNI. DOU, Brasília, 2007. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2007/Decreto/D6096.htm Acesso em: 29 jul. 2016.
    » http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2007/Decreto/D6096.htm
  • BRASIL. Ministério da Educação/SESu. Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais REUNI 2008 - Relatório de Primeiro Ano. -, 30 de outubro de 2009. Disponível em: Disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=2069-reuni-relatorio-pdf&category_slug=dezembro-2009-pdf&Itemid=30192 Acesso em: 25 maio 2017.
    » http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=2069-reuni-relatorio-pdf&category_slug=dezembro-2009-pdf&Itemid=30192
  • CAMARGO, Eduardo Celso Gerbi. Geoestatística: fundamentos e aplicações. In: GEOPROCESSAMENTO: teoria e aplicações. São José dos Campos: INPE, 2000. p. 5.1-5.36.
  • CAMBARDELLA, Cynthia A. et al. Field-Scale Variability of Soil Properties in Central Iowa Soils. Soil Science Society of America Journal, Madison, v. 58, n. 5, p. 1501-1511, sept./oct. 1994.
  • ECKLES, James E. Evaluating the efficiency of top liberal arts colleges. Research in Higher Education, [S. l.], v. 51, p. 266-293, 2010.
  • FERREIRA, Marlon Cruz; SANTOS, Waldir Jorge Ladeira dos; PESSANHA, José Francisco Moreira. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ (online), Rio de Janeiro, v. 18, n. 1, p. 104-124, jan./abr. 2013. Disponível em: Disponível em: https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889 Acesso em: 23 jul. 2017.
    » https://www.e-publicacoes.uerj.br/index.php/rcmccuerj/article/view/5889
  • GOMES, Eliane Gonçalves et al. Dependência espacial da eficiência do uso da terra em assentamento rural na Amazônia. Produção, São Paulo, v. 19, n. 2, p. 417-432, maio/ago. 2009.
  • GUIMARÃES, Ednaldo Carvalho. Geoestatística básica e aplicada. Material Didático. Uberlândia: UFU/FAMAT, 2004.
  • GUIMARÃES, Reinaldo. Pesquisa no Brasil: a reforma tardia. São Paulo em Perspectiva, São Paulo, v. 16, n. 4, p. 41-47, 2002.
  • HOFFMANN, Celina et al. O desempenho das universidades brasileiras na perspectiva do Índice Geral de Cursos (IGC). Educ. Pesqui., São Paulo, v. 40, n. 3, p. 651-666, jul./set. 2014. Disponível em: Disponível em: https://www.scielo.br/pdf/ep/v40n3/aop1491.pdf Acesso em: 23 jul. 2017.
    » https://www.scielo.br/pdf/ep/v40n3/aop1491.pdf
  • MACEDO, Arthur Roquete de et al. Educação superior no Século XXI e a reforma universitária brasileira. Ensaio: aval.pol.públ.Educ., Rio de Janeiro, v. 13, n. 47, p. 127-148, abr./jun. 2005.
  • MARINHO, Alexandre; FAÇANHA, Luís Otávio. Programas Sociais: efetividade, eficiência e eficácia como dimensões operacionais da avaliação. Texto para discussão nº 787. Rio de Janeiro, abr. 2001. Disponível em: Disponível em: http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_0787.pdf Acesso em: 22 jun. 2016.
    » http://www.ipea.gov.br/portal/images/stories/PDFs/TDs/td_0787.pdf
  • OBADIC, Alka; ARISTOVNIK, Aleksander. Relative efficiency of higher education in Croatia and Slovenia: an international comparison. Amfiteatru Economic, Bucharest, v. 13, n. 30, p. 362-376, jun. 2011. Disponível em: Disponível em: https://www.researchgate.net/publication/226651368_Relative_efficiency_of_higher_education_in_Croatia_and_Slovenia_An_international_comparison Acesso em: 23 jul. 2017.
    » https://www.researchgate.net/publication/226651368_Relative_efficiency_of_higher_education_in_Croatia_and_Slovenia_An_international_comparison
  • SIDONE, Otávio José Guerci; HADDAD, Eduardo Amaral; MENA-CHALCO, Jesús Pascual. A ciência nas regiões brasileiras: evolução da produção e das redes de colaboração científica. TransInformação, Campinas, v. 28, n. 1, p. 15-31, jan./abr., 2016. Disponível em: Disponível em: https://www.scielo.br/scielo.php?pid=S0103-37862016000100015&script=sci_abstract&tlng=pt Acesso em: 23 jul. 2017.
    » https://www.scielo.br/scielo.php?pid=S0103-37862016000100015&script=sci_abstract&tlng=pt
  • SILVA, Alberto Carvalho da. Alguns problemas do nosso ensino superior. Estudos Avançados, São Paulo, v. 15, n. 42, p. 269-293, 2001.
  • SOARES DE MELLO, João Carlos Correia Baptista et al. Curso de Análise de Envoltória de Dados. In.: SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 37., Gramado, 2005. Anais [...]. Gramado, 2005.
  • VINHAIS, Henrique Eduardo Ferreira. Estudo sobre o impacto da expansão das universidades federais no Brasil. 234 p. 2013. Tese (Doutorado em Ciências) - Faculdade de Economia, Administração e Contabilidade da Universidade de São Paulo, São Paulo, 2013. Disponível em: Disponível em: http://www.teses.usp.br/teses/disponiveis/12/12138/tde-20012014-152929/pt-br.php Acesso em: 20 jul. 2016.
    » http://www.teses.usp.br/teses/disponiveis/12/12138/tde-20012014-152929/pt-br.php

Datas de Publicação

  • Publicação nesta coleção
    07 Set 2020
  • Data do Fascículo
    May-Aug 2020

Histórico

  • Recebido
    17 Set 2018
  • Aceito
    11 Maio 2020
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br