O programa Reuni e o desempenho das Ifes brasileiras

Reuni program and performance of brazilian Ifes

El programa Reuni y el desempeño de las Ifes brasileñas

Resumo

Este artigo tem como objetivo analisar as possíveis diferenças e influências do Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni) sobre a evolução dos indicadores de desempenho das Instituições Federais de Ensino Superior (Ifes) brasileiras. Assim, pretende-se contribuir com a análise dos efeitos do Reuni sobre o comportamento intertemporal dos indicadores de desempenho, a fim de potencializar as ações de monitoramento e controle social da política pública implementada. Para isso, realizou-se o teste de hipóteses de diferenças entre médias para verificar se, estatisticamente, o programa influenciou os indicadores de desempenho nas Ifes. Os resultados demonstraram a elevação dos gastos para manter as novas e reformadas estruturas universitárias, melhorias no nível de envolvimento na Pós-graduação e na qualificação do corpo docente, que refletiram no aumento do conceito médio dos cursos avaliados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes).

Reuni; Indicadores de Desempenho; Universidades

Abstract

This article aims to analyze the possible differences and influences of the Program of Support for the Restructuration and Expansion of Federal Universities (Reuni) on the evolution of the performance indicators of the Brazilian Federal Higher Education Institutions (Ifes). This study aims to contribute to the analysis of the effects of Reuni on the intertemporal behavior of performance indicators in order to enhance the monitoring and social control actions of the implemented public policy. For this, the hypothesis test of differences between means was performed to verify if, statistically, the program influenced the performance indicators in the Ifes. The results showed increased spending to maintain new and reformed university structures, improvements in the level of postgraduate involvement and faculty qualifications, which reflected in the increase in the average concept of the courses evaluated by the Coordination of Improvement of Level Personnel Superior (Capes).

Reuni; Performance indicators; Universities

Resumen

Este artículo tiene como objetivo analizar las posibles diferencias e influencias del Programa de Apoyo a los Planes de Reestructuración y Expansión de las Universidades Federales (Reuni) sobre la evolución de los indicadores de desempeño de las Instituciones Federales de Educación Superior (Ifes). Por lo tanto, pretendemos contribuir al análisis de los efectos de Reuni sobre el comportamiento intertemporal de los indicadores de desempeño para mejorar las acciones de monitoreo y control social de la política pública implementada. Para ello, se realizó la prueba de hipótesis de diferencias entre medias para verificar si, estadísticamente, el programa influyó en los indicadores de desempeño en las Ifes. Los resultados mostraron un aumento en el gasto para mantener estructuras universitarias nuevas y reformadas, mejoras en el nivel de participación de posgrado y calificaciones de los docentes, lo que se reflejó en el aumento del concepto promedio de los cursos evaluados por la Coordinación de Mejora del Personal de Nivel Superior (Capes).

Reuni; Indicadores de desempeño; Universidades

1 Introdução

No Brasil, a partir do século XX, a demanda e a oferta de cursos na Educação Superior expandiram, com a valorização do conhecimento acadêmico no mercado de trabalho e do desenvolvimento de pesquisas científicas ( BRASIL, 2015 ). Nesse sentido, a universidade ganhou reconhecimento por ser um instrumento de “transformação social, desenvolvimento sustentável e inserção do país [...] no cenário internacional” ( BRASIL, 2009 , p. 9).

Em 2005, no território brasileiro, existiam 176 universidades, das quais, 90 eram públicas, distribuídas em 52 federais, 33 estaduais e cinco municipais. Enquanto no setor privado eram 1.934 instituições, com 86 universidades. Destarte, em média, ingressavam cerca de 1.700.000 novos alunos na graduação presencial por ano ( INEP, 2005 ).

Entretanto, o período de restrições orçamentárias intensificou as carências das Instituições Federais de Ensino Superior (Ifes), que culminou em estruturas educacionais precárias, corpo docente e técnico-administrativo desfalcado, e baixo número de jovens, de 18 a 24 anos, matriculados no Ensino Superior da rede pública, segundo Bittencourt e Ferreira (2014).

Logo, o acesso à Educação Superior passou a ser questionado e apontado como um processo de exclusão social, cuja solução dependeria da ampliação das oportunidades de acesso mediante a expansão do número de vagas. Inclusive, para ampliar o acesso era necessário diversificar o sistema educacional, construir novas instituições, reestruturar as existentes, criar outras modalidades de cursos, formular políticas inclusivas e ações afirmativas.

A partir desse contexto, o governo federal criou o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni), para ampliar as vagas, criar outros cursos, readequar a infraestrutura, elevar as matrículas e o número de concluintes, bem como otimizar os recursos humanos e físicos existentes ( LIMA, 2013 ). Como meta global, previu-se o alcance da taxa de conclusão da graduação de 90% e da relação de 18 alunos por professor.

O Decreto nº 6.096/2007 instituiu o Reuni e delegou competências ao Ministério da Educação (MEC) em relação aos indicadores de desempenho e às novas formas de controle das instituições, com base em conceitos de: matrícula projetada, fator de retenção por área de conhecimento, banco de professores equivalentes e relação de alunos de Pós-graduação por professor ( BRASIL, 2007 ).

Enquanto o MEC responsabilizou-se pela definição das metas e indicadores, as Ifes assumiram a função de implementar a política. Todavia, o prazo de elaboração dos planos de reestruturação e expansão para as Ifes foi relativamente curto, afinal, o programa legitimou-se em abril, com o prazo de recebimento das propostas até novembro de 2007. Lugão (2011) destaca que algumas Ifes cobraram a repactuação junto ao MEC e solicitaram o aporte complementar de recursos, devido ao mau planejamento dos projetos, agravado pelo curto prazo concedido.

Bittencourt e Ferreira (2014) defenderam a inexistência de critérios para a formulação dos planos de expansão. Schwartzman (2006) corroborou que o Reuni não seguiu um plano ou critério de prioridades, pois abriu instituições onde não havia demanda, selecionou alunos e contratou professores antes da construção dos edifícios e da adequação das instalações. O Reuni concedeu as mesmas oportunidades para todas as Ifes, mas o aproveitamento dos recursos dependeu da estrutura organizacional existente.

Dada a sua relevância, o programa tem sido objeto de diferentes estudos na literatura, envolvendo análises da formulação, implementação ou conclusão. Lugão (2011) constatou a existência de falhas na execução do Reuni, possíveis comprometimento dos objetivos do programa e redução da qualidade do ensino, agravados pela falta de qualificação dos gestores, tempo mínimo de planejamento e ausência de avanço na reestruturação acadêmica curricular.

O impacto do Reuni na eficiência de Ifes do Nordeste, entre 2007 e 2012, foi estudado por Siqueira, Cavalcante e Leite Filho (2015). Os autores verificaram a ausência de variação no nível de eficiência técnica nas universidades. Dalla Nora (2014) comparou os indicadores de desempenho das Ifes do Sul, entre 2007 e 2011, com o desempenho acadêmico mensurado pelo Índice Geral de Cursos (IGC). Observou-se que as Ifes com melhor pontuação no IGC destacaram-se pelos maiores conceitos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)/MEC e índices de qualificação do corpo docente.

Constatou-se a predominância de análises individuais dos indicadores de desempenho devido às lacunas na literatura em relação às avaliações expandidas, comparativas e intertemporais da variação dos indicadores antes (2002 a 2006), durante (2007 a 2012) e após o Reuni (2013 a 2015).

O presente trabalho busca responder ao seguinte questionamento: como o Reuni influenciou na variação dos indicadores de desempenho das universidades? Para tanto, o objetivo geral foi analisar as possíveis diferenças e influências na evolução dos indicadores de desempenho das Ifes brasileiras.

Respostas à pergunta supracitada fazem com que este trabalho seja importante por contribuir com as análises de avaliações do Reuni e do comportamento intertemporal dos indicadores de desempenho, com o intuito de potencializar as ações de monitoramento e controle social. Nesse contexto, contribui com o escopo de análises envolvendo a avaliação ex post dos efeitos do programa, que finalizou em 2012.

2 Referencial teórico

2.1 A expansão da Educação Superior a partir de 2003

A primeira universidade criada, no Brasil, foi a Universidade do Rio de Janeiro, em 1920, que agrupou as escolas profissionais de direito, engenharia e medicina, denominada de Universidade Federal do Rio de Janeiro (UFRJ), após 1965. Para Vonbun e Mendonça (2012) , o desenvolvimento da Educação Superior brasileira foi tardio, se comparado à Europa e à América Latina, cujas universidades iniciaram suas atividades há quase um milênio e a partir do século XVI, respectivamente.

No Brasil, a expansão da Educação Superior federal, conhecida como fase I, iniciou-se com a interiorização do ensino, por meio da criação de novas universidades e a expansão de campi para regiões não metropolitanas, no período de 2003 a 2007. Na fase II, ocorreu, entre 2008 a 2012, a implementação do Reuni, a fim de reestruturar e expandir as Ifes. Na fase III, de 2012 a 2014, voltou-se para a conclusão das novas unidades e a implementação de políticas específicas de integração, de fixação e de desenvolvimento regional.

A oferta da Educação Superior no interior buscou reduzir as disparidades no “desenvolvimento regional e atingir estudantes sem condições de se deslocar para outras regiões” ( BRASIL, 2015 , p. 20). No entanto, o fato de a oferta de determinados cursos, em algumas regiões, cuja demanda pelo mercado de trabalho local ser baixa, pode elevar o custo das universidades, principalmente pela contratação de profissionais especializados para formar poucos alunos, segundo Paul e Wolynec (1990) .

Outra opção seria a redução dos custos operacionais, por meio da otimização de disciplinas e cursos com a fusão de turmas, pois a oferta de todos os cursos em uma Ifes é economicamente inviável. Logo, a oferta de profissões, por região, seria fortalecida com um planejamento adequado.

As diretrizes do Reuni buscavam ampliar a Educação Superior pública, promover a reestruturação acadêmica curricular, a renovação pedagógica, a mobilidade intra e interinstitucional, o compromisso social da instituição, bem como desenvolver e aperfeiçoar os cursos de graduação ( BRASIL, 2009 ).

Entre 2003 e 2010, o número de universidades federais passou de 45 para 59 e os campi de 148 para 274. Além disso, em 2014, foram criadas mais 47 unidades, que totalizaram 321 campi espalhados pelos estados brasileiros. Desse modo, 272 municípios foram contemplados com a instalação das Ifes no intuito de assegurar a expansão, desenvolver as regiões e diminuir as assimetrias ( BRASIL, 2012 ).

O Reuni contribuiu para a progressão de vagas por universidade, entre 2007 e 2013, cujo crescimento médio foi de 89,3%, e das 2.804 obras iniciadas nas 53 Ifes, 78% foram concluídas até o ano de 2014, apesar de algumas Ifes terem pleiteado o aporte complementar de recursos para cobrir as despesas com contratação, conforme Bittencourt e Ferreira (2014).

As ações, metas e planos de expansão da Educação Superior visaram atender ao interesse social, por meio da implementação de políticas públicas após 2003, consoantes ao Plano Nacional de Educação (Lei nº 10.172/2001), vigente de 2001 a 2010.

2.2 Políticas públicas para a Educação

Nos últimos anos, o estudo de políticas públicas foi a área com maior crescimento, voltado para compreender o processo de formulação e a produção de informações públicas, segundo Fischer, Miller e Sidney (2007) .

Para Teixeira (2002 , p. 2), as políticas públicas são “diretrizes, princípios norteadores de ação do poder público; regras e procedimentos para as relações entre o poder público e a sociedade, mediações entre os atores da sociedade e do Estado”. O autor acrescenta que as políticas podem ser “explicitadas, sistematizadas ou formuladas em documentos (leis, programas, linhas de financiamento)”, a fim de orientar a alocação dos recursos públicos e responder à sociedade, sob a forma de não ação ou omissão. Ressalta-se que a formulação do Reuni foi legitimada pelo Decreto nº 6.096 de 2007 ( BRASIL, 2007 ).

As políticas públicas absorvem o poder político, o conflito social do processo decisório, a divisão dos custos e benefícios sociais durante seu ciclo de desenvolvimento ( TEIXEIRA, 2002 ). Dye (2010a) complementa que as forças econômicas e sociais determinam a estrutura e as políticas, as quais se tornam públicas quando executadas para atender a alguma instituição governamental.

Aliás, a dimensão política da avaliação reflete tais interesses e valores de quem avalia, por ser “uma atividade afetada por forças políticas e com efeitos políticos” ( HOUSE, 1992 , p. 52). Desse modo, as políticas públicas culminam de pressões sociais e forças políticas na concretização de um projeto social, político e econômico específico, conforme Radaelli (2013) . Inclusive, as disputas políticas e as relações de poder “sempre deixarão suas marcas nos programas e projetos desenvolvidos e implementados” ( FREY, 2000 , p. 219).

O programa é o conjunto sistêmico de ações programadas e articuladas para atender às demandas públicas específicas da agenda de prioridades do Estado ou do governo ( JANNUZZI, 2014 ). Logo, o Estado e a formulação das políticas públicas vinculam-se ao “contexto de contradições econômicas, sociais, políticas e ideológicas” ( RADAELLI, 2013 , p. 5).

O modelo analítico da política pública deve facilitar o entendimento, identificar os problemas políticos, comunicar o foco, explicar e predizer as consequências ( DYE, 2010b ). O processo de elaboração da política pública absorve as informações sobre o regime político, o grau de organização da sociedade civil e a cultura política dominante. Além das definições de quem decide o que, quando, as consequências e para quem ( TEIXEIRA, 2002 ).

Souza (2009 , p. 24) descreve a política pública como um “fenômeno social e histórico que expressa os interesses e as necessidades de diversos sujeitos sociais, pelo exercício do poder, e do processo de tomada de decisões baseado nos valores presentes na sociedade”. Enquanto a política pública específica para um setor surge de uma questão socialmente problematizada e discutida pela sociedade, que exige a atuação do Estado.

O Estado, em ação, implementa o projeto de governo por meio de programas e ações destinados aos setores específicos da sociedade. Destarte, o “modo de operar do Estado se traduz no ato de ‘fazer’ políticas públicas” ( VIANA, 1996 , p. 5).

A política pública é tudo o que os governos decidem, fazer ou deixar, isto é, a arte de governar é realizar o bem público, a fim de solucionar os problemas sociais ( DYE, 2010a ). Rua (2009) corrobora que as políticas públicas ( policies ) incluem as decisões sobre a alocação de bens e serviços públicos resultante da atividade política ( politics ) para resolver pacificamente os conflitos.

Lowi (1964) e Frey (2000) dividem as políticas públicas em: (a) distributivas: o governo decide e privilegia alguns grupos sociais ou regiões; (b) redistributivas: o processo político é polarizado e conflituoso, com políticas sociais universais; (c) regulatórias: envolvem ordens, proibições, decretos e portarias; (d) constitutivas ou estruturadoras: que definem as regras do jogo, estrutura dos processos, conflitos políticos, condições gerais da negociação das políticas distributivas, redistributivas e regulatórias.

Independentemente de a política pública refletir o jogo de interesses caracterizado pelo curso de ação do Estado orientado por objetivos, um programa governamental desdobra-se na política pública e equivale a uma ação de menor abrangência ( FARAH, 2016 ). As pesquisas sobre políticas públicas subsidiam o seu processo de formulação, implementação e avaliação.

Os governantes respondem às demandas da sociedade com a formulação de políticas públicas. A Educação, por exemplo, é uma demanda recorrente da sociedade no que se refere à qualidade, ao acesso, à permanência, à manutenção, à gestão participativa e ao funcionamento das instituições, de modo a exigir a atuação do Estado ( RADAELLI, 2013 ).

Tavares, Oliveira e Seiffert (2011 , p. 236) afirmam que a avaliação da Educação Superior tem ganhado centralidade e força, nos planos governamentais brasileiros, devido à nova concepção de poder e do papel do Estado frente à integração com a “economia mundial, nos moldes do modelo de globalização como alternativa diante da crise de acumulação de capital”.

López, Thomas e Wang (1998) consideram todos os níveis de Educação como uma condição necessária ao bom desempenho econômico do país, apesar de não ser suficiente para tal. Os autores defendem que a distribuição da Educação também é importante, pois, em países onde ela é iníqua as rendas per capita são menores.

Já Brennan e Shah (2000) analisaram 14 países da Europa e seus sistemas nacionais de avaliação da qualidade da Educação Superior. Com isso, perceberam que, se o Estado regular menos, ficando mais distante, consequentemente, a flexibilidade, a autonomia e a diversidade ao nível da instituição aumentam.

3 Procedimentos metodológicos

Para avaliar as possíveis diferenças na variação dos indicadores de desempenho das Ifes, antes e após a execução do Reuni, realizaram-se levantamentos bibliográfico e documental, que fundamentou a coleta e a análise dos dados. A pesquisa foi operacionalizada por meio de portais eletrônicos, legislação, decretos e portarias, como os Termos da Decisão TCU nº 408/2002, atualizados pelos Acórdãos nº 1.043/2006 e nº 2.167/2006. Esses Acórdãos distinguem alguns indicadores pela inclusão (35%) ou não (0%) das despesas com ensino do Hospital Universitário (HU).

Os indicadores de desempenho propostos pelo TCU são úteis para acompanhar a atividade e aprimorar a gestão universitária. A sua análise contribui para diagnosticar a movimentação do Ensino Superior e propor melhorias em setores administrativos específicos ( BRASIL, 2002 ). Esses indicadores foram coletados nos Relatórios de Gestão, divulgados, anualmente, por Ifes, em seus sites institucionais, ou Portal de Prestação de Contas do TCU e no Sistema de Informações do Ministério da Educação (Simec). No Quadro 1 , apresentam-se os indicadores analisados no presente trabalho.

Quadro 1
Indicadores de desempenho.

Descrição das variáveis	Unidades de medida	Fonte
Custo Corrente com HU/Aluno Equivalente	R$	Termos da Decisão TCU nº 408/2002 Relatórios de Gestão das Ifes (Dados de 2002 a 2015)
Custo Corrente sem HU/Aluno Equivalente	R$
Aluno Tempo Integral/Professor Equivalente	Unidade
Aluno Tempo Integral/Funcionário Equivalente com HU	Unidade
Aluno Tempo Integral/Funcionário Equivalente sem HU	Unidade
Funcionário Equivalente com HU/Professor Equivalente	Unidade
Funcionário Equivalente sem HU/Professor Equivalente	Unidade
Grau de Participação Estudantil (GPE)	%
Grau de Envolvimento com a Pós-graduação (GEPG)	%
Conceito Capes/MEC	Unidade
Indicador de Qualificação do Corpo Docente (IQCD)	Unidade
Taxa de Sucesso na Graduação (TSG)	%

• HU: Hospital Universitário; Ifes: Instituições Federais de Ensino Superior.
Fonte: Elaborado pelas autoras (2019).

O marco da coleta de dados foram os Termos da Decisão TCU nº 408/2002, que tornaram obrigatórias a publicação dos indicadores de desempenho a partir de 2002, quando existiam 45 Ifes no território brasileiro. O Relatório de Gestão fornece uma visão estratégica da unidade prestadora de contas e sua relação com a capacidade de alcançar os objetivos no curto, médio e longo prazos, destacando a aplicação e a utilização de seus recursos.

Santos, Castaneda e Barbosa (2011 , p. 2) ressaltam que as Ifes, por serem órgãos integrantes da estrutura federal, são legalmente obrigadas a publicarem as suas “realizações e a aplicação dos recursos por meio de relatório de gestão, divulgando-os entre os órgãos competentes, entre a comunidade universitária e entre a sociedade na qual está inserida”.

O horizonte temporal ( t ) adotado foi de 2002 a 2015, por abranger todo o ciclo de desenvolvimento do Reuni. Os indicadores coletados passaram pelas análises gráficas, descritivas e comparativas, por meio de testes de diferenças entre suas médias. Também se verificou, estatisticamente, se houve diferenças significativas nas médias de cada indicador antes (2002 a 2008) e após o Reuni (2009 a 2015), identificando como a presença do programa contribuiu positiva ou negativamente.

Ressalta-se que, das 54 universidades federais em funcionamento ao final de 2007, 53 aderiram ao Reuni nas duas chamadas realizadas em 29 de outubro de 2007, para implantação no 1º semestre de 2008, da qual participaram 42 universidades, e, em 17 de dezembro de 2007, para início no 2º semestre de 2008, com adesão de 11 universidades. A Universidade Federal do ABC (UFABC), criada em 2005, não participou do programa, por já adotar as inovações pedagógicas preconizadas pelo Reuni.

Entre 2003 e 2007, criaram-se 10 Ifes e, de 2008 a 2014, outras oito. Desse modo, em 2014, o total de universidades federais chegou a 63, com a seguinte distribuição regional: 19 localizadas no Sudeste, 11 no Sul, 10 no Norte, 18 no Nordeste e cinco no Centro-Oeste.

No entanto, apenas 35 Ifes participantes do Reuni disponibilizaram seus indicadores de desempenho no período de 2002 e 2015. A amostra coletada representou 77,8% do total de Ifes existentes no início da obrigatoriedade de divulgação dos indicadores de desempenho em 2002. Logo, as Ifes criadas durante o Reuni, ou com informações incompletas, foram desconsideradas. No Quadro 2 , apresentam-se as unidades de análise e o ano de fundação.

Quadro 2
Unidades de análise.

Instituições Federais de Ensino Superior	Sigla	Ano de fundação
Universidade Federal de Ouro Preto	Ufop	1969
Universidade Federal de São João Del-Rei	UFSJ	1986
Universidade Federal de Viçosa	UFV	1969
Universidade Federal de Alfenas	Unifal	1914
Universidade Federal de Itajubá	Unifei	1913
Universidade Federal de Juiz de Fora	UFJF	1960
Universidade Federal de Lavras	Ufla	1994
Universidade Federal de Minas Gerais	UFMG	1949
Universidade Federal de Uberlândia	UFU	1969
Universidade Federal do Triângulo Mineiro	UFTM	1953
Universidade Federal dos Vales do Jequitinhonha e Mucuri	UFVJM	1953
Universidade Federal de São Carlos	Ufscar	1968
Universidade Federal do Estado do Rio de Janeiro	Unirio	1979
Universidade Federal Fluminense	UFF	1960
Universidade Federal Rural do Rio de Janeiro	UFRRJ	1963
Universidade Federal do Espírito Santo	Ufes	1961
Universidade Federal do Paraná	UFPR	1950
Universidade Tecnológica Federal do Paraná	UTFPR	1909
Universidade Federal de Santa Catarina	UFSC	1960
Universidade Federal de Ciências da Saúde de Porto Alegre	UFCSPA	1953
Universidade Federal de Santa Maria	UFSM	1960
Universidade Federal do Rio Grande do Sul	UFRGS	1950
Universidade Federal do Amapá	Unifap	1986
Universidade Federal do Amazonas	Ufam	1962
Universidade Federal de Rondônia	Unir	1982
Universidade Federal do Pará	Ufpa	1960
Universidade Federal da Bahia	Ufba	1950
Universidade Federal do Ceará	UFC	1954
Universidade Federal de Alagoas	Ufal	1961
Universidade Federal de Pernambuco	UFPE	1965
Universidade Federal Rural de Pernambuco	UFRPE	1955
Universidade Federal de Sergipe	UFS	1967
Universidade Federal Rural do Semi-Árido	Ufersa	1967
Universidade de Brasília	UnB	1962
Universidade Federal de Mato Grosso do Sul	UFMS	1979

Fonte: Elaborado pelas autoras (2019).

O teste de hipótese é uma regra de decisão para aceitar ou rejeitar a hipótese estatística da amostra retirada de uma população, com a aplicação da teoria de probabilidade, a fim de fazer inferências e tirar conclusões ( LEVIN; FOX; FORDE, 2012 ). Para os autores, a hipótese nula (H ₀ ) é a hipótese assumida como verdade, para a construção do teste, que corresponde ao efeito, à teoria ou à alternativa testada. A hipótese alternativa (H _a ) é considerada quando a hipótese nula não for estatisticamente significativa.

No presente estudo, optou-se por amostras dependentes ou pareadas, cuja variação da comparação, entre duas médias, dá-se pela medida em dois pontos diferentes no tempo de uma única amostra ( CORRAR; THEÓPHILO, 2010 ). Diante disso, as hipóteses aqui testadas foram as seguintes:

H₀: Média do Indicador X antes do Reuni é estatisticamente igual à média do Indicador X pós Reuni.

H _a: Média do Indicador X antes do Reuni é estatisticamente diferente (maior ou menor) à média do Indicador X pós Reuni.

O teste das hipóteses considerou o nível de significância de 5% para a realização do Teste t para amostras dependentes, cuja estatística de teste é dada por ( BRUNI, 2010 ):

$t_c=\frac{{}_{{\overline{X}}_{antesReuni}-{\overline{X}}_{pósReuni}}}{S\overline{D}}$

$S\overline{D}=\frac{SD}{\sqrt{n\mathit{-}\mathit{1}}}$

$SD\mathit{ }\mathit{=}\mathit{ }\sqrt{\frac{\mathit{\sum }\mathit{ }{D}^{\mathit{2}}}{n}\mathit{ }\mathit{-}\mathit{ }{\mathit{(}{\overline{X}}_{antes\mathit{ }Reuni}\mathit{ }\mathit{-}\mathit{ }{\overline{X}}_{pós\mathit{ }Reuni}\mathit{)}}^{\mathit{2}}}$

$D\mathit{}\mathit{=}\mathit{}{\overline{\mathit{X}}}_{{}_{\mathit{a}\mathit{n}\mathit{t}\mathit{e}\mathit{s}\mathit{}\mathit{R}\mathit{e}\mathit{u}\mathit{n}\mathit{i}\mathit{}\mathit{t}}}\mathit{}\mathit{-}\mathit{}{\overline{\mathit{X}}}_{\mathit{p}\mathit{ó}\mathit{s}\mathit{}\mathit{R}\mathit{e}\mathit{u}\mathit{n}\mathit{i}\mathit{}\mathit{t}}$

Em que t _c é o valor da estatística t calculada; SD¯ é o erro padrão da diferença entre as médias; n é o tamanho da amostra (35 Ifes); SD é o desvio padrão da distância dos escores das diferenças entre médias ( D ).

Para o processamento e a análise estatística dos dados, adotaram-se os software MS Excel e Statistical Software for Professionals (Stata) na versão 14.0.

4 Resultados e discussões

Os indicadores de desempenho demonstram a eficiência administrativa baseada nos gastos por aluno, alocação e qualidade dos serviços prestados por professores, técnicos administrativos e terceirizados. Nesse sentido, pode-se mensurar a eficiência, a efetividade e a eficácia do processo de expansão promovido pelo Reuni sobre tais indicadores.

A variação dos indicadores de desempenho passou por testes de diferenças entre médias, que permitiu verificar se, estatisticamente, a média de cada indicador antes (2002 e 2008) foi menor que a média depois do Reuni (2009 e 2015).

Sob a hipótese nula das médias dos indicadores serem estatisticamente iguais, e a hipótese alternativa das médias antes do Reuni serem menores – H _a: média (antes Reuni) < média (pós-Reuni) – tem-se os p-valores descritos no Quadro 3 .

Quadro 3
Comparativo por indicadores de desempenho.

Indicadores	Média	Desvio Padrão	Correlação de Pearson	T calculado	p-valor	Conclusão Teste
Custo Corrente com HU/Aluno (Pós)	11.335,06	5.527,23	0,872	-17,699	0,000	RH 0
Custo Corrente com HU/Aluno (Antes)	6.055,32	8.610,94
Custo Corrente sem HU/Aluno (Pós)	14.711,92	3.505,66	0,503	-26,538	0,000	RH 0
Custo Corrente sem HU/Aluno (Antes)	8.414,60	3.910,75
Aluno Tempo Integral/Professor (Pós)	12,02	2,40	0,470	4,204	1,000	NRH 0
Aluno Tempo Integral/Professor (Antes)	12,74	2,76
Aluno/Funcionário com HU (Pós)	4,38	3,28	0,890	-0,215	0,415	NRH 0
Aluno/Funcionário com HU (Antes)	4,35	3,61
Aluno/Funcionário sem HU (Pós)	8,88	2,57	0,606	1,069	0,857	NRH 0
Aluno/Funcionário sem HU (Antes)	9,07	3,48
Funcionário com HU/Professor (Pós)	1,44	1,13	0,820	2,074	0,980	NRH 0
Funcionário com HU/Professor (Antes)	1,58	1,77
Funcionário sem HU/Professor (Pós)	1,45	0,46	0,621	1,645	0,949	NRH 0
Funcionário sem HU/Professor (Antes)	1,50	0,68
GPE (Pós)	0,74	0,14	0,259	8,228	1,000	NRH 0
GPE (Antes)	0,83	0,13
GEPG (Pós)	0,13	0,10	0,560	-4,402	0,000	RH 0
GEPG (Antes)	0,11	0,08
Conceito Capes (Pós)	3,96	0,58	0,590	-5,146	0,000	RH 0
Conceito Capes (Antes)	9,72	0,89
IQCD (Pós)	4,15	0,40	0,812	-24,701	0,000	RH 0
IQCD (Antes)	3,65	0,54
TSG (Pós)	57,30	16,10	0,276	10,658	1,000	NRH 0
TSG (Antes)	71,23	17,81

• Obs: Hipótese alternativa: média do indicador antes Reuni < média pós Reuni; ao nível de significância de 5%.
• HU: Hospital Universitário; GPE: Grau de Participação Estudantil; GPEG: Grau de Envolvimento com a Pós-graduação; IQCD: Indicador de Qualificação do Corpo Docente TSG: Taxa de Sucesso na Graduação.
Fonte: Dados da pesquisa (2019).

Para o indicador custo corrente com HU/aluno equivalente, ao nível de 5% de significância, rejeita-se H ₀ e identifica-se que, em média, o custo corrente com HU/aluno equivalente foi maior depois do Reuni, ou seja, após a execução do programa. A elevação desse indicador, após o Reuni, pode ser justificada pelo aumento dos gastos para manter a nova e reformada estrutura das universidades.

Inclusive, a qualidade da formação discente associa-se à composição do corpo docente em exercício nas atividades de ensino, de pesquisa e de extensão, e à qualidade dos serviços prestados pelos técnicos-administrativos. Desse modo, o indicador visa a quantificar o custo anual por aluno, que reflete as condições de infraestrutura e serviços disponibilizados à comunidade acadêmica ( DALLA NORA, 2014 ).

O resultado de rejeição da hipótese nula de igualdade entre as médias, antes e após o Reuni, repetiu-se no: custo corrente sem HU/aluno equivalente, grau de envolvimento com a pós-graduação (GEPG), conceito Capes/MEC para a Pós-graduação e para o índice de qualificação do corpo docente (IQCD). Nesses, os p-valores foram inferiores ao nível de 5% de significância, ou seja, a média, antes do Reuni, foi estatisticamente menor.

O aumento do custo corrente sem HU/aluno, equivalente após o Reuni, atrela-se ao maior volume de despesas correntes com pessoal e ao custeio decorrente da ampliação de vagas, de cursos e de matrículas promovidas pelo programa. O cálculo do aluno equivalente considera o tempo padrão de conclusão dos cursos de graduação, que varia de quatro a cinco anos. O número maior de alunos ingressantes a partir do Reuni em relação ao quantitativo de concluintes no período de 2007 a 2015 interferiu no cálculo do aluno equivalente.

O funcionamento dos programas de Pós-graduação stricto sensu nas universidades, em relação à atividade de ensino, é avaliado pelo GEPG. Este quantifica o número de alunos vinculados aos programas de Pós-graduação envolvidos com pesquisas em relação ao total de alunos da instituição. Assim, pretende-se mensurar o envolvimento com a pesquisa e a direção das atividades departamentais.

O conceito Capes/MEC mensura o conceito médio dos cursos de Pós-graduação das Ifes, cuja média maior, após o Reuni, pode decorrer da melhoria da qualidade da Pós-graduação stricto sensu, que é avaliada pela Capes. Além disso, as ações de integração e fortalecimento da graduação, como o envolvimento de alunos da Pós-graduação, por meio da concessão de bolsas de assistência ao ensino, devido ao Reuni, permitiram a reestruturação dos departamentos e a expansão da Pós-graduação.

O IQCD avalia a qualificação do corpo docente com base na sua titulação. O crescimento desse indicador pode ser explicado pelo ingresso de docentes com altos níveis de titulação, sobretudo, doutorado, face às exigências dos concursos públicos e à reestruturação da carreira decorrente da criação do banco de professores equivalentes. A contratação de docentes com doutorado, título que os habilita a submeter projetos e pleitear recursos, contribuiu para fortalecer a graduação e os programas stricto sensu, mediante o incremento no financiamento de pesquisas via convênios junto às agências de fomento.

Os testes de diferenças entre médias resultaram em não rejeitar a hipótese de igualdade entre as médias antes e pós Reuni para os indicadores: aluno tempo integral/professor, aluno tempo integral/funcionário com HU, aluno tempo integral/funcionário sem HU, funcionário com HU/professor equivalente, funcionário sem HU/professor equivalente, grau de participação estudantil (GPE) e taxa de sucesso na graduação (TSG).

Nessa perspectiva, a média antes e pós Reuni, estatisticamente igual nos indicadores relacionados a funcionários, pode estar relacionado ao aumento da mão de obra terceirizada. Afinal, a expansão das Ifes, com a criação e a ampliação de cursos e vagas, elevou as matrículas e a demanda pela reestruturação da estrutura física imobilizada e de pessoal.

Tendo em vista a insuficiência de pessoal para realizar as atividades-meio e a extinção de alguns cargos, principalmente das categorias A e B, foi necessária a contratação de mão de obra terceirizada. A reposição da força de trabalho concursada, por servidores terceirizados, visou a complementar o crescimento desproporcional do número de técnicos-administrativos em relação às vagas ampliadas e criadas pelo Reuni após 2007 (SILVA; PREVITALI, 2013).

Ao término do programa, a média do indicador aluno tempo integral/professor equivalente permaneceu, estatisticamente, igual, devido ao aumento de alunos proporcional ao de docentes efetivos, substitutos e temporários na instituição. O indicador relaciona a quantidade de alunos e docentes em exercício. Pressupõe-se uma maior qualidade acadêmica em casos do atendimento de menor quantidade de alunos por professor, pois contribui para melhores condições e reflete, diretamente, no desempenho das atividades de ensino, de pesquisa e de extensão.

A relação aluno tempo integral/funcionário equivalente, com e sem HU, mensura o crescimento do número de alunos matriculados, técnicos-administrativos e mão de obra terceirizada. A contratação de servidores efetivos e terceirizados pode ser insuficiente para cobrir o crescente número de aposentadorias, principalmente dos cargos extintos. Além disso, espera-se que, quanto menor o número de alunos para o funcionário atender, melhor seja a assistência prestada.

Os resultados apontaram que, proporcionalmente à quantidade de alunos, as atividades foram realizadas com mais ou menos funcionários, pois a eficiência no desempenho relacionou-se à otimização dos recursos humanos e financeiros das Ifes. Embora a relação funcionário/ professor equivalente, com e sem HU, esteja vinculada ao número de alunos, ela não é linear. Os professores e técnicos assessoram os alunos no decorrer de sua formação, mas aqueles trabalham na atividade-fim das Ifes, e os técnicos, dedicam-se às atividades-meio.

O corpo docente e técnico-administrativo tendeu à estabilidade com a criação do Banco de Professor Equivalente, em 2007, e do Quadro de Referência dos Servidores Técnico-Administrativos em Educação (QRSTA), em 2010. A reposição dos técnicos das categorias A e B, cujos cargos foram extintos, deu-se pela contratação de terceirizados, apesar de não ter acompanhado as aposentadorias, o que foi agravado pelo atraso na implantação do QRSTA.

A média do GPE, estatisticamente, igual, antes e pós Reuni, aponta que a ampliação de vagas, de cursos e de matrículas na graduação pode ter elevado a taxa de evasão e de retenção de alunos, após 2008. As construções e reformas das estruturas podem refletir no grau de integralização curricular, pois a formação discente relaciona-se ao volume de recursos disponíveis nas instituições, porém, não são suficientes. Outro fator observado, é a possibilidade de os alunos em tempo integral dedicarem-se mais aos estudos e, consequentemente, obterem melhor desempenho e rendimento ( DALLA NORA, 2014 ).

A TSG avalia a realização do curso em tempo regular, cujas médias, estatisticamente, iguais, antes e pós Reuni, sinalizam o não alcance dos resultados esperados de redução das reprovações e evasões, em curto prazo. Por outro lado, o grau de dedicação do corpo discente às atividades acadêmicas está diretamente relacionado à qualidade de sua formação. Além da revisão didático-pedagógica ser uma alternativa para ampliar a velocidade de integralização curricular ou mantê-la no tempo padrão. Afinal, o baixo número de concluintes permaneceu após o Reuni, apesar de o volume de ingressantes ter sido superior aos egressos.

A ampliação da concessão de bolsas do Programa Universidade para Todos (Prouni), e o financiamento estudantil pelo Fundo de Financiamento ao Estudante do Ensino Superior (Fies), podem ter influenciado na queda da taxa de sucesso na graduação das Ifes públicas.

Desse modo, o Reuni refletiu no acréscimo médio dos indicadores de desempenho das Ifes que mensuram o conceito Capes/MEC e o IQCD, apesar da elevação dos gastos para manter as novas e reformadas estruturas universitárias.

5 Considerações finais

O Reuni surgiu com o intuito de expandir a oferta da Educação Superior pública. Assim, o programa foi a principal ação política dos últimos anos para ampliar vagas e cursos nas universidades federais, por meio da reestruturação física imobilizada e de pessoal.

A análise descritiva e comparativa da variação dos indicadores permitiu constatar a elevação dos indicadores custo corrente/aluno equivalente, GEPG, conceito Capes/MEC e IQCD após o Reuni. Durante a implementação do programa, as Ifes aproveitaram o momento propício de crescimento para consolidarem seus programas de Pós-graduação de modo a integrarem com a graduação, melhorarem o desempenho e a qualidade dos cursos. No entanto, o foco do Reuni não foi especificamente a Pós-graduação.

A expansão da Educação Superior, vivenciada pelas universidades, entre 2007 e 2012, ocasionada pelo programa, resultou na ampliação de vagas, cursos e matrículas nos cursos de graduação. Assim, as ações executadas no período buscaram desenvolver e aperfeiçoar os cursos desse nível de ensino.

Nesse sentido, a ação do Estado concretizou-se na formulação e implementação de uma política pública em resposta às demandas da sociedade quanto à Educação Superior. O Reuni, por exemplo, visou ampliar o acesso mediante a definição de diretrizes voltadas para o aumento de matrículas, cursos e vagas, a fim de promover a reestruturação acadêmica e curricular, além de desenvolver e aperfeiçoar os cursos de graduação.

O Reuni foi um conjunto sistêmico de ações programadas e articuladas, para atender às demandas de expansão da Educação Superior pública, considerada na agenda de prioridades do governo para a consecução entre 2007 e 2012. As universidades federais sofreram alterações estruturais, operacionais e administrativas que refletiram no desempenho mensurado pelos indicadores propostos nos Termos da Decisão TCU nº 408/2002.

Os principais efeitos da implementação do Reuni repercutiram sobre o custo corrente, funcionamento dos programas de Pós-graduação, conceito Capes/MEC e qualificação do corpo docente. Afinal, incorreu-se na ampliação da estrutura operacional das Ifes, em relação ao número de vagas, cursos e matrículas, envolvimento com pesquisas, melhoria da qualidade da Pós-graduação ofertada e do grau de titulação do corpo docente.

Acredita-se que o acréscimo da mão de obra terceirizada para a cobertura das aposentadorias e vacâncias em cargos extintos possa ter influenciado na pouca variabilidade dos indicadores referentes a funcionários. Já a taxa de sucesso na graduação sinalizou o não alcance dos resultados esperados de redução das reprovações e evasões no curto prazo.

Como estudos futuros, recomenda-se a análise dos efeitos do Reuni sobre os indicadores de desempenho por grupos de instituições, conforme o ano de fundação, número de alunos ou área construída.

Referências

• BITTENCOURT, M. F. N.; FERREIRA, P. A. As obras na implementação de políticas públicas: o caso do Reuni. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 38., Rio de Janeiro, 2014. Anais[...]. Rio de Janeiro: Anpad, 2011. p. 1-16.
• BRASIL. Decreto nº 6.096, de 24 de abril de 2007. Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni). Diário Oficial da União, Brasília, DF, 25 abr. 2007.
• BRASIL. Lei nº 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação e dá outras providências. Diário Oficial da União, Brasília, DF, 9 jan. 2001.
• BRASIL. Ministério da Educação. A democratização e expansão da educação superior no país: 2003 – 2014: balanço social 2003 - 2014. Brasília, DF, 2015.
• BRASIL. Ministério da Educação. Análise sobre a expansão das Universidades Federais 2003 a 2012: relatório da Comissão Constituída pela Portaria nº 126/2012. Brasília, DF, 2012.
• BRASIL. Ministério da Educação. Reuni 2008: relatório de primeiro ano. Brasília, DF, 2009.
• BRASIL. Tribunal de Contas da União. Decisão 408 – Plenário: relatório consolidado de auditoria operacional. Brasília, DF, 24 abr. 2002.
• BRENNAN, J.; SHAH, T. Quality assessment and institutional change: experiences from 14 countries. Buckingham: Center for Higher Education Research and Information, 2000.
• BRUNI, A. L. Estatística aplicada à gestão empresarial. 2. ed. São Paulo: Atlas, 2010.
• CORRAR, L. J.; THEÓPHILO, C. R. Pesquisa operacional para decisão em contabilidade e administração: contabilometria. 2. ed. São Paulo: Atlas, 2010.
• DALLA NORA, R. Análise da relação entre os indicadores de desempenho das universidades federais da região sul do Brasil e os resultados obtidos no Índice Geral de Cursos (IGC). 2014. Dissertação (Mestrado em Economia) – Programa de Pós-graduação em Economia, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2014.
• DYE, T. R. Mapeamento dos modelos de análise de políticas públicas. In: Heidemann, F. G.; Salm, J. F. Políticas públicas e desenvolvimento. Brasília, DF: Editora UnB, 2010a. p. 99-129.
• DYE, T. R. Understanding public policy. 13. ed. Englewood Cliffs: Prentice Hall, 2010b.
• FARAH, M. F. S. Análise de políticas públicas no Brasil: de uma prática não nomeada à institucionalização do “campo de públicas”. Revista de Administração Pública, Rio de Janeiro, v. 50, n. 6, p. 959-979, nov./dez. 2016. https://doi.org/10.1590/0034-7612150981
  » https://doi.org/10.1590/0034-7612150981
• FISCHER, F.; MILLER, G. J.; SIDNEY, M. S. Handbook of public policy analysis: theory, politics and methods. New York: CRC Press, 2007.
• FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, DF, n. 21, p. 211-259, 2000. Disponível em: http://igepp.com.br/uploads/arquivos/tc-aula05-b-politicaspublicas-frey-fls3-19.pdf . Acesso em: 16 jun. 2019.
  » http://igepp.com.br/uploads/arquivos/tc-aula05-b-politicaspublicas-frey-fls3-19.pdf
• HOUSE, E. R. Tendencias em evaluación. Revista de Educación, Madri, n. 299, p. 43-55, set./dez. 1992.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – Inep. Sinopse estatística da educação superior 2005. Brasília, DF, 2005. Disponível em: http://www.inep.gov.br/superior/censosuperior/sinopse/default.asp . Acesso em: 8 mar. 2019.
  » http://www.inep.gov.br/superior/censosuperior/sinopse/default.asp
• JANNUZZI, P. M. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Estudos em Avaliação Educacional, São Paulo, v. 25, n. 58, p. 22-42, maio/ago. 2014. https://doi.org/10.18222/eae255820142916
  » https://doi.org/10.18222/eae255820142916
• LEVIN, J.; FOX, J. A.; FORDE, D. R. Estatística para ciências humanas. 11. ed. São. Paulo: Pearson Education do Brasil, 2012.
• LIMA, P. G. Políticas de educação superior no Brasil na primeira década do século XXI: alguns cenários e leituras. Revista Avaliação. Sorocaba, v. 18, n. 1, p. 85-105, mar. 2013. https://doi.org/10.1590/S1414-40772013000100006
  » https://doi.org/10.1590/S1414-40772013000100006
• LÓPEZ, R.; THOMAS, V.; WANG, Y. Addressing the education puzzle: the distribution of education and economic reform. Washington: World Bank, 1998. (Policy Research Paper, n. 2.031).
• LOWI, T. American business, public policy, case studies and political theory. World Politics, v. 16, n. 4, p. 677-693, 695, 697, 701, 703, 705, 707, 709, 711, 713, 715, Jul. 1964. https://doi.org/10.2307/2009452
  » https://doi.org/10.2307/2009452
• LUGÃO, R. G. Consequências, limites e potencialidades na implementação do programa Reuni em Ifes de MG: um estudo multicaso. 2011. Dissertação (Mestrado em Administração) – Programa de Pós-graduação em Administração, Universidade Federal de Viçosa, Viçosa, 2011.
• PAUL, J. J.; WOLYNEC, E. O custo do ensino superior nas instituições federais. São Paulo: Núcleo de Pesquisas sobre Ensino Superior, 1990. (Documento de Trabalho, v. 11/90). Disponível em: http://nupps.usp.br/downloads/docs/dt9011.pdf . Acesso em: 12 abr. 2019.
  » http://nupps.usp.br/downloads/docs/dt9011.pdf
• RADAELLI, A. B. Estado e política educacional: Reuni e a expansão do ensino superior público durante o governo Lula. In: JORNADA DO HISTEDBR, 11., Cascavel, 2013. Anais[...]. [S. l.]: HISTEDBR, 2013. p. 27-40.
• RUA, M. G. Políticas públicas. Florianópolis: Departamento de Ciências da Administração/UFSC, 2009.
• SANTOS, C. S.; CASTANEDA, M. V. N. G.; BARBOSA, J. D. Indicadores de desempenho das Ifes da Região Nordeste: uma análise comparativa. In: COLÓQUIO INTERNACIONAL SOBRE GESTÃO UNIVERSITÁRIA NA AMÉRICA DO SUL, 11., Florianópolis, 2011. Anais[...]. Florianópolis: Universidade Federal de Santa Catarina, 2011. p. 1-17.
• SCHWARTZMAN, S. A questão da inclusão social na universidade brasileira. In: SIMPÓSIO UNIVERSIDADE E INCLUSÃO SOCIAL - EXPERIÊNCIA E IMAGINAÇÃO, 2006, Belo Horizonte. Belo Horizonte: Universidade Federal de Minas Gerais, 2006. Disponível em: http://www.schwartzman.org.br/simon/nclusao_ufmg.pdf . Acesso em: 10 abr. 2019.
  » http://www.schwartzman.org.br/simon/nclusao_ufmg.pdf
• SIQUEIRA, J. S.; CAVALCANTE, P. R. N.; LEITE FILHO, P. A. M. Eficiência das universidades públicas federais nordestinas: qual o impacto do Reuni? In: CONGRESSO ANPCONT, 9., 2015, Curitiba. Anais[...]. São Paulo: Anpcont, 2015. p. 1-19.
• SILVA, R. M.; PREVITALI, F. S. A terceirização no setor público brasileiro: um estudo acerca da terceirização na Universidade Federal de Uberlândia e seus impactos na qualidade do ensino. Disponível em: https://bit.ly/350uuZK Acesso em 10 maio 2019.
  » https://bit.ly/350uuZK
• SOUZA, L. G. Avaliação de políticas educacionais: contexto e conceitos em busca da avaliação pública. In: LORDÊLO, J. A. C.; DAZZANI, M. V. (org.). Avaliação educacional: desatando e reatando nós. Salvador: EDUFBA, 2009. p. 1-17.
• TAVARES, M. G. M; OLIVEIRA, M. A. A.; SEIFFERT, O. M. L. B. Avaliação da educação superior na revista Ensaio: Avaliação e Políticas Públicas em Educação: ênfases e tendências. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 19, n. 71, p. 233-258, abr./jun. 2011. https://doi.org/10.1590/S0104-40362011000300002
  » https://doi.org/10.1590/S0104-40362011000300002
• TEIXEIRA, E. C. O papel das políticas públicas. AATR-BA, 2002. Disponível em: http://www.dhnet.org.br/dados/cursos/aatr2/a_pdf/03_aatr_pp_papel.pdf . Acesso em: 17 jun. 2019.
  » http://www.dhnet.org.br/dados/cursos/aatr2/a_pdf/03_aatr_pp_papel.pdf
• VIANA, A. L. Abordagens metodológicas em políticas públicas. Revista de Administração Pública, Rio de Janeiro, v. 30, n. 2, p. 5-43, mar./abr, 1996. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/8095/6917 . Acesso em: 17 jun. 2019.
  » http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/8095/6917
• VONBUN, C.; MENDONÇA, J. L. O. Educação superior uma comparação internacional e suas lições para o Brasil. Brasília, DF: Instituto de Pesquisa Econômica Aplicada, 2012. (Texto para discussão, v. 1720).

Datas de Publicação

• Publicação nesta coleção
  08 Maio 2020
• Data do Fascículo
  Oct-Dec 2020

Histórico

• Recebido
  22 Jul 2018
• Aceito
  26 Nov 2019