Avaliação dos impactos do Programa de Apoio a Planos de Expansão e Reestruturação das Universidades Federais Brasileiras^*

Evaluation of the impacts of the initiative Programa de Apoio a Planos de Expansão e Reestruturação das Universidades Federais Brasileiras

Evaluación de los impactos del Programa de Apoyo a Planes de expansión y Restructuración de las Universidades Federales Brasileñas

Resumo:

A avaliação de políticas públicas constitui área científica de relevo, pois permite que a sociedade tenha acesso a informações vitais para a valoração de ações estatais e a transparência da gestão pública. O estudo objetivou averiguar os impactos da operacionalização da política pública denominada Programa de Apoio a Planos de Expansão e Reestruturação das Universidades Federais Brasileiras (Reuni) no âmbito da Universidade Federal do Ceará (UFC). Trata-se de uma política pública voltada ao incremento de vagas e cursos, à democratização do acesso e da permanência do alunado, à indução de novas formas de gestão acadêmica e de ensino, à inclusão social e ao aprimoramento da eficiência universitária. Empregaram-se dados secundários da titulação dos docentes, do acervo bibliográfico, da qualidade da graduação e da qualidade da pós-graduação, considerando-se os períodos anterior (2003 a 2008) e posterior (2010 a 2016) à implementação do Reuni. As análises estatísticas efetivadas mediante o teste Anova revelaram diferenças significativas nos valores médios referentes à titulação dos docentes, à expansão do acervo bibliográfico, à qualidade da graduação e à qualidade da pós-graduação nos referidos períodos. Portanto, identificou-se o relevo do Reuni, corroborado pelos impactos positivos nas variáveis institucionais estudadas, decorrentes de sua implementação na UFC.

Palavras-chave:
avaliação de impactos; avaliação educacional; educação superior; políticas públicas

Abstract:

The evaluation of public policies is an important scientific area as it allows society to access vital information to appraise state actions and the transparency of public management. This study investigates the impacts of the implementation of the public policy entitled Programa de Apoio a Planos de Expansão e Reestruturação das Universidades Federais Brasileiras (Reuni) at the Federal University of Ceará (UFC). This public policy aims at increasing vacancies and programs, democratizing student access and permanence, inducing new forms of academic management and teaching, improving university efficiency, and social inclusion. It was used secondary data on teachers' qualifications, the bibliographic collection, the quality of undergraduate studies and the postgraduate qualifications, considering periods prior (2003 to 2008) and subsequent (2010 to 2016) to the implementation of Reuni. Statistical analyzes using the Anova Test revealed significant differences in mean values related to teachers' qualifications, expansion of the bibliographic collection, graduation quality and post-graduation quality, on the aforementioned periods. Therefore, the importance of Reuni is made evident, corroborated by positive impacts on the institutional variables studied, resulting from its implementation in the UFC.

Keywords:
educational evaluation; higher education; impact evaluation; public policies

Resumen:

La evaluación de políticas públicas es un área científica importante, ya que permite que la sociedad tenga acceso a información vital para la valoración de las acciones estatales, contribuyendo así a la transparencia de la gestión pública (rendición de cuentas) y al fortalecimiento de la democracia, de acuerdo con los principios defendidos por Ralph Tyler. Por otro lado, a juicio de Judy Baker, evaluar los impactos de una acción intencional supone mirar al pasado, para identificar los efectos atribuibles a esa actividad. El estudio tuvo como objetivo averiguar los impactos resultantes del Programa de Apoyo a Planes de Expansión y Restructuración de las Universidades Federales Brasileñas (Reuni) en la Universidade Federal de Ceará (UFC). Se trata de una política pública cuyo foco es el incremento de vagas y cursos, la democratización del acceso y permanencia del alumnado, la inducción de nuevas formas de gestión académica y de enseñanza, la inclusión social y el perfeccionamiento de la eficiencia universitaria. Se han empleado datos secundarios sobre (i) la titulación de los docentes, (ii) el acervo bibliográfico, (iii) la calidad de la graduación y (iv) la calidad del posgrado, llevándose en cuenta los períodos anteriores (2003 al 2008) y posteriores (2010 al 2016) a la implementación del Reuni. Los análisis estadísticos hechos por medio del test Anova han revelado diferencias significativas en los valores medios referentes a la titulación de los docentes, expansión del acervo bibliográfico, calidad de la graduación y del posgrado en los períodos estudiados. Por lo tanto, se ha identificado el relevo del Reuni, corroborado por los impactos positivos sobre las variables institucionales estudiadas, decurrentes de la implementación en la UFC.

Palabras clave:
educación superior; evaluación de impactos; evaluación educativa; políticas públicas

1. Políticas públicas: relevância para a educação superior

Ao dar ênfase ao ciclo de uma política pública, Frey (2000) realça quatro etapas: percepção e definição de problemas; elaboração de programas e decisão; implementação; avaliação para a correção e aperfeiçoamento. Considerando que esta última fase é de interesse para o presente estudo, deve-se enfatizar o que significa avaliar uma política pública. Segundo Andriola (1999), a avaliação é uma atividade racional que tem a pretensão de obter informações científicas e úteis acerca do objeto analisado, com duplo propósito: permitir sua valoração e possibilitar seu aprimoramento. Assim, a avaliação deve compor obrigatoriamente o ciclo das políticas públicas, dada sua relevância para identificar as repercussões e os impactos destas (Araújo; Andriola; Coelho, 2018).

Desde seus primórdios, na década de 1960, a avaliação de políticas púbicas sofreu mudanças, pois, inicialmente, se dava ênfase ao fornecimento de informações científicas, garantindo o feedback (Sousa; Andriola; Lima, 2016). Na década de 1980, quando se buscou mais eficiência no uso dos recursos, focou-se na análise da alocação orçamentária (Faria, 2005; Souza, 2003). A partir de 1990, o foco deslocou-se para o papel do Estado, atendendo a exigências de se verificar os resultados dos investimentos públicos (Trevisan; Bellen, 2008).

Nos últimos anos, observou-se um movimento global para criar políticas nacionais de avaliação, com o fito de analisar a relevância, a eficácia, a eficiência e a efetividade de programas públicos (Andriola; Suliano, 2015). Trata-se de um movimento cujo nascedouro remonta às ideias de Michael Scriven (1969) sobre meta-avaliação e accountability. Hodiernamente, focaliza-se a accountability numa perspectiva ampla, como atividade a serviço dos ideais democráticos, na qual administradores públicos têm o dever de buscar aquilo que Platão, Aristóteles e Cícero trataram como “o bem comum” (Rocha, 2011). Portanto, accountability é uma perspectiva de transparência e de controle da coisa pública, por meio de sistemáticas de avaliação que geram informações relevantes acerca dos recursos empregados na execução dos programas e dos resultados das políticas públicas (Scriven, 1994), expressando, assim, as noções de responsabilização, transparência e prestação de contas à sociedade (Andriola; Oliveira, 2015).

Contudo, esse conceito surgiu abarcando aspectos mais amplos, pois accountability associava-se, também, às questões financeiras e contábeis, sendo inexorável aos estudos de políticas e programas subsidiados com recursos públicos (Afonso, 2009). Trata-se de uma função de suma importância, especialmente quando o objeto de avaliação é uma política pública que demandou recursos financeiros públicos (Andriola, 2004).

Portanto, é, sobretudo, esse último aspecto que justifica a presente pesquisa, cujo objetivo foi avaliar os impactos do Programa de Apoio a Planos de Expansão e Reestruturação das Universidades Federais (Reuni), no âmbito Universidade Federal do Ceará (UFC).

2. Avaliação de impactos

A avaliação de impactos surgiu com as teorizações do norte-americano Ralph Winfred Tyler, em 1930, baseadas na ideia de que os efeitos de uma ação intencional deveriam ser identificados, de modo a realçar a relevância desta e proporcionar prova empírica da relação de causalidade entre a ação e os seus efeitos (Tyler, 1949). Draibe (2001) diferenciou os termos resultado, efeito e impacto: resultado é o produto direto e previamente estabelecido de uma ação; efeito é a influência oriunda da ação, que acabou por repercutir no meio; e impacto é o resultado de uma mudança de longo prazo atribuível à ação executada.

Assim, impacto é uma relação causal entre uma intervenção e seus resultados (Mohr, 1992), o que se coaduna com as ideias de Scriven (1994), para quem a avaliação de impacto deve focar os resultados. Bickman (2005) pondera, no entanto, que as avaliações de impacto devem verificar em que grau as mudanças podem ser atribuídas a uma intervenção e não a outros fatores. O Glossary of Key Terms in Evaluation and Results Based Management, da Organização para Cooperação e Desenvolvimento Econômico (OCDE), define impacto como efeito de longo prazo produzido por uma intervenção, corroborando Baker (2000), que entende a avaliação de impacto como atividade para determinar se um programa teve os efeitos desejados sobre indivíduos, famílias ou instituições, e se são atribuíveis à ação.

2.1 Avaliação de impactos e causalidade

Para Leeuw e Vaessen (2009), o conhecimento sobre os efeitos produzidos por uma intervenção requer uma estimativa precisa do que ocorreria na ausência dela. Baker (2000) também defende que o cálculo do contrafactual deve compor a metodologia usada numa avaliação de impactos. A OECD (2006) destaca que o contrafactual é uma situação hipotética que prevaleceria para indivíduos, organizações ou grupos, na ausência de uma intervenção.

Leeuw e Vaessen (2009) e Bauer (2010) indicam que vários fatores podem afetar os resultados, de modo que o diferencial da avaliação de impacto é ir além do factual, sendo necessário descobrir o valor agregado decorrente da intervenção. Assim, após resolver o “problema de atribuição”, é imprescindível tentar isolar e medir, com máxima precisão, o contributo particular de uma intervenção, estimando o que teria acontecido na ausência desta, ou seja, determinando o contrafactual, conforme ilustrado na Figura 1, a seguir.

Figura 1
O modelo contrafactual de Leeuw e Vaessen

A Figura 1 representa o que hipoteticamente aconteceria na ausência da intervenção, mediante a linha tracejada descontínua, que estabelece relação causal entre a e c, denotando, assim, o contrafactual. A linha tracejada contínua estabelece relação causal entre a e b, enfatizando o que de fato ocorreu após a intervenção (cenário factual). Assim, a ação (representada por a) pode ter o seu impacto averiguado pelo estabelecimento da diferença entre b e c, ou seja, pela diferença entre o factual e o contrafactual. No caso de a diferença ser favorável ao factual, conclui-se que houve valor agregado pela ação intencionalmente executada, implicando impacto positivo.

2.2 Avaliação de impactos ex-ante e ex-post facto

Tyler (1949) preconizou a existência de diversidade de métodos e técnicas que podem ser usadas para se obter dados válidos e fidedignos num processo avaliativo. Jick (1979) e Cohen e Franco (2004) argumentam que a combinação de diversas metodologias pode maximizar a eficácia da avaliação de impactos. Outrossim, caso haja convergência entre os resultados de distintos métodos, as inferências sobre a natureza e a magnitude dos impactos serão fortalecidas (Baker, 2000).

É importante distinguir a avaliação de impacto ex-post da avaliação de processos ou formativa. Este último tipo pode ser realizado no curso de uma intervenção, pois o objetivo central é aprimorar a eficiência da implementação (Scriven, 1969). Já a avaliação do tipo ex-post tem como propósito contribuir para futuras tomadas de decisões, com o fito de aquilatar a qualidade da ação, por meio do incremento da eficácia, da efetividade e da relevância social (Andriola, 2001). Assim, enquanto a avaliação de processos olha para frente, realizando correções e adequações, a avaliação de impacto olha para trás, descobrindo causas e efeitos.

3. O Reuni como política pública

Consoante Saviani (1999), no Brasil, a ideia de propor planos educacionais remonta à década de 1930 e sua primeira manifestação explícita ocorreu em 1932, com o “Manifesto dos Pioneiros da Educação Nova”. Nesse documento previa-se a necessária unidade de objetivos e visões desenvolvimentistas, aliada ao espírito de continuidade, para se criar um sistema de organização educacional à altura das necessidades do País, naquela ocasião.

No caso específico do Plano Nacional da Educação (PNE), desenhado para o decênio 2001-2020, o plano é resultado da correlação das forças sociais gerais, voltadas à definição de políticas educacionais com foco numa determinada formação social, relevante para um determinado momento histórico-político (Neves et al., 1984). Dessa perspectiva, percebe-se a complexa relação existente na época, que envolvia uma particular visão de Estado e as demandas de segmentos sociais organizados, voltadas à educação pública como garantia de um Estado atuante e zelador da democracia. Nesse cenário surgiu o Reuni, com o objetivo central de dotar as universidades federais das condições necessárias para ampliar o acesso e garantir a permanência de pelo menos 30% dos universitários de 18 a 24 anos de idade, conforme o PNE (Lei nº 10.172/2001). Ademais, o Reuni pretendeu induzir revisões na organização didático-pedagógica dos novos cursos, para ocasionar mudanças em dois indicadores de desempenho: a taxa de sucesso na graduação (TSG) e a ratio discentes de graduação/docentes (Rocha, 2018).

Essa demanda social pela expansão de Instituições Federais de Ensino Superior (Ifes) e vagas de graduação, bem como pela melhoria da qualidade da oferta de cursos, exigiu a contratação de novos recursos humanos destinados às universidades federais que, em 2011, totalizou quase 69 mil docentes e 105 mil funcionários técnico-administrativos, com previsão orçamentária de quase R$ 23.6 bilhões (Lima; Machado, 2016). Ademais, tornou-se necessário investir em políticas de inclusão e de assistência estudantil para garantir a democratização do acesso e a permanência do alunado, o que ocasionou, em 2011, o investimento de R$ 395 milhões direcionados ao Programa Nacional de Assistência Estudantil (Pnaes). O Reuni induziu, ainda, a criação de cursos de graduação noturnos, buscando atrair um novo perfil de alunado, que resultou em demandas diferenciadas e em adaptações diversificadas, principalmente no que tange às abordagens de ensino e aprendizado.

Portanto, o novo cenário da educação superior nas duas primeiras décadas do século 21 colocou as Ifes brasileiras em uma encruzilhada. Por um lado, são cada vez mais cobradas com relação à eficiência, à qualidade dos processos formativos, ao desenvolvimento da pesquisa e à produção de conhecimentos científicos que respondam aos desafios e aos problemas sociais, econômicos, políticos e culturais. Nessa direção, organismos supranacionais reclamam dos governos centrais de países em desenvolvimento maior eficiência na diminuição da pobreza e do analfabetismo, que se dá, sobretudo, com sólidos investimentos educacionais. Por outro lado, há pressões da sociedade por retornos visíveis em inovações que ocasionem melhorias na qualidade de vida da população em geral, pois as Ifes são financiadas pelo contribuinte (Marra; Melo, 2005).

Desse modo, o Reuni foi idealizado como uma política pública com vistas a contribuir para o incremento de vagas e cursos, a democratização da permanência do alunado, a indução de novas formas de gestão acadêmica e de ensino, a inclusão social e a maior eficiência das Ifes. Não obstante, nem sempre tais objetivos foram efetivamente alcançados, conforme a seguir apresentado.

Com o intento de analisar os principais resultados proporcionados pelo Reuni, Magalhães e Martins Real (2018) ¹constataram que diversos estudos convergiram para o diagnóstico de que a referida política pública não alcançou as principais metas propostas, relacionadas aos três mais relevantes eixos: taxas de conclusão discente em cursos de graduação, reestruturação curricular e otimização da razão estudantes de graduação/docente. Contudo, informações decorrentes de pesquisas reforçam a ocorrência da ampliação das taxas de ingresso e a diversificação do perfil dos estudantes, incluindo-se aqueles oriundos de escolas públicas e em situação de vulnerabilidade socioeconômica (Ristoff, 2014).

Magalhães e Martins Real (2018) destacaram a inexistência de ações de assistência para garantir a permanência estudantil, bem como ações de gestão acadêmica para incrementar as taxas de aprovação e de diplomação. Lugão, Abrantes e Brunozi Júnior (2015) acentuaram que poderia haver resultados negativos, dada a ausência de planejamento institucional para se obter indicadores de desempenho tão elevados, como é o caso da taxa de conclusão de graduação, que deveria alcançar 90%. Asseveram os autores que o Reuni esteve mais direcionado à expansão de vagas na graduação do que à reestruturação acadêmico-curricular, pois não foram verificados avanços significativos nesse aspecto na ampla maioria das universidades federais brasileiras.

De fato, conforme Trevizan e Novaes (2015), a reestruturação acadêmico-curricular não foi implementada com a contundência necessária, diante da diversidade do alunado e das novas demandas sociais. Os autores ressaltaram, ainda, que:

A flexibilização das estruturas curriculares ocorreu através da redução do número de pré-requisitos, sendo mantidos somente os pré-requisitos considerados imprescindíveis ao bom rendimento escolar, redução de disciplinas obrigatórias e aumento do número de disciplinas optativas, bem como do uso das tecnologias educacionais, disponibilizando carga horária semipresencial nos cursos presenciais (Trevizan; Novaes, 2015, p. 229).

Portanto, pelo visto, o Reuni não conseguiu solucionar um grave empecilho que se faz presente nas universidades federais: modelos curriculares que prezam pela hierarquização do conteúdo, pela pouca flexibilização e pela excessiva carga horária em sala de aula. As ações acadêmicas voltadas à reestruturação curricular parecem não ter surtido os efeitos ansiados e desejados pela comunidade universitária. Nos poucos casos em que tal ocorreu, foi de modo muito parcimonioso, precário e superficial (Trevizan; Novaes, 2015).

No que tange aos efeitos do Reuni sobre o desempenho das universidades federais, Moura e Passos (2015) se debruçaram sobre os indicadores exigidos anualmente pelo Tribunal de Contas da União (TCU). As análises revelaram a qualidade de 53 universidades partícipes do estudo em dois aspectos: i) taxa de sucesso na graduação (TSG) - tão somente 13,2% (n = 7) alcançaram 90%, valor estipulado pelo Reuni; ii) razão aluno integral/professor - expressiva maioria das universidades (74,6% ou n = 39) alcançou o valor médio 12, com mínimo 9 e máximo 15, portanto, muito abaixo do valor idealizado, que era 18. Moura e Passos (2015) foram contundentes em suas interpretações: o Reuni fracassou, considerando-se os dois indicadores referidos.

Paula, Faroni e Baeta (2016) analisaram dados secundários de 63 universidades federais brasileiras e atestaram que, no estado de Minas Gerais, nenhuma universidade havia alcançado o ratio 18 para o indicador aluno integral/professor. O valor médio encontrado no período analisado (2007 a 2014) foi 11,81, com máximo de 16,89 e mínimo de 5,16. Quanto à TSG, no período de 2007 a 2011 houve cinco universidades mineiras (7,94% do total) que alcançaram valores superiores ou equivalentes a 90%, honrando, assim, o valor idealizado pelo Reuni. Não obstante, no período de 2012 a 2014, a média aritmética simples do TSG alcançou o valor de 77,41%, abaixo do estipulado pelo Reuni. Portanto, os resultados de Paula, Faroni e Baeta (2016) corroboraram os achados de Moura e Passos (2015) e convergiram para a visão de que o Reuni fracassou, considerando-se os dois indicadores referidos.

Passos, Quaresma e Santos Dias (2017) compararam os valores médios dos dois indicadores (TSG e ratio aluno integral/professor) num universo de 53 universidades federais. Conforme relataram, a relação média aluno integral/professor passou de 12 para 11,7, enquanto a TSG declinou de 65,99% para 50,32%. Assim, os autores concluíram que o Reuni não produziu os efeitos desejados sobre o desempenho das universidades. Apesar disso, Araújo e Santos (2014) demonstraram a extrema relevância do Reuni para o crescimento institucional, com o reconhecimento da comunidade interna e da equipe gestora, acerca dos impactos positivos quanto à democratização do ensino e à ampliação das vagas ofertadas à sociedade.

Diante das exposições sobre a relevância das políticas públicas voltadas à educação superior e da necessidade de garantir a avaliação delas, com o fito de prestar contas à sociedade (accountability), a presente pesquisa objetivou avaliar os impactos oriundos da implementação do Reuni na Universidade Federal do Ceará (UFC), identificando seus efeitos sobre quatro indicadores institucionais: i) titulação dos docentes; ii) acervo bibliográfico; iii) qualidade da graduação; e iv) qualidade da pós-graduação.

4. Metodologia e design do estudo

A pesquisa visou comparar a fase anterior ao Reuni (anos 2003 a 2008) com a fase posterior (anos 2010 a 2016), o que implicou uma investigação ex-post facto, de natureza descritiva, em consonância com Leeuw e Vaessen (2009) e Cohen e Franco (2004).

4.1 Dados empregados

Utilizaram-se dados secundários da UFC (2019), com respeito aos indicadores: i) titulação dos docentes; ii) acervo bibliográfico; iii) qualidade da graduação; e iv) qualidade da pós-graduação. Os dados foram organizados e submetidos a análises estatísticas, empregando-se o Statistical Package for the Social Sciences (SPSS - version 17.0).

5. Resultados principais

Apresentar-se-ão resultados descritivos (tendência central e variabilidade) e inferenciais, decorrentes da comparação das variáveis consideradas, recorrendo-se ao teste denominado Análise de Variância (Anova), conforme Kerlinger e Lee (2000).

5.1 Titulação docente

5.1.1 Análises descritivas

A Tabela 1 apresenta informações acerca do quantitativo e da titulação dos docentes, nos períodos anterior e posterior ao Reuni.

Tabela 1
Estatística descritiva da titulação dos docentes, antes e após o Reuni

Titulação docente		Média	Desvio-padrão	Erro-padrão	Mínimo	Máximo
Doutor	Antes	814,3	129,0	52,7	668	1.002
	Depois	1.366,6	176,7	62,5	1.082	1.634
	Total no período	1.129,9	322,0	86,1	668	1.634
Mestre	Antes	414,3	49,7	20,3	354	481
	Depois	495,1	61,8	21,9	416	558
	Total no período	460,5	68,8	18,4	354	558

• Fonte: Elaboração própria.

No período anterior ao Reuni, o contingente de docentes com doutorado variou de 668 a 1.002 (crescimento de 50%). No período posterior, o quantitativo de docentes doutores variou de 1.082 a 1.634 (incremento de 51%). Houve, portanto, similaridade no incremento de doutores nos períodos analisados.

Ainda consoante a Tabela 1, no período anterior ao Reuni, o contingente de docentes com mestrado variou de 354 a 481 (crescimento de 35,9%), enquanto no período posterior ao Reuni o contingente variou de 416 a 558 (incremento de 34,1%). Portanto, o incremento de docentes mestres nos períodos analisados foi muito similar, tal qual ocorreu com os docentes doutores.

5.1.2 Análises inferenciais

Para averiguar possível diferença entre a média de docentes com doutorado nos períodos anterior (µ1 = 814,3) e posterior (µ2 = 1366,7) ao Reuni, recorreu-se à Anova, conforme a Tabela 2.

Tabela 2
Comparação dos valores médios de docentes com doutorado, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Docentes com doutorado	Entre grupos	1.045.803,720	1	1.045.803,720	41,567	0,000
	Intragrupos	301.911,208	12	25.159,267
	Total	1.347.714,929	13

• Fonte: Elaboração própria.

Detectou-se diferença significativa entre a média de docentes com doutorado no período anterior (µ1 = 814,3) e posterior (µ2 = 1366,7) ao Reuni, conforme a Anova (F = 41,567; p < 0,001). Como o valor médio de docentes com doutorado foi muito superior no período posterior ao Reuni (incremento de 67,8%), pode-se atribuir a causa desse resultado à referida política educacional.

Para identificar possível diferença entre o valor médio de docentes com mestrado nos períodos anterior e posterior ao Reuni, usou-se a Anova, conforme a Tabela 3.

Tabela 3
Comparação dos valores médios de docentes com mestrado, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Docentes com mestrado	Entre grupos	22.379,292	1	22.379,292	6,874	0,022
	Intragrupos	39.070,208	12	3.255,851
	Total	61.449,500	13

• Fonte: Elaboração própria.

O teste Anova (F = 6,874; p < 0,05) detectou diferença significativa entre a média de docentes com mestrado no período anterior (µ1 = 414,3) e posterior (µ2 = 495,1) ao Reuni. Como o valor médio de docentes com mestrado foi superior no período posterior ao Reuni (incremento de 19,5%), pode-se atribuir a causa do resultado à ação governamental.

5.2. Acervo bibliográfico

5.2.1. Análises descritivas

Analisou-se o quantitativo de títulos e de exemplares disponibilizados à comunidade acadêmica, antes e após o Reuni, conforme a Tabela 4.

Tabela 4
Estatística descritiva do acervo bibliográfico, antes e após o Reuni

Acervo bibliográfico		Média	Desvio-padrão	Erro-padrão	Mínimo	Máximo
Títulos	Antes	94.754,7	9.828,7	4.012,6	82.556	106.948
	Depois	157.744,9	27.940,2	9.878,4	115.282	186.859
	Total no período	130.749,1	38.780,8	10.364,6	82.556	186.859
Exemplares	Antes	203.893,0	22.975,0	9.379,5	173.362	232.778
	Depois	480.369,3	114.945,5	40.639,4	341.026	717.436
	Total no período	361.879,4	165.762,5	44.301,9	173.362	717.436

• Fonte: Elaboração própria.

No período anterior ao Reuni, o quantitativo de títulos variou de 82.556 a 106.948 (crescimento de 29,6%), enquanto no período posterior o quantitativo variou de 115.282 a 186.859 (aumento de 62,1%). O incremento de títulos mais acentuado no período posterior ao Reuni remete como causa à implementação da política pública.

Antes do Reuni, o universo de exemplares variou de 173.362 a 232.778 (crescimento de 34,3%), enquanto no período posterior ao Reuni o contingente de exemplares variou de 341.026 a 717.436 (aumento de 110%). Assim, o incremento de exemplares deu-se mais acentuadamente no período posterior ao Reuni, possibilitando inferir-se a política pública como sendo a causa.

5.2.2 Análises inferenciais

Para averiguar a diferença entre o valor médio de títulos nos períodos antes e após o Reuni, usou-se o teste Anova, conforme a Tabela 5.

Tabela 5
Comparação dos valores médios de títulos, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Títulos bibliográficos	Entre grupos	13.603.770.328,720	1	13.603.770.328,720	27,447	0,000
	Intragrupos	5.947.614.152,208	12	495.634.512,684
	Total	19.551.384.480,929	13

• Fonte: Elaboração própria.

Detectou-se diferença significativa entre a média de títulos no período anterior (µ1 = 94.754,7) e posterior ao Reuni (µ2 = 157.744,9), conforme a Anova (F = 27,447; p < 0,001). Como o valor médio de títulos foi muito superior no período posterior ao Reuni (incremento de 66,5%), pode-se atribuir a causa à referida política governamental.

Para identificar diferença entre o valor médio de exemplares nos períodos antes e após o Reuni, usou-se o teste Anova, conforme a Tabela 6.

Tabela 6
Comparação dos valores médios de exemplares, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Exemplares bibliográficos	Entre grupos	262.076.971.933,929	1	262.076.971.933,929	33,06	0,000
	Intragrupos	95.126.571.991,500	12	7.927.214.332,625
	Total	357.203.543.925,429	13

• Fonte: Elaboração própria.

Detectou-se diferença significativa entre a média de exemplares no período anterior (µ1 = 203.893) e posterior ao Reuni (µ2 = 480.369,3), consoante a Anova (F = 33,06; p < 0,001). Sendo o valor médio de exemplares superior no período posterior ao Reuni (incremento de 136%), pode-se atribuir a causa à referida política pública.

5.3 Ensino de graduação

5.3.1. Análises descritivas

Na análise da graduação, consideraram-se: i) os cursos existentes; ii) as vagas ofertadas; iii) os alunos regularmente matriculados; iv) os alunos diplomados; e v) as bolsas ²destinadas ao alunado. Na Tabela 7, constam dados acerca dessas cinco variáveis.

Tabela 7
Estatística descritiva do ensino de graduação, antes e após o Reuni

Graduação		Média	Desvio-padrão	Erro-padrão	Mínimo	Máximo
Cursos existentes	Antes	53	0,000	0,000	53	53
	Depois	103,25	11,901	4,208	76	114
	Total no período	81,71	27,244	7,281	53	114
Vagas ofertadas	Antes	3.904,8	362,8	148,1	3.585	4.484
	Depois	5.981	367,7	130,0	5.524	6.378
	Total no período	5.091,2	1.122,6	300,0	3.585	6.378
Alunos matriculados	Antes	20.587,8	1.151,3	470,0	19.360	22.500
	Depois	24.787,8	1.911,6	675,8	20.958	26.782
	Total no período	22.987,8	2.670,1	713,6	19.360	26.782
Alunos diplomados	Antes	2.742,8	425,4	173,7	2.097	3.167
	Depois	2.765,3	197,5	69,8	2.481	3.039
	Total no período	2.755,6	301,2	80,5	2.097	3.167
Bolsas de estudo	Antes do Reuni	2.131,5	699,6	285,6	1.643	3.433
	Depois do Reuni	3.756,4	862,9	305,1	3.081	5.847
	Total no período	3060	1.133,8	303,0	1.643	5.847

• Fonte: Elaboração própria.

Antes do Reuni havia 53 cursos de graduação, enquanto no período posterior havia 114. Esse aumento de 115% nos cursos deveu-se, portanto, ao Reuni. No que tange ao número de vagas ofertadas, antes do Reuni houve variação de 3.585 para 4.484, implicando crescimento de 25,1%. Após o Reuni, a oferta variou de 5.524 a 6.378 (aumento de 15,5%). Ao compararem-se os valores médios antes e após o Reuni, constatou-se incremento de 42,2% (4.484 para 6.378 vagas), possibilitando atribuir o aumento na oferta de vagas ao Reuni.

Com respeito ao número de alunos matriculados na graduação, encontrou-se variação de 19.360 para 22.500 antes do Reuni (crescimento de 16,2%). Após o Reuni, o número de alunos matriculados variou de 20.958 a 26.782 (incremento de 27,8%). Observa-se que o acréscimo de alunos matriculados na graduação foi superior no período posterior ao Reuni. Ademais, constatou-se aumento de 38,3% no número de alunos matriculados antes (n = 19.360) e depois do Reuni (n = 26.782), o que proporciona duas interpretações distintas e factíveis: i) o acréscimo no número de alunos matriculados na graduação é resultado do incremento da oferta de vagas; e ii) houve perda de eficiência nos processos de formação do alunado, fomentando o aumento residual de aprendizes que não conseguiram concluir os cursos no tempo idealizado pelos respectivos projetos pedagógicos.³

No que tange às bolsas destinadas aos alunos de graduação, verificou-se que antes do Reuni variaram de 1.643 para 3.433 (crescimento de 109%) e após o Reuni variaram de 3.081 a 5.847 (incremento de 89,8%). Constatou-se, ainda, que antes do Reuni houve variação de 2.097 para 3.167 nas diplomações (crescimento de 51%) e após o Reuni o número de diplomados variou de 2.481 a 3.039 (incremento de 22,5%).

5.3.2 Análises inferenciais

Na Tabela 8, constam os resultados do teste Anova para a comparação dos valores médios dos cursos de graduação ofertados, antes e após o Reuni.

Tabela 8
Comparação dos valores médios de cursos existentes, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Cursos existentes	Entre grupos	8.657,357	1	8.657,357	104,779	0,000
	Intragrupos	991,500	12	82,625
	Total	9.648,857	13

• Fonte: Elaboração própria.

Detectou-se diferença significativa entre os valores médios dos cursos ofertados no período anterior (µ1 = 53) e posterior ao Reuni (µ2 = 103,25), conforme a Anova (F = 104,779; p < 0,001). Como o valor médio foi superior no período posterior ao Reuni (incremento de 94,8%), pode-se atribuir a causa desse resultado à referida política pública.

Para identificar a diferença entre vagas ofertadas antes e após o Reuni, recorreu-se ao teste Anova, conforme a Tabela 9.

Tabela 9
Comparação dos valores médios de vagas ofertadas, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Vagas ofertadas	Entre grupos	14.778.747,524	1	14.778.747,524	110,526	0,000
	Intragrupos	1.604.552,833	12	133.712,736
	Total	16.383.300,357	13

• Fonte: Elaboração própria.

Houve diferença significativa entre a média de vagas ofertadas antes (µ1 = 3.904,8) e após o Reuni (µ2 = 5.981), consoante a Anova (F = 110,526; p < 0,001). Como o valor médio de vagas ofertadas foi superior no período posterior ao Reuni, pode-se atribuir à referida política pública a causa desse resultado.

Quanto aos alunos matriculados, para identificar a diferença entre os valores médios antes e após o Reuni, usou-se o teste Anova, conforme a Tabela 10.

Tabela 10
Comparação dos valores médios de alunos matriculados na graduação, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Alunos matriculados	Entre grupos	60.477.600,024	1	60.477.600,024	22,534	0,000
	Intragrupos	32.205.866,333	12	2.683.822,194
	Total	92.683.466,357	13

• Fonte: Elaboração própria.

Identificou-se diferença significativa entre a média de alunos matriculados antes (µ1 = 20.587,8) e após o Reuni (µ2 = 24.787,8), conforme a Anova (F = 22,534; p < 0,001). Como o valor médio de vagas ofertadas foi superior no período posterior ao Reuni (incremento de 20,4%), pode-se atribuir a causa desse resultado à referida política pública.

Para averiguar a diferença entre os valores médios da oferta de bolsas aos alunos graduandos, antes e após o Reuni, usou-se o teste Anova, conforme Tabela 11.

Tabela 11
Comparação dos valores médios das bolsas para alunos de graduação, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Bolsas de graduação ofertadas	Entre grupos	9.052.178,625	1	9.052.178,625	14,183	0,003
	Intragrupos	7.659.039,375	12	638.253,281
	Total	16.711.218,000	13

• Fonte: Elaboração própria.

Detectou-se diferença significativa entre a média de bolsas ofertadas aos alunos de graduação antes (µ1 = 2.131,5) e após o Reuni (µ2 = 3.756,4), consoante o teste Anova (F = 14,183; p < 0,01). Como o valor médio de bolsas ofertadas foi superior após o Reuni (incremento de 76,2%), pode-se atribuir à referida política pública como sendo a causa.

Para finalizar, compararam-se os valores médios dos alunos de graduação diplomados antes e após o Reuni, conforme a Tabela 12.

Tabela 12
Comparação dos valores médios dos alunos de graduação diplomados, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Alunos de graduação diplomados	Entre grupos	1.722,881	1	1.722,881	0,018	0,897
	Intragrupos	1.177.936,333	12	98.161,361
	Total	1.179.659,214	13

• Fonte: Elaboração própria.

Inexistiu diferença significativa entre a média de alunos diplomados antes (µ1 = 2.742,8) e após o Reuni (µ2 = 2.765,3), consoante o teste Anova (F = 0,018; p > 0,01). Portanto, lamentavelmente o Reuni não proporcionou mudanças significativas na diplomação de graduandos, na UFC, corroborando, assim, a hipótese relacionada à perda de eficiência dos processos de formação do alunado, apresentada anteriormente (vide a seção 5.3.1).

5.4 Ensino de pós-graduação

5.4.1 Análises descritivas

Na pós-graduação, consideraram-se as variáveis: i) alunos matriculados nos cursos de mestrado e de doutorado; e ii) mestres e doutores formados, conforme a Tabela 13.

Tabela 13
Estatística descritiva acerca da pós-graduação, antes e após o Reuni

Pós-Graduação		Média	Desvio-padrão	Erro-padrão	Mínimo	Máximo
Alunos matriculados (mestrado)	Antes	1.780	333,7	136,3	1.434	2.201
	Depois	2.589,4	680,6	240,6	1.455	3.616
	Total no período	2.242,5	681,9	182,3	1.434	3.616
Alunos matriculados (doutorado)	Antes	648,5	228,5	93,3	407	971
	Depois	1.960	556,0	196,6	1.107	2.547
	Total no período	1.397,9	800,1	213,8	407	2.547
Mestres formados	Antes	422,5	91,3	37,3	299	568
	Depois	951	178,3	63,1	677	1.122
	Total no período	724,5	306,6	81,9	299	1.122
Doutores formados	Antes	98	38,8	15,8	58	158
	Depois	292,4	115,7	40,9	131	438
	Total no período	209,1	133,2	35,6	58	438

• Fonte: Elaboração própria.

Antes do Reuni havia em média 1.780 mestrandos matriculados, alcançando-se 2.589,4 no período posterior (incremento de 45,5%). Levando-se em conta os doutorandos matriculados, no período anterior havia média de 648,5 alunos, alcançando 1.960 após o Reuni (incremento de quase 200%). Portanto, o acréscimo de mestrandos e doutorandos matriculados nos períodos analisados deve-se à política pública Reuni.

Com respeito aos novos mestres, antes do Reuni a média de formados foi 422,5, alcançando 951 no período posterior (incremento de quase 125%). No que tange aos novos doutores, antes do Reuni a média de formados foi 98, alcançando 292,4 no período posterior (incremento de quase 200%). Constatou-se, desse modo, que o acréscimo de novos mestres e doutores teve como causa o Reuni.

5.4.2 Análises inferenciais

Na Tabela 14, constam os resultados da Anova para comparar valores médios dos mestrandos matriculados antes e após o Reuni.

Tabela 14
Comparação dos valores médios dos mestrandos matriculados, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Alunos matriculados no mestrado	Entre grupos	2.246.015,625	1	2.246.015,625	7,094	0,021
	Intragrupos	3.799.519,875	12	316.626,656
	Total	6.045.535,500	13

• Fonte: Elaboração própria.

Detectou-se diferença significativa entre a média de mestrandos matriculados antes (µ1 = 1.780) e após o Reuni (µ2 = 2.589,4), conforme o teste Anova (F = 7,094; p < 0,05). Como o valor médio de alunos de mestrado foi superior no período posterior ao Reuni, pode-se atribuir a causa à referida política educacional.

Na Tabela 15, constam os resultados da Anova para a comparação dos valores médios de doutorandos antes e após o Reuni.

Tabela 15
Comparação dos valores médios dos doutorandos matriculados, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Alunos matriculados no doutorado	Entre grupos	5.897.253,429	1	5.897.253,429	29,186	0,000
	Intragrupos	2.424.681,500	12	202.056,792
	Total	8.321.934,929	13

• Fonte: Elaboração própria.

Houve diferença significativa entre a média de doutorandos matriculados antes (µ1 = 648,5) e após o Reuni (µ2 = 1.960), consoante a Anova (F = 29,186; p < 0,001). Como o valor médio de doutorandos foi superior no período pós-Reuni, pode-se atribuir a causa à referida política pública.

Na Tabela 16, estão os resultados da Anova para a comparação dos valores médios dos mestres formados antes e após o Reuni.

Tabela 16
Comparação dos valores médios dos mestres formados, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Mestres formados	Entre grupos	957.642,000	1	95.7642,000	43,472	0,000
	Intragrupos	264.347,500	12	22.028,958
	Total	1.221.989,500	13

• Fonte: Elaboração própria.

Houve diferença significativa entre a média de mestres formados antes (µ1 = 422,5) e após o Reuni (µ2 = 951), conforme a Anova (F = 43,472; p < 0,001). Como o valor médio de mestres foi superior no período pós-Reuni, a referida política educacional pode ser a causa.

A Tabela 17 apresenta os resultados da Anova para a comparação dos valores médios dos doutores formados antes e após o Reuni.

Tabela 17
Comparação dos valores médios dos doutores formados, antes e após o Reuni

Anova		Soma de quadrados	Graus de liberdade	Quadrados médios	F	p-value
Doutores formados	Entre grupos	129.537,054	1	12.9537,054	15,350	0,002
	Intragrupos	101.263,875	12	8.438,656
	Total	230.800,929	13

• Fonte: Elaboração própria.

Houve diferença significativa entre a média de doutores formados antes (µ1 = 98) e após o Reuni (µ2 = 292,4), segundo a Anova (F = 15,35; p < 0,001). Como o valor médio de doutores formados foi superior no período posterior ao Reuni, pode-se atribuir a causa dessa diferença à referida política educacional.

6. Conclusões

Os resultados obtidos, ao se contrastarem os períodos anterior e posterior ao Reuni, particularmente no que se refere aos impactos dessa política pública sobre alguns indicadores de desempenho institucional de uma Ifes, permitiram incrementar o conhecimento científico acerca da relevância da citada ação estatal. A pesquisa demonstrou a significância do Reuni para o ensino de graduação e de pós-graduação, bem como para o fomento de oportunidades de estudo à sociedade brasileira, por meio da oferta de novas vagas e cursos. Portanto, os achados fortalecem a posição dos educadores, gestores, estudiosos e pesquisadores defensores das políticas públicas voltadas à educação superior.

Destarte, com o fito de aprofundar-se na temática da avaliação de políticas públicas em educação, com foco específico sobre os impactos do Reuni, adicionalmente dividiu-se este tópico em dois conjuntos de análises e valorações. O primeiro incidirá sobre os impactos do Reuni na UFC, num olhar sobre o cenário micro, enquanto o segundo valorará a política pública em um panorama lato, como uma ação estatal destinada à educação superior, num cenário macro.

6.1. Impactos do Reuni sobre a UFC

Excetuando-se a inexistência de diferença significativa entre a média de alunos de graduação diplomados nos períodos anterior e posterior ao Reuni, todos os demais indicadores adotados na pesquisa revelaram distinções estatisticamente significativas, em termos de parâmetros de tendência central (valores médios). Desse modo, pode-se destacar que a implementação do Reuni na UFC resultou em impactos positivos sobre:

• a titulação docente, ocorrendo incremento no quantitativo de doutores;

• o acervo bibliográfico, resultando em acréscimo substantivo no quantitativo de títulos e de exemplares;

• a graduação, havendo aumento no quantitativo de cursos, de alunos matriculados e de bolsas ofertadas;

• a pós-graduação, ocorrendo incremento no quantitativo de mestrandos e doutorandos matriculados, bem como na formação de novos mestres e doutores.

Portanto, do ponto de vista dos impactos sobre os mais relevantes indicadores institucionais, o Reuni proporcionou à UFC alcançar níveis elevados de desempenho. Não obstante, há de se buscar otimizar a diplomação dos alunos dos cursos de graduação, recorrendo-se, por exemplo, ao aumento da eficácia da gestão dos cursos (Boynard, 2013).

Outra dimensão que carece ser desenvolvida refere-se à reestruturação acadêmico-curricular dos cursos de graduação da UFC, conforme já sugerido por Andriola (2003). Necessita-se propor e negociar um novo modelo acadêmico, validado pela comunidade interna, para que se otimizem a formação e a diplomação de alunos de graduação. Há de se introduzir mudanças nas estruturas responsáveis pelo ensino de graduação, com o intuito de fortalecer a qualidade da formação discente, a partir do binômio docência e gestão acadêmica de cursos. Para tal, sistemáticas de avaliação, de monitoramento e de feedback devem ser implementadas, quando inexistirem, e otimizadas, quando existirem. Há de se buscar o estabelecimento de metas de desempenho para os cursos, de reconhecimento de mérito da atuação dos docentes, dos técnicos-administrativos, dos gestores e dos usuários de bolsas acadêmicas, de modo a se gerar impactos positivos sobre os resultados acadêmicos na graduação.

Consoante Araújo e Pinheiro (2010), as Ifes deveriam priorizar aspectos vitais às mudanças acadêmico-pedagógicas vislumbradas pelo Reuni, tais como:

• introduzir flexibilidade curricular nos cursos de graduação, de modo a garantir itinerários formativos diversificados que facilitem a mobilidade estudantil;

• garantir formação e apoio pedagógico aos docentes, possibilitando o uso de práticas pedagógicas modernas e tecnologias de apoio à aprendizagem discente;

• adotar mecanismos de inclusão social, a fim de garantir igualdade de oportunidades de acesso e permanência a todos os cidadãos.

Desafortunadamente a UFC não ofereceu a almejada flexibilidade curricular e tampouco garantiu a formação e o apoio pedagógico aos docentes. Portanto, a ausência desses dois aspectos pode ter associação com a estagnação do indicador de diplomação, bem como com o incremento residual de alunos de graduação regularmente matriculados.

6.2. Impactos do Reuni enquanto política pública

Cabe realçar como se deu a expansão das universidades federais, a partir do Reuni. Adotando-se o ano de 2007 como referência, as universidades aumentaram em 49% a oferta de vagas na graduação no ano de 2010, o que representou acréscimo de 65.306 vagas. Na ocasião, o número de cursos aumentou de 2.190 para 3.225 (aumento de 47,3%). A expansão dos cursos noturnos foi impactada muito positivamente: em 2007 eram 645 e em 2010 alcançaram 1.129 (crescimento de 75%). Os cursos com maior número de vagas ofertadas foram Engenharias (32.502), Letras (19.348), Matemática (11.000), Administração (9.167) e Pedagogia (7.493). Na pós-graduação, o crescimento foi de 35% na oferta de novos cursos, pois, em 2007, foram oferecidos 1.099 cursos de mestrado e 639 de doutorado e, em 2010, foram ofertados 1.485 cursos de mestrado e 862 de doutorado (Silva; Nunes; Mallman, 2011).

Com base na exposição factual, verifica-se que o Reuni promoveu a expansão da educação superior pela oferta de novas vagas e novos cursos (de graduação e de pós-graduação). Na ocasião, parecia que o Reuni havia se revestido numa política de Estado, mobilizando amplos segmentos nacionais e constituindo-se uma ação social e educacional permanente, de longo alcance (Araújo; Santos, 2014). Nesse diapasão, a expansão precisaria ter sido acompanhada por critérios claros de qualidade, com a previsão de sistemáticas de avaliação dos seus resultados e impactos. Tal não se deu, infelizmente.

Promover inclusão ao sistema universitário apenas para incrementar estatísticas governamentais pode implicar a formação de profissionais despreparados para enfrentar as hodiernas exigências da sociedade e do mercado de trabalho (Trevizan; Novaes, 2015). Faz-se necessário ressaltar a importância de se dar atenção às dimensões qualitativas decorrentes da expansão, incluindo esforços para aperfeiçoar e atualizar as matrizes curriculares, garantir a assistência estudantil e o apoio pedagógico ao docente, especialmente aos recém-ingressados na carreira (Lima; Machado, 2016). Além desses aspectos, há, ainda, que se fazer referência às obras inacabadas⁴ de infraestrutura física e tecnológica, que, consoante Bittencourt, Ferreira e Brito (2017), promoveram impactos negativos em 75% das universidades federais que aderiram ao Reuni, ocasionando atrasos na implantação de novos cursos e vagas e constituindo obstáculos para o alcance das metas pactuadas na política pública.

Na esteira do exposto, corroboramos com Dias Sobrinho (2018, p. 745), que asseverou, sabiamente, acerca da relevância da educação superior e das políticas públicas:

Não bastam, portanto, as possibilidades de acesso. É necessário e justo que a inclusão de indivíduos socialmente desprotegidos seja sustentada por iniciativas que lhes garantam as adequadas condições de estudo e de vida escolar. Indivíduos e grupos socialmente vulneráveis e marginalizados ao longo da história precisam ter o necessário apoio para poderem mais dignamente se realizar como seres humanos. [...]

Sem educação de alta qualidade e francamente disponibilizada, são quase totalmente nulas as possibilidades de edificação de uma nação forte, constituída de cidadãos conscientes e de ampla visão de mundo. Não se trata de mera questão estatística. Não são os números de diplomados e outros indicadores os únicos critérios para avaliar o bom ou o mau funcionamento da educação. A finalidade essencial da educação é a formação, em sentido pleno. Além da capacidade de refletir sobre as questões mais cruciais do mundo, a formação integral dos indivíduos inclui, necessariamente, uma consistente formação técnica e profissional, inextricavelmente sustentada na ética e nos projetos e sonhos das pessoas e da nação.

Referências

• AFONSO, A. J. Políticas avaliativas e accountability em educação: subsídios para um debate ibero-americano. Sísifo: Revista de Ciências da Educação, Lisboa, n. 9, p. 57-70, maio/ago. 2009.
• ANDRIOLA, W. B. Avaliação institucional na Universidade Federal do Ceará (UFC): organização de sistema de dados e indicadores da qualidade institucional. Revista da Avaliação da Educação Superior, Campinas, SP, v. 9, n.4, p. 33-54, dez. 2004.
• ANDRIOLA, W. B. Evaluación: la vía para la calidad educativa. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 7, n. 25, p. 355-368, mar. 1999.
• ANDRIOLA, W. B. Evasão discente na Universidade Federal do Ceará (UFC): proposta para identificar suas causas e implantar um Serviço de Orientação e Informação (SOI). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 11, n. 40, p. 332-347, 2003.
• ANDRIOLA, W. B. Factores caracterizadores de centros educativos eficaces. Bordón: Revista de Pedagogía, Madrid, v. 53, n. 2, p. 175-183, enero 2001.
• ANDRIOLA, W. B.; OLIVEIRA, K. R. B. Autoavaliação institucional na Universidade Federal do Ceará (UFC): meio século de história. Revista da Avaliação da Educação Superior , Campinas, SP, v. 20, n. 2, p. 489-512, jul. 2015.
• ANDRIOLA, W. B.; SULIANO, D. Avaliação dos impactos sociais oriundos da interiorização da Universidade Federal do Ceará (UFC). Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 96, n. 243, p. 282-298, maio/ago. 2015.
• ARAÚJO, A. C.; ANDRIOLA, W. B.; COELHO, A. Avaliação do Programa Institucional de Bolsa de Iniciação à Docência (PIBID): desempenho de bolsistas versus não bolsistas. Educação em Revista, Belo Horizonte, v. 34, 2018.
• ARAÚJO, A. C. B.; SANTOS, L. M. M. O Reuni na opinião dos gestores de uma universidade pública. Psicologia & Sociedade, Belo Horizonte, v. 26, n. 3, p. 642-651, dez. 2014.
• ARAÚJO, M. A. D.; PINHEIRO, H. D. Reforma gerencial do Estado e rebatimentos no sistema educacional: um exame do Reuni.Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 18, n. 69, p. 647-668, out./dez. 2010.
• BAKER, J. Evaluating the impact of development projects on poverty: a handbook for practitioners. Washington: World Bank, 2000.
• BAUER, A. Avaliação de impacto no Brasil: é possível avaliar impactos de programas de formação docente?Estudos em Avaliação Educacional, São Paulo, v. 21, n. 46, p. 229-252, maio/ago. 2010.
• BICKMAN, L. Impact assessment. In: MADISON, S. Encyclopedia of evaluation California: Sage, 2005.
• BITTENCOURT, M. F. N.; FERREIRA, P. A.; BRITO, M. J. Avaliação do processo de implementação de obras públicas em universidades federais: um estudo do Programa Reuni. Revista Gestão Universitária na América Latina (Gual), Florianópolis, v. 10, n. 1, p. 79-102, jan. 2017.
• BOYNARD, K. M. S. Indicadores de gestão em conflito com indicadores de qualidade? Lições econômicas para a gestão universitária.2013. 87 f. Dissertação (Mestrado em Economia) - Programa de Pós-Graduação em Economia, Universidade de Brasília, Brasília, DF, 2013.
• BRASIL. Decreto nº 6.096, de 24 de abril de 2007. Institui o Programa de Apoio a Planos de Reestruturação e Expansão das Universidades Federais (Reuni). Diário Oficial da União, Brasília, DF, 25 abr. 2007. Seção 1, p. 7.
• BRASIL. Lei nº 10.172, de 9 de janeiro de 2001. Aprova o Plano Nacional de Educação e dá outras providências. Diário Oficial da União , Brasília, DF, 10 jan. 2001. Seção 1, p. 1.
• COHEN, E.; FRANCO, R. Avaliação de projetos sociais Petrópolis, RJ: Vozes, 2004.
• DIAS SOBRINHO, J. Universidade em tempos de precarização e incertezas. Revista da Avaliação da Educação Superior , Campinas, SP, v. 23, n. 3, p. 736-753, set./dez. 2018.
• DRAIBE, S. M. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (Org.). Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo: Instituto de Estudos Especiais da Pontifícia Universidade Católica de São Paulo, 2001.
• FARIA, C. A. P. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005.
• FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, DF, n. 21, p. 211-259, 2000.
• GEMAQUE, L. S. B.; SOUZA, L. G. Diplomação, retenção e evasão: estudo com enfoque na evasão dos cursos de graduação na Universidade Federal do Maranhão no período de 2008 a 2010. Ensino & Multidisciplinaridade, São Luís, v. 2, n. 1, p. 84-105, jan./jun. 2016.
• JICK, T. Mixing qualitative and quantitative methods: triangulation in action. Administrative Science Quarterly, [S.l.], v. 24, n. 4, p. 602-611, Dec. 1979.
• KERLINGER, F. N.; LEE, H. Foundations of behavioral research Orlando: Harcourt College Publishers, 2000.
• LEEUW, F.; VAESSEN, J. Impact evaluations and development: NONIE’S guidance on impact evaluation. Washington: World Bank , 2009.
• LIMA, E. E.; MACHADO, L. R. S. Reuni e expansão universitária na UFMG de 2008 a 2012. Educação & Realidade, Porto Alegre, v. 41, n. 2, p. 383-406, jun. 2016.
• LIMA JUNIOR, P.; SILVEIRA, F. L.; OSTERMANN, F. Análise de sobrevivência aplicada ao estudo do fluxo escolar nos cursos de graduação em física: um exemplo de uma universidade brasileira. Revista Brasileira de Ensino de Física, São Paulo, v. 34, n. 1, p. 1-10, mar. 2012.
• LUGÃO, R. G.; ABRANTES; L. A.; BRUNOZI JÚNIOR, A. C. Planejamento, implementação e avaliação do Reuni: um estudo em universidades mineiras. Estudo & Debate, Lajeado, RS, v. 22, n. 1, p. 78-96, 2015.
• MAGALHÃES; A. M. S.; MARTINS REAL, G. C. A produção científica sobre a expansão da educação superior e seus desdobramentos a partir do Programa Reuni: tendências e lacunas. Revista da Avaliação da Educação Superior , Campinas, SP, v. 23, n. 2, p. 467-489, mar. 2018.
• MARRA, A. V.; MELO, M. C. O. L. A prática social de gerentes universitários em uma instituição pública. Revista de Administração Contemporânea, Curitiba, v. 9, n. 3, p. 9-31, set. 2005.
• MOHR, L. Impact analysis for program evaluation California: Sage , 1992.
• MOURA, M. A. P.; PASSOS, G. O. Avaliação do alcance da meta global do Reuni pelas universidades medida pelos indicadores de desempenho estabelecidos pelo TCU. In: CONGRESSO NACIONAL DE EDUCAÇÃO (EDUCERE), 12., 2015, Curitiba. Anais... Curitiba: Pontifícia Universidade Católica do Paraná (PUCPR), 2015. p. 15384-15396.
• NEVES, L. M. W. et al. Estado e planejamento educacional no Brasil: a formação do planejador. Cadernos de Pesquisa, São Paulo, n. 51, p. 55-63, nov. 1984.
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT (OECD). Outline of principles of impact evaluation Paris, 2006. Disponível em: <Disponível em: http://www.oecd.org/dataoecd/46/16/37671602.pdf >. Acesso em: 12 nov. 2010.
  » http://www.oecd.org/dataoecd/46/16/37671602.pdf
• PASSOS, G. O.; QUARESMA, A. C. L.; SANTOS DIAS, A. R. Efeitos do Reuni no desempenho das Universidades Federais: avaliação baseada nos indicadores de gestão. In: JORNADA INTERNACIONAL DE POLÍTICAS PÚBLICAS, 8., 2017, São Luís. Anais... São Luís: Universidade Federal do Maranhão, 2017.
• PAULA, C. H.; FARONI, W.; BAETA, O. V. Indicadores de desempenho considerando o financiamento da expansão do ensino superior pelo Reuni. Revista de Ciências Humanas, Viçosa, MG, v. 16, n. 2, p. 223-244, jul./dez. 2016.
• PEREIRA, A. S. et al. Fatores relevantes no processo de permanência prolongada de discentes nos cursos de graduação presencial: um estudo na Universidade Federal do Espírito Santo. Ensaio: Avaliação e Políticas Públicas em Educação , Rio de Janeiro, v. 23, n. 89, p. 1015-1039, dez. 2015.
• RISTOFF, D. I. O novo perfil do campus brasileiro: uma análise do perfil socioeconômico do estudante de graduação. Revista da Avaliação da Educação Superior , Campinas, SP, v. 19, n. 3, p. 723-747, nov. 2014.
• ROCHA, A. C. Accountability na administração pública: modelos teóricos e abordagens. Contabilidade, Gestão e Governança, Brasília, DF, v. 14, n. 2, p. 82-97, maio/ago. 2011.
• ROCHA, C. M. O Reuni e a precarização do trabalho docente. Revista Administração Educacional, Recife, v. 9, n. 1, p. 190-205, jan./jun. 2018.
• ROSA, C. M.; SANTOS, F. F. T. A retenção nos cursos de graduação do IME/UFG. Horizontes, Itatiba, SP, v. 36, n. 3, p. 200-216, set./dez. 2018.
• SCRIVEN, M. Evaluation as a discipline. Studies in Educational Evaluation, [S.l.], v. 20, p. 147-166, 1994.
• SAVIANI, D. Sistemas de ensino e planos de educação: o âmbito dos municípios. Educação & Sociedade, Porto Alegre, v. 20, n. 69, p. 119-136, dez. 1999.
• SCRIVEN, M. An introduction to meta-evaluation. Educational Products Report, [S.l.], v. 2, p. 36-38, 1969.
• SILVA, R. C.; NUNES, R. S.; MALLMAN, A. A. G. O Reuni na Universidade do Rio Grande: avaliação da expansão dos cursos de graduação. In: COLÓQUIO INTERNACIONAL SOBRE GESTÃO UNIVERSITÁRIA NA AMÉRICA DO SUL, 11, 2011, Florianópolis. Anais... Florianópolis, 2011.
• SILVA FILHO, R. L. B. et al. A evasão no ensino superior brasileiro. Cadernos de Pesquisa , São Paulo, v. 37, n. 132, p. 641-659, set./dez. 2007.
• SOUSA, A. C. G; ANDRIOLA, W. B.; LIMA, A. S. Expectativas da avaliação docente na educação superior brasileira. Um estudo com os envolvidos em uma instituição de ensino pública. Revista Iberoamericana de Evaluación Educativa, Santiago do Chile, v. 9, n. 2, p. 81-105, out. 2016.
• SOUZA, C. “Estado do campo” da pesquisa em políticas públicas no Brasil. Revista Brasileira de Ciências Sociais , São Paulo, v. 18, n. 51, p. 15-20, fev. 2003.
• TREVISAN, A. P.; BELLEN, H. M. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3, p. 529-550, maio/jun. 2008.
• TREVIZAN, E.; NOVAES; H. T. O programa de apoio a planos de reestruturação e expansão das Universidades Federais e sua implementação na UTFPR. Germinal: Marxismo e Educação em Debate, Salvador, v. 7, n. 2, p. 219-232, 2015.
• TYLER, R. W. Basic principles of curriculum and instruction Chicago: The University of Chicago Press, 1949.
• UNIVERSIDADE FEDERAL DO CEARÁ (UFC). Anuário Estatístico UFC 2019: base 2018. Fortaleza: UFC, 2019. Disponível em: <Disponível em: https://www.ufc.br/images/_files/a_universidade/anuario_estatistico/anuario_estatistico_ufc_2019_base_2018.pdf >. Acesso em 13 jul. 2021
  » https://www.ufc.br/images/_files/a_universidade/anuario_estatistico/anuario_estatistico_ufc_2019_base_2018.pdf

• 1
  Considerando o período 2007 a 2016, as autoras consultaram o Banco de Teses e Dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), a biblioteca eletrônica SciELO e os anais das reuniões nacionais realizadas pela Associação Nacional de Pós-Graduação e Pesquisa em Educação (Anped).
• 2
  As modalidades de bolsas oferecidas aos alunos de graduação da UFC podem ser agrupadas em: bolsas de iniciação científica (a maioria financiada pelo CNPq), bolsas de iniciação tecnológica, bolsas de monitoria, bolsas de iniciação à docência, bolsas de iniciação acadêmica, bolsas de extensão, bolsas para os grupos PET (Programa de Educação Tutorial) – alguns financiados pela Secretaria de Educação Superior (Sesu) e outros pela UFC –, bolsas de incentivo ao desporto, bolsas de iniciação artística, bolsas de informática, entre outras.
• 3
  Estudos sobre o incremento de alunos de graduação regularmente matriculados como resultado de retenção podem ser verificados em: Rosa e Santos (2018), Gemaque e Sousa (2016), Pereira et al. (2015), Lima Júnior, Silveira e Ostermann (2012) e Silva Filho et al. (2007). Embora sejam pesquisas com diferentes enfoques metodológicos, executadas em contextos distintos, todas convergem para uma visão similar: a retenção pode explicar o incremento da taxa de matrícula de alunos, além de ocasionar maior custo institucional com a formação destes, pelo tempo adicional que requerem.
• 4
  De acordo com Bittencourt, Ferreira e Brito (2017), as obras inacabadas resultaram, na maioria das vezes, em paralisações (devido ao atraso nos pagamentos dos serviços contratados e/ou prestados); em revisões dos projetos, oriundas de necessidades locais, arquitetônicas e funcionais; em aditivos de valor, resultantes das revisões dos projetos originais e/ou dos atrasos no repasse das parcelas orçadas.

• *
  Pesquisa financiada pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) – Bolsa de Produtividade em Pesquisa Nível 1 C (Proc. 303366/2017-6).

Datas de Publicação

• Publicação nesta coleção
  06 Out 2021
• Data do Fascículo
  May-Aug 2021

Histórico

• Recebido
  24 Abr 2020
• Aceito
  10 Mar 2021