INDICADORES DE GESTÃO E DE QUALIDADE NAS INSTITUIÇÕES FEDERAIS DE ENSINO SUPERIOR BRASILEIRAS - 2009 - 2016

MANAGEMENT AND QUALITY INDICATORS IN BRAZILIAN HIGHER EDUCATION INSTITUTIONS, FROM 2009 TO 2016

INDICADORES DE GESTIÓN Y CALIDAD DE LAS INSTITUCIONES FEDERALES DE ENSEÑANZA SUPERIOR BRASILEÑAS, 2009-2016

RESUMO

Foram avaliados os resultados dos nove indicadores de gestão propostos pelo Tribunal de Contas da União e dos indicadores de qualidade das Instituições Federais de Ensino Superior (IFES), no período entre 2009-2016, buscando identificar variáveis que mais impactam no indicador de qualidade. Para as IFES de pequeno e médio porte, o maior previsor foi o Índice de Qualidade do Corpo Docente (R²=0,520, em ambos). Para as de grande porte, o Conceito Capes foi o maior previsor (R²=0,692). Como conclusão, as instituições localizadas nas regiões sul e sudeste e de maior porte vêm obtendo melhores resultados que as de menor porte, principalmente em relação àquelas localizadas nas regiões norte e nordeste.

Palavras chave:
Indicadores de gestão; Ensino superior; Avaliação; Indicadores de qualidade; Administração Pública

ABSTRACT

The results of the nine management indicators proposed by the Federal Audit Court and the quality indicators of the Federal Universities (IFES, in Portuguese), 2009-2016, were evaluated, seeking to identify which variables most impact on the quality indicator. For the small and medium-sized IFES, the highest predictor was the Quality Index of the University Professors (R² = 0.520, in both). For the large ones, the Capes Concept was the largest predictor (R² = 0.692). In conclusion, the institutions located in the south and south-east regions and larger have been obtaining better results than the smaller ones, especially in relation to those located in the north and northeast regions.

Keywords:
Management indicators; Undergraduate education; Evaluation; Quality indicators; Public Administration

RESUMEN

Se evaluaron los resultados de los nueve indicadores de gestión propuestos por el Tribunal de Cuentas de la Unión y los indicadores de calidad de las Instituciones Federales de Enseñanza Superior (IFES), período 2009-2016, buscando identificar qué variables más impactan en el indicador de calidad. Para las IFES de pequeño y mediano tamaño, el mayor previsor fue el Índice de Calidad del Cuerpo Docente (R2 = 0,520, en ambos). Para las de gran porte, el Concepto Capes fue el mayor previsor (R2 = 0,692). En conclusión, las instituciones ubicadas en las regiones sur y sureste y más grandes han estado obteniendo mejores resultados que las más pequeñas, especialmente en relación con las ubicadas en las regiones norte y noreste.

Palabras clave:
Indicadores de Gestión; Enseñanza superior; Evaluación; Indicadores de calidad; Administración Pública

INTRODUÇÃO

A avaliação de desempenho de órgãos do setor público tem sido muito debatida e pesquisada (DIAS SOBRINHO, 2008; POLIDORI, 2009; BOYNARD, 2013; etc.). Desde a implementação do Plano diretor de Reforma do Aparelho do Estado (PDRAE, 1995), o foco da avaliação de desempenho de órgãos do setor público voltou-se fundamentalmente para melhorias na gestão dos recursos destinados.

Na gestão das Universidades Federais brasileiras, não foi diferente. Os instrumentos implementados também possuem seu foco no controle dos recursos, empregando diversos indicadores para mensurar a eficiência. Entretanto, quando vistos isoladamente, não levam a uma efetiva conclusão acerca da realidade administrativa dessas Universidades, podendo ser observado que ainda há questões quanto à qualidade desses indicadores (PESSOA, 2000, p. 8).

Inúmeros métodos têm sido utilizados nas diversas propostas de avaliação do ensino superior no Brasil, tais como o Programa da Avaliação Institucional das Universidades Brasileiras, o Exame Nacional de Cursos, a Análise das Condições de Ensino, a Proposta de Avaliação do Conselho de Reitores das Universidades Brasileiras, e o Sistema Nacional de Avaliação da Educação Superior (SINAES). Todas as propostas refletem a complexidade que encerra a subjetividade da qualidade na educação, bem como a indefinição de políticas para o sistema educacional (FREITAS, 2004, p. 2).

Todavia, diferentemente do objetivo de um processo avaliativo emancipatório, indutor do desenvolvimento institucional, as Universidades, a partir da Reforma do Aparelho do Estado (PDRAE, 1995), foram submetidas a políticas de avaliação da educação superior que visavam basicamente a padronização e a mensuração da produção acadêmica voltada principalmente às atividades de ensino. Como exemplo, as avaliações parciais como as efetivadas pelo Exame Nacional de Cursos (Provão), com a finalidade de avaliar, por meio do desempenho do aluno, a qualidade de ensino das instituições de nível superior, ou o Exame Nacional de Desempenho de Estudantes (ENADE), que o substituiu, mas manteve os mesmos objetivos, sendo hoje parte do cálculo do Índice Geral de Cursos (IGC).

As dimensões da universidade, foco do processo de avaliação, ficaram claramente estabelecidas a partir da instituição do Sistema Nacional de Avaliação da Educação Superior (SINAES), por meio da Lei 10.861/2004 (BRASIL, 2004). Esta Lei estabeleceu três pilares de avaliação: a avaliação institucional, a avaliação de cursos e a avaliação do desempenho de estudantes. Ou seja, a necessidade de aprimorar as ferramentas de gestão do poder público em busca de eficiência dos gastos, responsabilização dos atos e controle dos resultados.

Considerando um modelo de gestão pública, que prioriza alcançar a eficiência e a efetividade nas ações governamentais com foco no resultado, o Tribunal de Contas da União (TCU) adequou o direcionamento de sua função constitucional de apreciação e de julgamento de contas dos responsáveis pela gestão dos órgãos e das entidades da Administração Pública Federal. Utilizou a argumentação que, mesmo diante de um processo complexo como é a educação superior, as universidades precisam ser capazes de conduzir de maneira eficiente seus recursos em busca de melhores resultados.

Assim, a Decisão do TCU de nº 408/2002 determinou que as Instituições Federais de Ensino Superior (IFES) elaborassem uma série de indicadores de desempenho e os incluíssem nos relatórios de gestão das IFES a partir de 2002, sendo que tais relatórios compõem o processo de prestação de contas das instituições. Após um processo de discussão e testagem, foram estruturados nove indicadores de gestão, assim distribuídos (TCU, 2009): (a) um indicador de eficiência: Custo Corrente/Aluno Equivalente, que demonstra o custo por aluno na IFES; (b) três indicadores de produtividade da Instituição: Aluno Tempo Integral/Professor Equivalente, Aluno Tempo Integral/Funcionário Equivalente e Funcionário Equivalente/Professor Equivalente, que fornecem a relação de alunos, professores e funcionários entre si; (c) um indicador de produtividade do aluno: Grau de Participação Estudantil (GPE), que indica o número de alunos da graduação com dedicação em tempo integral ao curso; (d) um indicador do grau de envolvimento com pós-graduação (GEPG), obtido pela razão entre o total de alunos efetivamente matriculados em programas de mestrado e doutorado (stricto sensu), e o total de alunos efetivamente matriculados na IFES, incluindo-se aí todo o contingente de graduação, de mestrado e de doutorado; (e) dois indicadores de qualidade: Conceito Capes/MEC sobre Programas de Pós-Graduação (indica a média das notas dos cursos de Mestrado e Doutorado) e o Índice de Qualificação do Corpo Docente (IQCD); e (f) um indicador de eficácia, a Taxa de Sucesso na Graduação (TSG), que representa a relação entre o número de diplomados e o número total de alunos ingressantes.

Ainda no contexto de avaliação quantitativa e com base no Exame Nacional de Desempenho dos Estudantes (ENADE), foram criados indicadores de qualidade das instituições e de seus cursos. Esses indicadores subsidiam o MEC nas atividades de regulação, por meio das quais o ministério credencia e recredencia as universidades, centros universitários e faculdades e, autoriza, reconhece e renova o reconhecimento de cursos.

Com o SINAES também foram estabelecidos indicadores de qualidade, complementares entre si, em que todos os aspectos são considerados: ensino, pesquisa, extensão, desempenho dos alunos, gestão da instituição, corpo docente e infraestrutura, entre outros. Conforme Portaria Normativa do MEC Nº 40/2007 (MEC, 2007), e informações contidas no Portal do INEP, são três os Indicadores de Qualidade da Educação Superior, apresentados na sequência.

1. i

   Conceito Enade - o Exame Nacional de Desempenho dos Estudantes avalia “o conhecimento dos alunos em relação ao conteúdo previsto nas diretrizes curriculares do respectivo curso de graduação, suas habilidades e competências”. O Enade é um indicador de qualidade calculado a partir dos desempenhos dos estudantes concluintes dos cursos de graduação. O indicador é resultante da média ponderada da nota padronizada dos concluintes na prova de Formação Geral (10 questões, sendo 8 objetivas e duas discursivas, comuns para todas as áreas avaliadas) e na de Conhecimento Específico (30 questões, sendo 27 objetivas e três discursivas).

2. ii

   Conceito Preliminar de Curso (CPC) - composto pela nota do Enade, pelo Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) e por fatores que consideram “a titulação dos professores, o percentual de docentes que cumprem regime parcial ou integral (não horistas), recursos didático-pedagógicos, infraestrutura e instalações físicas. O conceito, que varia de 1 a 5, é um indicador prévio da situação dos cursos de graduação no país”. O CPC é um indicador de qualidade que agrega diferentes variáveis: resultados da avaliação de desempenho de estudantes, ou seja, o Conceito Enade; titulação e regime de trabalho do corpo docente; percepções dos estudantes sobre a organização didático-pedagógica, infraestrutura e as oportunidades de ampliação da formação acadêmica e profissional.

3. iii

   Índice Geral de Cursos Avaliados da Instituição (IGC) - “sintetiza em um único indicador a qualidade de todos os cursos de graduação e pós-graduação stricto sensu (mestrado e doutorado) de cada universidade, centro universitário ou faculdade do país”. É calculado por IES e considera a média dos CPC dos cursos avaliados da instituição, no triênio de referência, ponderada pelo número de matrículas, além da média dos conceitos da avaliação trienal da CAPES dos programas de pós-graduação stricto sensu, ponderada pelo número de matrículas. Para instituições sem programas de pós-graduação stricto sensu avaliados pela CAPES, o IGC é a média ponderada dos CPC de seus cursos de graduação.

Os três indicadores mantêm relação direta com o Ciclo Avaliativo do Exame Nacional de Desempenho de Estudantes (ENADE) e, portanto, são avaliados segundo as áreas vinculadas a um dos três ciclos. Nas Figuras 1 e 2 pode ser verificada a composição e as relações entre os indicadores.

Figura 1
– Composição dos Indicadores de Qualidade das IFES

Figura 2
– Detalhamento do cálculo do Conceito Preliminar de Curso

As principais críticas aos indicadores de qualidade estão concentradas no formato de apuração do IGC. Elas apontam para um retrocesso à avaliação mercadológica, pois a forma como estes são coletados e divulgados possibilita a criação de rankings comparativos entre os desempenhos das IES.

Outro ponto polêmico é o atrelamento do resultado dos indicadores de qualidade (CPC e IGC) em relação ao desempenho dos discentes e da avaliação destes sobre as instalações, infraestrutura e recursos didáticos, desconsiderando a contextualização institucional (DIAS SOBRINHO, 2010; POLIDORI, 2009; SANTOS, 2014). Apesar de que a avaliação do ensino superior deveria estar baseada em três pilares (instituição, cursos e desempenho discente), o IGC se encontra atrelado ao desempenho discente, conforme as figuras 1 e 2.

Até pela tradição recente, poucos foram os estudos nacionais que abordaram a associação entre os indicadores de gestão propostos pelo TCU e os de qualidade. Alguns estudos exemplares são mencionados nos próximos parágrafos.

Freire, Crisóstomo e Castro (2007) e Ferreira, Pessanha e Santos (2013) associam os Indicadores de Gestão e o Indicador de Diferença entre os Desempenhos observado e esperado (IDD). Os primeiros encontraram um reflexo positivo entre a taxa de sucesso e maior dedicação ao curso e o IDD e um efeito favorável da relação entre número de alunos e funcionários, mas não detectaram efeito positivo do custo por aluno no desempenho destes (algo esperado). Já Ferreira e colaboradores (2013), focados em identificar quais os indicadores insumos exerceriam maior influência no desempenho das universidades, concluíram que o índice de qualidade do corpo docente (IQCD) e o grau de envolvimento com a pós-graduação (GEPG) eram os mais relevantes para o desempenho medido pela CAPES e pelo grau de integralização curricular.

Barbosa (2011) e Barbosa, Freire e Crisóstomo (2011) propuseram-se a analisar os possíveis efeitos da gestão das IFES sobre o desempenho discente de seus egressos. Abordando os indicadores de gestão do TCU e os Conceitos ENADE e IDD, encontraram um efeito positivo do custo por aluno sobre o desempenho discente e do grau de participação estudantil, do conceito dos cursos de pós-graduação e o índice de qualificação do corpo docente sobre a formação na graduação.

Costa (2012), ao empregar indicadores de desempenho do TCU e a qualidade dos cursos representada pelo Índice Geral de Cursos (IGC), encontrou que os indicadores do TCU explicam em média 76% do desempenho verificado no IGC. Porém, apenas os indicadores Conceito CAPES, Índice de Qualificação do Corpo Docente e Taxa de Sucesso na Graduação influenciaram o desempenho obtido no IGC de forma significante.

Casado e Siluk (2011) focaram exclusivamente nos indicadores de gestão empregando a Análise Envoltória de Dados, consideraram que essa ferramenta permitiria identificar possíveis falhas na gestão de recursos, estabelecendo metas de melhorias para o alcance da eficiência.

Fernandes (2009), para concluir esta breve revisão, desenvolveu um conjunto de indicadores voltados a identificar a qualidade das atividades acadêmicas e a forma de gastos das instituições. Identificou, entre outros elementos, que as universidades com maiores gastos correntes apresentaram pior qualidade de ensino (na graduação, pós-graduação e pesquisa), e as com maiores gastos com infraestrutura, demonstraram pior desempenho em atividades de extensão.

A gestão, a cada dia, nessas instituições, tem se tornado desafiadora, considerando as exigências da sociedade, o avanço tecnológico e a limitação dos recursos disponíveis. Seus dirigentes têm diversas limitações para gerenciar, das quais se pode citar a escassez de recursos humanos e a insuficiência de recursos financeiros.

O fato é que as Universidades passam por um processo de desmonte desde a implementação do Plano diretor de Reforma do Aparelho do Estado, sendo que recursos do setor público foram gradativamente sendo transferidos para iniciativa privada, sob o discurso da ineficiência da Administração em aplicá-los. Com as universidades não foi diferente, percebe-se isso claramente ao olhar o crescimento exponencial que teve as instituições privadas de ensino a partir de 1997.

Os resultados auferidos nesses indicadores por vezes têm sido utilizados para embasar esse contexto, de desconstrução do Ensino Superior Público. Sendo assim, é importante verificar a construção destes, identificando pontos críticos, bem como entender a relação entre eles, com intuito de que as IFES possam combater tanto o discurso da ineficiência, quanto focar na melhoria de indicadores que possam afetar diretamente em seu desempenho.

Neste contexto, é objetivo deste artigo correlacionar os resultados dos Indicadores de Gestão e de Qualidade das Instituições Federais de Ensino Superior (IFES), no período entre 2009-2016, identificando quais variáveis mais impactam no indicador de qualidade. Como característica específica, o fato de empregar um conjunto de indicadores mais abrangente que os estudos realizados até o momento.

1 METODOS

Os dados foram coletados junto ao site do Sistema Integrado de Monitoramento, Controle e Execução (SIMEC) do Ministério da Educação, dos resultados dos indicadores inseridos pelas Instituições de Ensino Superior (IFES), no período entre 2009-2016. Também foram considerados os dados dos sites do Ministério da Educação (MEC), da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e das próprias IFES, entre outros.

As variáveis selecionadas de entrada e de saída para as instituições estudadas, construindo o modelo para processamento dos dados e análise dos resultados, foram: (a) os nove indicadores do TCU, por serem empregados por todas as IFES e por ser uma das formas pelas quais o governo avalia estas instituições; e (b) os três indicadores de qualidade do INEP (2018b, 2018c, 2018d), por serem indicadores de qualidade dos cursos, e também os indicadores utilizados para avaliar as instituições.

No que tange aos Indicadores de Gestão do TCU, todos foram empregados para a análise, à exceção dos que consideravam o Hospital Universitário (HU). Como nem todas as Universidades possuem um Hospital Universitário próprio, considerar os indicadores que contemplavam essa característica poderia afetar os resultados, diminuindo a possibilidade de comparação.

Os dados coletados foram inseridos em uma planilha eletrônica, gerando um arquivo contendo todos os resultados alcançados pelas IFEs no período de 2009–2016. As planilhas foram trabalhadas, de forma a eliminar dados inexistentes ou os valores perdidos (missing). Foram retirados da amostra todas aquelas instituições que por algum motivo não possuíam dados relativos a algum indicador de Gestão ou Qualidade.

A planilha, antes do tratamento dos dados, apresentava 480 linhas e 12 indicadores. Inicialmente foram eliminadas as caselas com dados inválidos de Gestão e de Qualidade. No que tange ao IGC, houve a necessidade de se excluir 22 linhas, permanecendo 458 linhas.

Após, foram retirados os dados inválidos referentes ao Conceito Enade e IDD, quando mais 22 linhas se encontravam vazias e foram desconsideradas, resultando na tabela final com 436 linhas e 12 indicadores. Essa diminuição se deve ao fato que nem todos os cursos têm alunos realizando o teste anualmente, ficando na dependência de alunos em estágio final do curso.

Ao final, dos 480 casos a serem considerados, 436 (91% do total possível), conformaram a amostra das IFES que permaneceram no estudo. Considerando observações realizadas por trabalhos semelhantes quanto ao tamanho das Universidades e a influência deste nos resultados (BARBOSA; FREIRE; CRISÓSTOMO, 2011; FREIRE, CRISÓSTOMO; CASTRO, 2007), as Universidades selecionadas foram agrupadas com base em seu orçamento de custo corrente e do número de alunos integrais, de forma que se fosse possível identificar se existiam diferenças e evitar que essas interferissem nos resultados. Assim a análise se deu considerando o tamanho ou o porte de cada IFES. Para tal, o método Ward foi empregado e as IFES foram agrupadas em três grupos: pequeno, médio e grande porte.

Para a análise dos dados foram empregadas estatísticas descritivas (frequência e média) e teste de correlação de Pearson entre os indicadores de gestão e os de qualidade, visando identificar por região geográfica (Sul, Sudeste, Centro-Oeste, Nordeste e Norte) o impacto de cada variável no indicador de qualidade.

Para identificar a capacidade de explicação do indicador de qualidade, o Índice Geral de Cursos (IGC), através dos indicadores de Gestão e, quais destes se mostraram mais importante como forma de prever/explicar a variável de qualidade, foi realizada regressão linear. Foram testados todos os indicadores de Gestão como variáveis independentes, tendo o IGC como variável dependente, sendo que no modelo final ficaram somente aqueles indicadores que apresentaram real significância, conforme resultado do teste “F”.

2 RESULTADOS E DISCUSSÃO

As características de cada um dos três grupos encontrados pelo método de Ward se encontram na Tabela 1.

Tabela 1
- Agrupamentos encontrados pelo método Ward, segundo custo corrente e número de alunos integrais

Cluster		Variáveis
		Custo corrente (R$)	Número de alunos integrais
1	Mínimo	-	-
	Máximo	356.963.296,66	12.148,34
	Média	133.181.542,97	4.896,96
	Desvio Padrão	69.954.527,33	2.814,38
2	Mínimo	153.031.709,02	4.050,26
	Máximo	900.986.765,39	34.069,31
	Média	413.363.720,92	15.434,87
	Desvio Padrão	137.567.127,54	4.798,85
3	Mínimo	443.323.723,11	18.134,68
	Máximo	2.009.633.602,00	62.557,66
	Média	810.668.002,75	34.074,49
	Desvio Padrão	287.535.279,05	8.364,35

• Fonte: elaborada pelos autores.

Considerando a média, o segundo grupo (médio porte) é três (3) vezes superior nas médias do custo corrente e de alunos que o de grupo de pequeno porte. Já as IFES do terceiro grupo (grande porte) são cerca de seis (6) vezes maiores que as de pequeno porte e duas (2) vezes maiores que as de médio porte.

A distribuição das IFES por porte e região geográfica não encontrou mudanças nos quantitativos de instituições consideradas como de médio e grande porte, no período. Entretanto, ocorreram alterações nas IFES de pequeno porte, com incremento de pelo menos 15 instituições novas, criadas após 2002, que completaram o ciclo avaliativo e tiveram alunos realizando a prova do Enade.

Quanto à análise descritiva o destaque se encontra a média de custo corrente por aluno equivalente, Tabela 2, por porte e região geográfica brasileira, no período do estudo. Observa-se que, nos últimos anos nas universidades de pequeno porte das regiões Nordeste e Centro Oeste, o custo do aluno é superior às demais regiões, R$ 22.584,85 e R$ 21.410,05 (2016), respectivamente. Um dos motivos pode ser a necessidade de bolsas para atender a um perfil de estudante sem renda ou com renda muito abaixo da média nacional, conforme foi identificado na Pesquisa do Perfil do Graduando das IFES em 2014 (FONAPRACE, 2016).

Tabela 2
– Média do Custo Corrente por Aluno Equivalente (sem considerar hospitais universitários), por porte e região geográfica, 2009-2016.

Porte	Região	Ano
		2009	2010	2011	2012	2013	2014	2015	2016
Pequeno	Centro-Oeste	12.431,66	11.444,91	11.792,34	11.367,83	12.761,96	15.093,89	18.617,15	21.410,05
	Nordeste	12.317,49	11.565,31	10.798,68	12.113,37	13.810,80	14.924,21	26.061,54	22.584,85
	Norte	13.253,51	13.397,49	14.687,21	15.816,65	17.614,35	23.995,87	16.062,66	16.277,10
	Sudeste	10.123,75	11.313,83	13.536,96	14.698,12	14.758,21	17.603,70	17.335,28	17.876,92
	Sul	16.551,16	22.941,09	28.627,55	20.151,60	23.245,26	24.226,55	23.089,04	19.914,90
Pequeno Total		12.168,20	13.854,32	14.828,54	15.297,47	16.646,19	19.889,68	19.960,28	18.773,96
Médio	Centro-Oeste	12.550,57	13.685,00	13.549,84	15.305,30	16.237,07	16.773,71	18.228,76	18.941,96
	Nordeste	11.323,17	11.993,00	13.166,65	13.179,30	14.415,94	16.113,06	15.893,76	17.322,42
	Norte	7.000,54	7.772,73	7.794,99	8.694,93	11.160,78	10.963,48	13.093,79	13.889,13
	Sudeste	13.001,90	17.071,29	18.979,31	17.183,64	19.734,65	20.066,14	20.712,29	20.881,67
	Sul	11.064,02	12.512,63	11.845,96	14.975,75	21.611,98	19.689,14	21.161,72	21.347,30
Médio Total		11.778,67	13.891,13	14.791,87	14.944,97	17.467,31	17.874,67	18.580,69	19.243,15
Grande	Centro-Oeste	17.258,75	20.289,65	20.615,50	17.488,28	28.667,57	23.652,59	16.649,99	14.812,70
	Nordeste	12.132,18	13.335,85	12.738,97	12.460,26	15.996,76	16.918,54	16.788,63	17.720,82
	Norte	11.571,60	14.265,67	14.549,30	14.142,42	12.942,15	12.813,94	12.974,31	11.979,67
	Sudeste	12.236,43	13.705,08	15.324,70	13.923,31	17.359,77	20.184,25	20.113,26	22.892,76
	Sul	11.826,14	13.074,94	13.622,81	15.368,07	15.834,03	17.937,40	17.298,13	19.640,21
Grande Total		12.436,84	13.967,28	14.284,78	13.985,09	17.013,46	18.109,55	17.369,36	18.691,95
Média Geral - Nacional		12.081,34	13.896,72	14.684,05	14.842,55	17.046,13	18.832,31	18.955,79	18.917,37

• Fonte: elaborada pelos autores.

Já entre as instituições consideradas de médio e grande porte, as médias mais elevadas estão no Sul e Sudeste, ficando inclusive acima da média nacional. Por serem instituições de maior porte, seu corpo docente tende a ser mais qualificado, diversificando o foco da instituição para além da graduação, implementando na formação dos alunos a experiência com pesquisa e extensão, exigindo assim um maior custeio.

Por fim, a média da Região Norte nos últimos anos ficou abaixo das outras regiões, independentemente do porte da IFES. Em 2016, nas instituições de grande porte, a região Sudeste (22.892,76) teve como média praticamente o dobro da região Norte (11.979,67). Em entrevista, o presidente da Andifes considerou isso uma situação lamentável, pois a “região é fundamental para a economia do país. Há uma enorme riqueza para ser explorada, é preciso uma decisão de Estado para dar o start na região” (JC, 2018).

Para Ribeiro (2014), hoje é preciso realinhar o ensino brasileiro com metas iguais para condições desiguais, quando a extensão a territorial de nosso país contribui com a diversidade socioeconômica e cultural. Isso acaba dificultando ações locais, que necessitam de incentivos federais ou estaduais, para reduzir a distorção na oferta de ensino de qualidade.

Dois indicadores que apresentaram na análise descritiva resultados que demonstram essa acentuada desigualdade foi o Conceito Capes e o Indíce de Qualidade do Corpo Docente – IQCD. O Conceito CAPES/MEC indica a qualidade dos cursos de pós-graduação stricto sensu avaliados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). A menor média é das IFES de pequeno porte e, que as IFES da região Norte em todos os portes apresentam a menor média entre as regiões. As IFES das regiões Sudeste e Sul lideram com as melhores médias.

O Conceito CAPES/MEC já está consolidado. Ele avalia itens como a publicação dos docentes e dos discentes, o tempo de permanência nos cursos, a estrutura física, etc. O conceito varia de 1 a 7. Quanto maior o conceito melhor o programa. Mas deve-se destacar que se na região tiver apenas um curso de mestrado, a nota máxima será 5, limitando os resultados em detrimento a aquelas universidades que possuem cursos de doutorado. É importante destacar esse fator, pois o Conceito CAPES entra diretamente no cálculo do IGC, interferindo diretamente em seu valor final.

Já o Índice de Qualificação do Corpo Docente (IQCD), demonstra o grau de qualificação do corpo docente da universidade. Ele varia entre 1 e 5 e os professores são pontuados de acordo com sua titulação.

Interessante observar que a região Centro-Oeste apresentou bons resultados para as IFES de pequeno e de grande porte, se revezando geralmente com a região Sudeste ou Sul. Os resultados obtidos demonstram a dificuldade em se ter um corpo docente qualificado nas universidades de pequeno porte e, principalmente, na região norte ou Nordeste, que apresentou as menores médias praticamente em todos os anos em estudo (2009-2016). No período de estudo não se identificou nenhum programa de incentivo para atrair e manter professores qualificados para as regiões Norte e Nordeste, sendo que os aprovados em concursos para essas regiões costumeiramente aguardam apenas o cumprimento do período obrigatório para solicitar transferência para suas regiões de origem.

No que se refere aos indicadores de qualidade destaca-se o Índice Geral de Cursos da instituição, pois este, sintetiza em um único indicador a qualidade de todos os cursos de graduação e pós-graduação stricto sensu (mestrado e doutorado) de cada universidade, centro universitário ou faculdade do país. Nele o desempenho das instituições classificadas como de médio e de grande porte (Tabela 4) é superior ao desempenho das classificadas como de pequeno porte. Os resultados médios das instituições das regiões Sul (grande porte) e Sudeste (pequeno e médio porte) superam os das demais. Cabe destacar neste contexto que a região Norte teve a média mais baixa em todo o período, independentemente do porte, seguida de perto pela região Nordeste.

Tabela 4
– Média do Índice Geral de Curso (IGC), por porte da *IFES e região geográfica (2009-2016)

Porte	Região	Ano
		2009	2010	2011	2012	2013	2014	2015	2016
Pequeno	Centro-Oeste	3,41	3,49	3,41	3,50	3,50	3,37	3,27	3,29
	Nordeste	3,12	3,21	3,12	3,04	3,12	2,97	3,14	3,14
	Norte	2,48	2,58	2,75	2,62	2,69	2,50	2,56	2,66
	Sudeste	3,67	3,75	3,71	3,65	3,58	3,58	3,58	3,51
	Sul	3,18	3,61	3,23	3,47	3,42	3,55	3,33	3,43
Pequeno Total		3,11	3,26	3,29	3,22	3,21	3,13	3,17	3,14
Médio	Centro-Oeste	3,14	3,24	3,26	3,25	3,23	3,20	3,19	3,19
	Nordeste	2,76	2,92	3,05	3,03	3,01	2,97	3,01	3,09
	Norte	2,65	2,68	2,69	2,72	2,76	2,79	2,82	2,85
	Sudeste	3,59	3,80	3,67	3,65	3,70	3,75	3,76	3,74
	Sul	3,29	3,45	3,60	3,62	3,61	3,56	3,54	3,56
Médio Total		3,16	3,34	3,36	3,35	3,36	3,36	3,37	3,39
Grande	Centro-Oeste	3,86	3,91	3,88	3,88	3,94	4,01	3,98	3,96
	Nordeste	3,31	3,44	3,49	3,49	3,54	3,60	3,62	3,66
	Norte	2,63	2,76	2,96	2,93	3,01	3,00	3,09	3,14
	Sudeste	3,85	3,92	3,79	3,74	3,75	3,87	3,89	3,93
	Sul	3,86	3,98	3,94	3,91	3,96	4,06	4,04	4,04
Grande Total		3,55	3,66	3,65	3,63	3,67	3,75	3,77	3,79
Média Geral – Nacional		3,26	3,39	3,40	3,37	3,38	3,34	3,36	3,37

• ^*
  IFES – Instituição Federal de Ensino Superior
• Fonte: Elaborada pelo autor (2018).

Para a análise correlacional, tomou-se por referência para a construção das relações esperadas, além de conclusões em outros trabalhos, a própria lógica embutida no indicador, construindo assim a relação esperada entre as variáveis de Gestão e os Indicadores de qualidade (BOYNARD, 2013; FREIRE; CRISÓSTOMO; CASTRO, 2007; SANTOS, 2014;).

Quadro 1
– Relação esperada entre os indicadores de gestão e de qualidade das IFES, por porte, período 2009-2016

Indicador	Relação esperada com Indicadores de Qualidade	Motivo
1. Custo Corrente / Aluno Equivalente (CC X AL)	Relação positiva / Direta	Quanto maior o investimento por aluno, espera-se melhores resultados nos indicadores de qualidade
2. Aluno Tempo Integral / Professor Equivalente (ALI x PROF)	Relação negativa / Inversa	Quanto maior o número de professores, espera-se uma melhor qualidade na formação e melhores resultados nos indicadores de qualidade
3. Aluno Tempo Integral / Funcionário Equivalente (ALI x FUNC)	Relação negativa / Inversa	Quanto maior o número de funcionários, melhor assistido estará o aluno, gerando melhores resultados nos indicadores de qualidade
4. Funcionário Equivalente / Professor Equivalente (FUNC x PROF)	Relação negativa / Inversa	Espera-se que o número de professores seja o maior possível, por atuar diretamente com o aluno, influenciando em melhores resultados nos indicadores de qualidade
5. Grau de Participação Estudantil (GPE)	Relação positiva / Direta	Espera-se que quanto mais tempo o aluno estiver dedicado a Universidade, melhor formação este obterá e também melhores resultados os indicadores de qualidade
6. Grau de Envolvimento com Pós-Graduação (GEPG)	Relação positiva / Direta	Espera-se que quanto mais envolvido o aluno estiver com atividade da Pós-graduação e no desenvolvimento de pesquisas, melhor formação terá, logo melhores resultados nos indicadores de qualidade
7. Conceito CAPES/MEC sobre Programas de Pós-Graduação	Relação positiva / Direta	Espera-se que uma Pós-Graduação forte nas IFES impacte diretamente na formação dos alunos, resultando em melhores resultados nos indicadores de qualidade
8. Índice de Qualificação do Corpo Docente (IQCD)	Relação positiva / Direta	Espera-se que quanto mais qualificado for o corpo docente, melhor será a formação do aluno, gerando melhores resultados nos indicadores de qualidade
9. Taxa de Sucesso na Graduação (TSG)	Relação positiva / Direta	Espera-se que quanto mais alunos terminem o curso seja sinônimo de uma formação de qualidade, com melhores resultados nos indicadores de qualidade

• Fonte: elaborado pelos autores.

Quanto à relação encontrada entre os indicadores de Gestão, os pontos que merecem destaque foram:

• Custo Corrente e Aluno Equivalente (CC x AL), com uma relação inversa nos indicadores de Alunos Tempo Integral por Professor (ALI x Prof) e Alunos Tempo Integral por Funcionários (ALI x Func), principalmente nas Universidades de pequeno porte alcançando - 0,5990 e - 0,5017, que pode ser explicada nas universidades de pequeno porte pois os maiores gastos são com mão de obra, professores e funcionários. Logo, quanto maior o Custo, a tendência é que o número de professores aumente, diminuindo a relação entre professor e alunos. Já nas instituições de médio e grande porte, apresenta-se uma relação direta alta com o índice de qualidade do corpo docente (IQCD), de 0,6414 e 0,5052, respectivamente. No caso, um corpo docente mais qualificado exige recursos mais elevados, seja com o profissional ou pelas necessidades geradas pelas atividades de pesquisa e/ou de extensão.

• Relações da Taxa de Sucesso na Graduação (TSG), com uma relação não coerente direta com o indicador de Alunos Tempo Integral por Professor (ALl x Prof), portes: pequeno= 0,3391; médio= 0,2997; e grande= 0,1885, alcançando relação moderada a fraca, divergindo da lógica do indicador. Este problema já havia sido identificado por outros trabalhos (FREIRE; CRISÓSTOMO; CASTRO, 2007; FERNANDES, 2009; FERREIRA; SANTOS; PESSANHA, 2013), e também reflete as críticas quanto à necessidade de se reformular os indicadores, de maneira que meçam de forma real e considerando as características de cada instituição e a região onde estas estão inseridas.

O Quadro 2 sintetiza a relação encontrada entre os indicadores de gestão e os indicadores de qualidade. Dos três indicadores de qualidade, apenas o IGC apresentou relação positiva significativa com o Custo por Aluno. Para os demais indicadores de qualidade, a relação oscilou conforme o porte da instituição entre fraca e insignificante. O resultado está de acordo com os encontrados nos estudos de Freire, Crisóstomo e Castro (2007) e de Fernandes (2009), que o custo por aluno de uma IFES não tem efeito sobre o desempenho discente, ou seja, maiores gastos não representam necessariamente melhores resultados no sucesso da formação discente. O fato demonstra claramente que há fatores que não estão sendo considerados nos cálculos, o que mais uma vez corrobora com a tese de que há problemas de formulação no indicador.

Quadro 2
– Resumo das correlações entre os indicadores de qualidade e gestão

Indicador	Correlações encontradas
Custo corrente por Aluno Equivalente (CC x AL)	- Enade – relação pouco significante, inversa para as universidades de pequeno porte. - IDD – relação pouco significante, destacando-se comportamento do sinal da relação conforme o porte da instituição. - IGC – relação significante, nas instituições de médio (50%) e grande (34%) porte.
Aluno Tempo Integral por Prof. Equivalente (ALI X PROF)	Só houve correlação direta significativa para as instituições de maior porte, Enade 44%, IDD 37%, IGC 52%, não sendo significativa para os demais grupos.
Aluno Tempo Integral por Func. Equivalente (ALI X FUNC)	Correlação não significativa nos três portes.
Funcionário por Professor (FUN X PROF)	- Enade – correlação positiva bem fraca. - IDD – correlação positiva bem fraca. - IGC – correlação positiva moderada para as instituições de médio e grande porte.
Grau de Participação Estudantil (GPE)	- Enade – correlação positiva para instituições de pequeno porte, e negativa para os demais grupos, todas bem fracas. - IDD – correlação negativa para todos os portes, mas bem fraca. - IGC – correlação positiva para todos os portes, mas fraca, sendo próxima de moderada nas instituições de médio porte.
Grau de Envolvimento com Pós-Graduação (GEPG)	- Enade – correlação positiva moderada para as instituições de grande porte. - IDD – correlação positiva fraca para as instituições de grande porte. - IGC – correlação positiva forte para as instituições de grande porte.
Conceito CAPES	- Enade – correlação positiva fraca para os grupos de pequeno e médio porte, tendo nas de grande porte uma correlação moderada. - IDD – correlação positiva fraca em todos os portes. - IGC – correlação positiva para todos os grupos, moderada para pequeno porte e forte para médio e grande porte.
Índice de Qualificação do Corpo Docente (IQCD)	- Enade – apresentou correlação positiva fraca para todos os grupos. - IDD – apresentou correlação positiva fraca para todos os grupos. - IGC – apresentou correlação positiva para todos os grupos, sendo moderada para pequeno porte e forte para médio e grande porte.
Taxa de Sucesso na Graduação (TSG)	- Enade – correlação nula para grande porte, e correlação fraca positiva para as universidades de pequeno e médio porte. - IDD – correlação nula para grande porte, e correlação fraca positiva para as universidades de pequeno e médio porte. - IGC – correlação nula para grande porte, e correlação fraca positiva para as universidades de pequeno e médio porte.

• Siglas: Enade – Conceito do Exame Nacional de Desempenho dos Estudantes; IDD – Indicador de Diferença entre Desempenho Observado e Esperado; IGC – Índice Geral de Cursos
• Fonte: elaborado pelos autores.

O Enade, o IDD e o IGC apresentaram relação moderada com o indicador Grau de Envolvimento com a Pós-Graduação (GEPG) apenas para as Instituições consideradas de grande porte, 40,84%. Também apresentaram relações diretas de fraca a moderada, variando de acordo com o porte da Instituição, para os indicadores Conceito CAPES, IQCD, e TSG, com exceção deste último que para as instituições de grande porte apresentou uma correlação inversa, mas fraca.

Dos indicadores de qualidade, merece destaque o IGC que teve um coeficiente forte de correlação em relação ao Conceito CAPES (88,61%) e ao IQCD (70,64%) nas instituições de grande porte. Neste ponto, pode se confirmar a tendência de que melhores quadros docentes, assim como pós-graduação forte, influenciam positivamente no desempenho dos alunos no teste Enade em relação a alunos de outras instituições. Da mesma forma, reflete positivamente no resultado alcançado pela instituição no Índice Geral de Cursos (IGC). Um comportamento incoerente é a relação inversa da TSG para as instituições de grande porte, mostrando-se necessário maior investigação para o fato, inclusive trazendo questionamentos quanto à qualidade do aluno egresso das universidades, já que algumas instituições podem estar focando apenas no quantitativo, em detrimento da qualidade.

Outro ponto que colabora com a relação esperada (Quadro 01) é a de que melhores resultados no teste Enade induzem melhores IDD, assim como melhores resultados no IGC. Isto pode ser observado, através da relação identificada entre esses indicadores, que foi direta e positiva, variando de moderada a forte, dependendo do porte da instituição.

Pode-se assim perceber que o porte da IFES influencia nos resultados dos coeficientes de correlação, havendo casos em que inclusive muda sua direção, caso do Enade e do IDD, que apresentaram relação fraca negativa para o custo do aluno para as instituições de pequeno porte, enquanto que nas instituições de grande porte a relação passou a ser direta.

A influência do Conceito CAPES e também do Índice de Qualidade do Corpo Docente no resultado do IGC deve-se principalmente ao fato de que ambos compõem o cálculo do IGC, com valores praticamente brutos (Figuras 1 e 2). Esse é um ponto crítico, pois algumas universidades, principalmente as enquadradas como de pequeno porte e situadas nas regiões Norte e Nordeste, são diretamente prejudicadas. Deve ser considerado que a maioria dessas IFES ainda não possui programas de pós-graduação fortes, seja por se caracterizarem como universidades novas ou por localizarem-se em região onde há dificuldade para atrair docentes qualificados, inviabilizando assim a criação e a manutenção de programas de pós-graduação stricto sensu.

Ressalta-se aqui que dificilmente foi encontrado um padrão de correlação entre os indicadores de gestão e os de qualidade. Observou-se que um indicador de gestão acaba tendo correlação divergente, positiva e negativa, com o mesmo indicador de qualidade a depender do porte das IFES. E que, excetuando-se as relações entre o IGC e os indicadores Conceito CAPES e IQCD, por serem parte integrante do cálculo, com grande peso no resultado final, mesmo nas poucas correlações identificadas, quase inexistem correlações significativas fortes.

Corrobora esses fatos observados que tanto os indicadores de gestão quanto os de qualidade aplicados hoje às Instituições de Ensino Superior, são alvos de muitos questionamentos e críticas (DIAS SOBRINHO, 2008; LEMOS 2010; POLIDORI, 2009). Mesmo ciente da dificuldade em se estabelecer métricas para instituições tão complexas e diferentes entre si, fica muito clara a necessidade. Uma vez já estabelecido um parâmetro, esses devem passar constantemente por avaliações e revisões no sentido de aperfeiçoá-los, trazendo sempre o mais próximo da realidade onde são aplicados.

Para a análise preditiva foi escolhido como variável dependente, dentre os indicadores de qualidade, o Índice Geral de Cursos (IGC), por ser o principal instrumento pelo qual se avalia a qualidade das instituições, produzindo inclusive um ordenamento das melhores universidades amplamente divulgado na mídia. Também porque este reúne em si os demais indicadores de qualidade de forma ponderada.

Nessa etapa, diferentemente da correlação, que identificou apenas uma dependência linear entre os indicadores, ou seja, a forma como essas variáveis se relaciona, realizou-se a regressão dos dados, buscando identificar o Coeficiente de Determinação (R²). Ou seja, o quanto a variável dependente (IGC) pode ser explicada pelas variáveis independentes (Indicadores de Gestão). Esses resultados apresentados também foram analisados e comparados segundo os portes das instituições. Os principais resultados encontrados estão no Quadro 3.

Quadro 3
– Resumo dos resultados encontrados no cálculo da regressão conforme porte da IFES, 2009-2016

MODELO	TODAS VARIÁVEIS	PEQUENO PORTE	MÉDIO PORTE	GRANDE PORTE
R2 AJUSTADO	0,647 ou 64,7%	0,458 ou 45,8%	0,761 ou 76,1%	0,858 ou 85,8%
INDICADORES PREVISORES (Beta)	IQCD=0,448	IQCD=0,520	IQCD=0,520	-
	CO.CAPES=0,394	CO.CAPES= 0,271	CO.CAPES=0,456	CO.CAPES=0,692
	TSG=0,167	TSG=0,138	TSG=0,250	TSG=-0,213
	CCxAL=0,083	-	-	-
	FUNxPROF=0,066	-	-	-
	-	-	ALIxPROF=-0,098	ALIxPROF=0,124
	-	-	-	GPEG= 0,218

• Obs.: Valores apresentados na tabela, inclusive para o Beta, são dos modelos que alcançaram o maior R² ajustado.
• Siglas: IFES – Instituição Federal de Ensino Superior; CC X AL – Custo Corrente / Aluno Equivalente; ALI x PROF – Aluno Tempo Integral / Professor Equivalente; FUNC x PROF – Funcionário Equivalente / Professor Equivalente; GEPG – Grau de Envolvimento com Pós-Graduação; CO. CAPES - Conceito CAPES/MEC sobre Programas de Pós-Graduação; IQCD – Índice de Qualificação do Corpo Docente; TSG – Taxa de Sucesso na Graduação.
• Fonte: elaborado pelos autores.

Foi utilizada a regressão linear múltipla para verificar se os indicadores de gestão são capazes de prever/explicar o IGC das instituições. Esta análise resultou em um modelo estatisticamente significativo (R²). Nestes modelos podem ser destacados alguns pontos. O primeiro é que, apesar de obtidos modelos estatisticamente significativos, houve a eliminação de vários indicadores como variável independente, demonstrando que os Indicadores de Gestão do TCU não são significativos como previsores para o indicador de qualidade IGC.

Os coeficientes Beta dos indicadores Conceito CAPES e o IQCD são os previsores mais relevantes para IGC, com peso superior praticamente de duas (2) a três (3) vezes em relação aos demais indicadores previsores. Este fator, já observado na análise descritiva e de correlação deste trabalho, deve-se ao fato destas variáveis entrarem de forma direta no cálculo e terem grande peso no resultado do IGC.

No primeiro modelo com todas as variáveis, se obteve um R² ajustado de 0,647, ou seja, 64,7% da variação do IGC é explicado pelo modelo. Nele, apenas 5 das 9 variáveis mostraram ter alguma significância como previsora, sendo que IQCD e Conceito CAPES foram superiores em peso em relação às demais.

Nas análises considerando o porte, obteve-se que esta categoria influencia, identificando quais variáveis/indicadores são mais importantes para determinada instituição e, como a variabilidade do indicador pode ajudar a instituição a melhorar sua colocação no ranking que tem por base os resultados alcançados no IGC.

Para as instituições de pequeno porte, obteve-se um R² ajustado de 0,458, ou seja, 45,8% da variação do IGC é explicado por este modelo. E, como previsores, apenas três indicadores/variáveis dos nove indicadores de gestão do TCU, que foram o IQCD=0,520; CO.CAPES= 0,271, TSG=0,138. Aqui, o indicador mais importante para uma instituição pequena é o IQCD, com peso maior do que os outros somados. Isto é compreensível, pois conforme visto na estatística descritiva deste indicador, nas instituições de menor porte há uma escassez de trabalhadores qualificados. A entrada de um novo docente, conforme o modelo, tende a impactar diretamente nos resultados alcançados no IGC. Outro ponto a destacar é que, apesar de também aparecer como previsor, a TSG apresenta um peso muito pequeno em relação aos outros previsores.

Para as instituições de médio porte, obteve-se um R² ajustado de 0,761, ou seja, 76,1% da variação do IGC é explicado por este modelo. Para estas instituições, quatro foram os previsores: IQCD=0,520; CO.CAPES=0,456; TSG=0,250; ALIxPROF= -0,098. Novamente, um maior peso do índice de qualidade do corpo docente e do Conceito CAPES. A principal diferença foi a inclusão de mais um indicador, a relação aluno por professor, assim como o fato de que os previsores Conceito CAPES e TSG apresentaram um aumento em sua importância.

Já para as instituições de grande porte, obteve-se o melhor R² ajustado de 0,858, ou seja, 85,8% da variação do IGC é explicado por este modelo. Nesse modelo novamente se obteve alterações no rol de previsores devido ao porte, onde agora o IQCD sequer aparece como um previsor. Também pode-se entender esse fato, como uma situação esperada, pois conforme os dados descritivos das instituições de grande porte (Tabela 3), estas possuem quadros qualificados. Logo, a entrada de um novo docente qualificado não altera o resultado do IGC. Para estas instituições apenas quatro dos nove indicadores de gestão apresentaram significância como previsor, quais sejam: CO.CAPES=0,692; TSG=-0,213, GEPG= 0,218, ALIxPROF=0,124. Interessante notar que o Conceito CAPES tem um peso três (3) vezes maior que os demais indicadores. Demonstra, assim, que a Pós-Graduação é importante como fator para melhoria do resultado no IGC para as instituições de grande porte.

Tabela 3
– Média do Índice de Qualificação do Corpo Docente, por porte e região geográfica (2009-2016)

Porte	Região	Ano
		2009	2010	2011	2012	2013	2014	2015	2016
Pequeno	Centro-Oeste	4,45	4,39	4,37	4,41	4,26	4,27	4,28	4,37
	Nordeste	3,31	3,74	3,75	3,90	3,92	3,90	4,01	4,10
	Norte	3,20	3,45	3,43	3,57	3,56	3,64	3,64	3,76
	Sudeste	4,25	4,13	4,30	4,17	4,27	4,44	4,41	3,81
	Sul	3,70	4,18	4,08	4,24	4,28	4,29	4,40	4,42
Pequeno Total		3,75	3,87	3,95	3,97	4,01	4,07	4,12	3,97
Médio	Centro-Oeste	3,89	3,95	4,01	4,05	4,04	4,09	4,06	4,09
	Nordeste	3,68	3,80	3,82	3,75	3,89	3,90	4,01	4,07
	Norte	2,98	3,20	3,23	3,16	3,38	3,43	3,52	3,62
	Sudeste	4,10	4,38	4,34	4,37	4,51	4,65	4,70	4,77
	Sul	4,09	3,97	3,97	4,05	4,19	4,23	4,30	4,33
Médio Total		3,87	4,02	4,02	4,03	4,15	4,21	4,28	4,34
Grande	Centro-Oeste	4,46	4,53	4,50	4,51	4,64	4,46	4,59	4,33
	Nordeste	3,71	3,94	3,99	4,06	4,11	4,18	4,26	4,35
	Norte	3,66	3,99	4,02	4,08	4,21	4,31	4,41	4,21
	Sudeste	4,26	4,33	4,36	4,40	4,50	4,44	4,48	4,54
	Sul	4,18	4,33	4,42	4,47	4,49	4,54	4,57	4,63
Grande Total		4,00	4,17	4,22	4,27	4,34	4,35	4,42	4,45
Média Geral – Nacional		3,87	4,00	4,04	4,07	4,14	4,18	4,24	4,20

• Fonte: Elaborada pelo autor (2018).

Em suma, foi possível identificar por porte das instituições quais indicadores de gestão influenciam diretamente no resultado do Índice Geral de Curso (IGC). Desta forma, considerando que as universidades são avaliadas e ranqueadas por esse indicador (IGC), pode-se recomendar que esforços em torno dos indicadores encontrados sejam empreendidos, caso se almeje melhorar seus resultados. Esforços estes envolvem distintos previsores conforme o porte de cada IFES.

CONSIDERAÇÕES FINAIS

Este estudo teve por objetivo avaliar a relação existente entre o desempenho da gestão e a qualidade do ensino superior das IFES por meio da correlação dos indicadores de desempenho propostos pelo TCU e dos indicadores de qualidade, calculados e divulgados pelo INEP.

Os resultados obtidos comprovam que o porte da instituição e a região onde ela está localizada influenciam nos indicadores de cada instituição. Assim, não se pode pensar políticas públicas ou ações gerais, sem considerar esses dois aspectos. Comprovadamente, há correlação positiva entre os resultados alcançados no Enade e os demais indicadores de qualidade (IDD e IGC), assim como há forte relação dos indicadores de qualidade com o conceito dos cursos de pós-graduação CAPES, o índice de qualificação do corpo docente (IQCD) e a taxa de sucesso na graduação (TSG), excetuando esse último para as instituições de grande porte.

De forma semelhante a outros estudos, também ocorreram comportamentos divergentes da lógica em relação aos indicadores Enade e IDD. Ambos apresentaram relação negativa fraca em relação ao custo do aluno para as instituições de pequeno porte, enquanto para as instituições de grande porte a relação é positiva, mas fraca.

Como capacidade explicativa, na análise preditiva, apesar da obtenção de modelos estatisticamente significativos, a maior parte dos indicadores de Gestão do TCU caracterizaram-se como previsores pouco significativos para o indicador de qualidade Índice Geral de Cursos (IGC), sendo vários eliminados do cálculo por porte pela baixa significância. Os indicadores de Gestão que se mostraram mais relevantes como previsores foram justamente aqueles que não receberam ou receberam poucas críticas no momento de sua implementação, ou seja, o Conceito CAPES (CO.CAPES) e o Índice de Qualidade do Corpo Docente (IQCD).

Na análise preditiva foi possível identificar por porte das instituições quais indicadores de gestão influenciaram diretamente no resultado do Índice Geral de Curso (IGC). Esta contribuição constituiu um indicativo às universidades, que podem de certa forma focar nesses indicadores para tentar melhorar seus resultados no IGC.

Para próximos trabalhos, destaca-se que o rol de indicadores de Gestão e os de Qualidade não contempla todas as características individuais e regionais das instituições de ensino. Há uma incapacidade, por exemplo, de evidenciar aspectos de cursos ou pesquisas específicas (nível de agregação). Devido a isso existe dificuldade de comparação (IFES complexas e heterogêneas), inviabilizando, por vezes, a possibilidade de retratar-se a qualidade do ensino e da pesquisa. Esses indicadores acabam sendo determinados por órgãos externos às IFES, mas fica clara a necessidade de se ter uma avaliação e aprimoramento periódico dos mesmos, visando à correção de distorções, seja de gestão ou de qualidade.

REFERÊNCIAS

• BARBOSA, G.C.; FREIRE, F.S.; CRISÓSTOMO, V.L. Análise dos indicadores de gestão das IFES e o desempenho discente no ENADE. Avaliação, v. 16, n. 2, p. 317-344, jul., 2011.
• BARBOSA, G.C. Análise da associação entre os indicadores de gestão das Universidades Federais e o desempenho discente do ENADE Dissertação (Mestrado em Ciências Contábeis) - Programa Multi-institucional e Inter-Regional de Pós-Graduação em Ciências Contábeis da Universidade de Brasília, Universidade Federal da Paraíba e Universidade Federal do Rio Grande do Norte. Brasília, 2011.
• BOYNARD, K.M.S. Indicadores de Gestão em Conflito com Indicadores de Qualidade? Lições Econômicas para Gestão Universitária. Dissertação (Mestrado em Economia) - Programa de Pós-Graduação em Economia, Universidade de Brasília, 2013.
• BRASIL. Lei Nº 10.861 Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES e dá outras providências. 14 de abril de 2004. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2004-2006/2004/Lei/L10.861.htm Acesso em: 10 mai. 2017.
  » http://www.planalto.gov.br/ccivil_03/_Ato2004-2006/2004/Lei/L10.861.htm
• CASADO, L.F.; SILUK, J.C.M. Avaliação da eficiência técnica de instituições públicas através da utilização de indicadores de governança. In: XXXI Encontro nacional de engenharia de produção inovação tecnológica e propriedade intelectual: desafios da engenharia de produção na consolidação do Brasil no cenário econômico mundial. 2011. Anais Belo Horizonte, Brasil, 4 a 7 de Outubro de 2011. Disponível em: http://www.abepro.org.br/biblioteca/enegep2011_tn_sto_135_855_18751.pdf Acesso em: 10 mai. 2017.
  » http://www.abepro.org.br/biblioteca/enegep2011_tn_sto_135_855_18751.pdf
• COSTA, D.F. Medição de desempenho em universidades federais: análise da relação entre os indicadores do tribunal de contas da união e o índice geral de cursos. 115 p. Dissertação (Mestrado Profissional em Administração) - Universidade Potiguar, Natal, 2012.
• DIAS SOBRINHO, J. Qualidade, avaliação: do SINAES a índices. Avaliação, v. 13, n. 3, p. 817-825, nov. 2008.
• DIAS SOBRINHO, J. Avaliação e Transformações da educação superior brasileira (1995 - 2009): do provão ao SINAES. Avaliação, v.15, n.1, p. 195-224, 2010. Disponível em: http://www.SciELO.br Acesso em 22 abr. 2018.
  » http://www.SciELO.br
• FERNANDES, J.L.T. Indicadores para a avaliação da gestão das universidades federais brasileiras: um estudo da influência dos gastos sobre qualidade das atividades acadêmicas no período de 1998-2006. 2009, 117f. Dissertação (Mestrado em Ciências Contábeis) - Programa multi-institucional e internacional da UNB, UFPB, UFRN, UFPE, Brasília, 2009.
• FONAPRACE/ANDIFES. IV Pesquisa do Perfil Socioeconômico e Cultural dos Estudantes de Graduação das Instituições Federais de Ensino Superior Brasileiras Uberlândia: CEPES/UFU, 2016. Disponível em: http://www.andifes.org.br/wp-content/uploads/2017/11/Pesquisa-de-Perfil-dos-Graduanso-das-IFES_2014.pdf Acesso em: 06 jun. 2018.
  » http://www.andifes.org.br/wp-content/uploads/2017/11/Pesquisa-de-Perfil-dos-Graduanso-das-IFES_2014.pdf
• FERREIRA, M.C.; SANTOS, W.J.L.; PESSANHA, J.F.M. Avaliação do ensino superior: análise dos indicadores instituídos pelo TCU para as IFES. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, v. 18, n. 1, jan./abr., 2013, p. 104-124.
• FREIRE, F.S.; CRISÓSTOMO, V.L.; CASTRO, J.E.G. Análise do desempenho acadêmico e indicadores de gestão das IFES. Revista Produção OnLine, edição especial. 2007. Disponível em: http://producaoonline.org.br Acesso em: 19 abr. 2017.
  » http://producaoonline.org.br
• FREIRE, Fátima de Souza; CRISÓSTOMO, Vicente Lima; CASTRO, Juscelino E. G. Análise do desempenho acadêmico e indicadores de gestão das IFES. Revista Produção Online, v. 7, n. 4, jul. 2008, p. 5-25.
• FREITAS, Y.M.A.C. Avaliação institucional: realidade e desafio. In: IV COLÓQUIO DE GESTÃO UNIVERSITÁRIA DA AMÉRICA DO SUL. Anais, Florianópolis, 2004.
• INEP - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Nota Técnica Nº 17/2018/CGCQES/DAES, 2018a. Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2017/nota_tecnica_n17_2018_calculo_idd.pdf Acesso em: 10 jun. 2018.
  » http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2017/nota_tecnica_n17_2018_calculo_idd.pdf
• INEP - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Planilhas Resultados do ENADE - 2009-2016 Brasília, 2018b. Disponível em: http://portal.inep.gov.br/planilhas-enade Acesso em: 11 abr. 2018.
  » http://portal.inep.gov.br/planilhas-enade
• INEP - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Resultados do IGC - 2009-2016 Brasília, 2018c. Disponível em: http://portal.inep.gov.br/indicegeral-de-cursos Acesso em: 11 abr. 2018.
  » http://portal.inep.gov.br/indicegeral-de-cursos
• INEP - INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Resultados do IDD - 2009-2016 Brasília, 2018d. Disponível em: http://portal.inep.gov.br/indicegeral-de-cursos Acesso em: 11 abr. 2018.
  » http://portal.inep.gov.br/indicegeral-de-cursos
• JC, JORNAL CIDADE Mais alunos e menos verbas: a conta das federais não fecha. 04 de Fevereiro de 2018. Disponível em: http://www.jctocantins.com.br/2018/02/04/mais-alunos-e-menos-verbas-a-conta-das-federais-nao-fecha/ . Acesso em: 10 mai. 2018.
  » http://www.jctocantins.com.br/2018/02/04/mais-alunos-e-menos-verbas-a-conta-das-federais-nao-fecha/
• MINISTÉRIO DA EDUCAÇÃO. Portaria Normativa nº 40, de 12 de dezembro de 2007 Disponível em: http://download.inep.gov.br/download/superior/2011/portaria_normativa_n40_12_dezembro_2007.pdf Acesso em: 30 jul. 2019.
  » http://download.inep.gov.br/download/superior/2011/portaria_normativa_n40_12_dezembro_2007.pdf
• PDRAE. Plano Diretor de Reforma do Aparelho do Estado. Brasília: Ministério da Administração Federal e da Reforma do Estado, 1995. Disponível em: http://www.bresserpereira.org.br/documents/mare/planodiretor/planodiretor.pdf Acesso em: 26 abr. 2017.
  » http://www.bresserpereira.org.br/documents/mare/planodiretor/planodiretor.pdf
• POLIDORI, M.M. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e outros índices. Avaliação, v. 14, n. 2, p. 267-290, jul. 2009.
• RIBEIRO, Priscilla Maria Bonini. A Educação e as Desigualdades Sociais 2014. Disponível em: https://www.campograndenews.com.br/artigos/a-educacao-e-as-desigualdades-sociais Acesso em: 10 jul. 2018.
  » https://www.campograndenews.com.br/artigos/a-educacao-e-as-desigualdades-sociais
• SANTOS, C.R. O olho do dono engorda o boi? Uma análise da relação entre os indicadores de gestão do Tribunal de Contas da União para os Institutos Federais de Educação, Ciência e Tecnologia e o índice geral de cursos. Dissertação (Mestrado Administração) – Programa de Pós-Graduação, Escola de Administração, Universidade Federal da Bahia, Salvador, 2014.
• TCU – TRIBUNAL DE CONTAS DA UNIÃO. Secretaria de Educação Superior – SESu/MEC; Secretaria Federal de Controle Interno – SFC. Orientações para o cálculo dos indicadores de gestão: decisão TCU nº 408/2002 - plenário. Versão revisada em janeiro de 2009. 12p.

Datas de Publicação

• Publicação nesta coleção
  09 Set 2019
• Data do Fascículo
  May-Aug 2019

Histórico

• Recebido
  15 Jun 2019
• Aceito
  01 Ago 2019