Autoavaliação em uma instituição federal de ensino superior: resultados e implicações

Self evaluation in a federal higher education institution: results and implications

Cisne Zélia Teixeira Reis^I; Suely de Fátima Ramos Silveira^II; Marco Aurélio Marques Ferreira^III

^IMestranda em Administração do Departamento de Administração e Contabilidade da Universidade Federal de Viçosa. E-mail: [e-mail] ^IIDra. em Economia Aplicada, Professora Adjunta do Departamento de Administração e Contabilidade da Universidade Federal de Viçosa. E-mail: [e-mail] ^IIIDr. em Economia Aplicada Professor Adjunto do Departamento de Administração e Contabilidade da Universidade Federal de Viçosa. E-mail: [e-mail]

RESUMO

Este trabalho tem como objetivo analisar os resultados da autoavaliação institucional aplicada em uma Instituição Federal de Ensino Superior, a fim de identificar como os segmentos da comunidade universitária avaliaram cada dimensão abordada. A partir dos resultados obtidos da aplicação de questionário eletrônico estruturado, composto por 39 questões comuns aos sujeitos pesquisados, procedeu-se ao agrupamento das questões em sete dimensões: 1- Política para ensino, pesquisa e extensão, 2- Responsabilidade Social, 3- Comunicação com a sociedade, 4- Organização e Gestão, 5- Infraestrutura física e didática, 6- Atendimento ao discente e 7- Sustentabilidade Financeira, sendo as consistências das variáveis agrupadas, testadas pelo Alpha de Cronbach. Posteriormente, a fim de reduzir as variáveis a apenas uma, em cada dimensão, utilizou-se da técnica de escala somada e realizou-se o teste da Análise de Variância (Anova). Por fim, a Análise de Cluster permitiu agrupar os sujeitos conforme avaliação que fizeram da Instituição. Os resultados indicaram que os discentes e docentes, em sua maioria, avaliaram bem a Instituição. Já os técnicos administrativos, em sua maioria, avaliaram pior a Instituição. As dimensões foram avaliadas pelos Clusters de "Melhor Avaliação" como boas e pelos Clusters de "Pior Avaliação" como regulares.

Palavras-chave: Avaliação. Qualidade do ensino superior. SINAES. Autoavaliação institutional. Análise de cluster.

ABSTRACT

This paper aims to analyze the results of institutional self-evaluation applied to a Federal Institute of Higher Education to identify how the segments of the university community rated each dimension included. From the results obtained from the application of a structured electronic questionnaire, consisting of 39 questions common to the subjects studied, the questions were grouped into seven dimensions: 1 - Policy for teaching, research and extension, 2 - Social Responsibility, 3 - Communication with society, 4 - Organization and Management, 5 - Physical infrastructure and teaching, 6 - Assistance to students and 7 - Financial Sustainability. The consistencies of the variables are grouped, tested by Cronbach's alpha. Subsequently, in order to reduce the variables to only one in each dimension, we used the plus scale technique and the analysis of variance test (ANOVA). Finally, the Cluster Analysis allowed us to group the subjects according to the evaluation made of the institution. The results indicated that most of the students and teachers, positively evaluated the institution, while the technical staff, in most cases, evaluated the institution more negatively. The dimensions were evaluated as good by the "Best Rating" clusters and as unexceptional by the 'Worst rating' clusters.

Key words: Evaluation. Quality of higher education. SINAES. Institutional self-evaluation. Cluster analysis.

1 INTRODUÇÃO

Para apuração do alcance dos objetivos e metas estabelecidos nas políticas públicas, mecanismos de avaliação de programas são empregados como subsídios à decisão de continuidade ou mudança de rumos, tendo em vista a necessidade de prestação de um serviço público de qualidade e boa aplicação de recursos.

Com vistas a implementar a sistemática de avaliação da educação superior, em 2004, a Lei nº 10.861 instituiu o Sistema Nacional de Avaliação da Educação Superior (SINAES), com o objetivo de melhorar a qualidade da educação superior no Brasil.

O SINAES estabelece três modalidades de avaliação, cujo conjunto representaria a possibilidade de alcance de seu objetivo macro, ou seja, a melhoria da qualidade da educação superior. Este sistema prevê a Avaliação das Instituições de Educação Superior (Avalies), a Avaliação dos Cursos de Graduação (ACG) e a Avaliação do Desempenho dos Estudantes (Exame Nacional de Avaliação de Desempenho dos Estudantes - Enade).

Ressalta-se que a autoavaliação institucional, juntamente com uma avaliação externa in loco, compõe a chamada "Avaliação das Instituições de Educação Superior (Avalies)", conforme propõe o SINAES.

A modalidade de autoavaliação institucional implica verificar a atuação da instituição em dimensões, ou indicadores, relacionados aos seguintes tópicos: Missão e plano de desenvolvimento institucional; perspectiva científica e pedagógica formadora: políticas, normas e estímulos para o ensino, a pesquisa e a extensão; responsabilidade social da IES; comunicação com a sociedade; políticas de pessoal, carreira, aperfeiçoamento, condições de trabalho; organização e gestão da instituição; infraestrutura física e recursos de apoio; planejamento e avaliação; políticas de atendimento aos estudantes e sustentabilidade financeira.

Diante do exposto, objetivou-se neste estudo analisar os resultados da autoavaliação institucional aplicada à Universidade Federal de Viçosa (UFV), Minas Gerais, no ano de 2009, referente ao biênio 2007-2008, a fim de identificar como os segmentos da comunidade universitária avaliaram cada dimensão abordada e quais dimensões foram mais bem e, ou, pior avaliadas pelos sujeitos pesquisados. Dessa forma, espera-se identificar se, na visão dos discentes, docentes e técnico-administrativos, a UFV tem conseguido oferecer um ensino de qualidade, ou seja, conforme demandas do governo e da sociedade.

Considerando-se que a avaliação deve significar um processo de aprendizagem da instituição no intuito de alcançar os objetivos institucionais com eficiência, eficácia e efetividade, representando também um reflexo positivo para com seus stakeholders, este trabalho tem sua importância baseada na necessidade premente de cada instituição de ensino superior em empenhar-se no cumprimento de seu papel principal.

Assim, a relevância do estudo está em fornecer informações complementares para possibilitar à Instituição identificar ações que merecem ser revistas ou intensificadas com vistas ao alcance dos propósitos estabelecidos na política de expansão e qualidade da educação superior. E poderá, também, propiciar à sociedade informações sobre a percepção dos atores da comunidade universitária do desempenho da Instituição.

2 REFERENCIAL TEÓRICO

Para o desempenho de suas funções sociais, o Estado estabelece, implementa e avalia políticas públicas para as mais diversas áreas, a saber: saúde, educação, previdência, moradia, segurança, saneamento básico etc.

Conforme Guareschi e outros (2004, p. 180), políticas públicas significam o conjunto de ações coletivas voltadas para a garantia dos direitos sociais, configurando um compromisso público que visa dar conta de determinada demanda, em diversas áreas. Expressa a transformação daquilo que é do âmbito privado em ações coletivas no espaço público.

Em se tratando de políticas públicas para a educação, observam-se iniciativas governamentais no estabelecimento de metas e ações que proporcionem o desenvolvimento do cidadão, prevendo, na Constituição de 1988, na Lei de Diretrizes e Bases/1996, no Plano Nacional de Educação (PNE)/2001 e no Plano de Desenvolvimento da Educação (PDE)/2007, diretrizes em prol da expansão e da melhoria da qualidade da educação.

Uma vez definidas as políticas públicas para a área de educação, ou para qualquer outra área, implica também implementação de processos de avaliação, que, conforme Cohen e Franco (2007, p. 77), é uma atividade que tem como objetivo maximizar a eficácia dos programas na obtenção de seus fins e a eficiência na alocação de recursos para a consecução destes.

De acordo com Monteiro (2002), há que se reconhecer a nobreza e a complexidade do processo de avaliação. Nobreza, pelo fato de buscar o alcance do objetivo maior da ação governamental e o avanço social; e complexidade, pela dificuldade na sua construção política e formulação técnica.

As avaliações podem ser classificadas segundo vários critérios. É possível distinguir dois enfoques, de acordo com os tipos de problemas ou perguntas que as avaliações respondem (COHEN; FRANCO, 2007; COTTA, 1998): a avaliação de processos, realizada durante a implementação do programa, diz respeito à dimensão de gestão, é feita periodicamente para detectar as dificuldades que ocorrem durante o processo com o propósito de se fazerem correções ou adequações; e a avaliação de impactos ou resultados, tem objetivos mais ambiciosos, respondendo se o programa funcionou ou não, procurando verificar em que medida o programa alcança seus objetivos e quais são os seus efeitos, indagando se houve modificações na situação-problema que originou a formulação do programa.

Segundo Silva (1999), o motivo mais imediato do interesse pela avaliação de atividades de governo seria a preocupação com a efetividade, isto é, com a aferição dos resultados esperados e não esperados alcançados pela implementação dos programas. O segundo motivo seria entender o processo pelo qual os programas alcançaram ou não esses resultados, analisando-se a dinâmica da intervenção estatal e os problemas concretos advindos da implementação. Outros motivos relevantes seriam a aprendizagem organizacional das instituições públicas sobre suas atividades, a tomada de decisão sobre a continuidade ou não dos programas e, ainda, a transparência, qualidade e accountability na gestão dos recursos públicos.

Catani, Oliveira e Dourado (2001) argumentam que os processos sistemáticos de avaliação universitária adotados pelo Estado brasileiro nas últimas décadas, apesar da variedade de mecanismos, sempre estiveram atrelados a uma visão estatal de controle e cobrança de resultados. Aproximando-se mais de um mecanismo de prestação de contas das instituições quanto ao uso adequado dos recursos, do que um processo de avaliação que privilegiasse a melhoria do sistema.

Segundo Durham e Schwartzman (1992), os processos de avaliação surgem como resposta a uma dupla necessidade: 1ª) do Estado, com o propósito de orientar os financiamentos e canalizar as pressões que recebe da sociedade; 2ª) das próprias universidades e das escolas, com o objetivo de evitar o perigo de se mostrarem incapazes de responder a essas pressões e se tornarem assim instituições obsoletas.

Conforme Zainko (2008), a proposta de avaliação em caráter mais sistematizado, no Brasil, remonta ao início da década de 1960, quando o governo militar, que vigorou no País de 1964 a 1985, a título de modernização, submete a educação a um modelo "produtivista" de eficiência. O Grupo de Trabalho que propôs a Reforma Universitária de 1968 procede a um amplo diagnóstico e conclui pela necessidade de incrementar o número de matrículas na Educação Superior, acompanhando a tendência vigente em outros países de um fenômeno chamado de massificação. Tem início aí o "boom" da expansão da Educação Superior, com um aumento indiscriminado de instituições e de matrículas, sem que com isso fosse assegurada a democratização do acesso com garantia de permanência e qualidade.

A partir da década de 1990, observa-se que a avaliação da educação superior tem tido destaque, uma vez que houve uma evolução nos mecanismos e procedimentos adotados.

Vários instrumentos e grupos de trabalho sobre a avaliação da educação superior foram, a partir de então, instituídos. Entre eles destaca-se o Programa de Avaliação da Reforma Universitária (PARU), de 1983; a Comissão Nacional de Reformulação da Educação Superior, conhecida como a Comissão de Notáveis, de 1985; o Grupo Executivo para a Reforma da Educação Superior (GERES), em 1985; o PAIUB, primeiro programa de avaliação institucional da Universidade Brasileira, em 1993; o Exame Nacional de Cursos, que ficou popularmente conhecido como Provão, Lei 9.131/95, o Sistema Nacional de Avaliação da Educação Superior (SINAES), em 2004. Mais recentemente, em 2008, mantendo-se os princípios do SINAES foram criados os indicadores de avaliação Conceito Preliminar de Cursos (CPC), Indicador de Desempenho Esperado e Observado (IDD) e Índice Geral dos Cursos (IGC).

Com o objetivo de sistematizar o processo de avaliação da educação superior, em 2004, surge o SINAES (Sistema Nacional de Avaliação da Educação Superior), Lei nº. 10.861, com as seguintes finalidades: melhoria da qualidade da educação superior, orientação da expansão da sua oferta, aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, promoção e aperfeiçoamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional.

Procurando dar ao processo de avaliação da educação superior um caráter mais amplo, o SINAES busca a participação da comunidade universitária na avaliação da instituição, associado à avaliação interna e externa dos cursos e à avaliação do desempenho dos estudantes.

A sistemática de avaliação estabelecida é construída com base nas três modalidades de avaliação, aplicados em diferentes momentos: a) Avaliação das Instituições de Educação Superior-Avalies; b) Avaliação dos Cursos de Graduação-ACG; e c) Avaliação do Desempenho dos Estudantes (Exame Nacional de Avaliação de Desempenho dos Estudantes- Enade).

Para as modalidades ACG e Enade, a avaliação está associada à regulação dos cursos de graduação, que prevê que estes sejam avaliados periodicamente. Assim, os cursos de educação superior passam por três tipos de avaliação: para autorização, para reconhecimento e para renovação de reconhecimento.

A avaliação para autorização é feita quando uma instituição pede autorização ao MEC para abrir um curso. Requer visitas in loco para avaliar as três dimensões do curso quanto à adequação ao projeto proposto: a organização didático-pedagógica, o corpo docente e técnico-administrativo e as instalações físicas. A avaliação para reconhecimento é feita quando a primeira turma do curso novo entra na segunda metade do curso. Já a avaliação para renovação de reconhecimento é feita de acordo com o Ciclo do SINAES, ou seja, a cada três anos. É calculado o Conceito Preliminar do Curso (CPC) e aqueles cursos que tiverem conceito preliminar 1 ou 2 serão avaliados in loco por dois avaliadores ao longo de dois dias.

Se forem detectadas deficiências, haverá reavaliação e, se elas ainda persistirem, prevê-se a desativação de cursos e habilitações, a intervenção nas Instituições de Ensino Superior e, no limite, o descredenciamento.

No ano de 2008, foi instituído o Índice Geral de Cursos da Instituição (IGC). É um indicador de qualidade de instituições de educação superior que considera, em sua composição, a qualidade dos cursos de graduação e de pós-graduação (mestrado e doutorado). No que se refere à graduação, é utilizado o CPC e, no que tange à pós-graduação, é utilizada a Nota Capes. O CPC tem como base o Conceito Enade, o Conceito IDD e as variáveis de insumo. O IDD tem o propósito de trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de seus estudantes ingressantes são semelhantes. As variáveis de insumo - que consideram corpo docente, infraestrutura e programa pedagógico - são formadas com dados do Censo da Educação Superior e de respostas ao questionário socioeconômico do Enade.

A modalidade Avaliação Institucional é compreendida de duas fases: a Autoavaliação, Coordenada pela Comissão Própria de Avaliação (CPA) de cada instituição, orientada pelas diretrizes específicas; e a Avaliação externa, realizada por comissões designadas pelo Inep, que tem como referência os padrões de qualidade para a educação superior expressos nos instrumentos de avaliação e os relatórios das autoavaliações. O processo de avaliação externa, independentemente de sua abordagem, orienta-se por uma visão multidimensional, que busque integrar suas naturezas formativa e de regulação numa perspectiva de globalidade.

Na avaliação da instituição, objetiva-se promover a reflexão sobre questões que retratem os meios de gestão para cumprir os objetivos e projetos institucionais em 10 dimensões, ou indicadores, definidas para garantir a unidade do processo e, ao mesmo tempo, a especificidade de cada instituição. São elas: 1- a Missão e o plano de desenvolvimento institucional; 2- perspectiva científica e pedagógica formadora: políticas, normas e estímulos para o ensino, a pesquisa e a extensão; 3- responsabilidade social da IES; 4- comunicação com a sociedade; 5- políticas de pessoal, carreira, aperfeiçoamento, condições de trabalho; 6- organização e gestão da instituição; 7- infraestrutura física e recursos de apoio; 8- planejamento e avaliação; 9- políticas de atendimento aos estudantes; e 10- sustentabilidade financeira.

Neste processo de avaliação, cabe ao Ministério da Educação (MEC) articular, viabilizar e financiar a avaliação da educação superior, estimulando a adesão voluntária das instituições a esta prática avaliativa. A avaliação é compreendida enquanto um processo de acompanhamento metódico das ações realizadas pela instituição de educação superior, com vistas a averiguar em que medida são cumpridas e atendidas as funções e prioridades delimitadas coletivamente.

A avaliação institucional deve, conforme Dias Sobrinho (1995, p. 33), ser

uma atividade sistemática e permanente que resulte em uma compreensão global e integrada da Universidade, produza conhecimentos sobre as diversas estruturas acadêmicas e institucionais, seja um processo enriquecedor da vida comunitária, instaurando-se como melhoria da qualidade de todos os aspectos e setores científicos, pedagógicos, políticos e administrativos.

3 PROCEDIMENTOS METODOLÓGICOS

Este estudo visa analisar a opinião da comunidade universitária, composta dos segmentos discente, docente e técnico-administrativo, sobre a qualidade de uma Universidade Federal em aspectos relacionados ao ensino, pesquisa e extensão, infraestrutura física e acadêmica, responsabilidade social, gestão universitária, sustentabilidade financeira e outros.

Trata-se de um estudo de caso na Universidade Federal de Viçosa que, a exemplo de todas as outras universidades públicas e privadas, por força da Lei nº 10.861/2004, deve, periodicamente, por meio da Comissão Própria de Avaliação (CPA) proceder à autoavaliação institucional, como uma das formas de avaliar o processo da qualidade educacional de ensino superior.

De acordo com Yin (2002, p. 32), um estudo de caso é uma investigação empírica que investiga um fenômeno contemporâneo dentro de seu contexto da vida real, especialmente quando os limites entre o fenômeno e o contexto não estão claramente definidos.

O estudo foi realizado no ano de 2009 na Universidade Federal de Viçosa (UFV), Campus Viçosa, localizada na Zona da Mata mineira, que possui 939 docentes, 2.365 técnicos administrativos e 15.021 alunos de graduação, pós-graduação e nível médio nos 65 cursos de graduação, 33 programas de mestrado e 21 de doutorado, e no ensino médio e técnico, localizados nos campi de Viçosa, Florestal e Rio Paranaíba.

Quanto aos fins, segundo Cervo e Bervian (2002) e Vergara (2006), esta pesquisa se enquadra como descritiva, uma vez que, de acordo com os referidos autores, possui objetivos bem definidos e procedimentos formais, é bem estruturada e dirigida para a solução de problemas ou avaliação de alternativas de curso de ação. Em suas diversas formas, trabalha com dados ou fatos colhidos da própria realidade.

Quanto aos meios, esta pesquisa se enquadra como bibliográfica e documental.

Os dados foram extraídos do relatório de autoavaliação referente ao período de 2007-2008, cujo processo, seguindo orientações constantes da Lei nº 10.861/2004, foi conduzido pela Comissão Própria de Avaliação da UFV, constituída de representantes docentes, discentes, técnicos administrativos e da sociedade civil organizada, que elaborou questionário para cada segmento da comunidade universitária.

O segmento docente teve questionário com 63 itens, o segmento discente de graduação com 63 itens, o segmento discente de pós-graduação com 55 itens e o segmento técnico-administrativo com 54 itens. Com pequenas variações nos itens questionados, em virtude da particularidade de cada segmento, podem-se verificar 44 itens comuns aos três segmentos, das quais 39 tinham o padrão de respostas que possibilitavam este estudo.

O questionário, aplicado eletronicamente, contou com questões distribuídas entre as 10 dimensões definidas pelo SINAES visando avaliar: 1) Missão e o Plano de Desenvolvimento Institucional; 2) Políticas para o ensino, pesquisa e extensão; 3) Responsabilidade Social; 4) Comunicação com a sociedade; 5) Políticas de pessoal; 6) Organização e gestão; 7) Infraestrutura; 8) Planejamento e avaliação; 9) Atendimento aos discentes; e 10) Sustentabilidade financeira.

Dentre as 44 questões, associadas a uma escala categórica, 5 tinham como respostas possíveis 1="Sim", 2="Não" ou 3="Sem condições de responder"; e as outras 39 tinham como alternativas 1="Péssimo", 2="Ruim", 3="Regular", 4="Bom", 5="Ótimo" ou 6="Não se aplica ou não sei responder", tendo sido esta última considerada dado perdido.

Os dados foram analisados por meio do programa SPSS versão 15.0, a partir da utilização das técnicas estatísticas de Alpha de Cronbach, Escala Somada, Anova e Análise de Cluster.

Para verificar a confiabilidade dos constructos de cada dimensão e também do conjunto das dimensões, utilizou-se a técnica do Alfa de Cronbach que, conforme Hair Jr. et al. (2009, p. 126), é uma ferramenta estatística que mede a confiabilidade de escalas de itens múltiplos, visando à validação de constructo, em que as variáveis ou itens que o compõe são fortemente correlacionados.

Os valores do Alfa de Cronbach variam de 0 a 1, e os valores baixos indicam que os itens utilizados na escala não medem adequadamente o constructo em questão. Por outro lado, elevados valores do coeficiente Alfa indicam que os itens utilizados correlacionam-se adequadamente com os verdadeiros escores das variáveis, sendo considerado entre os pesquisadores 0,60 como o valor mínimo recomendado. Em pesquisas descritivas e causais, em que conceitos devem ser bem confiáveis, sugere-se um corte de 0,70.

Com a utilização da técnica da Escala Somada, procedeu-se ao cálculo dos escores médios de cada dimensão em função dos escores originais de suas variáveis. Segundo Hair Jr. et al. (2005, p. 199) os escores somados podem facilitar a comparação dos grupos e a compreensão de suas diferenças.

Realizou-se, então, o teste da Análise de Variância (ANOVA) para identificar como os diferentes segmentos da comunidade universitária avaliam a Instituição, tendo como hipótese nula que os docentes, discentes e técnico-administrativos avaliam a instituição da mesma forma.

Conforme Hair Jr. e outros (2005, p. 297), a ANOVA é usada para avaliar as diferenças estatísticas entre as médias de dois ou mais grupos. A aplicação dessa técnica deu-se no conjunto das dimensões abordadas nesse estudo, cujos escores resultam das médias dos escores das respectivas variáveis que formam as dimensões que caracterizam o constructo qualidade da educação superior.

Por fim, com a aplicação da Análise de Cluster ou de Conglomerados tentou-se identificar a opinião de cada segmento da comunidade universitária, em relação ao próprio segmento e em relação aos outros segmentos, nas dimensões abordadas.

Conforme Hair Jr. e outros (2005, p. 400) Análise de Cluster é uma técnica multivariada de interdependência, que possibilita combinar objetos que tenham alta homogeneidade interna (dentro do conglomerado) bem como alta heterogeneidade externa (entre conglomerados). Para Hair Jr. e outros (2009, p. 100), a análise de agrupamentos tem o objetivo de agrupar respondentes semelhantes ou casos com perfis similares em um dado conjunto de características.

A participação da comunidade universitária deu-se por meio de um sistema computacional para coleta de dados, survey eletrônica, desenvolvido pela unidade de tecnologia da informação da UFV.

A pesquisa contou com a participação de 40,6% dos docentes, 15,3% de técnico-administrativos e 15,1% de discentes de graduação e 10,9% de discentes de pós-graduação, num total de 2.871 participantes.

4 RESULTADOS E DISCUSSÃO

Para a análise das dimensões, utilizou-se das técnicas de Alpha de Cronbach, a fim de testar a confiabilidade das variáveis pertencentes a cada dimensão, Escala Somada, para redução das variáveis a apenas uma (dimensão), análise descritiva, para caracterização dos dados, e teste Anova, para verificar se as médias das dimensões, por segmento, eram iguais. Já para a identificação de grupos com características semelhantes entre si e diferentes entre grupos, no que tange à avaliação das dimensões, utilizou-se a Análise de Cluster.

4.1 Caracterização das dimensões

No ano de 2009, seguindo instruções constantes da Lei no 10.861/04, a Universidade Federal de Viçosa (UFV) procedeu ao segundo ciclo de autoavaliação institucional nos segmentos docentes, discentes (graduação e pós-graduação) e técnico-administrativos, com o propósito de conhecer a realidade da Instituição, suas potencialidades e suas deficiências.

Ressalta-se que, muito embora as dimensões abordadas pelo SINAES sejam em número de 10, esta pesquisa, considerando a opção por analisar as questões comuns aos três segmentos, como também apenas aquelas que tem um padrão de respostas, não retrata em sua análise a dimensão "Políticas de Progressão de Carreira", por ser específica dos segmentos Docente e técnico-administrativo, e as dimensões "Missão e PDI" e "Avaliação Institucional". Estas duas últimas dimensões tiveram questões em escala categórica, diferentemente das demais que foram em escala Likert.

O primeiro procedimento estatístico adotado foi o teste de confiabilidade do constructo por meio do Alfa de Cronbach das variáveis de cada dimensão.

Verifica-se na Tabela 1 que o Alfa de Cronbach é superior a 0,7 em todas as dimensões, podendo ser considerado "Bom", o que determina que o constructo reflete com confiabilidade o fenômeno investigado.

Posteriormente, procedeu-se ao cálculo dos escores de cada dimensão resultantes da média dos escores de suas variáveis, dos respondentes, que, por segmento, correspondeu 1.813 discentes de Graduação, 372 discentes de Pós-Graduação, 359 docentes e 327 técnico-administrativos, perfazendo o total de 2.871 participantes.

Verifica-se na Tabela 2 a análise descritiva das dimensões, por segmento, em que o valor mínimo é 1 e o máximo é 5 e suas respectivas médias, em que o desvio-padrão em todas as dimensões não é superior à média. O desvio-padrão descreve a dispersão da variabilidade dos valores de distribuição da amostra a partir da média; se o desvio-padrão é pequeno significa que os respondentes foram muito coerentes em suas opiniões, caso contrário, se o desvio-padrão é grande, tem-se muita variabilidade nas opiniões.

A realização do teste da Análise de Variância (ANOVA) possibilitou identificar como os diferentes segmentos da comunidade universitária avaliam a Instituição, tendo como hipótese nula que os docentes, discentes e técnico-administrativos avaliam a Instituição da mesma forma, ou seja, que as médias nas dimensões são iguais.

Conforme Tabela 3, todas as dimensões apresentaram significância menor que 0,05, indicando, portanto, que as médias das respostas são diferentes entre os segmentos analisados. Logo, rejeita-se a hipótese nula, o que, estatisticamente, significa que os segmentos docentes, discentes e técnico-administrativos não avaliam a instituição da mesma forma.

O teste F, conforme Triola (2005, p. 467), avalia as diferenças entre as médias dos grupos dividindo a variância total em duas formas de variação que são comparadas. A primeira é a variação dentro dos grupos, e a segunda, é a variação entre os grupos. Quanto maior o valor de F, maiores as diferenças significativas entre os grupos e uma alta probabilidade de a hipótese nula ser rejeitada.

Uma vez que os dados apresentaram diferença nas médias das dimensões entre os segmentos, conforme a ANOVA, optou-se por realizar uma Análise de Cluster para identificar grupos com avaliações semelhantes entre si e diferentes entre grupos.

4.2 Análise dos Clusters

A Análise de Cluster foi realizada para agrupar os sujeitos pesquisados conforme avaliação que fizeram sobre a instituição. Considerou-se mais adequada a retenção de dois agrupamentos, já que estes possibilitaram melhor interpretação dos dados, tendo em vista maior heterogeneidade entre estes.

Ressalta-se que, para a análise da avaliação da instituição, segundo os quatro segmentos analisados, optou-se pela análise estratificada, ou seja, foram gerados dois clusters para cada segmento, e que cada um corresponde a um tipo de avaliação: "Melhor Avaliação" e "Pior Avaliação". A seguir, apresentam-se os clusters e suas caracterizações.

Clusters para o segmento de discentes de graduação

Conforme Tabela 4, o Cluster 1, em virtude das dimensões, em sua maioria, terem apresentado médias maiores, se comparado ao Cluster 02, foi denominado "Melhor Avaliação". Assim, o Cluster 2 foi denominado "Pior Avaliação".

De acordo com a Tabela 5, observa-se que 76,77% dos discentes pertencem ao Cluster "Melhor Avaliação" e 23,23% ao Cluster "Pior Avaliação". Conclui-se, portanto, que a maioria dos discentes de graduação avaliou bem a instituição. Contudo, mesmo a avaliação sendo considerada melhor, constatou-se que as médias das avaliações em algumas dimensões não foram muito altas, assemelhando-se às médias do Cluster 2.

Especificamente, de acordo com a Tabela 4, percebeu-se que os discentes do Cluster "Melhor Avaliação" consideraram as dimensões "Política para ensino, pesquisa e extensão", "Responsabilidade Social", "Comunicação com a sociedade", "Organização e gestão", "Infraestrutura física e didática" e "Atendimento ao discente", como boas, e, por fim, a dimensão "Sustentabilidade financeira" como regular.

Já no Cluster "Pior Avaliação", constatou-se que a dimensão "Sustentabilidade financeira" foi avaliada pelos discentes como ruim, e as dimensões "Política para ensino, pesquisa e extensão", "Responsabilidade social", "Comunicação com a sociedade", "Organização e gestão", "Infraestrutura física e didática" e "Atendimento ao discente" como regulares.

Clusters para o segmento de discentes de pós-graduação

Conforme Tabela 6, o Cluster 1, em virtude das dimensões, em sua maioria, terem apresentado médias maiores, se comparado ao Cluster 2, foi denominado "Melhor Avaliação". Já, o Cluster 2 foi denominado "Pior Avaliação", por apresentar piores médias.

Conforme Tabela 7, nota-se que 61,38% dos discentes de pós-graduação pertencem ao Cluster "Melhor Avaliação" e 38,10% ao Cluster "Pior Avaliação". Assim, conclui-se que os discentes de pós-graduação, em sua maioria, avaliaram bem a instituição.

Conforme Tabela 6, constatou-se que os discentes de pós-graduação do Cluster "Melhor Avaliação" consideraram todas as dimensões como boas. Já no Cluster "Pior Avaliação", constatou-se que todas as dimensões foram consideradas regulares pelos discentes de pós-graduação.

Clusters para o segmento de Docentes

Conforme Tabela 8, o Cluster 2, em virtude das dimensões, em sua maioria, terem apresentado médias maiores, se comparado ao Cluster 1, foi denominado "Melhor Avaliação". Assim, o Cluster 1 foi denominado "Pior Avaliação".

De acordo com a Tabela 9, verifica-se que 69,07% dos docentes pertencem ao Cluster "Melhor Avaliação" e 30,93% ao Cluster "Pior Avaliação". Assim, contatou-se que a maioria dos docentes avaliou bem a instituição.

Conforme Tabela 8, percebeu-se que os docentes do Cluster "Melhor Avaliação" consideraram as dimensões "Comunicação com a sociedade" e "Sustentabilidade financeira" como regulares e as demais dimensões como boas. Já para os docentes do Cluster "Pior Avaliação" constatou-se que todas as dimensões foram consideradas regulares.

Clusters para o segmento de técnicos administrativos

De acordo com a Tabela 10, o Cluster 2, em virtude das dimensões, em sua maioria, terem apresentado médias maiores, se comparado ao Cluster 1, foi denominado "Melhor Avaliação". Assim, o Cluster 1 foi denominado "Pior Avaliação".

De acordo com a Tabela 11, observa-se que 20,91% dos técnicos administrativos pertencem ao Cluster "Melhor Avaliação" e 79,09% ao Cluster "Pior Avaliação". Assim, conclui-se que a maioria dos técnicos administrativos avaliou pior a instituição.

Conforme observado na Tabela 10, os técnicos administrativos do Cluster "Melhor Avaliação" consideraram as dimensões como boas e ótimas. Já para os do Cluster "Pior Avaliação" constatou-se que as dimensões "Comunicação com a sociedade", e "Sustentabilidade financeira" foram avaliadas como regulares e as demais como boas.

Nota-se que a dimensão "Sustentabilidade financeira" figura como ruim e regular em quase todos os Clusters dos segmentos pesquisados, à exceção do Cluster "Melhor Avaliação" dos segmentos discentes de pós-graduação e técnico-administrativo.

Também a dimensão "Comunicação com a sociedade" figura como regular em todos os segmentos da comunidade universitária, ora no Cluster "Melhor Avaliação", ora no Cluster "Pior Avaliação".

Pode-se então inferir que, de forma mais imediata, a instituição deve implementar políticas que corrijam ou melhorem as ações inerentes às variáveis que compõem as dimensões "Sustentabilidade financeira" e "Comunicação com a sociedade".

5 CONSIDERAÇÕES FINAIS

Foram analisados neste estudo os resultados da Autoavaliação Institucional realizada na Universidade Federal de Viçosa, conforme diretrizes estabelecidas pelo Sistema Nacional de Avaliação da Educação Superior (SINAES).

Identificou-se como os segmentos da comunidade universitária (docente, discente de graduação, discente de pós-graduação e técnico-administrativos) avaliam a Instituição nas dimensões relacionadas ao ensino, pesquisa, extensão, infraestrutura, responsabilidade social, sustentabilidade financeira etc., verificando-se em que dimensões a Instituição é mais bem avaliada.

Pode-se concluir que, de forma geral, os discentes de graduação, os discentes de pós-graduação e os docentes, em sua maioria, avaliaram bem a Instituição. Já os técnicos administrativos, em sua maioria, avaliaram pior a Instituição.

As dimensões analisadas, de forma geral, foram avaliadas pelos Clusters denominados "Melhor Avaliação" como boas e pelos Clusters denominados "Pior Avaliação" como regulares.

A avaliação institucional, conforme Gadotti (2000), deve sempre ser realizada com o objetivo de proporcionar a melhoria da qualidade dos serviços prestados pela Instituição e, também, a melhoria das relações sociais, humanas e interpessoais e o aperfeiçoamento continuado de seus integrantes.

Para que o processo de avaliação da educação superior possa se tornar efetivo em todas as suas modalidades, e em particular na Autoavaliação Institucional, é, portanto, necessário que a Instituição, com todos os seus segmentos (docente, discente e técnico-administrativo), participe do processo de forma consciente e confiante.

Somente por meio de um processo participativo e consciente é que a Instituição pode chegar a um diagnóstico real das fraquezas e pontos fortes, adotando a avaliação de forma sistêmica, com vistas a correções de rumos e na busca da aferição do alcance das metas estabelecidas na política de expansão e melhoria da qualidade da educação superior.

Os resultados da autoavaliação, por certo, fornecerão ao gestor universitário subsídios para promoção da melhoria do desempenho da Instituição e da qualidade do ensino, pois, pode contar com a participação da comunidade universitária, num processo genuíno de reflexão sobre a Instituição, livre da pressão governamental que, por vezes, promove a avaliação como forma controladora e para um sistema de ranqueamento para credenciamento de cursos ou para provisão orçamentária.

Ao gestor universitário cabe corrigir, redirecionar e implementar as ações necessárias à solução dos problemas detectados na avaliação, como forma de sistematizar e garantir credibilidade ao processo.

Para Dias Sobrinho (1995, p. 15), deve-se compreender a universidade como um conjunto de processos e relações que se produzem em seu cotidiano, não sendo, portanto, uma realidade pronta e acabada. A universidade é uma instituição social de caráter essencialmente pedagógico, e, compreendê-la dessa forma, ajuda a perceber melhor a dimensão "institucional" da avaliação.

Para estudos futuros, sugere-se o desenvolvimento de pesquisas com o uso de técnicas específicas à identificação das razões que levam os sujeitos pesquisados a ter opiniões diferentes na mesma dimensão de avaliação da qualidade da Instituição.

Esta pesquisa teve com limitação a impossibilidade de uso de todas as variáveis da survey eletrônica, em virtude da falta de padronização do banco de dados. Com isso, não foi possível considerar outras questões próprias e também importantes na análise das dimensões abordadas.

• BRASIL. Constituição (1988). Constituição da República Federativa do Brasil Brasília, DF: Senado, 1988.
• ______. Lei nº 10.861, de 14 de abril de 2004 Institui o Sistema Nacional de Avaliação da Educação Superior -SINAES e dá outras providências. Disponível em: <www.inep.gov.br/>
• CATANI, A M., OLIVEIRA, J. F.; DOURADO, L. F., A política de avaliação da educação superior no Brasil em questão. Avaliação, Campinas, Sorocaba, v. 6, n. 4, p. 7-26, dez. 2001.
• CERVO, A. L.; BERVIAN, P. A. Metodologia científica 5. ed. São Paulo: Pearson Prentice Hall, 2002.
• COHEN, E.; FRANCO, R. Avaliação de projetos sociais 7. ed. Petrópolis, Vozes, 2007.
• COTTA, T. C. Metodologias de avaliação de programas e projetos sociais: análise de resultados e de impacto. Revista do Serviço Público, Brasília, v. 49, n. 2, p. 103-24, abr.-jun. 1998.
• DIAS SOBRINHO, J. Universidade: processos de socialização e processos pedagógicos. In: BALZAN, Newton César; DIAS SOBRINHO, José. Avaliação institucional: teoria e experiências. São Paulo: Cortez, 1995.
• DURHAM, Eunice R.; SCHWARTZMAN, Simon (Orgs.). Avaliação do ensino superior São Paulo: EDUSP, 1992.
• GADOTTI, Moacir (Org.). Perspectivas atuais da educação Porto Alegre: ARTMED, 2000.
• GUARESCHI, N.; COMUNELLO, L. N.; NARDINI, M.; HOENISCH, J. C. Problematizando as práticas psicológicas no modo de entender a violência. In: STREY, Marlene N.; AZAMBUJA, Mariana P. Ruwer; JAEGER, Fernanda Pires (Orgs.). Violência, gênero e Políticas Públicas Porto Alegre: EDIPUCRS, 2004.
• HAIR JR., Joseph F. et al. Análise multivariada de dados. 6 ed. Porto Alegre: Bookman, 2009.
• HAIR JR., Joseph F. et al. Fundamentos de métodos de pesquisa em administração Porto Alegre: Bookman, 2005.
• MONTEIRO, G. T. M. A Avaliação dos impactos sociais dos programas de governo. In: CONGRESSO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA, 7. , 2002, Lisboa. Anais... Lisboa, Portugal, 2002.
• SILVA, P. L. B. (Coord.). Modelo de avaliação de programas sociais prioritários: relatório final. Programa de Apoio à Gestão Social no Brasil. Campinas: NEPP-UNICAMP, 1999.
• TRIOLA, M. F. Introdução à estatística Rio de Janeiro: LTC, 2005.
• UNIVERSIDADE FEDERAL DE VIÇOSA. Comissão Própria de Avaliação. Relatório de Autoavaliação. Disponível em: <www.cpd.ufv.br/cpa>. Acesso em: 18 dez. 2009.
• VERGARA, S. Projetos e relatórios de pesquisa em administração 7. ed. São Paulo: Atlas, 2006.
• YIN, K. R. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2002.
• ZAINKO, M. A. S. Avaliação da educação superior no Brasil: processo de construção histórica. Avaliação, Campinas, Sorocaba, v.13, n. 3, p. 827-831, nov. 2008.

Autoavaliação em uma instituição federal de ensino superior: resultados e implicações

Self evaluation in a federal higher education institution: results and implications

Datas de Publicação

• Publicação nesta coleção
  12 Nov 2010
• Data do Fascículo
  2010