Avaliação do processo de ensino: uma abordagem multivariada

Assessment of the teaching process: a multivariate approach

Avaliação do processo de ensino: uma abordagem multivariada

Assessment of the teaching process: a multivariate approach

Teresinha Maria MarchesanI, ^*; Adriano Mendonça Souza^II; Rui Menezes^III

^[e-mail], UNIFRA, Brasil

^[e-mail], UFSM, Brasil

^[e-mail], ISCTE, Portugal

RESUMO

A prática da qualidade na gestão universitária se faz com o comprometimento de toda comunidade escolar. Assim, por meio da análise multivariada, o presente trabalho objetivou identificar os pontos fortes e fracos do processo de ensino na opinião do discente. Para este estudo, foram considerados questionários que abrangeram as seguintes categorias de variáveis: autoavaliação do aluno e avaliação do docente e de suas práticas pedagógicas pelo discente. Os dados obtidos compuseram uma amostra que apresentou uma participação de 87% dos alunos matriculados nos cursos de graduação da instituição de ensino superior (IES). Os resultados mostraram, por meio de consistência interna dos fatores, a validez do constructo que dá suporte ao processo de ensino dessa instituição. Assim, essa forma de análise favorece um resultado global das percepções que os alunos têm sobre o processo de ensino.

Palavras-chave: Análise multivariada. Avaliação. Gestão. Qualidade.

ABSTRACT

The practice of quality in university management is done with the engagement of the whole school community. The present work aims at identifying the weak and strong points of the teaching process based on students' opinions through multivariate analysis. For this study, there were elaborated questionnaires that considered the following categories of variables: students' self-evaluation, teacher's evaluation of the students and teachers' pedagogical practices. The data composed a sample that represented a participation of 87% of students enrolled in undergraduate courses at this institution. Through the internal consistency of factors, the results showed the validity of the construct that supports the teaching processes of the institution. Thus, this way of analyzing data favors a global result concerning students' perception of the teaching process.

Keywords: Multivariate analysis. Assessment. Management. Quality.

1. Introdução

O movimento da qualidade total nasceu no Japão e transformou esse país em uma das maiores potências mundiais a partir dos conceitos introduzidos por William E. Deming, que evidenciou a necessidade de repensar os modelos gerenciais existentes. A importância dele é suficientemente significativa para se tornar objeto de estudo e reflexão nos meios acadêmicos, já que a qualidade representa uma alternativa que tem se mostrado eficaz na busca de competitividade e na modernização das organizações.

Assim, as universidades, que além de transmitir o saber e desenvolver a capacidade intelectual nos indivíduos podem ser vistas como empresa, estão incorporando os conceitos e ferramentas do sistema de qualidade total, tendo em vista que seu serviço é a formação integral do aluno para constituir um cidadão com conhecimento técnico e científico suficiente, capaz de desempenhar a sua profissão com personalidade social, cultural e ética (MEZOMO, 1994).

Desse modo, o Projeto Pedagógico da Instituição (PPI) e o Projeto Pedagógico dos Cursos (PPC) devem: 1) levar em conta as expectativas da comunidade escolar, 2) ter currículos adequados às necessidades dos cursos e também 3) empregar ferramentas educacionais adequadas e modernas (BRASIL, 2004).

A responsabilidade das universidades frente aos seus desafios e metas exige uma autoavaliação que pressupõe a participação de toda a comunidade acadêmica, que formula juízos sobre o valor de sua qualidade institucional, principalmente no cotidiano do trabalho, na docência, na gestão e na pesquisa (PINTO; HEINZEN; MELO, 2005).

Sabe-se que parte importante da qualidade da instituição de ensino superior (IES) é o corpo docente. Assim, a avaliação interna trabalha em uma perspectiva institucional na qual a ação docente é um dos seus elementos. No entanto, essa avaliação não é um processo punitivo e nem de coibição, mas deve mostrar indicadores com vistas à qualidade (BRASIL, 1994; BRASIL, 2004).

O presente artigo apresenta os resultados de um estudo que diagnostica e avalia o gerenciamento do processo de ensino a partir da visão dos alunos da Faculdade Metodista de Santa Maria (FAMES), localizada em Santa Maria, região central do Rio Grande do Sul, mediante a utilização de técnicas de análise multivariada. A análise em estudo não se limita a fornecer quantidades ou também a apresentar relatórios baseados apenas na estatística univariada, que muitas vezes não auxilia na compreensão das múltiplas funções e dimensões institucionais que interagem simultaneamente.

Os primeiros projetos de avaliação das IES desenvolvidos pelas universidades brasileiras surgiram entre as décadas de 80 e 90, a partir da necessidade de se avaliar a universidade, devido a críticas divulgadas nos meios de comunicação do país em relação a essas instituições (BOTH, 2005). A partir desse momento, foi consagrado o termo "avaliação institucional". Desse modo, o movimento avaliativo se desenvolveu pela necessidade de se provocar melhorias na gestão universitária.

A questão da avaliação institucional levou ao surgimento, em 1993, do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), que é o instrumento utilizado pelo governo para definir um projeto de financiamento de projetos de avaliação institucional. Nesse instrumento são estabelecidos os princípios e os objetivos da avaliação institucional brasileira, de forma que cada universidade possa desempenhar as atividades na busca da melhoria da qualidade (BRASIL, 1994).

Em 1994, o PAIUB estabeleceu sete princípios norteadores do processo de avaliação: globalidade, comparabilidade, respeito à identidade institucional, não premiação ou punição, adesão voluntária, legitimidade do processo e continuidade do processo. Percebe-se, então, que devem ser observadas as características próprias de cada instituição, consideradas as forças atuantes em seu ambiente específico, a missão institucional e seu projeto institucional. Entendendo-se que a avaliação institucional caracteriza-se como um processo sistêmico e contínuo que possibilita a reflexão sobre as atividades desenvolvidas, permitindo o aperfeiçoamento permanente da qualidade do ensino superior.

Posteriormente ao PAIUB, o Decreto nº 2.036 de 10 de outubro de 1996 estabeleceu procedimentos para a avaliação dos cursos das instituições de ensino superior.

Depois disso, em 14 de abril de 2004, foi criado, por meio da Lei nº 10.861, o Sistema Nacional de Avaliação da Educação Superior (BRASIL, 2004), que se fundamenta na necessidade de promover a melhoria da qualidade de educação superior. Além de fornecer orientação e expansão da sua oferta, o aumento permanente da sua efetividade acadêmica social e, especialmente, do aprofundamento dos seus compromissos e responsabilidades sociais.

O SINAES foi estruturado de forma ampla e contempla os seguintes elementos, representados nos Quadros de 1 a 3, nos seguintes quesitos:

De acordo com o documento do INEP/SINAES (BRASIL, 2004), a avaliação das instituições de educação superior tem caráter formativo, pois visa ao aperfeiçoamento dos agentes da comunidade acadêmica e da instituição como um todo.

2. Material e método

O processo de avaliação na FAMES foi implantado em 1998, a partir da criação dos cursos de Administração com habilitação em Comércio Exterior e de Letras com habilitação em Língua Espanhola. Ao final de cada semestre, os resultados das avaliações eram apresentados pela comissão de avaliação em reunião e discutidos juntamente com os docentes e a direção, a fim de subsidiar as tomadas de decisões, avisando a melhoria da qualidade do processo de ensino e aprendizagem.

Esta pesquisa considera os resultados do processo avaliativo que ocorreu no final de 2005, disponibilizado no portal eletrônico para todos os alunos e professores. A avaliação do discente feita pelos docentes foi estimada com uma participação de 98% dos professores. Já a avaliação realizada pelos alunos apresentou uma participação de 87%, isto é, 3.204 cartões válidos para uma população de 3.687 instrumentos disponibilizados. Cada aluno realizou sua autoavaliação, como também avaliou todas as disciplinas que cursava e o seu respectivo professor. Neste caso, cada professor foi avaliado, em média, por 35 alunos.

A partir das sugestões do SINAES, o instrumento utilizado para avaliar o processo de ensino em 2005 reuniu três grupos de questões:

a) A avaliação do trabalho docente pelo discente, um instrumento com 13 questões;

b) A avaliação do desempenho discente pelo docente, um instrumento com nove questões;

c) Autoavaliação do aluno, um instrumento com sete questões.

Os dados foram coletados mediante o instrumento em ^apêndice, composto de 29 questões com três categorias de variáveis, distribuído aos alunos em sala de aula e acompanhado de um cartão-resposta. Todas as questões tinham cinco alternativas avaliadas na escala "5" sempre, "4" quase sempre, "3" na metade das vezes, "2" poucas vezes, "1" nunca. Dessa forma, quando escolhido o valor 3, que representa na metade das vezes, este passa a ser o ponto de equilíbrio para o respondente, não forçando o mesmo a optar somente por valores acima ou abaixo do valor central.

Para verificar a confiabilidade da consistência interna de cada instrumento, foi utilizada a medida expressa por um coeficiente denominado Alfa de Cronbach. Esse coeficiente varia de 0 a 1, e um valor abaixo de 0,6 geralmente indica uma consistência interna insatisfatória para a realização da pesquisa (PASQUALI, 2001).

Segundo Hair et al. (1999), a medida do Alfa de Cronbach tem uma relação positiva com o número de itens em cada fator, portanto, não se deve comparar os valores do Alfa se os fatores possuírem diferentes números de itens. O seu valor tende a aumentar com o crescimento do número de itens na escala e pode ser escrito em função do número de itens do teste e a média de intercorrelações entre os itens, conforme Equação 1.

em que N é a quantidade de itens e r-barra é a média de intercorrelações entre os itens.

De acordo com Balbinotti e Barbosa (2008), a interpretação do Alfa de Cronbach basicamente considera que, por um lado, cada item deve estar satisfatoriamente correlacionado com sua própria dimensão (ou fator) e, por outro, não devem existir correlações negativas entre um item e a escala total.

Com o objetivo de encontrar e separar objetos similares, realizou-se uma análise de agrupamento, que estuda todo um conjunto de relações interdependentes sem distinguir variáveis dependentes e independentes (VICINI; SOUZA, 2007; HAIR et al. 2005).

Neste trabalho, o método utilizado está de acordo com a classificação hierárquica, em que os objetos semelhantes são agrupados e representados por um gráfico com uma estrutura de árvore, denominado dendograma.

Segundo Manly (1986, p. P144),

[...] usualmente as variáveis são padronizadas de alguma maneira antes das distâncias serem calculadas, de modo que todas a p variáveis são igualmente importantes na determinação destas distâncias.

A distância euclidiana, quando for estimada a partir das variáveis originais, apresenta a inconveniência de ser influenciada pela escala. Para contornar essa influência, faz-se a padronização das variáveis em estudo para que possuam a variância igual à unidade. Considerando dois indivíduos i e i', a distância entre eles é dada por:

De acordo com Rencher (2002, apud MINGOTI, 2005), na adequação da amostra de dados para a realização da análise fatorial, há a necessidade de que a matriz de correlação inversa (R^-1_pxp) seja próxima da matriz diagonal. Uma medida de adequacidade fundamentada nesse princípio é o critério de Kaiser-Meyer-Oklin (KMO), citado por Kaiser (1970). Esse coeficiente é definido por:

em que: R²_ij é a correlação amostral entre as variáveis X_i e X_j, e Q_ij é a correlação parcial entre X_i e X_j.

O KMO é um critério que examina o ajuste dos dados amostrais, tomando-se todas as variáveis simultaneamente, e prevê uma informação sintetizada sobre eles (PEREIRA, 2001; HAIR et al., 2005). Como o valor do KMO varia de 0 a 1, um valor próximo de 0,9 seria uma adequação excelente para a aplicação da análise fatorial, ao passo que um valor próximo de 0,5 seria muito ruim e sugeriria a retirada de algumas variáveis da amostra que será utilizada para análise.

Para a determinação do número de fatores, foram estabelecidas as seguintes considerações:

a) Por meio da análise de cluster, procurou-se investigar o agrupamento de variáveis através do método de ligação simples, utilizando como métrica a distância euclidiana de acordo com Mingoti (2005), pois, quanto menor a distância entre os objetos, mais semelhantes eles serão;

b) Após a definição de grupos distintos de variáveis, utilizou-se a análise de componentes principais para identificar quais variáveis são relevantes, através da variância explicada e do número e autovalores maiores que a unidade (critério de Kaiser);

c) O método de análise de componentes principais em que cada componente explicará uma proporção da variabilidade total. Essa proporção será calculada mediante o quociente entre o valor próprio e o traço da matriz S, que é a matriz de variância-covariância amostral das variáveis. O resultado do quociente denomina-se proporção da variabilidade total, explicada pelo K-ésimo componente, e se calcula pela seguinte relação (4):

em que tr (S) é o traço da matriz de variância e covariância, e λ_k é o k-ésimo autovalor ordenado em ordem decrescente da matriz S;

d) Finalmente, definiu-se o número de fatores pelo critério gráfico Scree Plot, sugerido por Catell (1966), pelo percentual da variância explicada acumulada e também pelo número de autovalores maiores do que a unidade sugerida por Kaiser, conforme Malhotra (2002).

O esquema descrito na Figura 1 apresenta uma sequência para a extração de componentes principais. Quando não é possível visualizar qual a variável que influencia determinado fator, recomenda-se realizar uma rotação nos eixos fatoriais. Dentre os diversos tipos de rotação, foi utilizada a Varimax Normalizada, pois uma melhor visualização das variáveis mais representativas em cada fator para melhor se obter uma estrutura fatorial adequada ao estudo (HAIR et al., 2005);

e) A definição das dimensões dos constructos foi dada pelas variáveis com contribuição maior do que 0,7, agregada aos respectivos fatores de acordo com a rotação Varimax Normalizada.

Os dados foram processados pelos softwares estatísticos Statistica for Windows, versão 7.1 e SPSS, versão 14.0.

3. Resultados e discussões

O resultado significativo em relação à coerência das respostas é consequência do trabalho que vem sendo realizado continuamente pela comissão de avaliação desde 1998. Essa prática vem ao encontro da filosofia do PAIUB (BRASIL, 1994) e do SINAES (BRASIL, 2004), que estabelece a continuidade como um dos princípios norteadores da ação avaliativa da educação superior, tendo, portanto, como um dos objetivos principais a identificação da confiabilidade dos instrumentos utilizados. As discussões aqui realizadas estarão também baseadas em artigos que versam sobre análise fatorial, de autores como Werner, van der Linden e Ribeiro (2002), Silva e Souza (2005), Santa Rita et al. (2009) e Ramos (2009).

A Tabela 1 apresenta os resultados acerca da validade do instrumento, a fidedignidade das respostas e também mostra como a coerência das respostas pode contribuir para a qualidade do processo de ensino e aprendizagem.

A definição estatística da fidedignidade realizada por meio da correlação apresentou o valor do alfa de Cronbach bastante elevado, acima de 0,8, conforme a Tabela 1. Assim, as correlações encontradas confirmam uma considerável explicação da coerência dos sujeitos que participaram do processo avaliativo nas três diferentes categorias de variáveis.

O critério KMO, mostrado na Tabela 2, apresenta um valor superior a 0,7, indicando que a amostra é possível de ser analisada pela técnica de análise fatorial. Tais índices foram considerados satisfatórios, mostrando que a matriz pode ser decomposta em fatores, sendo possível realizar uma análise fatorial exploratória.

O estudo apresenta dois conjuntos de dados que devem ser investigados. O primeiro é a avaliação que os alunos fizeram em relação aos seus professores mediante as disciplinas que cursaram, e o segundo é uma avaliação realizada pelo professor, na qual os estudantes foram avaliados para aferir o seu desempenho em relação à disciplina cursada.

O intuito é propor uma estrutura classificatória ou de reconhecimento da existência de grupos, segundo o método de aglomeração denominado de ligação simples, utilizando a métrica de distância euclidiana. Nesse caso, os itens que possuem menor distância entre si são mais semelhantes um do outro que os itens com maior distância, fornecendo, assim, uma homogeneidade dentro do grupo de classificação, utilizados para a formação do dendograma.

O número de grupos a serem selecionados foi determinado utilizando-se o método do nível de fusão, em que a cada estágio do agrupamento verifica-se onde houve um salto na distância de ligação dos grupos. Também foi avaliado empiricamente se havia sentido teórico daqueles itens permanecerem em um mesmo agrupamento.

Uma análise visual do dendograma apresentado sugere a composição de grupos distintos que reúnem casos com perfis semelhantes de média de desempenho nas categorias de variáveis estudadas, conforme o resultado apresentado na Tabela 3. Assim, o procedimento de análise de cluster calcula a matriz de distância euclidiana entre cada par possível de casos e utiliza um algoritmo para, passo a passo, ir formando os grupos de casos com aspectos mais semelhantes possíveis.

Desse modo, a construção dos dendogramas apresentou as seguintes categorias: a) avaliação do trabalho docente pelo discente, separada em três grupos semelhantes; e b) avaliação do desempenho discente pelo docente, separada em três grupos semelhantes. A estrutura definida pela análise de cluster em cada categoria de variáveis indica a possibilidade de se analisar os dados por meio da análise fatorial.

A Tabela 4 apresenta as opiniões dos 649 acadêmicos de todos os cursos que participaram da autoavaliação.

A categoria de "7" variáveis foi analisada somente pela da porcentagem das respostas. Nesse caso, observa-se um percentual maior de manifestações para a opinião "sempre" (62%) em relação à efetiva presença nas atividades previstas, e 88% mantiveram "sempre", em postura ética de respeito e de diálogo com o professor.

No que se refere à frequência à biblioteca, participação de atividades e eventos, dedicação aos estudos e satisfação com o desempenho acadêmico, prevaleceu a opinião "quase sempre" com maior percentual. Cabe destacar também que 12% "raramente" vão à biblioteca, 15% "raramente" participam de eventos e 9% "nunca" participaram de eventos promovidos pela instituição. O descaso pela leitura demonstrado pela baixa frequência à biblioteca precisa ser refletido por todos os professores, coordenadores de curso e direção, pois consiste em um ponto fraco do processo de ensino.

A autoavaliação do aluno demonstrou não haver sintonia entre a articulação da pesquisa, as leituras complementares, o hábito de frequentar a biblioteca e as demais atividades acadêmicas. Além disso, esse fato se constitui em um ponto fraco no que diz respeito à produção acadêmica, que é uma exigência do PAIUB (BRASIL, 1994) e do SINAES (BRASIL, 2004).

Para a análise da avaliação do trabalho docente pelo discente, foram consideradas 13 variáveis. Segundo Primi e Moraes (2005), um dos aspectos avaliados por escolas, faculdades, universidades e sistemas educacionais ao realizar uma avaliação institucional, em diversos países, é o desempenho do docente, considerado um indicador da qualidade do ensino.

De acordo com a Figura 2, observa-se a definição de três grupos reunidos, segundo alguma ordem de proximidade das variáveis de cada grupo.

Realizando-se um corte na altura 6, obtém-se o grupo 1 com 5 variáveis, o grupo 2 com 4 variáveis e o grupo 3 com 4 variáveis.

O cluster 1, representado pelo grupo 1, reúne as variáveis mais próximas: V13) Comenta as avaliações; V12) Estimula a reflexão dos conteúdos; V11) Estimula a participação de projetos e eventos; V10) Estimula a leitura em geral; e V9) Estimula ir à biblioteca. A reunião destas variáveis demonstra a preocupação do professor com o crescimento integrado em relação ao conhecimento específico e cultural do aluno para que o mesmo tenha um crescimento intelectual.

O cluster 2, representado pelo grupo 2, agrupa as variáveis que enfatizam a importância das disciplinas para o curso: V4) Existe relação entre a teoria e a prática; V2) Existe interdisciplinaridade; V3) São realizadas avaliações com critérios claros; e V1) Existe relação entre os conteúdos e os objetivos do curso. Nesse grupo de variáveis, pode-se verificar o comprometimento do curso e/ou disciplinas do curso em relação ao seu plano pedagógico.

O cluster 3, representado pelo grupo 3, releva o desempenho do professor em sala de aula por meio da reunião das variáveis: V8) Tem bom relacionamento; V6) Utiliza metodologia adequada; V7) Incentiva os alunos à participação das aulas; e V5) Domina conteúdos atualizados. Logo, aqui se percebem, com a reunião dessas variáveis, os aspectos didáticos e metodológicos adotados pelo professor.

Para a categoria relativa à avaliação docente pelo discente, percebem-se bons coeficientes de correlação de Pearson, apresentados pela matriz de correlação na Tabela 5, o que permite a análise fatorial da categoria de variáveis, análise esta corroborada pelos valores de KMO apresentados na Tabela 2.

Ao observar o scree plot da Figura 3, tem-se a definição de três valores próprios maiores do que a unidade com uma variância total acumulada em torno de 83%, o que permite excluir os demais componentes, pois possuem pouca informação (HAIR et al., 2005).

Por questões de melhor visualização das variáveis que compõem avaliação do trabalho docente pelo discente, foi efetuada a rotação varimax normalizada, sendo possível melhor visualização do grupo de variáveis ligadas a cada fator, conforme mostra a Tabela 6, onde as variáveis foram agrupadas de acordo com a sua influência na formação do fator, em que podem-se definir três dimensões.

A estrutura fatorial apresentada permite definir o constructo baseado no grupo de variáveis agregadas, respectivamente, aos fatores 1 e 2, com contribuição maior do que 0,7, conforme Tabela 6. A variância explicada conjunta pelos fatores incluídos no modelo fatorial, denominado de comunalidade (h²), mostra que existe uma fonte de variação comum, sendo superior a 74% em todos os casos.

O fator 1, exposto na Tabela 6, com uma variância explicada de 50%, definiu a dimensão compromisso do professor em desenvolver no aluno as habilidades para a leitura, projetos de pesquisa e a participação em eventos.

As variáveis agregadas ao fator 1 apresentaram médias menores e mais próximas com maiores coeficientes de variação (22%). A baixa média e alta variabilidade relativa dos dados em torno da média podem mostrar que a prática da leitura e a participação em eventos e projetos de pesquisa podem ser interpretadas a partir de duas perspectivas: 1) não foi percebida por alguns acadêmicos como relevante ou 2) os professores não souberam conduzir os alunos para o desenvolvimento dessas atividades. Assim como o cluster, esse fator mostra a preocupação com a leitura e a pesquisa para que sejam desenvolvidas habilidades específicas.

Por meio do fator 2, sintetizado na Tabela 6, verificou-se a dimensão relação entre os objetivos do curso e os conteúdos trabalhados e avaliados pelo professor com uma explicação de 21%. As questões correlacionadas a esse fator apresentaram médias muito próximas e uma variação em torno de 12%. Dessa forma, pode-se dizer que o educando identificou essa prática como mais coerente entre os professores. Como mostrado no cluster de número 2, há um reflexo do comprometimento do curso em relação a sua estratégia pedagógica.

Mediante a análise do fator 3, pode-se perceber a dimensão "preocupação do professor em estabelecer em sala de aula um ambiente que assegure um processo de ensino e aprendizagem de qualidade". Essa mesma característica foi percebida pelo cluster de número 3. Uma vantagem da realização da análise fatorial é a denominação de um fator que passa a representar todo um conjunto de variáveis e também pode quantificá-la pela composição da variável no fator.

As variáveis do fator 3 apresentaram as maiores médias com um coeficiente de variação de 18%. Assim, através desse grupo de variáveis, os alunos demonstraram que existem compromisso e responsabilidade da maioria dos professores em proporcionar ao educando um clima favorável para desenvolver suas atividades em sala de aula. Segundo Rupolo (2003), o professor que, por meio da sua prática educativa é capaz de criar laços afetivos com seus alunos, proporciona um ensino de qualidade, atendendo, dessa forma, a proposta do SINAES.

Duas variáveis que traduzem o trabalho interdisciplinar não estão correlacionadas a nenhum fator: V2) Existe inter-relação entre o conteúdo da disciplina com os conteúdos de outras disciplinas e V4) Aprendizagem propicia a relação entre a teoria e a prática. A partir disso, pode-se dizer que a interdisciplinaridade não foi percebida pelo aluno com a importância desejada, constituindo-se, assim, em um ponto fraco do processo de ensino e aprendizagem. O baixo valor da comunalidade das variáveis, representado entre parêntesis, V2 (0,165) e V4 (0,134), indica que o modelo fatorial não conseguiu captar as informações por elas reveladas, desta forma não seria possível utilizar os fatores para proceder a análise das variáveis V2 e V4, mas sim utilizar os seus valores amostrais originais.

A seguir, tem-se o grupo de variáveis relativas à avaliação do desempenho discente feita pelo docente, que se dividiu em três clusters, conforme a Figura 4.

O segundo cluster identificou as variáveis: V8) Utiliza a biblioteca; V9) Tem conhecimento básico para acompanhar as disciplinas; V7) Participa de eventos promovidos pela instituição; e V1) Participa de atividades da disciplina. Esse grupo de variáveis reuniu manifestações dos professores em relação às questões dos alunos - falta conhecimento básico para acompanhar o desenvolvimento da disciplina, em conjunto com o reduzido hábito de leitura e de participação nas atividades relacionadas às disciplinas.

O terceiro cluster apresenta uma única variável: V6) Satisfação com o desempenho dos seus alunos.

Ao analisar a matriz de correlação da Tabela 7, observa-se uma forte correlação de Pearson entre as variáveis V2, V3, V4, e V5. A variável V7 correlaciona-se com a variável V9, enquanto as demais variáveis V1, V6 e V8 pouco se destacam com os seus coeficientes de correlação.

Vale ressaltar que a seleção do número de fatores, utilizando-se o critério do autovalor maior do que 1, fez com que as variáveis V1 e V8 não estivessem muito correlacionadas com o seu grupo, embora fossem do mesmo cluster.

Esse fato sugere a formação de grupos de variáveis bem correlacionadas, definindo a possível análise fatorial da categoria de variáveis conforme mostrado pelo critério KMO da Tabela 2. Conforme mostra a Figura 5, o scree plot sinaliza para se utilizar apenas dois autovalores, pois são os que apresentam valores maiores do que a unidade. Outro fator que levou à decisão de se tomar apenas dois fatores, diferentemente do que foi formado quando se realizou a análise de cluster, é o fato de ter uma variância explicada em torno de 78,22%, o que se considerou um nível de explicação satisfatório para a pesquisa.

Nesse caso, o terceiro autovalor está próximo de um. Cabe lembrar a observação feita por Rummel (1970, apud SCREMIN, 2003), que salienta que se deve precaver quando a diferença entre dois autovalores subsequentes é pequena, por exemplo: 1,02 e 0,96, parecendo incoerente reter um dos fatores e rejeitar o outro. Por isso, pode resultar em um número inadequado de componentes quando se utiliza apenas o critério da raiz latente.

No Quadro 3, após a rotação ortogonal varimax normalizada, percebe-se que as variáveis V2, V3, V4 e V5 definem o fator 1, pois possuem altos carregamentos desse fator e negligenciáveis nos fatores 2 e 3. Por outro lado, as variáveis V7 e V9 definem o fator 2, e a variável V1 define o fator 3 da mesma forma.

Duas variáveis ficaram isoladas das demais: (V6) Satisfação com o desempenho e (V8) Utilização da biblioteca, visto que apresentaram uma fraca comunalidade. Isso reforça um ponto fraco já evidenciado em outras categorias de variáveis: o hábito de não frequentar a biblioteca, o que inevitavelmente contribui para um desempenho acadêmico não satisfatório. O baixo valor da comunalidade das variáveis V6 (0,121) e V8 (0,113), mostradas na Tabela 8, indica que o modelo fatorial não conseguiu captar as informações por elas reveladas, desta forma não seria possível utilizar os fatores para proceder a análise dessas variáveis, mas sim utilizar seus valores amostrais originais.

As quatro variáveis agregadas ao fator 1 com uma variância explicada aproximadamente de 45% podem expressar a dimensão compromisso dos alunos com sua rotina acadêmica. A avaliação média das questões é próxima, e a variabilidade relativa dos dados é muito alta (27%). Desse modo, pode-se dizer que não houve um consenso absoluto nas declarações dos professores em relação à preocupação e à responsabilidade dos alunos sob o enfoque da realização das atividades inerentes aos conteúdos de suas disciplinas.

Duas variáveis com uma explicação próxima de 22% apresentaram forte correlação com o fator 2 e possuem médias de desempenho muito próximas, com uma variabilidade relativa de 12%. Nesse caso, os professores julgaram que seus alunos tinham os pré-requisitos necessários para acompanhar a sua disciplina e os consideraram assíduos nos eventos promovidos pela instituição. Essa constatação é pouco coerente com a autoavaliação realizada pelo aluno, na qual ele demonstra rara participação em eventos e pouca frequência à biblioteca.

Do fator 3, com explicação em torno de 11%, agregou apenas a variável V1) Participação nas atividades previstas nas disciplinas. Essa variável apresentou uma avaliação média em torno de 4, com uma variabilidade de 11%, podendo, assim, expressar uma manifestação mais unânime entre os professores em relação à realização das atividades em sala de aula, por seus alunos, dentro de suas respectivas disciplinas.

Por fim, vale destacar que a discussão em torno da avaliação discente pelo docente talvez fosse mais válida se tivesse sido realizada separadamente por curso, pois possivelmente se identificaria melhor o perfil do aluno na visão do professor. Mas também passaria as ser um trabalho exaustivo se levado em consideração o número de cursos da instituição de ensino.

4. Conclusões

Os diferentes métodos de avaliação concebidos pelas instituições de ensino superior têm em comum a finalidade de contribuir para a qualidade e a eficiência institucional, bem como subsidiar a gestão acadêmica. A avaliação, enquanto compromisso de gestão, deverá proporcionar o conhecimento necessário para incorporar mudanças nas práticas acadêmicas.

Assim, independentemente da dimensão avaliada, deve-se dar atenção especial aos dados e à sua forma de análise e interpretação. Em geral, os métodos estatísticos não têm o poder de competir entre si; eles apenas possuem características diferentes e, em cada situação, de acordo com o objetivo, eles podem encontrar benefícios com uma técnica ou outra.

Neste trabalho de pesquisa, a utilização das técnicas multivariadas evidenciou as dimensões do constructo através da reunião de variáveis que se agruparam por algum fator de similaridade. Mediante a análise por meio das técnicas multivariadas, as categorias de variáveis que avaliaram o processo de ensino neste estudo apresentaram as seguintes conclusões:

Em relação à autoavaliação do aluno, percebeu-se a necessidade de o professor utilizar técnicas que o incentivem mais para a leitura, frequência à biblioteca e participação em projetos de pesquisa e eventos. Esse grupo de variáveis foi identificado no fator 1 e denominado como "variáveis que englobam o conhecimento específico do aluno". Assim, devem ser adotadas medidas para que seja possível a efetivação e o hábito de leitura.

Quanto aos conteúdos que atenderam aos objetivos dos cursos e as práticas pedagógicas utilizadas, os alunos manifestaram-se satisfeitos e definiram a dimensão professor comprometido com a pertinência dos conteúdos em relação ao curso e seus objetivos. Aqui a denominação do fator foi "comprometimento", pois não apenas é efetivado o cumprimento dos objetivos propostos no plano pedagógico da instituição nos prazos, mas também são realizados exames, exercícios, aulas de laboratórios e outras atividades que dizem respeito à relação aluno-professor.

Na avaliação do trabalho docente pelo discente, pode-se dizer que os alunos destacaram: 1) O professor deve incentivar mais o desenvolvimento da habilidade de leitura, a pesquisa e a participação em eventos; 2) A preocupação do professor em estabelecer em sala de aula um ambiente agradável assegura um processo de ensino e aprendizagem de qualidade; 3) Procedimentos metodológicos adequados favorecem a participação efetiva do aluno nas discussões dos conteúdos trabalhados; e 4) A interdisciplinaridade não foi percebida pelos alunos como uma prática frequente no desenvolvimento dos conteúdos trabalhados.

Em relação à avaliação discente pelo docente, houve pouco consenso dos professores ao manifestar o perfil de seus alunos. As variáveis agregadas respectivamente aos fatores 1 e 2 foram insuficientes para traduzir alguma dimensão importante. Por isso, cabe destacar que a avaliação por curso talvez traduzisse melhor esse aspecto.

A partir dos resultados obtidos, procurou-se uma interpretação física para melhor entender esses constructos, pois através da análise fatorial podem-se subsidiar interpretações mais argumentativas nas informações traduzidas por meio das múltiplas relações das dimensões que caracterizam cada categoria de variáveis. Além disso, a carência interna dos instrumentos de avaliação também pode ser verificada, visto que, ao se utilizar somente a análise descritiva, ela pode apenas subsidiar julgamentos parciais por níveis, setores ou pessoas. No entanto, isso faz com que essa parcialidade e fragmentação na comunicação dos resultados de desempenho não favoreçam análises globais e observações de tendências, o que é corroborado por Macedo (2001). Além do mais, é possível realizar metas e prioridades a serem alcançadas, olhando-se para os fatores selecionados e as variáveis de maior contribuição em cada fator como forma de melhor gerir os esforços para o bom desempenho dos alunos, dos cursos e consequentemente da instituição.

Por conseguinte, os resultados deste estudo não esgotam os debates sobre o tema, no entanto, eles são importantes na medida em que subsídios adicionais podem contribuir para monitorar o processo de avaliação, a cada semestre, a fim de que medidas possam ser tomadas com vistas à melhoria da qualidade do ensino. Sugere-se, ainda, para estudos futuros, uma análise confirmatória e em outras instituições de ensino para validar a metodologia aplicada.

Agradecimentos

Agradecemos as sugestões dos revisores, que contribuíram para a evolução na qualidade da redação e nas conclusões, assim como agradecemos também à instituição de ensino onde a pesquisa foi realizada. O segundo autor agradece pelo suporte financeiro fornecido pela CAPES - Processo BEX-1784/09-9 e ao Instituto Superior da Ciência do Trabalho e da Empresa - ISCTE - Businees School - Instituto Universitário de Lisboa - PT. O terceiro autor também agradece a FCT - Fundação para a Ciência e Tecnologia, Grant número PTDC/GES/73418/2006 e PTDC/GES/70529/2006.

• BALBINOTTI, M. A. A.; BARBOSA, M. L. L. Análise da consistência interna e fatorial confirmatório do IMPRAFE-126 com praticantes de atividades físicas gaúchos. PsicoUSF, v. 13, n. 1, p. 1-12, 2008.
• BOTH, I. Da avaliação precursora ao comportamento da avaliação: PAIUB e SINAES construindo pontes. Revista da Rede de Avaliação Institucional da Educação Superior, n. 4, p. 61-73, 2005.
• BRASIL. Programa de avaliação das universidades brasileiras (PAIUB). Brasília: Ministério da Educação, Secretaria de Educação Superior, 1994.
• BRASIL. Sistema nacional de avaliação da educação superior (SINAES). Brasília: Ministério da Educação (MEC), Secretaria de Educação Superior, 2004.
• CATTEL, D. R. B. The scree test for the number of factors. Multivariate Behavioral Research, v. 1, p. 245-76, 1966.
• HAIR Jr., J. F. et al. Análise multivariada de dados. 5. ed. São Paulo: Bookmman, 2005.
• KAISER, H. F. A second generation little jiffy. Psycometrika, v. 35, p. 401-415, 1970.
• MACEDO, S. A. Desempenho docente pela avaliação discente: uma abordagem metodológica para subsidiar a gestão universitária. 2001. Tese (Doutorado em Engenharia de Produção)-Universidade Federal de Santa Catarina, 2001.
• MALHOTRA, K. N. Pesquisa em marketing: uma orientação aplicada. Porto Alegre: Bookman, 2002.
• MEZOMO, J. C. Gestão da qualidade na escola: princípios básicos. São Paulo: JC Mezomo, 1994.
• MINGOTI, S. A. Análise de dados através de Métodos de Estatística Multivariada. Belo Horizonte: Editora da Universidade Federal de Minas Gerais, 2005.
• PASQUALI, L. Técnicas de exame psicológico. TEP. Manual - v 1: Fundamentos das Técnicas psicológicas LAbPAM. Brasília: UNB/Casa do Psicólogo, 2001.
• PEREIRA, J. C. R. Análise de dados qualitativos. Estratégias metodológicas para as ciências da saúde, humanas e sociais. São Paulo: Editora da Universidade de São Paulo, 2001.
• PINTO, M. D. S.; HEINZEN, J. L. N.; MELO, P. A. Avaliação como compromisso e instrumento de gestão nas instituições de ensino superior. Revista da Rede de Avaliação Institucional da Educação Superior, n. 1, p. 105-119, 2005.
• PRIMI, R.; MORAES, I. F. de. Validade de um instrumento de avaliação de desempenho de docentes do ensino superior. Revista da Rede de Avaliação Institucional da Educação Superior, n. 3, p. 41-59, 2005.
• RAMOS, A. S. M. Análise fatorial da percepção do uso da internet em organizações acadêmicas. [1998]. Disponível em: <http://www.biblioteca.sebrae.com.br/bds/BDS.nsf/ A35B59B03B7CA8C903256FFC004B6905/ $File/An%C3%A1lise%20fatorial%20da%20percep%C3%A7%C3%A3o%20do%20uso%20da%20Internet.pdf>. Acesso em: 5 out. 2009.
• RUPOLO, I. Trabalho docente na educação superior: proposições e perspectivas. Revista do Centro Universitário Franciscano (UNIFRA), n. 1, p. 59-63, 2003.
• SANTA RITA, L. P. et al. Estratégias de serviços: uma análise fatorial do consumo para o setor de locação de automóveis. In: ENEGEP, 26., 2006, Fortaleza, CE, Brasil. Anais... Disponível em: <http://www.abepro.org.br/biblioteca/ENEGEP2006_TR530357_8196.pdf>. Acesso em: 22 set. 2009.
• SCREMIN, M. A. A. Método para a seleção do número de componentes principais com base na lógica difusa. Tese (Doutorado em Engenharia de Produção)-Universidade de Federal de Santa Catarina, 2003.
• SILVA, F. M.; SOUZA, A. M. Aplicação da análise multivariada em dados de rendimentos de ensino. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 25., 2005, Porto Alegre, RS, Brasil. Anais... Disponível em: <http://www.abepro.org.br/biblioteca/ENEGEP2005_Enegep0201_1004.pdf>. Acesso em: 5 out. 2009.
• SOUZA, A. M. Monitoração e ajuste de realimentação em processos produtivos Multivariados. Florianópolis. 166 f. Tese (Doutorado em Engenharia de Produção)-UFSC, 2000.
• VICINI, L; SOUZA, A. M. Geração de subsídios para a tomada de decisão na cadeia produtiva da bovinocultura do Brasil. Gestão de Produção, Operações e Sistemas, v. 2, n. 4, p. 49-64, 2007.
• WERNER, L., van der LINDEN, J. C. S.; RIBEIRO, J. L. D. Seleção de assentos de trabalho com base na percepção de usuários utilizando análise fatorial. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 22., 2009, Curitiba, PR. Anais... Disponível em: <http://www.producao.ufrgs.br/arquivos/arquivos/TR42_0217enegep2002>. Acesso em: 22 set. 2009.

apêndice

*

UNIFRA, Santa Maria, RS, Brasil

Datas de Publicação

• Publicação nesta coleção
  20 Abr 2011
• Data do Fascículo
  Jun 2011