Avaliação de docentes do ensino superior: um estudo de caso

Evaluación de docentes de la enseñanza superior: um estudio de caso

Teacher evaluation of high education: a case study

Avaliação de docentes do ensino superior: Um estudo de caso

Teacher evaluation of high education: A case study

Evaluación de docentes de la enseñanza superior: Um estudio de caso

Roberto Boclin

Dr. em Educação, UFRJ. Diretor do Instituto de Ciências Sociais Aplicadas da Universidade Veiga de Almeida

^{Correspondência}

RESUMO

O estudo se propõe pesquisar a qualidade do desempenho docente com base na informação dos alunos, em cursos do Instituto de Ciências Sociais Aplicadas da Universidade Veiga de Almeida-UVA: Administração, Ciências Contábeis, Comunicação Social, Serviço Social, Turismo e Seqüenciais de Gestão Empresarial, Gestão Imobiliária, Gestão de Marketing Estratégico e de Técnicas de Propaganda e Marketing. Adota como princípio que um número elevado de variáveis incidindo sobre um único critério, no caso o desempenho docente, pode oferecer um resultado qualitativo apreciável (STAKE, 1974). A metodologia foi inspirada em pesquisa semelhante realizada por Maria Elba Dantas Pereira e João Crisóstomo de Morais, da Universidade Federal da Paraíba, no segundo semestre de 2000, com alunos e docentes do curso de Arquitetura.

Palavras-chave: Indicadores. Avaliação. Ensino superior. Avaliação qualitativa. Singularidade. Subjetividade.

ABSTRACT

The study researches the quality of lecturers performance based on the evaluation made by students from Applied Social Sciences Institute at Veiga de Almeida University-UVA. The graduation courses evaluated are: Administration; Accounting; Social Communication, Social Service; Tourism and two-years courses in the Business Administration Area. It estabilishes as basic principle that a great number of variables assigned to a unique criteria, in this case the teacher performance, could offer a good qualitative result (STAKE, 1974), methodology inspired by a similar research made by Maria Elba Dantas Pereira and João Crisóstomo de Morais, from Federal University of Paraíba State, during the second semester of 2000, with students and teachers of Architeture.

Keywords: Indicators. Evaluation. Graduation courses. Quality Evaluation. Singularity. Subjectivity

RESUMEN

El estudio se propone investigar la cualidad del desenpeño docente, basado en la información de los alumnos, en los cursos del Instituto de Ciencias Sociales Aplicadas, a saber:

Graduación-Administración; Ciencias de la Contabilidad; Comunicación Social; Servicio Social, Turismo y Secuenciales de Gestión Empresarial; Gestión Imobiliaria, Gestión de Marketing Estratégico y Técnicas de Publicidad y Marketing.

Parte del siguiente principio:un numero muy elevado de variables que incidan sobre um único criterio, en este caso el desenpeño docente, puede ofrecer un resultado cualitativo significativo (STAKE,1974), metodología inspirada em estudio semejante realizado por Maria Elba Santos Pereira y João Crisóstomo de Morais de la Universidad Federal de Paraiba, em el segundo semestre de 2000 con alumnos y docentes del curso de Arquitetura.

Palabras-clave: Indicadores. Evaluación - Enseñanza Superior - Evaluación Cualitativa - Singularidad - Subjetividad.

Introdução

Objetivos da Pesquisa

A Universidade Veiga de Almeida - UVA, sob o ângulo de sua organização, tem como unidade acadêmica os Institutos que congregam cursos de áreas de conhecimento afins constituindo um nicho de competências específicas e de valores comuns.

Por outro lado, a condução do processo de ensino é da responsabilidade de Coordenadores de Cursos que se reportam à Direção do Instituto.

A busca pela qualidade domina os interesses de todos vinculados organicamente ao processo e perpassa por funcionários, técnicos e docentes.

O desempenho qualitativo e quantitativo dos cursos torna-se um objetivo materialmente mensurável, desejável e obsessivamente perseguido.

No processo de ensino tudo acontece na razão direta das relações entre professores e alunos e cujo palco e cenário vêm a ser as salas de aulas, os laboratórios, bibliotecas e demais ambientes acadêmicos.

Conhecer os atributos dessas relações e seus efeitos sobre a qualidade da aprendizagem é desafiador e se projeta na continuidade das ações educativas sempre em transformação.

Avaliar essas relações docentes/alunos é tarefa indispensável para o aprimoramento do processo ensino-aprendizagem.

A experiência realizada pela Universidade Federal da Paraíba no Curso de Arquitetura e Urbanismo, sob a condução dos Professores Mestres, Maria Elba Dantas de Moura Pereira e João Crisóstomo de Morais exerceu impulso e motivação para a concretização da pesquisa ora relatada.

No referido estudo discute-se a avaliação dos docentes pelos discentes, ressaltando-se e interrelacionando-se três aspectos: a participação dos alunos em seu processo, a adoção de sua metodologia pelo projeto político pedagógico do curso e a sua utilização como instrumento para elevação da qualidade dos cursos de graduação.

Aspectos Conceituais

O tema da avaliação educacional despertou o interesse de educadores e pesquisadores a partir dos anos 40 do século XX, com os estudos de Ralph Tyler (1942) sobre a accountability que no Brasil encontrou como tradução "prestação de contas" e que, de alguma forma, exerceu forte influência na formulação de metodologias e realização de numerosos estudos e pesquisas.

Com efeito, o final da década de 60 do referido século foi rica na produção acadêmica de estudos sobre avaliação. Scriven (1967), Stufflebeam (1971), Stake (1967), Cronbach (1963), entre outros, criaram modelos teóricos que obtiveram considerável êxito em suas propostas, influenciando uma geração de avaliadores da educação.

A lógica da avaliação desses autores fundamenta-se na mensuração de valores que se propõem a identificar um desempenho monetário, material ou acadêmico, qualitativo ou quantitativo.

São muitos os críticos do emprego de modelos de avaliação institucional, particularmente os baseados em medidas de valores de variáveis que compõem um indicador, sob a argumentação de se constituírem em abordagens quantitativas sem apreço qualitativo.

Stake (1967) aborda com profundidade a questão, delineando as percepções do fenômeno educacional com precisão, onde a avaliação quantitativa identifica algumas poucas variáveis, realiza medidas, explica os fenômenos, faz análise estatística, etc.

Da mesma forma, a avaliação qualitativa identifica eventos de interesse e seleciona algumas variáveis, processos, padrões de avaliação, registra e interpreta observações, etc.

"A Avaliação Qualitativa se resume a um pequeno número de casos e um grande número de variáveis e a Avaliação Quantitativa a um grande número de casos e um pequeno número de variáveis". (STAKE, 1967, p. 524).

Os argumentos a favor e contra a singularidade e a subjetividade são, muitas vezes, vistos como uma diferença entre as abordagens quantitativa e qualitativa na pesquisa.

A distinção é importante, ainda que esses temas dêem margem a falsas interpretações. Todos os pesquisadores quantitativos é claro, fazem discriminações qualitativas, assim como todos os pesquisadores qualitativos descrevem importantes quantidades em seus relatórios de educação.

É justamente nessa linha de raciocínio que a pesquisa se estrutura, propondo a construção de um conjunto de variáveis que não se confunda com a mensuração simples e, mais precisamente, com uma abordagem docimológica, em que a medida é o preâmbulo da avaliação. Dentro desta presunçosa proposta de um modelo de avaliação, configura-se o que entendemos por estreita relação entre a avaliação e a pesquisa.

Vianna (2000), aponta os aspectos que distinguem a avaliação da pesquisa, definindo a avaliação como a aplicação dos métodos da pesquisa na solução de problemas específicos de uma área.

Sem dúvida, existe um traço comum entre pesquisa e avaliação, qual seja, a busca do conhecimento para a compreensão dos fenômenos educacionais e a solução dos seus problemas (STUFFLEBEAM, 1971).

A pesquisa é julgada em função da sua validade interna, e a avaliação pela sua utilidade e credibilidade (GLASS; WORTHEN, 1971).

Não sendo uma reflexão especulativa, mas a ênfase em uma distinção que afinal aproxima uma da outra com pontos comuns de identidade, a criação de conhecimento e a solução de problemas, entendemos que o estudo se esboça na intercessão da pesquisa com a avaliação, sendo a metodologia influenciada por estudos em outras áreas do conhecimento, tais como a psicologia, a antropologia, a estatística e a sociologia.

O Foco

O Instituto de Ciências Sociais e Aplicadas da Universidade Veiga de Almeida possui seis cursos de graduação e quatro cursos seqüenciais, que totalizam 1768 alunos assim distribuídos:

Ao todo somam-se 160 professores em cerca de 448 disciplinas.

Anteriormente, a Universidade Veiga de Almeida havia utilizado metodologias distintas visando à avaliação do desempenho docente inclusive por meio dos depoimentos dos alunos.

Tendo em vista a busca de um desempenho competente, de características estratégicas na atual conjuntura competitiva e de estreitas margens de recursos superavitários, a avaliação desponta como instrumento essencial de gestão e sua aplicação estende-se a inúmeros aspectos do processo acadêmico, em particular ao da atuação docente.

A participação dos alunos como sujeitos dos currículos e do aprendizado os habilita a exercer o papel de avaliadores e de parceiros da construção de um novo processo devendo, portanto, ser envolvidos nas ações de mudança do desempenho da universidade.

O Instrumento de Avaliação

O modelo adotado tomou como princípio a utilização de um questionário de pesquisa que contemplasse 16 variáveis de conduta docente assim explicitadas:

CONHECIMENTOS E DIDÁTICA

- 7 variáveis

ATITUDES E PROCEDIMENTOS

- 7 variáveis

FREQÜÊNCIA

- 2 variáveis

O formato do questionário obedeceu às sugestões decorrentes de uma consulta aos coordenadores dos cursos, assessorias e ao aval da Pró-Reitoria Acadêmica inclusive em relação às variáveis selecionadas.

O bloco CONHECIMENTOS E DIDÁTICA é constituído pelas seguintes variáveis: apresentação clara do conteúdo da disciplina e da didática para ministrá-la; domínio dos conteúdos ensinados; planejamento e organização das aulas; facilidade em transmitir conhecimentos; metodologia e utilização das técnicas de ensino e dos recursos didáticos; estímulo ao aluno para expressar idéias e discutir conteúdos; orientação dos trabalhos e das atividades propostas.

O bloco ATITUDES e PROCEDIMENTOS compõe-se das variáveis: comprometimento com a universidade; relacionamento com os alunos; interesse pela aprendizagem do aluno; utilização de formas adequadas de avaliação; estímulo ao desenvolvimento do pensamento crítico; atendimento ao aluno na sala de aula e fora da sala de aula.

O bloco FREQUÊNCIA constitui-se de duas variáveis: cumprimento dos horários previstos para início e término das aulas e assiduidade às aulas.

Tabulação e Processamento de Dados

Tendo em vista que cada aluno avaliou em média professores de 7 disciplinas nos 16 aspectos considerados como variáveis, alcançou-se 11.151 questionários e 178.416 dados.

O processo de tabulação foi manual e o processamento das informações por meio eletrônico, com o emprego de um programa em EXCEL que totalizou, por cursos, disciplinas e professores, a avaliação dos alunos em 16 variáveis indicadoras do desempenho.

Os resultados foram apresentados por curso e professor indicando o número de alunos que responderam, as respostas por níveis de qualidade de 1 a 5, a nota final ponderada, o número de professores avaliados, o número de respostas, o número de alunos matriculados, a média do curso, o número de respostas por alunos matriculados e a média do curso em relação à média do Instituto.

Para fins de análise e providências, quando for o caso, foram anexados os resultados individuais por professores avaliados.

A análise apresentada a seguir baseia-se nos dados globais que apontam para o desempenho docente como um todo por curso.

O resultado da pontuação das 16 variáveis por professor foi entregue às Coordenações dos Cursos para as medidas julgadas oportunas.

O Instituto no geral obteve média 8,3.

Cursos de Graduação

Administração

Foram avaliados 20 professores para um total de 366 alunos matriculados, porém o número de respostas 225, foi sensivelmente inferior ao desejável sendo de 0,6% na relação nº de respostas/nº de alunos matriculados. A média ponderada das notas atribuídas aos professores foi 7,6 correspondendo a 0,92% da média do Instituto.

As médias individuais das avaliações dos professores variaram entre 6,2 e 9,5.

Ciências Contábeis

A avaliação alcançou sete professores e envolveu 86 alunos com um índice de respostas (83) por alunos de 1.0.

A média do curso foi de 7,8 correspondendo a 0,95 da média do Instituto.

As médias individuais variaram entre 5,2 e 9,1.

Comunicação Social

Foram avaliados 37 professores com 1340 respostas por variáveis e um total de 447 alunos. A relação nº de respostas/alunos matriculados foi um excelente 3.0.

A média do Curso foi 8,0 correspondendo a 0,97% do Instituto.

As médias individuais variaram entre 5,7 e 9,9.

Turismo

Foram avaliados 26 professores para um total de 285 alunos com 582 respostas.

O índice de 2.0 foi muito bom para nº de respostas/nº de alunos.

A média do curso 8,0 correspondeu a 0,97% do Instituto.

As médias individuais variaram de 5,3 a 9,8.

Serviço Social

O Curso obteve 5,1 como a melhor relação nº de respostas/nº de alunos do Instituto, para um total de 41 professores avaliados e1033 respostas para um contingente de 201 alunos.

A média do Curso foi de 8,8 ficando com 1,06% em relação à média do Instituto.

Individualmente as médias variaram entre 6,0 e 10,0.

Cursos Seqüenciais

Gestão Estratégica de Marketing

A Média do curso de 9,2 está 11% acima da média do Instituto revelando um desempenho altamente satisfatório do corpo docente.

Foram avaliados sete professores por 23 alunos com um índice nº de respostas/nº de alunos igual a 2,2. Foram obtidas 50 respostas.

Individualmente as médias variaram entre 7,1 e 9,9.

Gestão Imobiliária

A média obtida para o curso foi 9,0,cerca de 9% acima da média do Instituto.

Foram avaliados 27 professores com 630 respostas para um total de 206 alunos com um índice de 3,1 para nº de respostas/nº de alunos.

Individualmente as médias variaram entre 7,2 e 10,0.

Técnicas de Propaganda e Marketing

A média do curso foi 7,7 correspondendo a 0,92% da média do Instituto.

Foram avaliados 18 professores por 67 alunos com uma relação respostas/alunos de 3,9.

Individualmente as médias variaram entre 2,9 e 9,7.

Gestão Empresarial

Avaliação média obtida foi 8,4, cerca de 1,02 da média do Instituto.

A avaliação abrangeu 10 professores com 193 respostas para um contingente de 86 alunos.

O índice de nº de respostas/nº de alunos, plenamente satisfatório, foi 2,2.

As notas individuais atribuídas aos professores variam entre 7,4 e 10,0.

Os dados gerais e os gráficos apresentados a seguir, ilustram a pesquisa realizada em caráter experimental e que deverá ser reproduzida de dois em dois anos.

O emprego das 16 variáveis mostrou-se satisfatório para avaliar o desempenho docente, permitindo a construção de perfis qualitativos por cursos com clareza e aprofundamento.

As matrizes VARIÁVEIS X NÍVEIS DE QUALIDADE apresentadas a seguir com a distribuição da pontuação dos alunos, destacam os aspectos particulares do desempenho docente.

No curso de Administração cerca de 60% a 70% dos alunos pontuaram nos níveis 4 e 5 com destaques para "domínio dos conteúdos ensinados" (79,1%) e "atendimento ao aluno na sala de aula" (79,1%).

Entre 12% e 20% situam-se no nível intermediário 3 e entre 9,3% 20,9% nos níveis 1 e 2. A menor pontuação para o nível de qualidade 1 de 4,9% pertenceu à variável "atendimento ao aluno na sala de aula" e a maior 12,1% para "cumprimento dos horários previstos para início e término das aulas".

No curso de Ciências Contábeis os níveis de qualidade 4 e 5 variaram entre 50,6% para "metodologia e utilização das técnicas de ensino e dos recursos didáticos" e 82% para "assiduidade às aulas".

Pontuações elevadas no nível 3 como "interesse pela aprendizagem do aluno" (26,5%), "estímulo ao desenvolvimento do pensamento crítico" (25,3%) e "apresentação clara do conteúdo da disciplina e da didática para ministrá-la" (24,1%) podem revelar a necessidade de ajustes simples nos procedimentos para melhoria do desempenho geral.

Os níveis de qualidade 1 e 2 apresentaram pontuações baixas de 1,2% em "atendimento ao aluno na sala de aula" a 15,7% em "metodologia e utilização das técnicas de ensino e dos recursos didáticos".

No curso de Comunicação Social os níveis 4 e 5 apresentaram freqüências elevadas em torno de 65% variando de 62,1% a 80,5% respectivamente para "metodologia e utilização das técnicas de ensino e dos recursos didáticos" e "assiduidade às aulas".

O nível intermediário 3 registrou freqüências médias de 15%.

Os níveis 1 e 2 apresentaram pontuações relativamente baixas variando entre 4,1% e 10,7%.

O curso de Turismo obteve pontuações elevadas nos níveis 4 e 5 variando entre 64,5% em "estímulo ao aluno para expressar idéias e discutir conteúdos" a 82,8% em "atendimento ao aluno na sala de aula".

O nível intermediário 3 também registrou pontuações elevadas em certas variáveis, de cerca de 20% aproximadamente que, a semelhança do ocorrido em outros cursos, demanda alguns procedimentos corretivos para aprimorar o nível de qualidade do desempenho docente.

Os níveis 1 e 2 registraram pontuações baixas de 1,0% para "atendimento ao aluno na sala de aula" a 10,8% e 10,6% excepcionalmente, para as variáveis "metodologia e utilização das técnicas de ensino e dos recursos didáticos" e "facilidade em transmitir conhecimentos".

Dos cursos de graduação, Serviço Social obteve os melhores resultados para o desempenho docente. Os níveis 5 e 4 somaram pontuações da ordem de 80%, exceto para a variável "apresentação clara do conteúdo", com 60%, que também obteve pontuação elevada nos níveis 1 e 2 somados e no 3 (20%).

De um modo geral as pontuações dos níveis 1 e 2 foram baixas entre 1,2% e 3,7% para o nível 1 e 1,2% a 6,9% para o nível 2 e de 4,5% a 16,6% para o nível 3.

Os cursos seqüenciais de Gestão Empresarial, Gestão de Marketing Estratégico e Gestão Imobiliária, semelhantemente, alcançaram elevados pontos nos níveis 4 e 5 sempre acima de 80% e, inclusive, aproximando-se de 100%.

O nível 3 foi sempre baixo com registros de 3,6% a 16,1% e os níveis 1 e 2 com percentuais entre 0,0% a 8,2% para os três cursos.

O curso seqüencial de Técnicas de Propaganda e Marketing apresentou resultados inferiores aos demais cursos seqüenciais com pontuações em torno de 60% para a soma dos níveis 4 e 5. O nível 3 variou entre 9,9% e 26%, elevado mesmo em relação aos cursos de graduação. Os níveis 1 e 2 somados variaram entre 16% e 22% também muito elevados revelando um desempenho insatisfatório dos docentes segundo a avaliação dos alunos.

Quadro Geral do Desempenho Docente

O quadro geral do desempenho docente do Instituto de Ciências Sociais Aplicadas - ICSA - da Universidade Veiga de Almeida, segundo a avaliação dos docentes aponta para um resultado altamente satisfatório, com valores médios somados dos níveis de qualidade 4 e 5 entre 60% e 85% para as 16 variáveis selecionadas.

No entanto, a análise de cada uma das variáveis relativas aos níveis de qualidade 1, 2 e 3 pode revelar procedimentos capazes de aprimorar o seu desempenho.

Conclusão

O estudo revelou que a abordagem qualitativa foi plenamente alcançada com o emprego de 16 variáveis incidindo sobre um único foco, o desempenho docente.

A avaliação pelos discentes mostrou-se eficiente, seja pelo interesse com que foi implantada , como pelo sentido do seu papel crítico, expresso nas observações livres que pela sua extensão não integram o presente relato.

Algumas considerações de natureza operacional merecem destaque:

- necessidade de maior participação das coordenações no processo.

- implantação de uma proposta de divulgação prévia estimulando a participação de discentes e docentes.

- a continuidade do processo promovendo a cultura da avaliação como instrumento de aperfeiçoamento do processo acadêmico.

O estudo em apreço tem o propósito de contribuir para o desenvolvimento da avaliação institucional e, nesse sentido, espera receber sugestões para o seu aprimoramento.

Recebido em: 09/02/2004

Aceito para publicação em: 26/08/2004

Coordenação

Roberto Guimarães Boclin

Doutor em Educação - UFRJ

Diretor do Instituto de Ciências Sociais Aplicadas da Uva

Participação

Antonio José Queiroga Ferreira

Mestre em Comunicação e Tecnologia da Imagem - ECO - UFRJ

Coordenador do Curso de Comunicação Social

Denise Morais Bastos

Especialista em Planejamento Urbano e Regional - UFRJ

Coordenadora do Curso de Turismo

Fabiano Salabert da Silva

Bacharel em Ciências Contábeis - Souza Marques

Coordenador do Curso de Ciências Contábeis

Flavia Martinez Ribeiro

Mestre em Administração Pública - FGV

Coordenadora do Curso de Administração

Ivone Torro

Mestre em Serviço Social - PUC - Rio

Coordenadora do Curso de Serviço Social

Assessoria

Helio de Souza Sande

Bacharel e Licenciado em Física

Luiz Claudio Fernandes Quadra

Oficial Superior da Aeronáutica

Processamento

Ney de Albuquerque Lang

Engenheiro

Tabulação

Andreia de Oliveira Costa

Alessandra Aguiar Marques

Fernanda Leal de Almeida Souza

Flavio Cruz Sampaio

Liza Maria de Castro Braga

Anexo

Formulário de Pesquisa

• ANGOFF, W. H. et al. Educational measurement New York: John Willey & Sons, 1971.
• CRONBACH, L. J. Course improvement trough evaluation. Teachers College Record, New York, n. 64, p. 672-683, 1963.
• GARDNER, H. Multiple intelligences: the theory in practice. New York: Basic Books, 1993.
• GLASS, G. V.; WORTHEN, B. Evaluation and research: similarities and differences. Curriculum Theory Network, Toronto, v. 3, p. 149-165, Fall 1971.
• PENNA FIRME, T. Avaliação: resposta, responsabilidade, integração. In: BRASIL. Ministério da Educação. Secretaria de Educação Superior. Estudos e confrontos: universidade/ensino de 1ş grau: coletânea de textos sobre os benefícios mútuos de uma integração. Brasília, DF, p. 135-64, 1988.
• PEREIRA, M. E. M.; MORAIS, J. C. Avaliação na graduação: estudo de caso. João Pessoa, PB: Universidade Federal da Paraíba, 2000.
• POPHAM, W. J. Como avaliar o ensino Porto Alegre: Globo, 1976.
• PROVUS, M. Discrepancy evaluation Berkeley, Calif.: McCutchan, 1973.
• SCRIVEN, M. S. The methodology of evaluation. In: TYLER, R. W.; GAGNÉ, R. M.; SCRIVEN, M. S. Perspectives of curriculum evaluation Chicago: Rand McNally, 1967.
• STAKE, R. E. The countenance of educational evaluation. Teachers College Record, New York, n. 68, p. 523-540, 1967.
• STUFFLEBEAM, D. L. The relevance of CIIP evaluation model for educational accountability. Journal of Research and Development in Education, Athens, v. 5, n.1, 1971.
• TYLER, R. W. Basic principles of curriculum and instruction Chicago: University of Chicago, 1949.
• ______. Constructing achievement tests Columbus, Ohio: Ohio State University, 1934.
• ______. General statement on evaluation. Journal of Educational Research, Washington, DC, n. 35, p. 492-501, 1942.
• ______. Princípios básicos de currículo e ensino Porto Alegre: Globo, 1974.
• VIANNA, H. M. Avaliação educacional São Paulo: IBRASA, 2000.
• WORTHEN, B. R.; SANDRES, J. R. (Comp.). Educational evaluation: theory and practice. Worthington, Ohio: C. A. Jones Pub. Co., 1973. (International series in education).

Datas de Publicação

• Publicação nesta coleção
  26 Ago 2005
• Data do Fascículo
  Dez 2004

Histórico

• Aceito
  26 Ago 2004
• Recebido
  09 Fev 2004