Acessibilidade / Reportar erro

Tradução e adaptação do questionário de validade das avaliações dos estudantes ao ensino e aos professores

Translation and adaptation of the questionnaire on the validity of student evaluation of teaching

Resumos

Introdução: A avaliação do ensino superior é prática comum nas instituições, a realizada pelos estudantes aos professores nem sempre é isenta de enviesamentos. Objetivos: Traduzir e adaptar o questionário de validade das avaliações dos estudantes aos professores. Conhecer a opinião dos estudantes acerca da veracidade das avaliações que fazem aos professores. Metodologia: Tradução e validação do questionário de validade das avaliações dos estudantes aos professores, segundo a metodologia tradução/retroversão, com posterior análise de conteúdo da clareza e da pertinência dos itens, seguido das estatísticas resumo dos resultados obtidos no questionário. A amostra é constituída por 406 estudantes do Curso de Licenciatura em Enfermagem. Cumpriram-se os procedimentos éticos e legais. Os dados foram tratados no programa IBM SPSS Statistics, versão 22. Resultados: Analisou-se a pertinência e clareza da linguagem utilizando o coeficiente de validade de conteúdo (CVC) com recurso ao cálculo da média das atribuições a cada item, ao total e ao valor de erro. Em relação à pertinência da linguagem, CVC = 0,999, e à clareza, CVC = 0,888. As estatísticas resumo dos resultados mostraram que 99,3% dos estudantes consideram dever avaliar os professores. Para 86,7% essa avaliação deve ocorrer em todas as unidades curriculares e semestres, considerando 70,7% dos estudantes que os professores avaliados vêm a ser melhores professores. 70,7%. Por seu lado, 81,8% e 93,8%, respetivamente, afirmam nunca ter atribuído pontuações mais elevadas e mais baixas ao professor. A exatidão das avaliações feitas é, segundo os estudantes, de 63,29%. Conclusão: Foi dado um contributo à análise de uma variável pouco estudada. Este instrumento não substitui outros, mas complementa os métodos de avaliação. O processo de preenchimento de formulários deve encorajar professores e estudantes a refletir sobre a sua experiência de avaliação.

Palavras-chave:
Avaliação; Estudantes; Ensino superior; Validade das avaliações


Introduction: Higher education evaluation is a common practice in the institutions. However, the students’ evaluation of faculty is not always free from bias. Objectives: To translate and adapt the questionnaire on the validity of student evaluation of teaching. To identify students’ views on the accuracy of their evaluations of teaching. Methodology: Translation and validation of the questionnaire on the validity of student evaluation of faculty, according to the methodology of translation/back-translation, with subsequent content analysis of item clarity and relevance, followed by summary statistics of the questionnaire results. The sample is composed of 406 students of the Bachelor’s Degree in Nursing. All ethical and legal procedures were followed. Data were analyzed using IBM SPSS Statistics, version 22. Results: The relevance and clarity of the language were analyzed using the content validity coefficient (CVC) and by calculating the mean ratings for each item, the total score, and the error value. Language relevance and clarity showed a CVC = 0.999 and CVC = 0.888, respectively. The summary statistics of the results showed that 99.3% of the students believe that they should evaluate the teachers. For 86.7% of the students, this evaluation should occur in all course units and semesters. For 70.7% of the students, the teachers who are evaluated become better teachers. Among these students, 81,8% and 93.8% respectively stated that they had never given higher or lower scores to a teacher. According to the students, the accuracy of the evaluations is 63.29 %. Conclusion: This study contributed to the analysis of an understudied variable. This instrument complements rather than replaces the evaluation methods. The process of filling in forms should encourage teachers and students to reflect on their evaluation experience.

Key words:
Assessment; Students; Higher education; Validity of evaluations


Introdução

Em Portugal, a prática de avaliação do ensino superior iniciou-se em meados da década de 90 como uma preocupação política e académica da qualidade (MORAIS; ALMEIDA; MONTENEGRO, 2006MORAIS, Natércia; ALMEIDA, Leandro S.; MONTENEGRO, Maria Irene. Perceções do ensino pelos alunos: uma proposta de instrumento para o Ensino Superior. Análise Psicológica, Portugal, v. 1, n. 24, p. 73-86, 2006.) na sequência da expansão e massificação do ensino após a integração na União Europeia.

Entre 1995 e 2000, o modelo de avaliação fez-se com as Universidades públicas e de 2000 a 2005 estendeu-se a todo o ensino superior público e privado. Esta avaliação surgiu da necessidade de garantir um ensino superior de qualidade, levando as instituições a adotarem procedimentos de avaliação renovados.

A avaliação do ensino e dos professores nas instituições de ensino superior tornou-se cada vez mais comum nos últimos anos, em Portugal como noutras partes do mundo. Esta avaliação passou a ser feita tendo por base o relatório produzido pelos professores, como era prática corrente, mas também através de outros indicadores, cuja principal inovação se refere à inclusão da opinião manifestada pelos estudantes acerca de uma série de itens propostos pelas instituições. A avaliação resultante passou a contribuir para a tomada de decisão na contratação, renovação de contratos, determinação de mérito e promoções.

Os estudantes viram-se, assim, chamados a pronunciarem-se sobre os mais diversos aspetos da instituição do ensino superior, principalmente a atividade de ensino, tornando-se participantes de relevância fundamental na avaliação interna das instituições, numa articulação entre o papel de clientes e de atores “institucionais-chave” (CARDOSO; SANTIAGO; SARRICO, 2010CARDOSO, Sónia; SANTIAGO, Rui; SARRICO, Cláudia. As atitudes dos estudantes face à avaliação das instituições de ensino superior. Avaliação, Campinas; Sorocaba, v. 15, n. 3, p. 29-58, 2010.) e legitimados como primeiros agentes da aprendizagem (MORAIS; ALMEIDA; MONTENEGRO, 2006MORAIS, Natércia; ALMEIDA, Leandro S.; MONTENEGRO, Maria Irene. Perceções do ensino pelos alunos: uma proposta de instrumento para o Ensino Superior. Análise Psicológica, Portugal, v. 1, n. 24, p. 73-86, 2006.), sem que, em muitos casos tenham tomado consciência da importância do papel que lhes foi dado desempenhar.

Nos EUA, a primeira experiência da avaliação descrita data de 1927, com um fluxo constante de artigos sobre a avaliação e a adoção de instrumentos de avaliação tornando-se esta quase universal (CLAYSON; HALEY, 2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.).

Atualmente, nos mais diversos países realiza-se a avaliação da qualidade do ensino superior, incluindo um procedimento de avaliação do ensino pelos estudantes (student´s evaluation teaching - SET) para avaliar a sua instituição. Porém, em muitos desses países, como por exemplo em Portugal, esta prática é relativamente recente e há professores e estudantes que ainda reagem mal às avaliações realizadas pelos estudantes. Estão descritos diversos fatores que contribuem para tal, dos quais podemos enunciar os que se relacionam com o estudante (por exemplo, efeito halo, classificação obtida ou esperada, correlação entre a nota obtida e a satisfação com o curso, benevolência do professor, bom nível de conhecimentos adquiridos, motivação para um maior nível de conhecimentos, maturidade, teorias dos estudantes sobre o ensino) e aqueles que são relacionados com o professor (por exemplo, características de natureza psicológica, traços pessoais, cultura do professor, ambiente na sala de aula, clima de simpatia mútua) e que são independentes em relação ao aproveitamento do estudante (CAMARNEIROCAMARNEIRO, Ana Paula; FREDERICO-FERREIRA, Maria Manuela. A importância dos estudantes nos processos de avaliação do ensino. In: FREDERICO-FERREIRA, Maria Manuela; LOUREIRO, Cândida Rosalinda; VENTURA, Maria Clara; CAMARNEIRO, Ana Paula; AFONSO, Almerindo J. (Eds.). Percurso para a garantia da qualidade na Escola Superior de Enfermagem de Coimbra. Portugal, Coimbra: UICISA-E e ESEnfC, 2013. (Série Monográfica Educação e Investigação em Saúde, n. 6, p. 37-53).; FREDERICO-FERREIRA, 2013FREDERICO-FERREIRA, Maria Manuela; LOUREIRO, Cândida Rosalinda; VENTURA, Maria Clara; CAMARNEIRO, Ana Paula; AFONSO, Almerindo J. (Eds.). Percurso para a garantia da qualidade na escola superior de enfermagem de Coimbra. Portugal, Coimbra: UICISA-E e ESEnfC , 2013. (Série Monográfica Educação e Investigação em Saúde, n. 6). ).

No discurso dos estudantes observam-se representações estudantis “não unitárias nem homogéneas, mas antes contraditórias, ambíguas, difusas e, essencialmente, híbridas” a propósito da avaliação (CARDOSO et al., 2010CARDOSO, Sónia; SANTIAGO, Rui; SARRICO, Cláudia. As atitudes dos estudantes face à avaliação das instituições de ensino superior. Avaliação, Campinas; Sorocaba, v. 15, n. 3, p. 29-58, 2010., p. 54). Contudo, Murray (1984MURRAY, Harry G. The impact formative and summative evaluation of teaching in North American Universities. Assessment and Evaluation in Higher Education, UK, v. 9, n. 2, p. 117-132, 1984.) afirma que apenas os estudantes são capazes de julgar se os comentários dos docentes aos seus trabalhos ou os materiais de apoio pedagógico utilizados lhes são, ou não, úteis. Afirmação que, por si só, validaria a importância da pesquisa desta informação. Apesar disso, a participação dos estudantes na avaliação dos docentes continua a não ser pacífica e a revestir-se de questões muito controversas. Uma dessas questões coloca-se a propósito da validade da informação proveniente da avaliação realizada pelos estudantes (ex., BERK, 2005BERK, Ronald A. Survey of 12 strategies to measure teaching effectiveness. International Journal of Teaching and Learning in Higher Education, USA, v. 17, n. 1, p. 48-62, 2005.; BROWN, 2008BROWN, Michael J. Student perceptions of teaching evaluations. Journal of Instructional Psychology, USA, v. 35, n. 2, p. 177-181, 2008.; CLAYSON; HALEY, 2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.; STARK-WROBLEWSKI; AHLERING; BRILL, 2007STARK-WROBLEWSKI, Kimberly; AHLERING, Robert F.; BRILL, Flannery M. Toward a more comprehensive approach to evaluating teaching effectiveness: supplementing student evaluations of teaching with pre-post learning measures. Assessment and Evaluation in Higher Education, UK, v. 32, n. 4, p. 403-415, aug. 2007. ).

No estudo de Brown (2008BROWN, Michael J. Student perceptions of teaching evaluations. Journal of Instructional Psychology, USA, v. 35, n. 2, p. 177-181, 2008.), os estudantes consideraram a sua avaliação honesta mas expressaram dúvidas quanto à validade e utilidade da mesma. Relativamente à frequência, 67% destes estudantes consideraram que a avaliação deve ser feita uma vez por semestre, enquanto que 11% propõe a sua realização menos de uma vez por ano, ou nunca. Estes resultados indicam que os estudantes desvalorizam a prática da avaliação, resultado contraditório com a ênfase por si colocada na legitimidade da avaliação. Segundo o autor, há uma minoria de estudantes que tece críticas à avaliação referindo-se à falta de cultura a esse nível, ao seu carácter não sistemático e superficial e à não produção de consequências objetivas para a instituição a partir dos seus resultados.

Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.), a partir da revisão da literatura, constataram que os estudantes ignoram ou falsificam respostas em função das variáveis por eles consideradas mais importantes; dão impressões subjetivas em resposta a perguntas objetivas; por vezes dão respostas propositadamente enganosas e falsas. Perante este reconhecimento, os autores elaboraram um questionário de avaliação da veracidade das respostas dadas pelos estudantes à avaliação de professores, onde mostraram em que medida os estudantes são verdadeiros naquilo que descrevem nas avaliações. Os resultados obtidos indicaram que cerca de 30% dos estudantes dizem conhecer outros estudantes que não foram verdadeiros nas respostas dadas. Em função destes resultados, a validade da avaliação feita pelos estudantes ao ensino e aos professores, para aumentar o desempenho individual dos professores, modificação dos curricula, e para criação de escalas comparativas para avaliação das instituições deve ser posta em questão.

De facto, muitos instrumentos têm sido criados para avaliar a perceção dos estudantes face ao ensino, à orientação de estágios, ao docente, mas raramente se apresentam estudos sobre a veracidade das respostas dadas pelos mesmos estudantes. A maioria dos estudos publicados a este respeito partem do princípio que os estudantes são idóneos, ou desconsideram a possibilidade de tal não ocorrer.

Sendo os estudantes da Escola Superior de Enfermagem de Coimbra chamados a participar em todas as formas de avaliação da Escola desde o ano 2006/2007, com auscultação regular da sua opinião sobre, entre outras situações, as unidades curriculares e os professores, procedimento que se tornou comum e que conta com uma elevada adesão, a validade das avaliações produzidas em relação ao ensino e aos professores é uma das preocupações atuais do Conselho para a Qualidade e Avaliação.

No sentido de tornar este procedimento útil e produtivo para todos os intervenientes no processo do ensino-aprendizagem e reforçando a importância que deve ser dada à informação e sensibilização para a avaliação dos estudantes nas instituições de Ensino Superior, realizámos um estudo que tem como objetivos:

- Traduzir e adaptar o questionário de validade das avaliações dos estudantes aos professores, proposto por Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.);

- Conhecer a opinião dos estudantes acerca da veracidade das avaliações que fazem aos professores.

Metodologia

Realizou-se um estudo de tradução e validação do questionário de validade das avaliações dos estudantes aos professores proposto por Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.). Este foi seguido do estudo descritivo das variáveis.

Participou no estudo uma amostra, não probabilística, constituída por 406 estudantes do Curso de Licenciatura em Enfermagem da Escola Superior de Enfermagem de Coimbra, no ano letivo 2013/2014. Os estudantes abrangem todos os anos do curso de Licenciatura, 39,4% do 1º ano, 41,9% do 2º ano, 1,4% do 3º e 17,2% do 4º ano, correspondendo 84% ao sexo feminino e 16% ao sexo masculino. O preenchimento do questionário foi voluntário e registado de forma anónima, durante a fase letiva.

O questionário original, criado e publicado por Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.), utilizado neste estudo, contém 20 questões, das quais 18 são de resposta dicotómica (sim e não), e duas são questões de opinião, cuja resposta é solicitada em valor percentual. O seu preenchimento demora cerca de dez minutos. Para a elaboração da versão portuguesa, não obstante tratar-se de um instrumento publicado e sem referência a limitações de utilização, foi enviado e-mail aos autores com pedido de autorização, ao qual se obteve resposta positiva.

Seguiram-se os procedimentos habituais à adaptação cultural e linguística de instrumentos de medição equivalentes, escritos em língua diferente da original (HUNT, 1993HUNT, Sonja M. Cross-cultural comparability of measures and other issues related to multicountry studies. British Journal of Medical Economics, UK, n. 6, p. 27-34, 1993.), garantindo que as traduções conduzem a resultados com interpretações equivalentes, por exemplo, em aspetos de semântica e conteúdo.

Seguindo a metodologia tradução/retroversão, na fase de tradução do questionário pretendeu-se obter uma versão em português, linguisticamente correta e equivalente à versão original. Esta fase iniciou-se com a criação de duas versões em português, realizadas de forma independente, por dois tradutores portugueses fluentes em inglês. Seguiu-se a fase de reconciliação entre as traduções onde foram analisados e comparados os seus conteúdos. As discrepâncias identificadas foram mínimas estando apenas relacionadas com palavras de múltipla tradução. Obteve-se, assim, a primeira versão em português, que foi sujeita a uma retroversão por um tradutor. Posteriormente, procedeu-se a uma análise comparativa com a versão original.

O grupo de docentes do Conselho para a Qualidade e Avaliação da Escola Superior de Enfermagem de Coimbra realizou uma leitura crítica ao conteúdo do questionário no que se refere a aspetos técnicos, linguísticos e semânticos (HUNT; ALONSO; BUCQUET; NIERO; WIKLUND; MCKENNA, 1991HUNT, Sonja M.; ALONSO, Jordi; BUCQUET, Denis; NIERO, Mauro; WIKLUND, Ingela; McKENNA Stephen. Cross-cultural adaptation of health measures. Health Policy, USA, v. 19, n. 1, p. 33-44, 1991.). Foram retirados dois itens de resposta dicotómica que causaram dificuldades na compreensão e interpretação do seu conteúdo. Para análise teórica dos itens do questionário foram utilizados 16 itens, acrescidos das duas questões que solicitam uma opinião traduzida em valores percentuais pelos respondentes (exemplo de itens: Considera que os professores que são avaliados pelos estudantes vêm a ser melhores professores?; Por alguma razão, já atribuiu a algum professor uma avaliação mais elevada do que ele merecia?, etc.).

A aplicação da versão portuguesa do questionário à amostra em estudo decorreu em 2014 e seguiu os procedimentos éticos e legais inerentes à investigação (Parecer 224-09/2014 da Comissão de Ética da UICISA-E). A participação foi esclarecida e voluntária. Realizaram-se os estudos de validação e as estatísticas resumo dos resultados obtidos no questionário.

Os dados foram tratados em Microsoft Excel e no programa IBM SPSS Statistics, versão 22.

Resultados

Para o estudo da validade de conteúdo, analisou-se a pertinência da linguagem e a sua clareza utilizando o coeficiente de validade de conteúdo (CVC) (HERNANDEZ-NIETO, 2002HERNANDEZ-NIETO, Héctor. Contribuciones al análisis estadístico. Andes: Universidad de Los Andes, 2002.), através dos resultados obtidos nas respostas dos juízes à escala de adequação (1 a 5 pontos para cada item). O mesmo autor indica a necessidade de três a cinco juízes/peritos na área dos itens a serem validados. Nesta conformidade, participaram cinco docentes experientes na área, conhecedores de exigências e processos de avaliação, bem como de diferentes instrumentos utilizados e de resultados de avaliações. Assim, recorreu-se ao cálculo da média das atribuições a cada item, ao total e ao valor de erro. A subtração do valor de erro ao coeficiente de validade de conteúdo inicial permitiu diminuir vieses dos juízes.

O valor adotado como satisfatório para clareza da linguagem e pertinência é, conforme recomendado na literatura (CASSEPP-BORGES; BALBINOTTI; TEODORO, 2010CASSEPP-BORGES, Vicente; BALBINOTTI, Marcos A.; TEODORO, Maycoln L. M. Tradução e validação de conteúdo: uma proposta para a adaptação de instrumentos. In: PASQUALI, L. et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed, 2010. P. 506-520. ), de CVC ≥ 0,70, quer para cada item, quer para o instrumento na globalidade.

Em relação à pertinência observa-se, na tabela 1, que o questionário apresenta um CVC = 0,999, portanto, consideravelmente acima do ponto de corte estabelecido. Assim, considera-se a pertinência dos diferentes itens e do questionário na globalidade.

Tabela 1
Cálculo do CVC para a pertinência

Relativamente à clareza de linguagem (conforme Tabela 2), o item 1 apresenta CVC = 0,72, pouco acima do limite de aceitação, o que levou à reanálise do item pelos juízes. O questionário na globalidade apresenta um CVC = 0,888.

Tabela 2
Cálculo do CVC para a clareza da linguagem

Do ponto de vista semântico e estatístico considera-se que o questionário apresenta características favoráveis à sua utilização, permitindo fazer a análise descritiva das respostas obtidas na amostra em estudo.

A análise descritiva sobre a opinião dos estudantes relativamente às avaliações que fazem aos professores revelou que a grande maioria (99,3%) considera que os estudantes devem avaliar os seus professores e 86,7% indicam que essa avaliação deve ocorrer em todas as unidades curriculares. A alternativa de os professores serem avaliados uma vez em cada 3 anos não colheu respostas (0%).

É expressiva a percentagem de estudantes (70,7%) que considera que os professores avaliados pelos estudantes vêm a ser melhores professores.

Às questões relativas a possíveis atribuições de avaliação mais elevada e avaliação mais baixa do que a merecida pelo professor, respetivamente 81,8% e 93,8% dos estudantes afirma nunca o ter feito.

Uma das questões do questionário aplicado perspetiva que o estudante tenha de atribuir uma pontuação de zero a 100 à exatidão das avaliações realizadas (por exemplo, 20 seria 20% de exatidão, 90 seria 90% de exatidão, etc.). Os estudantes atribuíram pontuações cuja média é de 63,29 (D.P. = 16,94), sendo que 86,4% das respostas se situam acima de 50 na pontuação atribuída a esta questão. A resposta à última questão colocada, acerca da percentagem de informações ou pontuações atribuídas pelos estudantes que acreditam não serem verdadeiras, obteve uma média de 39,86 (D.P. = 22,38). No entanto, percentagens iguais ou superiores a 50 foram atribuídas por 72,8% dos estudantes.

Discussão

A utilidade da avaliação realizada pelos estudantes ao ensino e ao docente depende da veracidade com que os estudantes realizam essa avaliação. Para tal, a existência de instrumentos de pesquisa que o permitam averiguar é de grande pertinência. O questionário de Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.) utilizado neste estudo revelou boas características semânticas e estatísticas depois de serem retirados os dois itens (17 e 18) que se mostraram de difícil interpretação pelos respondentes.

O coeficiente de validade de conteúdo para a pertinência e clareza da linguagem apresentou bons resultados, respetivamente 0,999 e 0,888, para o valor global do questionário, o que possibilita a sua utilização sem restrições na amostra portuguesa.

Na amostra em estudo, a quase totalidade dos estudantes consideram que devem avaliar os seus professores (99,3%), valor um ponto percentual acima da opinião manifestada pelos estudantes do estudo original (98,3%). Este resultado pode ocorrer devido ao facto de ano após ano, se ter tornado uma prática comum a avaliação do ensino e dos docentes por parte dos estudantes do ensino superior. Além disso, dessa prática têm existido benefícios apresentados pela instituição e reconhecidos pelos estudantes que ajudam à sua manutenção. Contudo, alguns estudos mostram que a avaliação sistemática e continuadamente solicitada aos estudantes é uma das suas maiores fontes de insatisfação (CHONG; AHMED, 2015CHONG, Yit S.; AHMED, Pervaiz K. Student motivation and the feel good factor: an empirical examination of motivational predictors of university service quality evaluation. Studies in Higher Education, UK, v. 40, n. 1, p. 158-177, 2015.). Outros estudos referem que os estudantes realizam as avaliações com consciência pouco clara da resposta dada, particularmente se a avaliação se tornou uma mera tarefa de rotina, ou se desconhecem o impacto dessa avaliação no currículo (UIJTDEHAAGE; O´NEAL, 2015UIJTDEHAAGE, Sebastian; O´NEAL, Christopher. A curious case of the phantom professor: mindless teaching evaluations by medical students. Medical Education, USA, n. 49, p. 928-932, 2015.).

A atitude geral dos inquiridos sobre a avaliação dos professores, aponta para que esta avaliação seja realizada em todas as unidades curriculares e em todos os semestres (87,7%). Este resultado é superior ao encontrado no estudo original em que 67,4% dos inquiridos manifestam esta opinião, resultado semelhante ao encontrado por Brown (2008BROWN, Michael J. Student perceptions of teaching evaluations. Journal of Instructional Psychology, USA, v. 35, n. 2, p. 177-181, 2008.) no estudo ‘Student Perceptions of Teaching Evaluations’, no qual 67% dos estudantes consideraram que a avaliação deve ser feita uma vez por semestre. A percentagem mais elevada encontrada nos estudantes portugueses poderá estar associada à importância atribuída à avaliação, à experiência com esta forma de avaliação, ou à percepção que têm da qualidade da instituição de ensino que frequentam, tornando-se gratificante para eles serem chamados a participar nos processos institucionais, obtendo um lugar de relevância fundamental no ensino (CARDOSO et al., 2010CARDOSO, Sónia; SANTIAGO, Rui; SARRICO, Cláudia. As atitudes dos estudantes face à avaliação das instituições de ensino superior. Avaliação, Campinas; Sorocaba, v. 15, n. 3, p. 29-58, 2010.).

A afirmação feita por 70,7% dos estudantes de que os professores sujeitos a avaliação vêm a ser melhores professores (no estudo original são 68.4% dos estudantes a manifestar esta opinião), poderá encontrar justificação na constatação de que a sua opinião contribui para processos de mudança, evidenciados no currículo e nas metodologias adotadas pelos professores, o que nem sempre é reconhecido por outros estudantes (UIJTDEHAAGE; O´NEAL, 2015UIJTDEHAAGE, Sebastian; O´NEAL, Christopher. A curious case of the phantom professor: mindless teaching evaluations by medical students. Medical Education, USA, n. 49, p. 928-932, 2015.). Outras razões, como por exemplo de natureza cultural, ou de confirmação das expectativas face aos serviços recebidos (CHONG; AHMED, 2015CHONG, Yit S.; AHMED, Pervaiz K. Student motivation and the feel good factor: an empirical examination of motivational predictors of university service quality evaluation. Studies in Higher Education, UK, v. 40, n. 1, p. 158-177, 2015.), podem justificar o interesse destes estudantes pela avaliação dos professores.

Relativamente às informações sobre respostas deliberadamente erróneas acerca dos professores, no presente estudo são 18,2% e 6,2% dos estudantes a considerar terem-no feito, respetivamente, atribuições de avaliação mais elevadas e de avaliação mais baixas do que a merecida pelo professor, num total de 24,4%. No estudo de Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.) essas percentagens são, respetivamente, de 19,5% e 19,9% de respostas falsas, num total de 39,4%. Embora inferiores aos obtidos no estudo original, os valores obtidos na amostra portuguesa não são desejáveis, tornando-se necessário desenvolver propostas de intervenção, a concretizar junto dos estudantes, de modo a minimizar a ocorrência destas respostas. De acordo com Yang (2010YANG, Shih-Hsien. Teacher Evaluation: Teachers' Reflections and Actions on online Student Evaluations of Teaching. The International Journal of Learning, USA, v. 17, n. 1, p. 133-141, 2010.), são recomendadas entrevistas aos estudantes para que adquiram pensamentos mais profundos sobre o desempenho, eficácia e eficiência dos seus professores, e participação em workshops onde professores e estudantes discutam livremente métodos de ensino, construção do currículo e responsabilidade do estudante. Uijtdehaage e O´Neal (2015UIJTDEHAAGE, Sebastian; O´NEAL, Christopher. A curious case of the phantom professor: mindless teaching evaluations by medical students. Medical Education, USA, n. 49, p. 928-932, 2015.) propõem que se constitua uma amostra de estudantes no início de um curso, que sejam responsabilizados pela avaliação ao longo do mesmo. No fim do curso, os estudantes elaboram um relatório completo sobre o curso e os docentes, e receberão o feedback do mesmo, de modo a sentirem que o seu esforço foi importante e útil.

No que se refere à perspetiva dos estudantes sobre a exatidão das avaliações, a atribuição de pontuação numa escala de zero a cem, cuja média é de 63,29 (D. P. = 16,94), não é satisfatório para o Conselho da Qualidade e Avaliação. Porém, ter em conta que mais de oitenta por cento atribui um valor acima de cinquenta, mostra o reconhecimento da melhor exatidão das avaliações. No estudo de Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.) a pontuação média atribuída pelos estudantes foi de 62,9 (com um erro de amostra de 1.20). Estes resultados vão ao encontro de Shirbagi (2011SHIRBAGI, Naser. Iranian university teachers' and students 'views on effectiveness of students' evaluation of teaching. The Quality of Higher Education, UK, n. 8, p. 118-131, 2011.) ao afirmar que se por um lado o estudante é quem melhor se pode pronunciar acerca da eficácia do professor na sala de aula, por outro lado, as pontuações que lhes são atribuídas pelos estudantes têm as suas limitações. O feedback dos estudantes é uma importante ferramenta para professores que desejem melhorar o seu ensino (SHIRBAGI, 2011SHIRBAGI, Naser. Iranian university teachers' and students 'views on effectiveness of students' evaluation of teaching. The Quality of Higher Education, UK, n. 8, p. 118-131, 2011.; YANG, 2010YANG, Shih-Hsien. Teacher Evaluation: Teachers' Reflections and Actions on online Student Evaluations of Teaching. The International Journal of Learning, USA, v. 17, n. 1, p. 133-141, 2010.), mas não há dúvida que a eficácia do ensino deve ser avaliada a partir de várias medidas, nomeadamente medidas de aprendizagem juntamente com a avaliação do ensino pelos estudantes (STARK-WROBLEWSKI et al., 2007STARK-WROBLEWSKI, Kimberly; AHLERING, Robert F.; BRILL, Flannery M. Toward a more comprehensive approach to evaluating teaching effectiveness: supplementing student evaluations of teaching with pre-post learning measures. Assessment and Evaluation in Higher Education, UK, v. 32, n. 4, p. 403-415, aug. 2007. ).

Acerca da estimativa que os estudantes fazem a propósito da avaliação realizada por todos os estudantes contendo informação não verdadeira, foram atribuídas por 39,86%. Note-se que este valor é superior ao valor atribuído relativamente às informações deliberadamente erróneas dadas pelo próprio e atrás referidas (24,4%), apresentando os estudantes um julgamento negativo dos colegas em relação à veracidade das suas respostas. No estudo de Clayson e Haley (2011CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.), o resultado é de 30,5%, valor mais baixo do que o obtido neste estudo e, consequentemente, mais satisfatório para o efeito que se pretende obter com a avaliação. Também é um valor inferior ao valor atribuído pelos estudantes sobre si mesmos, havendo, portanto, um julgamento mais positivo dos colegas.

Como é conhecido, grupos de pessoas são diferentes nas reações a estímulos idênticos ou muito semelhantes. Assim, as avaliações dos estudantes aos professores não estão necessariamente correlacionadas com a avaliação global dos professores, que inclui a avaliação por pares e supervisores (DUNEGAN; HRIVNAK, 2003DUNEGAN, Kenneth J.; HRIVNAK, Mary W. Characteristics of mindless teaching evaluations and the moderating effects of image compatibility. Journal of Management Education, USA, v. 27, n. 3, p. 280-303, 2003.).

Um dos benefícios mais importantes da avaliação do ensino pelos estudantes, que vale a pena aqui mencionar, é o facto de o processo de projetar ou preencher os formulários encorajar quer os professores, quer os estudantes a refletir sobre a sua experiência de educação. Como resultado da avaliação surge o desenvolver de conceções mais claras sobre os esforços que devem ser realizados a fim de conseguir um melhor ensino e resultados de aprendizagem (SHIRBAGI, 2011SHIRBAGI, Naser. Iranian university teachers' and students 'views on effectiveness of students' evaluation of teaching. The Quality of Higher Education, UK, n. 8, p. 118-131, 2011.; YANG, 2010YANG, Shih-Hsien. Teacher Evaluation: Teachers' Reflections and Actions on online Student Evaluations of Teaching. The International Journal of Learning, USA, v. 17, n. 1, p. 133-141, 2010.).

A qualidade docente reveste-se de múltiplos fatores, tais como as atividades pedagógicas de sala de aula ou o valor científico das matérias lecionadas (MORAIS et al., 2006MORAIS, Natércia; ALMEIDA, Leandro S.; MONTENEGRO, Maria Irene. Perceções do ensino pelos alunos: uma proposta de instrumento para o Ensino Superior. Análise Psicológica, Portugal, v. 1, n. 24, p. 73-86, 2006.). A avaliação pelos estudantes pode e deve contribuir para que o professor faça uma reflexão constante acerca da mensagem que passa.

Conclusão

Com este estudo, deu-se um contributo importante na avaliação de uma variável pouco estudada - a veracidade das respostas dos estudantes à avaliação por eles efetuada. O preenchimento de questionários mostra-se uma metodologia válida na avaliação realizada pelos estudantes, apesar de ser notória a necessidade de a complementar com outras formas de avaliação e de realizar um trabalho constante com os estudantes de incentivo e apelo à responsabilidade. Este instrumento não substitui, mas complementa outros métodos de avaliação de docentes e unidades curriculares.

As limitações a este estudo estão relacionadas com a amostra circunscrita a estudantes de enfermagem num só ano letivo. Estas limitações decorreram do critério de os estudantes terem experiência no preenchimento de questionários de opinião sobre o ensino.

Referências

  • BERK, Ronald A. Survey of 12 strategies to measure teaching effectiveness. International Journal of Teaching and Learning in Higher Education, USA, v. 17, n. 1, p. 48-62, 2005.
  • BROWN, Michael J. Student perceptions of teaching evaluations. Journal of Instructional Psychology, USA, v. 35, n. 2, p. 177-181, 2008.
  • CAMARNEIRO, Ana Paula; FREDERICO-FERREIRA, Maria Manuela. A importância dos estudantes nos processos de avaliação do ensino. In: FREDERICO-FERREIRA, Maria Manuela; LOUREIRO, Cândida Rosalinda; VENTURA, Maria Clara; CAMARNEIRO, Ana Paula; AFONSO, Almerindo J. (Eds.). Percurso para a garantia da qualidade na Escola Superior de Enfermagem de Coimbra. Portugal, Coimbra: UICISA-E e ESEnfC, 2013. (Série Monográfica Educação e Investigação em Saúde, n. 6, p. 37-53).
  • CARDOSO, Sónia; SANTIAGO, Rui; SARRICO, Cláudia. As atitudes dos estudantes face à avaliação das instituições de ensino superior. Avaliação, Campinas; Sorocaba, v. 15, n. 3, p. 29-58, 2010.
  • CASSEPP-BORGES, Vicente; BALBINOTTI, Marcos A.; TEODORO, Maycoln L. M. Tradução e validação de conteúdo: uma proposta para a adaptação de instrumentos. In: PASQUALI, L. et al. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed, 2010. P. 506-520.
  • CHONG, Yit S.; AHMED, Pervaiz K. Student motivation and the feel good factor: an empirical examination of motivational predictors of university service quality evaluation. Studies in Higher Education, UK, v. 40, n. 1, p. 158-177, 2015.
  • CLAYSON, Dennis E.; HALEY, Debra A. Are students telling us the truth? A critical look at the student evaluation of teaching. Marketing Education Review, UK, v. 21, n. 2, p. 101-112, 2011.
  • DUNEGAN, Kenneth J.; HRIVNAK, Mary W. Characteristics of mindless teaching evaluations and the moderating effects of image compatibility. Journal of Management Education, USA, v. 27, n. 3, p. 280-303, 2003.
  • FREDERICO-FERREIRA, Maria Manuela; LOUREIRO, Cândida Rosalinda; VENTURA, Maria Clara; CAMARNEIRO, Ana Paula; AFONSO, Almerindo J. (Eds.). Percurso para a garantia da qualidade na escola superior de enfermagem de Coimbra. Portugal, Coimbra: UICISA-E e ESEnfC , 2013. (Série Monográfica Educação e Investigação em Saúde, n. 6).
  • HERNANDEZ-NIETO, Héctor. Contribuciones al análisis estadístico. Andes: Universidad de Los Andes, 2002.
  • HUNT, Sonja M. Cross-cultural comparability of measures and other issues related to multicountry studies. British Journal of Medical Economics, UK, n. 6, p. 27-34, 1993.
  • HUNT, Sonja M.; ALONSO, Jordi; BUCQUET, Denis; NIERO, Mauro; WIKLUND, Ingela; McKENNA Stephen. Cross-cultural adaptation of health measures. Health Policy, USA, v. 19, n. 1, p. 33-44, 1991.
  • MORAIS, Natércia; ALMEIDA, Leandro S.; MONTENEGRO, Maria Irene. Perceções do ensino pelos alunos: uma proposta de instrumento para o Ensino Superior. Análise Psicológica, Portugal, v. 1, n. 24, p. 73-86, 2006.
  • MURRAY, Harry G. The impact formative and summative evaluation of teaching in North American Universities. Assessment and Evaluation in Higher Education, UK, v. 9, n. 2, p. 117-132, 1984.
  • SHIRBAGI, Naser. Iranian university teachers' and students 'views on effectiveness of students' evaluation of teaching. The Quality of Higher Education, UK, n. 8, p. 118-131, 2011.
  • STARK-WROBLEWSKI, Kimberly; AHLERING, Robert F.; BRILL, Flannery M. Toward a more comprehensive approach to evaluating teaching effectiveness: supplementing student evaluations of teaching with pre-post learning measures. Assessment and Evaluation in Higher Education, UK, v. 32, n. 4, p. 403-415, aug. 2007.
  • UIJTDEHAAGE, Sebastian; O´NEAL, Christopher. A curious case of the phantom professor: mindless teaching evaluations by medical students. Medical Education, USA, n. 49, p. 928-932, 2015.
  • YANG, Shih-Hsien. Teacher Evaluation: Teachers' Reflections and Actions on online Student Evaluations of Teaching. The International Journal of Learning, USA, v. 17, n. 1, p. 133-141, 2010.

Datas de Publicação

  • Publicação nesta coleção
    Jul-Nov 2017

Histórico

  • Recebido
    03 Set 2015
  • Aceito
    10 Abr 2017
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br