A utilização do modelo multifacetas de Rasch na análise das influências dos avaliadores sobre as avaliações com itens abertos1 1 Apoio: COPS/UEL: Coordenadoria de Processos Seletivos da Universidade Estadual de Londrina.

The use of Many-Facet Rasch Model to explore the raters influence in open questions exams

La utilización del modelo multifacético de Rasch en el análisis de las influencias de loa calificadores sobre las evaluaciones con ítems abiertos

Sônia Ferreira Lopes Toffoli Cristina Valeria Bulhões Simon Sobre os autores

Resumo

Este trabalho analisa a qualidade da pontuação em avaliações com itens abertos por meio do modelo multifacetas de Rasch (MFR). São utilizadas as pontuações atribuídas às redações de participantes do Processo Seletivo Vestibular da Universidade Estadual de Londrina, de 2015. O modelo MFR pode proporcionar estudos, tanto no nível de grupo quanto no nível individual, possibilitando a identificação de avaliadores portadores de comportamentos tendenciosos, conhecidos por causarem erros importantes nas pontuações de tarefas escritas. As análises no nível de grupo mostraram que a avaliação foi eficiente e que os dados, de modo geral, são adequados às expectativas de medição dos modelos de Rasch e, por meio das análises no nível individual, foi possível detectar avaliadores que pontuaram diferentemente do modo como os outros avaliadores, em média, atribuíram suas pontuações. O modelo MFR mostrou-se uma ferramenta adequada e eficiente para o monitoramento da qualidade das pontuações atribuídas às tarefas de escrita.

Modelo multifacetas de Rasch; Itens abertos; Provas de redação; Avaliação em larga escala; Tendências do avaliador

Fundação CESGRANRIO Rua Santa Alexandrina 1011, Rio Comprido, 20261-235 Rio de Janeiro - RJ - Brasil, Tel.: + 55 21 2103 9600, Fax: + 55 21 2103 9600 r.338, - Rio de Janeiro - RJ - Brazil
E-mail: ensaio@cesgranrio.org.br