Estudo das divergências entre corretores na avaliação de provas em matemática

Study of the divergence among evaluators in mathematics exams

Estudo das divergências entre corretores na avaliação de provas em matemática

Study of the divergence among evaluators in mathematics exams

Méricles Thadeu Moretti

Prof. do Depto. de Matemática e do Programa de Pós-Graduação em Educação Científica e Tecnológica da Universidade Federal de Santa Catarina. E-mail: [e-mail]

^{Endereço do autor}

RESUMO

O presente estudo tem por objetivo levantar algumas questões a respeito das divergências entre corretores na atribuição de notas em provas de matemática. Tais indagações se mostram relevantes uma vez que, no caso dos concursos de vestibular, universidades brasileiras importantes adotam as denominadas provas dissertativas. Quando o concurso é baseado em provas do tipo de múltipla escolha, a correção é automatizada e o erro, se houver, pode ser mais facilmente detectado e, além disso, tem-se a compreensão exata do modo como atinge a todos os concursados. O mesmo não se pode dizer no caso da prova dissertativa em que a correção não é automatizada e sofre influência significativa de quem a corrige. Neste estudo mostraremos que certos elementos presentes nas respostas dos estudantes à prova podem proporcionar fortes divergências entre corretores. Tais divergências são um alerta às comissões dos concursos de vestibulares que devem perseguir uma certa uniformização de pontuação na correção das provas.

Palavras-chave: Docimologia; Multicorreção de provas; Escala de notação; Uniformização de notas.

ABSTRACT

The purpose of the present study is to raise questions regarding the divergences among evaluators in respect to the grades attributed in mathematics exams. These interrogations are relevant since, in the university entrance exams, many important Brazilian institutions adopt essay questions. When the exam is based on multiple choice, the correction is automatized and the error, if it occurs, can be easily spotted. Also, there is an exact comprehension of the manner in which it affects all those who are taking the exam. This is not the case in essay question exams, in which the correction is not automatized and suffers significant influence of those who correct them. This study will show that certain elements present in the students' answers in the exam can bring about strong divergence among the evaluators. These divergences are an alert to the entrance exam committees, who must pursue some form of grade standardization for these exams.

Key-words: Docimology; multi-correction of exams; grading scale; grade standardization.

Introdução

Neste trabalho discutiremos um caso de multicorreção de provas que envolvem 52 professores que avaliam a resolução de um problema de matemática por um grupo de estudantes. Nesta direção, da multicorreção, os estudos em docimologia¹ são praticamente inexistentes no Brasil. Citamos as dissertações de Machado (2002) que trata de uma análise histórica de exames de admissão ao secundário para o período de 1930 a 1970 e de Santos (2002) também com um cunho histórico que faz uma análise de disciplinas de matemática por meio de provas de alunos do antigo nível ginasial. Essas dissertações constituíam partes de um projeto de pesquisa aprovado pela Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP denominado "História da Educação Matemática no Brasil 1920-1960".

Um levantamento em diversas revistas voltadas à educação no Brasil mostra que não há texto que discuta a problemática relacionada à multicorreção de provas; há sim uma diversidade de artigos sobre avaliação da aprendizagem, mas não sobre multicorreção de provas. Além dessas dissertações, citamos uma tese de doutorado na França de Dauvisis (1982) que estuda a relação entre os objetivos de ensino de uma disciplina e docimologia. Em Moretti (1992), um capítulo mostrando as vantagens da prática encadeada dos métodos fatoriais de análise de dados em Educação Matemática aborda de maneira paralela um caso de docimologia.

Trataremos, dentro da docimologia, de um caso de multicorreção de provas. O assunto chama atenção, por exemplo, aos concursos de vestibular que adotam as chamadas provas dissertativas e que necessitam de correção não automatizada. E, para tanto, citaremos duas universidades importantes no cenário nacional: Universidade Estadual de Campinas - Unicamp e Universidade Federal de Santa Catarina - UFSC.

O concurso de vestibular da UFSC, conforme o guia do vestibulando (2007, p. 4), prevê questões dissertativas multidisciplinares em cada um dos três dias de provas. No segundo dia, por exemplo, das provas de Biologia, Geografia e Matemática há uma questão dissertativa multidisciplinar que pode envolver essas três disciplinas. Além disso, a UFSC, Unicamp e tantas outras universidades brasileiras adotam no concurso vestibular a denominada Prova de Redação que, no caso dessas duas universidades, é eliminatória. Não há nesse guia indicação de como será procedida a correção das questões dissertativas ou da Prova de Redação, apenas são estabelecidos alguns critérios. Para as questões dissertativas, eles são os seguintes: domínio do conteúdo; capacidade de expressar-se com clareza; capacidade de organizar idéias; nível de informação e de argumentação; capacidade de interpretar dados e fatos; capacidade de estabelecer relações; correlação com fatos do quotidiano e da atualidade (p. 11).

No entanto, no caso da UFSC, temos a informação verbal de que a prova de redação ou de cada questão dissertativa será corrigida por apenas dois professores da área da disciplina em questão e, em caso de discrepância importante nas notas desses corretores, um terceiro corretor (eventualmente um quarto) avalia a prova e uma única nota será então atribuída.

No caso da Unicamp, conforme manual do candidato (2007, p. 5), o vestibular é constituído de duas etapas, uma primeira que inclui Redação e Questões Gerais dissertativas das disciplinas do núcleo comum do ensino médio. Uma vez classificado, o estudante passa por uma segunda etapa também de provas de natureza dissertativa. Não há no manual e nem conhecemos alguma indicação de como será feito o processo de atribuição de pontos para cada uma das provas, apenas são estabelecidos, como na UFSC, critérios gerais de correção.

Pretendemos com este texto levantar algumas questões que julgamos importantes e que estão presentes em provas de matemática e que são capazes de suscitar diferenças de apreciação entre corretores em provas de matemática. Pensamos que a explicação das divergências entre corretores é um pré-requisito necessário para visar o objetivo de uniformização defendido por Dauvisis (1982).

Uma situação típica que encontramos em docimologia é quando dois ou mais corretores atribuem notas a um mesmo conjunto de provas. Em uma situação ideal de correção teremos uma coincidência de notas atribuídas pelos corretores às provas. Nas experiências reais de multicorreção tal unanimidade não será evidentemente atendida.

No entanto, consideramos que pequenas diferenças relacionadas às diferenças nas escalas de notações utilizadas pelos corretores não são verdadeiramente diferenças apreciáveis. Dito de outra forma, dois corretores apreciam da mesma forma um pacote de provas se eles diferirem em severidade (diferença de média no pacote das provas) e em amplitude de escala na atribuição das notas. Podemos considerar ideal a situação em que as igualdades na atribuição de notas não são obtidas em uma tabela inicial, mas o são na tabela transformada por padronização.

No entanto, as situações observadas vão se distanciar dessas que acabam de ser descritas, quando, por exemplo, sobre uma determinada prova A, o corretor 1 é mais severo do que o corretor 2 e, no entanto, na prova B é o corretor 2 que é mais severo do que o corretor 1. Mais geralmente, entre vários corretores sobre duas provas, classificações muito diferentes de corretores por ordem de severidade são sinais de divergências profundas. Neste caso, a padronização não é suficiente para o objetivo de uniformização. Muito pelo contrário, tal transformação pode ter o efeito contrário, o de amplificar as divergências entre corretores.

Em nosso estudo, contamos com 52 corretores que atribuem notas a um conjunto de 10 provas conforme mostra a tabela no ^{ANEXO 1}. As margens desta tabela contêm médias (M) e desvios-padrão (DP).

A prova constava de duas questões, uma de geometria e outra de álgebra. Trataremos apenas da questão de geometria que foi corrigida e as notas atribuídas no intervalo [0, 5]. A questão de geometria, traduzida do francês, é a seguinte:

Do ponto de vista dos conceitos estritamente matemáticos, além de conhecimentos relacionados ao perímetro e à definição de paralelogramo, a resolução da questão exige o uso do Teorema de Pitágoras. Tal uso fora instruído propositadamente aos corretores como sendo o objetivo central da questão a ser avaliado na resolução dos estudantes.

Cópias apenas das respostas dos 10 alunos, mantidas na língua original, estão no ^{ANEXO 2}.

Análise dos dados

Faremos inicialmente um reconhecimento dos dados por meio de estatística básica para em seguida aprofundar a análise com os métodos denominados fatoriais.

A partir da tabela com as notas que são atribuídas no intervalo [0, 5], médias e desvios-padrão, podemos levantar algumas informações, como por exemplo:

- o corretor C01 atribui notas menores do que o corretor C03 nas provas dos estudantes E2, E3, E8 e E9. Na prova E6 as notas coincidem e nas outras provas é o corretor C03 que atribui notas menores. Esta comparação pode ser efetuada entre os corretores e dificilmente encontraremos duplas em que um sistematicamente atribui notas menores (ou maiores) do que o outro. Constatações deste tipo desautorizam o objetivo da uniformização de notas por meio automático da padronização das provas.

Conforme o guia do vestibulando (2007) da UFSC, não há padronização automática no processo. Já na Unicamp isto está previsto:

Quando as provas são corrigidas elas recebem uma nota bruta. Essas notas variam entre 0 e 120 pontos na 1ª fase e 0 a 60 pontos em cada prova da 2ª fase. Para calcular a classificação, não são utilizadas as notas brutas, mas sim as notas padronizadas. A padronização evita que uma prova muito difícil num determinado ano, faça diferença no desempenho dos candidatos naquele ano. (UNIVERSIDADE ESTADUAL DE CAMPINAS, 2007, p. 7)

Observamos que a padronização tem o objetivo expresso de que ela "evita que uma prova muito difícil num determinado ano, faça diferença no desempenho dos candidatos naquele ano", acertadamente não preconiza a uniformização das notas.

No entanto, é questionável o objetivo de evitar a supervalorização de notas em provas consideradas difíceis. Uma prova que obteve uma média geral muito baixa pode ser considerada uma prova "muito difícil". Uma prova muito difícil pode ter uma variação das notas em torno da média muito pequena o que implica em um desvio-padrão baixo. Caso esta variação seja importante, o desvio-padrão será alto.

Para notas acima da média em uma prova considerada muito difícil, há uma supervalorização dessas notas caso o desvio-padrão seja baixo; no caso de um desvio padrão alto, o efeito será o contrário, o da subvalorização. Para notas inferiores à média geral, o efeito da padronização será o inverso daquele observado com as notas acima da média uma vez que a diferença do termo (N - M) na padronização, apresentada a seguir, é negativa.

A fórmula adotada pela Unicamp prevê ainda uma soma que faz com que as notas padronizadas (NP) sejam positivas:

Raciocínio idêntico pode ser efetuado com uma prova considerada muito fácil (média alta), pois a supervalorização poderá depender também do desvio-padrão.

- a prova E3 é a melhor avaliada no conjunto dos corretores (média mais alta = 4,90) e a que obteve a melhor concordância entre os corretores (desvio-padrão mais baixo = 0,24). As notas atribuídas pelos corretores para esta prova estão no intervalo [4, 5], o que dá uma diferença de 1 ponto apenas entre a maior e menor nota.

Um olhar mais atento na prova E3 indica que é uma boa prova, bem organizada, apesar de alguns abusos de linguagem, como por exemplo, o seguinte:

IJKL = 13 + 13 + 5 + 5 = 36

- a prova E7 é a que possui a pior avaliação entre os corretores (média mais baixa = 0,91) e mostra uma divergência razoável entre os corretores, pois as notas variam no intervalo [0, 2,5], uma diferença de 2,5 pontos entre a menor e maior notas apesar dos erros graves ali presentes.

O que leva os corretores C01, C18 e C37 atribuírem nota 2,5 para esta prova? Uma pista pode ser a presença da formulação correta do cálculo do perímetro. Convém lembrar que tal cálculo é a única questão explicitamente solicitada no problema. Acreditamos que a presença da resposta à pergunta explicitamente pedida na questão é um elemento importante na avaliação pelos corretores mesmo que não seja o objetivo principal.

- a prova E5 não é também bem avaliada pelos corretores (média das notas de E5 = 0,99) e possui uma diferença de notação de até 2,7 pontos. Na prova observamos o cálculo correto com valores corretos do perímetro sem, no entanto, apresentar a forma de calcular os valores intermediários. O cálculo de tais valores obriga o uso do Teorema de Pitágoras, que é o objetivo central desta questão. Diferentemente da prova E7, a prova E5 apresenta, sem vestígio de cálculo, os valores corretos dos lados do paralelogramo.

- o corretor C37, o único que atribuiu 2,7 - a nota mais alta à prova E5, é um daqueles que também atribuiu nota mais alta à prova E7. Ele possui a maior média na atribuição de notas (3,33) e o menor desvio-padrão (0,85) dentre o conjunto dos corretores. Isto indica que ele é o menos severo na atribuição de notas no conjunto das 10 provas e, além disso, as suas notas são as que menos variam em torno da própria média. A divergência entre este corretor e os demais é muito forte principalmente para as provas E5 e E7 comentadas anteriormente.

- o corretor C03 é o mais severo de todos (média das notas = 2,25) e aquele que mais dispersa as notas em torno da própria média (desvio-padrão das notas = 1,93). É um corretor que usa mais fortemente as extremidades da escala, é severo para as provas que não possuem boa qualidade e mais benevolente com os possíveis erros em provas de boa qualidade. Por exemplo, para as provas com as mais baixas pontuações, E7 e E5, ele atribuiu respectivamente 0,0 e 0,5 - notas abaixo da média. Para as provas E3 e E8, que possuem as melhores pontuações gerais, ele atribui respectivamente 5,0 e 4,5 - notas acima da média.

A tabela das notas dos corretores é uma tabela de dados qualitativos ordinais. Neste caso é fortemente recomendado transformá-las em postos. (DANCEY; REIDY, 2006, p. 525)

A transformação em postos se processa da seguinte maneira: para cada prova, a nota de cada corretor se vê atribuído de um posto: na ausência de notas iguais (ex-æquos), o posto 1 é atribuído ao corretor que deu a nota mais baixa e ao posto 52 aquele que deu a nota mais alta. No caso em que há notas iguais, atribuímos a nota média que deste modo guarda constante a média das notas de cada prova.

Esta transformação das notas permite supor de antemão que as provas dos 10 estudantes possuem a mesma qualidade. Os dados assim transformados foram submetidos a uma Análise em Componentes Principais. Este tipo de método de análise permite, por exemplo, pôr em contraposição certas provas e corretores por meio de eixos denominados fatoriais e com isso possibilitar uma interpretação mais apurada dos comportamentos dos corretores. (BENZECRI, 1973; LEBARD, MORINEAU; TABARD, 1971)

Destacamos desta análise:

- um eixo que põe a prova E2 em oposição à E8. Na prova E2 o perímetro é calculado de forma incorreta, os lados do paralelogramo determinados de forma correta são multiplicados entre si. Já na prova E8, a idéia de perímetro aparece de forma correta. Este eixo destaca a exigência por parte de corretores de resposta à pergunta explicitamente colocada, isto principalmente nas provas que possuem boa pontuação. Lembramos que o objetivo da questão é o de avaliar a aplicação do Teorema de Pitágoras e isto é corretamente feito em ambas provas.

Além da análise citada, destacamos uma outra análise fatorial efetuada sobre outra tabela obtida a partir de uma outra transformação nos dados da tabela original.

A partir da tabela original de notas construímos uma nova tabela do modo seguinte: a cada prova atribui-se duas notas, a primeira é aquela que foi dada pelos corretores e a segunda é a nota complementar a 5, nota máxima. Deste modo, cada corretor atribui, para uma mesma prova, duas notas que somam 5. Este tipo de procedimento é denominado duplicação de tabela e permite, quando da aplicação de uma Análise Fatorial de Correspondência, afetar os mesmos pesos a cada corretor sobre o conjunto das provas. (VOLLE, 1981, p. 162)

Desta análise destacamos:

- um eixo que opõe o grupo de corretores C01, C15, C22 e C52 aos corretores C16, C17, C24, C41 e C50. Estes dois grupos avaliam mais ou menos de maneira idêntica as boas provas, mas as diferenças surgem quando eles atribuem notas às provas fracas, em especial para o caso da prova E6. Esta prova, apesar de possuir uma boa organização no procedimento de resolução e um cálculo correto do perímetro a partir de comprimentos obtidos, apresenta um erro que é ligado à dificuldade de levar em conta comprimentos no plano. Esta dificuldade consiste em pensar que a distância entre dois pontos é obtida juntando os comprimentos ao longo de um percurso qualquer que une estes dois pontos. Este erro conceitual bloqueia toda possibilidade de utilização do Teorema de Pitágoras. Para certos corretores, a presença de um erro deste tipo, julgado grave, é um obstáculo e escamoteia qualquer outra qualidade presente na prova. Este eixo destaca a atitude dos corretores face à ocorrência simultânea de certas qualidades e de um erro fundamental em uma prova.

- outro eixo destaca a prova E8 e opõe o grupo de corretores C01, C04, C07, C16, C36, C38, C43 e C45 ao grupo C03, C05, C15, C17, C25, C51 e C52. Os corretores do primeiro grupo atribuem notas piores do que aqueles do segundo grupo. A prova apresenta um erro ( = 17) que pode ser considerado um simples lapso ou um erro que pode se aproximar de algo fundamental no sentido parecido com aquele observado na prova E6. Aparentemente, as qualidades globais da prova E8 levaram os corretores a interpretar este erro como um erro ordinário de cálculo. Este eixo destaca a interpretação dos corretores frente a um erro em uma prova de boa qualidade em seu conjunto.

Essas duas análises fatoriais evidenciam ainda, cada uma delas, dois eixos com interpretações semelhantes relacionados à severidade dos corretores e ao modo como eles preenchem a escala de notação.

Nas análises fatoriais apresentadas consideramos as provas como sendo as variáveis. Podemos efetuar outras análises com as transformações acima descritas tomando como variáveis os corretores. A idéia por trás disso é eliminar, a priori, o fator severidade dos corretores. Tal abordagem é utilizada em Dauvisis e Carlier (1980) em uma outra experiência de multicorreção.

REFLEXÕES FINAIS

Este estudo não teve objetivo de ser exaustivo, mas de apenas levantar alguns pontos para discussão sobre a problemática da correção de provas. Alguns elementos presentes nas provas são causadores de sérias divergências entre corretores. Um erro pode ser duramente avaliado dependendo da sua natureza e de outros elementos presentes na prova na qual ele está inserido. A presença de resposta precisa à pergunta demandada na questão, no caso o cálculo do perímetro, o uso ou a falta do uso do Teorema de Pitágoras - objetivo central da questão, também mostraram ser fontes importantes de divergências entre corretores. Os critérios de avaliação estabelecidos pelas comissões de vestibulares que são muito mais vagos que este objetivo claramente declarado, pensamos que podem ter o mesmo fim.

Evidentemente o acúmulo desses vários elementos causadores de divergências entre corretores poderá acentuar ainda mais essas diferenças.

Outros pontos que merecem estudos mais apurados e que não foram aqui tratados são, por exemplo, compreender a influência na correção de provas de elementos como o sexo, idade, tipo de formação e o tempo de atuação profissional dos corretores. Além desses elementos podemos acrescentar outros, tais como, as condições em que as provas são corrigidas, o cansaço relacionado ao número de provas a serem corrigidas, etc.

Pudemos verificar que as divergências entre corretores não são pequenas, o reconhecimento delas é um alerta para que as comissões encarregadas das correções de provas em vestibulares proponham esquemas preparatórios aos corretores com o objetivo de perseguir a uniformização das notas.

No concurso de vestibular da UFSC (possivelmente de forma parecida na Unicamp e em outras universidades que têm provas dissertativas) apenas quando há divergência entre dois corretores é que um outro corretor é chamado para levantar o impasse. Quando não há divergência significativa, a nota final é então estabelecida. Imaginemos que apenas os corretores C01 e C37 corrigissem a prova E7. Como não há divergência nas notas, teríamos nota final 2,5 para uma prova com média geral 0,91 com 52 corretores. Por outro lado, se fossem dois dos corretores C03, C07 e C15 ela teria média final zero. Uma diferença de pontuação desta magnitude pode ser suficiente para definir a classificação de um candidato.

A compreensão dos fenômenos relacionados à correção de provas toma importância maior ainda se considerarmos que na escola formal a prova em matemática é, na prática, o modo principal ou mesmo único, apesar de toda crítica que se possa fazer, na composição do sistema de avaliação. Tal sistema, conforme preconiza Brousseau (1986, 1988), é a grande fonte geradora de conflitos e possíveis rupturas e renegociações do contrato didático. As renegociações nem sempre visam à aprendizagem, mas uma acomodação de interesses.

Recebido em: 13/02/07

Avaliado em: 25/05/07

• BENZECRI, J. P. Analyse de données: analyse de correspondances. Paris: Dunod, 1973.
• BROUSSEAU, G. Fondements et méthodes de la didactique des mathemátiques. Recherches en Didactique des Mathemátiques, Grenoble. v. 7, n .2, p. 33-115, 1986.
• BROUSSEAU, G. Le Contrat Didactique: le milieu. Recherches en Didactique des Mathématiques, Grenoble, v. 9, n.3, p. 309-336, 1988.
• UNIVERSIDADE ESTADUAL DE CAMPINAS. Vestibular Nacional 2007: manual do candidato. Campinas: Unicamp, 2007.
• DANCEY, C. P.; REIDY, J. Estatística sem matemática para psicologia Tradução Lorí Viali. Porto Alegre: Artmed, 2006.
• DAUVISIS, M. C. Objectifs de l'enseignement des mathématiques et docimologie (Étude en fin de premier cycle du second degré). 1982. Tese (Doutorado) - Univerrsité de Toulouse-Le Mirail, Toulouse, 1982.
• DAUVISIS, M.C.; CARLIER, A. Une application d'analyse de donnés en docimologie. Association des Professeurs de Mathématiques de l'Enseignement Public APME, Paris, n. 28 - Analyse de Données -, 1980. Tomo 1
• UNIVERSIDADE FEDERAL DE SANTA CATARINA. Vestibular 2007: guia do vestibulando. Santa Catarina: UFSC, 2007.
• LEBARD, L.; MORINEAU, A.; TABARD, N. Techniques de la discription statistique: méthodes et logiciels pour l'analyse des grandes tableaux. Paris: Dunod, 1971.
• MACHADO, Rita de Cássia G. Uma análise dos exames de admissão ao secundário (1930-1970): subsídios para a História da Educação Matemática. 2002. Dissertação (Mestrado) - Pontifícia Universidade Católica de São Paulo, São Paulo, 2002.
• MORETTI, Méricles T. L'exploration des analyses factorielles en didactiques des mathématiques 1992. Tese (Doutorado) - Université Louis Pasteur, Strasbourg, 1992.
• SANTOS, Vera Cristina M. A matemática escolar no ano de 1920: uma análise das disciplinas através das provas dos alunos do ginásio da capital do Estado de São Paulo. 2002. Dissertação (Mestrado) Pontifícia Universidade Católica de São Paulo, São Paulo, 2002.
• VOLLE, M. Analyse de données Paris: Economica, 1981.

ANEXO 1

ANEXO 2

Endereço do autor:

Méricles Thadeu Moretti

Universidade Federal de Santa Catarina

Departamento de Matemática - CFM

Campus Universitário

Trindade

88040-900 - Florianópolis - SC

1

Docimologia: ciência que se ocupa das diferentes formas de controle do conhecimento.

Datas de Publicação

• Publicação nesta coleção
  14 Dez 2007
• Data do Fascículo
  Jun 2007

Histórico

• Recebido
  13 Fev 2007
• Revisado
  25 Maio 2007