Uma nova maneira de avaliar as competências escritoras na redação do ENEM

Un nuevo modo de evaluar las competencias escritoras en la redacción del ENEM

A new way to evaluate the writing skills in ENEM's compositions

Uma nova maneira de avaliar as competências escritoras na redação do ENEM

A new way to evaluate the writing skills in ENEM's compositions

Un nuevo modo de evaluar las competencias escritoras en la redacción del ENEM

Ruben Klein^I; Nilma Fontanive^II

^IDoutor em Matemática, Massachussetts Institute of Techonolosy, EUA; Consultor da Fundação Cesgranrio. E-mail: [e-mail]

^IIDoutora em Educação, PUC-Rio; Coordenadora de Avaliação em Larga Escala da Fundação Cesgranrio. E-mail: [e-mail]

RESUMO

O artigo apresenta um estudo realizado com a correção da redação do ENEM 2008 adotando-se uma nova forma de avaliar o domínio das competências escritoras do exame. Cada competência e seus critérios de correção foram tratados como 5 itens polítomos com ordenação de resposta de 1 a 7 . Essa metodologia possibilita que se obtenha para cada competência/item polítomo as estatísticas clássicas, percentuais de resposta por categoria, coeficientes ponto-polisseriais e ponto-bisseriais por categoria de resposta. Permite também o uso da Teoria da Resposta ao Item-Tri para obter-se uma escala de proficiências de Redação no ENEM. A adoção de metodologia de interpretação de escalas permite descrever as competências e habilidades dominadas pelos candidatos nos diferentes níveis da escala, possibilitando definir os pontos nos quais as categorias de resposta das competências são dominadas. O uso dessa metodologia pode aperfeiçoar a apresentação dos resultados do ENEM e ser útil para maior aprofundamento dos resultados da redação. Com esse trabalho os autores pretendem introduzir uma discussão do uso da TRI na correção da redação do ENEM.

Palavras-chave: ENEM. Correção de redação e avaliação de competências escritoras. Teoria da Resposta ao Item e interpretação de escala.

ABSTRACT

This article presents a study based on the correction of ENEM 2008 compositions using a new way of evaluating the students' writing skills. Each skill and its correction criteria was treated as five different items ranging from 5 to 7. This methodology allows to obtain the classical statistics, percentage of response by category and credit coefficient per category for each skill. It also allows the use of the item tri response theory in order to obtain a proficiency scale in ENEM's compositions. The adoption of this methodology allows to describe the candidates skills and abilities in the different levels of the scale, making possible to define the points in which the categories of response skills are dominated. The use of this methodology may improve the presentation of ENEM's results and it may also be useful for further studies of the compositions results. With this work, the authors intend to introduce a discussion on the use of the Tri in the correction of ENEM's compositions.

Keywords: ENEM. Compositions correction and writing skills evaluation. Item Response Theory and Scale interpretation

RESUMEN

El artículo presenta estudio realizado en la a corrección de la redacción del ENEM 2008 adoptándose nova forma de evaluar el dominio de las competencias escritoras de los candidatos. Cada competencia y sus criterios de corrección fueran tratados como 5 itens polítomos con ordenación de respuesta de 1 a 7. Esa metodología posibilita que se obtenga para cada competencia/item polítomo las estadísticas clásicas, porcentuales de respuesta por categoría, coeficientes punto-poliseriales e punto-biseriales por categoría de respuesta. Permite también el uso de la Teoría de la Respuesta al Ítem-Tri para obtenerse una escala de resultados proficientes con la Redacción del ENEM. La adopción de metodología de interpretación de escalas permite describir las competencias y habilidades dominadas por los candidatos en los diferentes niveles de la escala, posibilitando definir los puntos los cuales las categorías de respuesta de las competencias son dominados. El uso de esa metodología puede perfeccionar la presentación de los resultados del ENEM y ser útil para mayor profundidad de los resultados de la redacción. Con ese trabajo los autores pretenden introducir una discusión del uso de la TRI en la corrección de la redacción del ENEM

Palabras clave: ENEM. Corrección de redacción y evaluación de competencias escritoras. Teoría de la Respuesta al Ítem e Interpretación de escala.

O ENEM: breve contextualização

Criado em 1998, o ENEM contou com um número relativamente pequeno de participantes na sua primeira edição 115,6 mil, e a cada ano, nesses dez anos de existência vem aumentando o número de participantes.

A popularização definitiva do ENEM veio em 2004, quando o Ministério da Educação instituiu o Programa Universidade para Todos (ProUni) e vinculou a concessão de bolsas em IES privadas à nota obtida no Exame. Nos anos seguintes, o ENEM vem aumentando o número de participantes., alcançando na sua ultima edição em 2008, a marca histórica de 4.018.050 de inscritos e 2.920.560 presentes no exame.

O principal incentivo para que os concluintes e egressos do ensino médio façam o ENEM é a possibilidade concreta de ingressar no ensino superior, pois, a nota obtida no exame pode significar tanto uma bolsa integral ou parcial do ProUni quanto ajudar na conquista de uma vaga em algumas das mais prestigiadas instituições de ensino superior do País.

Ao completar dez anos, o ENEM ocupa um lugar de destaque na agenda educacional brasileira não só pela sua contribuição na democratização do acesso ao ensino superior e, em particular na proposta em discussão no País nesse ano de 2009 dele se transformar em um exame vestibular nacional, unificando o acesso ao ensino superior em todas as universidades brasileiras.

A avaliação das competências escritoras no ENEM

A prova de redação do ENEM propõe-se a avaliar 5 competências escritoras do candidato Para tanto, a matriz de competências do ENEM foi adaptada para avaliar o desempenho do participante como produtor de um texto no qual ele demonstre capacidade de reflexão sobre o tema proposto. Essa reflexão faz-se partir da leitura dos textos que compõem a proposta, conjugada à leitura da realidade. Há o compromisso de que os temas abordem questões de ordem política, social, cultural ou científica, desde que apresentados como uma situação-problema, para a qual o autor do texto deverá propor soluções, respeitando os direitos humanos.

Os critérios de avaliação baseiam-se nas cinco competências expressas na matriz do ENEM traduzidas para a situação específica de produção de texto. Cada competência desdobra- se em níveis correspondentes aos conceitos Insuficiente, Regular, Bom e Excelente, quantificados da seguinte maneira: nível 1, nota 2,5; nível 2, nota 5,0; nível 3, nota 7,5 e nível 4, nota 10,0.

A nota global da Redação é aferida pela média aritmética simples das notas atribuídas a cada uma das cinco competências e o resultado convertido em escala centesimal.

A redação que não atende à proposta da prova (tema e estrutura) recebe o conceito D - Desconsiderada e. a redação absolutamente ilegível também é desconsiderada. Os variados casos de redação desconsiderados recebem a nota zero. Quando é apresentada totalmente em branco ou em até sete linhas escritas, título exclusive, a redação recebe o conceito B - em branco.

Abaixo serão resumidos os critérios utilizados na correção do texto produzido pelo participante do ENEM.

Itens polítomos e suas estatísticas clássicas.

Itens de resposta construída pelos alunos que são corrigidos atribuindo-se graus de correção ordenados, além do certo ou errado são exemplos de itens polítomos com categorias de resposta graduadas.

Esses itens não são muito freqüentes nas avaliações em larga escala no Brasil, mas têm ganho destaque no Brasil, por causa do Programa Internacional de Avaliação de Alunos (PISA). Mas esses itens são utilizados amplamente em outros países como nos Estados Unidos e Inglaterra. No Brasil, também, em 1995, o SAEB apresentou nas duas disciplinas avaliadas, alguns itens de resposta construída (KLEIN; FONTANIVE,1995) e em 1997 apenas em Matemática.

Para podermos utilizar as estatísticas clássicas de itens e a TRI na análise da correção da redação do ENEM, temos que considerar cada competência como um item polítomo ordenado com as gradações de resposta dadas pelos critérios de correção (1, 2, 3 e 4) especificados na seção anterior.

É necessário, entretanto, chamar a atenção para o fato do ENEM utilizar a dupla correção de cada redação, por dois avaliadores independentes, e caso haja discrepância de mais de dois pontos na média das notas de 0 a 10, a redação é corrigida por um terceiro avaliador, também independente. No caso discrepância ser de dois pontos ou menor, a nota em cada competência é obtida pela média dos graus atribuídos pelos dois avaliadores. Cada competência fica assim com 7 graduações (1; 1,5; 2; 2,5; 3; 3,5 e 4). Esse é o motivo pelo qual a análise realizada nesse estudo apresenta 7 gradações e não as 4 previstas nos critérios de correção.

Utilizando os bancos de dados da correção da redação de 2008, com os 2853115 registros dos candidatos, cedidos pelo INEP, onde para candidato tem-se sua nota em cada competência e a nota geral, calculou-se os as proporções das notas atribuídas em cada competência, tabela 1.

As estatísticas obtidas para cada competência/item e suas categorias de resposta do ENEM são apresentadas nas tabelas 1 e 2.

Como se pode ver na tabela 1, a competência 5, "Elaborar proposta de intervenção para o problema abordado,demonstrando respeito aos direitos humanos" é a mais difícil, para os candidatos, pois as proporções em cada uma das colunas das categorias de 5 a 7 são decrescentes, isto é, em cada uma delas, há menor proporção de candidatos na competência 5. Em geral, a ordem de dificuldade, em cada categoria, cresce da competência 1 para a 5.

O coeficiente ponto-polisserial é a correlação entre uma variável politômica e a medida global envolvendo todas as variáveis. No caso da redação, essa medida é a nota do candidato e as variáveis são as graduações de resposta. Essa é uma medida de discriminação. Pode-se ver que a menor discriminação é obtida pela competência 1, "Demonstrar domínio da norma culta da língua escrita", e a as maiores pelas competências 3 e 4. Pode-se ver também que os coeficientes ponto- bisseriais são positivos por competência/categoria nas categorias mais altas e negativos nas mais baixas como esperado, pois lembra-se que o coeficiente ponto-bisserial para uma competência/categoria é proporcional a diferença entre a média da nota dos alunos que obtiveram essa graduação e a média geral de todos os alunos.

Chama-se a atenção de que na graduação 4, os coeficientes ponto-bisseriais são negativos ou quase zero para as competências 1 e 2 enquanto são positivas para as demais. Isso novamente indica que a competência 1 é amais dominada pelos alunos.

Interpretação dos resultados na escala de 25 a 100

Para essa seção utilizou-se a técnica de interpretação de escala utilizada no SAEB e estendida a itens polítomos ordenados, Cada competência/graduação corresponde a um item âncora em um nível na escala de 25 a 100. A nota mínima nas redações válidas (retirando-se as desconsideradas e as em branco) é 25 e corresponde a graduação 1 em todas as competências. Por outro lado, a nota 100 corresponde a graduação 7 (4 nos critérios de correção) em todas as competências.

A análise gerou a tabela 3 indicando para cada nível a ser interpretado seus "itens âncora".

Para a descrição da habilidade em cada competência/graduação recorre-se aos critérios de correção apresentados nos quadros 1 a 5. É importante assinalar que as graduações 1, 3, 5 e 7 correspondem, respectivamente, aos critérios 1, 2 ,3 e 4.

Por exemplo, a descrição do nível 75 da escala será:

"Os alunos nesse nível demonstram as habilidades de:

Selecionar informações, fatos, opiniões e argumentos, "relacionando-os" ao seu projeto de texto. O nível 3 indica textos realizados a partir de um projeto pessoal, com boas seleção e interpretação de informações, fatos, opiniões e argumentos que resultam bem-relacionados a esse projeto. (C3, critério de correção 3),

Articular "bem" as partes do texto (ainda que apresente "problemas pontuais" na utilização dos recursos coesivos). O texto de nível 3 demonstra domínio dos mecanismos de coesão, embora apresente ainda alguns desvios com relação à utilização desses mecanismos. (C4, critério de correção 3).

Elaborar proposta "bem" relacionada ao tema, mas "pouco articulada" à discussão desenvolvida no texto, respeitando os direitos humanos. O participante preocupa-se em elaborar proposta explícita para a problemática discutida, no entanto, ela resulta pouco articulada à discussão (C5, critério de correção 3).

É importante acrescentar, que como nas escalas do SAEB, as interpretações são cumulativas, ou seja, as habilidades dominadas pelos alunos em um nível incluem as habilidades descritas nos níveis anteriores.

Desse modo, no exemplo apresentado, os alunos dominam também os critérios 3 de correção das competências 1 e 2, âncoras no nível anterior 68,75.

Deve-se ressaltar ainda ordenação obtida e mostrada na tabela 3, onde aparecem primeiro a ordenação da graduação e dentro de cada graduação, a ordenação das competências de 1 a 5, novamente ressaltando que a competência 1 é a que é dominada primeiro pelos alunos e a 5 a última.

Utilização da Teoria da Resposta ao Item

A consideração de cada competência como um item polítomo ordenado permite a modelagem da probabilidade de um candidato obter uma determinada graduação de uma competência por um modelo da Teoria de Resposta ao Item como o de crédito parcial generalizado ou o graduado de Samejima. Ambos estendem o modelo de dois parâmetros para itens dicotômicos para itens politômicos

A figura abaixo ilustra um exemplo das curvas características de um modelo de crédito parcial com 4 graduações. A curva em preto corresponde a graduação 1 (errado em um item de resposta construída), a curva em vermelho corresponde a graduação 2, a curva em verde a graduação 3 e finalmente a curva em azul a graduação 4 (totalmente certo).

Utilizou-se o software Parscale (BOCK; MURAKI,2003) para fazer a calibração dos "itens" segundo o modelo acima. Posteriormente foi realizada também uma interpretação na escala de proficiências obtida.

Os parâmetros dos itens obtidos estão na tabela 4. Observa-se que os parâmetros "a", parâmetro da discriminação, variam muito. O menor é o da competência 1 e o maior o da competência 3. De certa maneira, é coerente com os coeficientes ponto-polisseriais anteriormente apresentados na tabela 2.

A tabela 5 apresenta os valores de níveis e seus "itens âncoras". O nível está na escala tri da população com média 0 (zero) e desvio padrão 1, enquanto o nível transformado refere-se a população com média 250 e desvio padrão 50.

Observa-se na tabela 5 a mesma ordenação por graduação, mas há algumas diferenças na ordenação das competências dentro das graduações. Por exemplo, na graduação 1, a competência 5 é a 3ª e não a 5ª. Do mesmo modo na graduação 7, a competência 1 é a 4ª e não a 1ª. Isso difere do observado na análise com as notas apresentadas na tabela 3.

Provavelmente essa diferença é devida ao fato da TRI levar em conta além da dificuldade, também a discriminação.

Pode-se ver também na tabela 5, que os níveis correspondentes ao domínio das graduações 3 (critério de correção 2), 5 (critério de correção 3) e 7 (critério de correção 4) de todas as competências são 212,5, 312,5 e 420, cujas diferenças em torno de 100 correspondem a 2 desvios padrão da população.

De fato algo semelhante pode ser observado na tabela 3, pois a média da nota da população é 59,6 e o desvio padrão é 12,9. Os níveis correspondentes aos do parágrafo anterior são: 50, 75 e 100, cujas diferenças de 25 pontos são quase dois desvios padrão.

Conclusões

Esse artigo procura apresentar uma maneira diferente de interpretar as escalas das notas atribuídas a redação do ENEM, aplicando a metodologia de interpretação de escalas para itens polítomos. Essa interpretação foi feita para a escala das notas e uma escala de proficiências obtidas pela TRI. Os autores pretendem também com esse trabalho introduzir a TRI na análise de redações como as do ENEM. Um próximo passo será procurar uma forma de equalizar os resultados obtidos nas redações em diferentes anos.

Recebido em: 29/09/2009

Aceito para publicação em: 30/10/2009

• BAKER, F. B  Item Response Theory: parameter estimation techniques. New York: MarcelDekker, 1992.
• BOCK, D.; MURAKI, E.  Parscale irt scaling, item analysis, and scoring or rating scale data. Lincolnwood, IL: SSI, 2003.
• CESPE; FUNDAÇÃO  CESGRANRIO. Relatório do ENEM 2008 Rio de Janeiro, 2008. v. 1.
• KLEIN, R. Utilizaçăo da Teoria de Resposta ao Item no Sistema Nacional de Avaliaçăo da Educaçăo Básica (SAEB). Ensaio: avaliaçăo e políticas públicas em educaçăo, Rio de Janeiro, v. 11, n. 40, p. 283-296, jul./set. 2003.
• KLEIN, R.; FONTANIVE, N. Avaliaçăo em larga escala. Em Aberto, Brasília, DF,  v. 15, n. 66, p. 29-34, 1995.

Datas de Publicação

• Publicação nesta coleção
  27 Set 2010
• Data do Fascículo
  Dez 2009

Histórico

• Aceito
  30 Out 2009
• Recebido
  29 Set 2009