TESTE DE CLOZE: EVIDÊNCIA DE VALIDADE POR PROCESSO DE RESPOSTA

Test de Cloze: evidencia de validad por proceso de respuesta

RESUMO

O objetivo desta pesquisa foi derivar evidências de validade por processo de resposta, por meio da análise dos tipos de erros cometidos pelos alunos, em um teste de Cloze e analisar a dificuldade de seus itens por meio de análise morfossintática. Participaram 593 estudantes do ensino fundamental II, de escolas públicas. Foram formados dois grupos de protocolos, um com os das crianças com médias mais altas e outro com as médias mais baixas. Os resultados mostraram que as crianças com médias mais altas cometeram mais erros sintáticos e as com médias mais baixas os erros semânticos. A avaliação da homogeneidade na distribuição dos tipos de erros permitiu encontrar a evidência de validade por processo de resposta. Os números totais das classes gramaticais encontradas por meio da análise morfossintática conferiram ao texto um equilíbrio quanto à dificuldade de recuperação das palavras, indicando seu uso para medir a compreensão de leitura.

Palavras-chave:
leitura; teste de Cloze; validade

RESUMEN

El objetivo de esta investigación fue buscar evidencias de validad por proceso de respuesta, por intermedio del análisis de los tipos de errores cometidos por los alumnos, en un test de Cloze y analizar la dificultad de sus ítems por intermedio de análisis morfosintáctica. Participaron 593 estudiantes de la enseñanza básica II, de escuelas públicas. Se formaron dos grupos de protocolos, uno con los de los niños con promedios más altos y otro con los promedios más bajos. Los resultados apuntaron que los niños con promedios más altos cometieron más errores sintácticos y los con promedios más bajos los errores semánticos. La evaluación de la homogeneidad en la distribución de los tipos de errores permitió encontrar la evidencia de validad por proceso de respuesta. Los números totales de las clases gramaticales encontradas por intermedio del análisis morfosintáctico proporcionaron al texto un equilibrio con respeto a la dificultad de recuperación de las palabras, indicando su uso para medir la comprensión de lectura.

Palabras clave:
lectura; test de cloze; validad

ABSTRACT

The objective of this research was to derive evidence of validity through the response process, through the analysis of the types of errors made by students, in a Cloze test and to analyze the difficulty of their items through morph syntactic analysis. For this research participated 593 elementary school students from de sixth to ninth grades from public schools. Two groups of protocols were formed, one with the children with the highest averages and the other with the lowest averages. The results showed that children with higher averages made more syntactic errors and those with lower averages made semantic errors. The assessment of homogeneity in the distribution of types of errors allowed us to find evidence of validity by the response process. The total numbers of grammatical classes found through morph syntactic analysis gave the text a balance regarding the difficulty of recovering words, indicating its use to measure reading comprehension.

Keywords:
reading; Cloze test; validity

INTRODÇÃO

O “procedimento Cloze” foi introduzido, por Taylor (1953), como um método de medir a legibilidade ou dificuldade de um texto. Nesse método era considerado que se várias pessoas conseguissem reproduzir as palavras retiradas de uma passagem do texto ele era fácil de ler, mas se elas não pudessem fornecer as palavras que faltavam, o texto seria difícil. Na mesma época, outros estudiosos encontraram correlações entre os escores Cloze e outras medidas de legibilidade, por exemplo, as que consideravam a estrutura frasal (comprimento das frases e palavras) e a porcentagem de palavras menos vulgares do vocabulário (Bormuth, 1968; Rankin & Culhane, 1969).

Não demorou muito para que o próprio Taylor (1956) visse o potencial de usar o Cloze como uma medida de compreensão de leitura. O autor argumentou que se a declaração que uma passagem é legível significa que é compreensível, então a pontuação que mede legibilidade deveria, também, medir a compreensão. Pesquisas posteriores mostraram que ele seria apropriado para medir a proficiência de leitura (Bormuth, 1968; Rankin & Culhane, 1969; Taylor, 1956; Weaver & Kingston, 1963).

O Cloze consiste na estruturação de um texto em que se eliminam alguns vocábulos, que são substituídos por um traço e que o leitor deverá completar com a palavra que julgar mais apropriada para dar sentido ao texto. Essa técnica pode ser incluída em diversas categorias de avaliação, visto que sua classificação dependerá da forma como for utilizada, podendo ser empregada com critérios de referência ou mesmo como teste padronizado (Santos, Boruchovitch, & Oliveira, 2009).

A correção do Cloze consiste em verificar o preenchimento correto das lacunas, atribuindo um ponto para os acertos e zero para os erros (Boruchovitch, Santos, & Oliveira, 2007; Oliveira, Boruchovitch, & Santos, 2009). As dificuldades dos itens estão relacionadas a fatores intrínsecos, que dependem de elementos estruturais e facilitadores do texto e de fatores extrínsecos, que incluem o conhecimento do aluno e estratégias utilizadas por ele para realizar a tarefa. Nesse sentido, Abraham e Chapelle (1992) consideram que os acertos no Cloze, assim como em outros instrumentos, não dependem somente da habilidade do sujeito, mas da dificuldade dos itens do texto, como já mencionado.

Estudiosos concordam que essa técnica é eficiente para avaliar a compreensão de leitura, pois utiliza os aspectos semânticos e sintáticos do texto (Bedento & Moreira, 1990; Bensoussam, 1990; Santos, Suehiro, & Oliveira, 2004; Santos, Primi, Taxa, & Vendramini, 2002; Santos, Sisto, & Noronha, 2010). É importante evidenciarque o conhecimento prévio do leitor se destaca como um componente determinante, pois faz com que somente os leitores proficientes possam preencher as lacunas de maneira coerente. Portanto, o teste se apresenta de forma estruturada, simples e com possibilidade de ser utilizado desde o ensino fundamental até o superior para avaliação da compreensão de leitura (Cunha & Santos, 2014; Joly, Bonassi, Dias, Piovesan, & Silva, 2014; Joly & Piovesan, 2012; Klein & Lamprecht, 2012; Monteiro & Santos, 2013; Mota et al., 2012; Mota & Santos, 2014).

O quadro atual remete à praticamente inexistênciade instrumentos formais de avaliação da compreensão que apresentem indicadores de qualidade psicométrica e sejam comercializados por editoras. Assim, a quase totalidade dos procedimentos de avaliação encontrados está dispersa em teses, dissertações ou artigos científicos (Spinillo & Mahon, 2007), que consistem na única fonte de recursos dos profissionais que trabalham com avaliação.

Vale informar que vários trabalhos têm sido publicados com o intuito de analisar o tipo de processamento requerido e a habilidade avaliada pelo teste de Cloze, que dependem basicamente do método adotado na criação das lacunas. Há um conjunto de estudos realizados com esse propósito, cujos textos de Cloze eram de conteúdo mais complexo e foram aplicados em amostras de universitários. Entre eles, pode-se citar o de Santos et al. (2002) que verificaram que determinados tipos de lacunasfavorecem o uso do contexto e outro tipo de lacuna que propiciam o uso do conhecimento prévio (conhecimento lexical), tal como sugere Storey (1997).

Com estudantes de pré-vestibular, que responderam a um texto preparado em Cloze, Oliveira, Cantalice e Freitas (2009) realizaram uma análise morfossintática para a classificação dos itens. As autoras também consideraram a dificuldade de cada item a ser preenchido, dividindo-os em três níveis, a saber, fáceis (29 itens), de média dificuldade (12 itens) e difíceis (5 itens). Nos resultados, observaram que os estudantes acertaram mais preposições, seguidas por substantivos e artigos. O item mais difícil foi a locução adjetiva.

Em outro estudo com universitários dos cursos de Letras e Pedagogia, Rosa (2014) investigou os itens de duas versões do teste de Cloze. Os dados revelaram que em ambos os testes os estudantes acertaram itens considerados de baixa dificuldade. Poucos foram aqueles que conseguiram acertar itens considerados difíceis. A média de acertos em ambos os cursos ficou aquém do esperado para estudantes universitários, especialmente aqueles que serão futuros formadores de leitores, pois serão professores dos ensinos fundamental e médio.

Dentre os estudos realizados com alunos de ensino fundamental, tal como a amostra do presente estudo, Cunha e Santos (2009) analisaram os erros cometidos em um teste de Cloze, com base nas considerações sobre evidências de validade por processo de resposta que, segundo Prieto e Delgado (1999), é o estudo dos processos cognitivos envolvidos na resolução dos itens, incluindo predominantemente a análise de protocolos de resposta. Participaram 266 alunos entre 8 e 13 anos, de terceiras e quartas séries (atuais quartos e quintos anos) de escolas públicas e particulares de São Paulo. Foram agrupados os protocolos de alunos com as melhores e as piores pontuações, e classificados de acordo com uma escala dos tipos de erros cometidos (Garcia, 1998), a saber, em branco, fonológico, lexical, sintático e semântico. Os resultados mostraram que os alunos com médias mais altas cometeram mais erros lexicais e os com médias mais baixas, mais erros semânticos. As autoras concluíram que foi encontrada evidência de validade por processo de resposta, que permitiu a avaliação da homogeneidade na distribuição dos tipos de erros, de acordo com o que era teoricamente esperado.

Empregando a Teoria de Resposta ao Item (TRI), Oliveira, Santos, Boruchovitch, e Rueda (2012) investigaram não apenas o ajuste de um Teste de Cloze ao modelo Rasch, como também avaliaram a dificuldade na resposta ao item (DIF) em razão do gênero dos estudantes. Participaram da pesquisa 573 alunos do segundo ciclo do ensino fundamental de escolas públicas estaduais dos Estados de São Paulo e Minas Gerais, sendo a maioria do sexo feminino, com idade média de 12,8 anos. Na análise do instrumento, constituído pelo texto “Coisas da Natureza”, o mesmo empregado no presente estudo, os autores evidenciaram um bom ajuste ao modelo Rasch, identificando que as lacunas foram preenchidas conforme

o padrão esperado, considerando a habilidade das pessoas e a dificuldade dos itens. Quanto ao DIF, apenas três itens mostraram-se mais favoráveis para um dos gêneros, o que permitiu aos autores constatarem que houve equilíbrio nas respostas dadas pelos meninos e meninas.

Estudo similar com alunos do primeiro ciclo do ensino fundamental foi realizado por Carvalho, Monteiro, Alcará e Santos (2013) para verificar os parâmetros dos itens e dos sujeitos, por meio da TRI, em um teste de Cloze, que incluiu análises quantitativas e qualitativas do mapa de itens. Também investigaram a presença de funcionamento diferencial dos itens (DIF) em relação ao sexo. Os autores confirmaram a unidimensionalidade do instrumento; verificaram média de theta maior do que a média de dificuldade dos itens e, a presença de DIF foi observada em alguns itens de acordo com os anos de ensino, embora de modo geral o teste tenha sido considerado adequado.

A análise dos itens das pesquisas apresentadas permitiu verificar que os diferentes testes de Cloze têm se mostrado como medidas adequadas para fornecerem dados confiáveis sobre a compreensão de leitura dos estudantes. Dada a importância do Cloze, que tem sido amplamente empregado para a avaliação da compreensão de leitura, o presente estudo se propõe a analisar os tipos de erros cometidos pelas crianças, bem como a dificuldade de seus itens por meio de análise morfossintática. É importante lembrar que outros estudos de análise de itens foram realizados no Brasil com vários dos testes de Cloze disponíveis. O objetivo ora pretendido é o de fazer a análise dos erros cometidos pelos alunos, bem como uma análise morfológica dos itens do teste.

MÉTODO

Participantes

Participaram da pesquisa 593 estudantes do ensino fundamental II, ou seja, do 6º ao 9º ano, sendo 136 (22,9%) do 6º ano, 158 (26,6%) do 7º ano, 155 (26,1%) do 8º ano e 144 (24,3%) do 9º ano. Deles, 295 (49,7%) eram do sexo masculino e 298 (50,3%) do feminino. As idades variaram de 11 a 15 anos. Os estudantes eram provenientes de três escolas públicas do interior do Estado de São Paulo, sendo 196 (33,1%) da escola 1, 69 (11,6%) da 2 e 328 (55,3%) da 3.

Instrumento

Teste de Cloze “Coisas da Natureza” de Santos (2005)

Trata-se de um texto preparado de acordo com a técnica de Cloze, em sua versão tradicional; assim, os 5ºs vocábulos foram omitidos. No local da omissão foi colocado um traço de tamanho proporcional à palavra excluída. Contém aproximadamente 250 vocábulos e 40 lacunas, sendo que o respondente devia preenchê-las com as palavras que julgasse as mais adequadas para dar sentido ao texto. A pontuação é dada considerando-se zero para erros ou espaços em branco e um ponto para cada acerto. A correção é realizada de forma literal, ou seja, a palavra deve ser escrita exatamente como foi retirada do texto.

O texto foi especialmente desenvolvido para avaliar a compreensão de leitura em alunos do ensino fundamental, com alunos de 5ª a 8ª série (atuais 6º ao 9º anos). Possui evidências de validade de critério, visto que separou os alunos por etapa escolar, formando um subgrupo para cada ano escolar, com aumento de média dos escores compatíveis com o avanço na escolarização. Resultados de estudo posterior, realizado por Oliveira, Boruchovitch e Santos (2007), ampliaram as suas evidências de validade.

Procedimento

Após a aprovação do Comitê de Ética em Pesquisa da Universidade São Francisco, para a devida autorização, os dados foram coletados. Cada texto foi respondido em aproximadamente 20 minutos.

Análise de dados

Por meio de análise qualitativa, os erros foram categorizados em cinco tipos: 1 - branco; 2 - erro fonológico (erros ortográficos e de acentuação); 3 - erro lexical (uso de sinônimo); 4 - erro sintático e 5 - erro semântico. Em seguida, recorreu-se a provas de estatística descritiva para calcular o percentual de cada tipo de erro e à prova de Quiquadrado para verificar a homogeneidade da distribuição desses erros. Adotou-se como nível de significância o valor de p<0,05.

RESULTADOS

A média de acertos do total de alunos (N= 593) foi de 19,85, com um desvio padrão de 5,03. Não houve sujeitos que alcançaram o máximo de pontos permitidos pelo instrumento, sendo o que mínimo de pontos foi 1 e o máximo 37.

Foram separados os protocolos referentes aos testes de Cloze dos alunos que tiveram as melhores e as piores pontuações para a construção de uma escala dos tipos de erros cometidos. Diante do grande número de participantes, foi decidida a utilização dos 30% de protocolos com maior e com menor pontuação. Dessa forma, obteve-se o número de 24 protocolos da categoria “médias altas”. Em seguida, foram sorteados 24 protocolos de alunos classificados na categoria “médias baixas”. Os erros cometidos pelos alunos foram então categorizados. A Tabela 1 apresenta as estatísticas descritivas dos tipos de erros cometidos no Cloze pelos alunos que tiveram médias altas.

Tabela 1
Estatísticas descritivas dos tipos de erros no Cloze dos alunos que tiveram médias altas.

Tipo de Erro - Alunos com médias altas
Palavra correta	Branco	Fonológico	Lexical	Sintático	Semântico	Total
passarinho	0	3	7	0	0	10
e	0	0	0	0	0	0
parada	1	0	1	17	1	20
até	1	0	0	8	0	9
na	0	0	0	0	0	0
menos	0	0	0	0	0	0
mesmo	1	0	2	9	0	12
na	0	0	0	1	0	1
de	0	0	0	0	0	0
se	0	0	0	0	0	0
resolveu	0	0	0	24	0	24
do	0	0	0	0	0	0
pedaço	0	1	5	5	1	12
no	0	0	0	2	0	2
sempre	0	0	0	10	0	10
e	0	0	0	0	0	0
água	0	4	0	0	0	4
o	0	0	0	0	0	0
e	0	0	0	0	0	0
ele	0	1	0	8	0	9
e	0	0	0	0	0	0
a	0	0	0	1	0	1
aves	1	1	0	2	0	4
tentou	0	0	1	5	0	6
mas	0	1	0	4	0	5
embora	0	0	0	0	0	0
o	0	0	0	6	0	6
deu	0	1	0	4	0	5
tantas	1	0	10	12	1	24
não	0	0	1	0	0	1
contou	1	0	0	6	5	12
colega	1	0	9	7	6	23
de	0	0	0	0	0	0
que	0	0	0	0	0	0
dos	0	0	0	20	0	20
fugirem	1	0	0	10	0	11
assim	0	1	0	4	1	6
sobrevivência	0	7	7	5	0	19
Total	9	19	43	178	15	264

Para os alunos com médias altas, os erros sintáticos foram os mais cometidos (n=178), expressivamente mais elevados do que os erros lexicais (n=43), que foram o segundo tipo de erro mais frequente. Os erros semânticos foram os menos cometidos (n=15). As palavras que mais proporcionaram os erros sintáticos foram: “resolveu” (n=24), “dos” (n=20) e parada (n=17). Os erros lexicais foram cometidos em maior número com as palavras “tantas” (n=10) e colega (n=9). Vale ressaltar que a palavra “tantas” teve frequência alta de erros em mais de uma categoria: sintático e semântico e não levou somente ao erro lexical. A palavra que levou ao maior número de erros fonológicos foi “Sobrevivência” (n=7), principalmente pela ausência de acentuação. Muitas palavras não obtiveram nenhum erro por parte dos alunos. Verificou-se também que eles praticamente não deixaram lacunas em branco (n=9).

Dando prosseguimento às análises, foi efetuada a Prova de Quiquadrado para avaliar a homogeneidade na distribuição dos tipos de erros cometidos por esses alunos. Essas análises são apresentadas na Tabela 2.

Tabela 2
Prova de Quiquadrado para avaliar a homogeneidade na distribuição dos tipos de erros cometidos no Cloze pelos alunos com médias altas.

Tipos de erros	F	Fo(%)	Fe	(f-fe)2/fe
Branco	9	3,41	52,8	36,33
Fonológico	19	7,19	52,8	21,63
Lexical	43	16,28	52,8	1,81
Sintático	178	67,43	52,8	296,87
Semântico	15	5,69	52,8	27,06
Total	264	100	264	383,70

Verifica-se na Tabela 2 que o grau de liberdade para a prova foi de 4, o índice χ² foi de 383,70. O índice alcançado foi estatisticamente significativo (p<0,001), em decorrência de os resultados não evidenciarem homogeneidade na distribuição. A seguir, estão apresentadas as estatísticas descritivas dos tipos de erros cometidos no Cloze, pelos alunos com médias baixas, na Tabela 3.

Tabela 3
Estatísticas descritivas dos tipos de erros no Cloze dos alunos com médias baixas.

Tipo de Erro - Alunos com médias baixas
Palavra correta	Branco	Fonológico	Lexical	Sintático	Semântico	Total
passarinho	2	3	25	6	12	48
e	2	3	0	1	0	6
parada	4	0	0	5	14	23
até	3	0	0	15	5	23
na	3	0	0	15	0	18
menos	4	0	0	1	13	18
mesmo	7	0	0	3	14	24
na	1	0	0	3	4	8
de	4	1	0	4	11	20
se	4	1	0	12	3	20
resolveu	2	0	4	10	8	24
do	3	0	0	13	0	16
pedaço	3	0	3	5	12	23
no	2	0	0	11	5	18
sempre	5	0	0	9	10	24
e	2	3	0	0	2	7
água	1	9	0	0	0	10
o	1	0	1	4	3	9
e	1	1	0	4	4	10
ele	1	0	0	10	12	23
e	2	3	0	0	3	8
a	1	0	0	0	4	5
aves	4	1	0	6	8	19
tentou	3	0	0	10	9	22
mas	5	0	0	12	4	21
embora	2	6	0	1	7	16
o	4	0	0	10	8	22
deu	5	0	0	5	12	22
tantas	4	0	0	5	15	24
não	4	0	0	6	9	19
contou	7	0	0	2	15	24
colega	5	0	1	1	17	24
de	5	0	0	1	11	17
que	5	1	0	9	5	20
dos	4	0	0	11	9	24
fugirem	7	1	0	2	14	24
assim	4	0	0	6	12	22
sobrevivência	5	1	1	5	12	24
Total	131	34	35	223	306	729

A ordem crescente dos totais de erros cometidos coincidiu com os critérios adotados para a classificação dos erros dos alunos com médias baixas. As palavras que mais propiciaram erros fonológicos foram “água” (n=9) e “embora” (n=6). Quanto aos erros lexicais, os alunos erraram mais “passarinho” (n=25), que aparecia duas vezes no texto. Os erros sintáticos foram mais cometidos nas palavras “até” (n=15), na (n=15) e do (n=13). As palavras “colega” (n=17), “tantas” e “contou” (n=15) e “parada”, “mesmo” e “fugiram” (n=14) foram as que mais proporcionaram erros semânticos.

Finalmente, verificou-se que houve erros para todas as palavras. Após essa análise, foi efetuada a Prova de Quiquadrado para avaliar a homogeneidade na distribuição dos tipos de erros por categoria, dos alunos com médias mais baixas, que é mostrada na Tabela 4.

Tabela 4
Prova de Quiquadrado para avaliar a homogeneidade na distribuição dos tipos de erros cometidos no Cloze pelos alunos com médias baixas.

Tipos de erros	F	fo(%)	fe	(F-fe)2/fe
Branco	131	17,97	145,8	1,50
Fonológico	34	4,67	145,8	85,73
Lexical	35	4,80	145,8	84,20
Sintático	223	30,59	145,8	40,88
Semântico	306	41,97	145,8	176,02
Total	729	100	729	388,33

O índice χ² foi de 388,33, sendo que o grau de liberdade foi 4. O índice de significância foi de p<0,001, o que permitiu inferir que a distribuição não era equitativa. Ainda de acordo com os objetivos do estudo, foi realizada a análise morfossintática das palavras suprimidas do texto, que pode ser visualizada na Tabela 5.

Tabela 5
Análise morfossintática dos itens dos textos em Cloze.

Classe gramatical	Itens	Total
Verbos	11, 26, 30, 33, 38	5
Advérbios	4, 6, 17, 28, 32, 39	6
Substantivos	1, 12, 14, 16, 19, 25, 34, 40	8
Pronomes	7, 22, 29, 31	4
Preposições	5, 8, 9, 13, 15, 35, 37	7
Artigos	20, 24	2
Conjunções	2, 10, 18, 21, 23, 27, 36	7

Pode-se perceber, na Tabela 5, que o texto “Coisas da Natureza” que a classe gramatical com mais vocábulos suprimidos é a desubstantivos (n=8). Já para a classe dos artigosconstata-se que há apenas dois.

DISCUSSÃO

Inicialmente, vale lembrar que a técnica de Cloze é o método mais utilizado para se avaliar a compreensão em leitura no Brasil (Cunha, 2009). Considera-se que é instigante realizar uma investigação como esta, que se propõe a acessar a competência lexical envolvida no processo de resposta subjacente à avaliação pelo instrumento. Além disso, disponibiliza-se mais um texto para futuras pesquisas com alunos do Ensino Fundamental II e formas científicas de análise da eficácia de um teste para a compreensão de leitura.

Desse modo, este estudo buscou derivar evidências de validade por processo de resposta, por meio da análise dos erros cometidos por alunos do ensino fundamental II em um texto estruturado nos padrões do teste de Cloze, e analisar a dificuldade de seus itens por meio da análise morfossintática das palavras eliminadas do texto. Os resultados das provas de Quiquadrado mostraram não haver homogeneidade na distribuição dos erros cometidos pelos alunos, com índice estatisticamente significativo, tanto para os alunos com médias altas obtidas pela apuração dos escores do teste, como para os com médias baixas. Esses resultados conferem a validade por processo de resposta ao teste, pois o fato de não haver homogeneidade na distribuição indica dificuldades crescentes, de acordo com os parâmetros estabelecidos e diferentes para os grupos de alunos.

Para os alunos com médias altas, os erros sintáticos foram os mais cometidos (n=178) e os semânticos foram os menos cometidos (n=15). Esse último resultado era o esperado, visto que esses alunos deveriam ter mais conhecimento prévio e estratégias para encontrar as palavras que dariam sentido ao texto (Bensoussam, 1990).

As palavras que mais proporcionaram erros sintáticos foram: “resolveu” (n=24), “dos” (n=20) e parada (n=17), respectivamente verbo, preposição e adjetivo. Os verbos e adjetivos são consideradas palavras difíceis de serem recuperadas, pois são classificadas como palavras de conteúdo. Quanto à preposição, embora seja considerada de grau mais fácil, nesse texto, sua colocação pode ter prejudicado a recuperação por parte dos respondentes, confirmando que a criação das lacunas pode prejudicar a compreensão (Rosa, 2014; Santos et al., 2002).

Os erros lexicais foram cometidos em maior número com as palavras “tantas” (n=10) e colega (n=9), porque foram usados sinônimos como “muitas” e “amigo”, respectivamente, indicando que não houve prejuízo à compreensão do texto. A palavra que levou ao maior número de erros fonológicos foi “Sobrevivência” (n=7), principalmente por falta de acentuação. Esse dado ainda não foi observado em nenhum dos estudos pesquisados na literatura, contudo, pode-se hipotetizar que muitos alunos desconhecem a norma de escrita. Muitas vezes é possível observar em produções escritas que os alunos escrevem com déficits que vão desde emprego inadequado de letras, como também demonstram não saberem empregar a acentuação e ou a pontuação.

Os critérios adotados para a classificação dos erros dos alunos com médias baixas coincidiram com a ordem crescente dos totais de erros cometidos, indo ao encontro dos resultados do estudo de Cunha e Santos (2009). Assim, o total de erros semânticos foi de 306, 20,4 vezes maior que o número de erros dos alunos com médias mais altas. Esse resultado era o esperado porque demonstra a dificuldade desses estudantes na recuperação das palavras de conteúdo por meio da memória de longo-prazo (Abraham & Chapelle, 1992).

As palavras que mais produziram os erros fonológicos foram “água”, um substantivo, porém mais por falta do acento gráfico e “embora”, um advérbio, considerada palavra de difícil recuperação (Santos et al., 2002). Quanto aos erros lexicais, os alunos erraram mais “passarinho”, até porque aparecia duas vezes no texto.

Esta pesquisa também corroborou os resultados dos estudos realizados anteriormente por Abraham e Chapelle (1992), em que os adjetivos, verbos e advérbios estavam entre as lacunas mais difíceis de serem completadas por serem classificadas como palavras de conteúdo, relativas à função coesiva do discurso. Com relação ao processamento cognitivo, as palavras de conteúdo requerem mais o processamento semântico, com a recuperação das palavras da memória de longo-prazo, em oposição ao processamento sintático, que requer a recuperação das palavras a partir da estrutura sintática das frases, nas quais a palavra omitida se insere. As preposições e os artigos foram as lacunas mais fáceis de serem preenchidas, pois formam unidades com as palavras imediatamente adjacentes. Os substantivos apresentaram dificuldade média, mas houve uma grande dispersão dos índices de dificuldade.

As palavras “colega”, “tantas” e “contou” (n=15) e “parada”, “mesmo” e “fugiram” (n=14) foram as que mais proporcionaram erros semânticos. No entanto, os verbos e advérbios são realmente categorias gramaticais mais difíceis de serem recuperadas e os substantivos podem ter dispersão de índices de dificuldade (Santos et al., 2002). Cabe ressaltar que na amostra de protocolos de alunos com médias baixas foram cometidos erros em todas as palavras, ao contrário da amostra de protocolos de alunos com médias altas, em que houve várias palavras sem nenhum erro.

No total, o texto “Coisas da Natureza” contém, da categoria das palavras mais difíceis de serem recuperadas, verbos (n=5), advérbios (n=6) e adjetivos (n=1), totalizando 12. Das palavras com nível médio de dificuldade, há substantivos (n=8) e pronomes (n=4), com total de 12. As preposições (n=7), artigos (n=2) e conjunções (n=7), consideradas mais fáceis de serem recuperadas, totalizam 16. Com base nos estudos recuperados (Cunha & Santos, 2009; Santos et.al., 2002), esses números totais das classes gramaticais conferem ao texto um equilíbrio quanto à dificuldade de recuperação das palavras. Nessa direção, vale a pena citar a necessidade de que, em investigações futuras, o texto aqui estudado possa ser submetido à Teoria de Resposta do Item - Modelo de Rasch para buscar possíveis variações na resposta aos itens em razão do sexo dos alunos, como fizeram Oliveira et al. (2012).

Cabe refletir que a presente pesquisa apresentou algumas limitações, dentre as quais se pode citar o fato de terem sido incluídos apenas participantes de um Estado brasileiro, o que indica a necessidade de que análises similares sejam feitas com protocolos de amostras com maior representatividade do país como um todo. A comparação de diferenças regionais traria a possibilidade de estudar variações linguísticas existentes. Também parece necessário averiguar possíveis diferenças nos acertos de alunos provenientes da educação privada e aqueles que estudam na pública. Novos estudos, com o objetivo de buscar respostas para as limitações aqui indicadas, deverão ser propostos, configurando uma agenda de pesquisa futura sobre o tema.

A habilidade de compreensão em leitura é essencial não somente para a aquisição do conhecimento escolar formal, mas também para a formação de uma consciência crítica e reflexiva. Um leitor fluente é capaz de atribuir significado ao conteúdo lido, dando-lhe novos sentidos, abertos para a compreensão e a transformação da própria realidade. A visão de mundo do sujeito é frequentemente moldada pela forma que interpreta o que lê. Sob essa perspectiva, a avaliação da compreensão de leitura é um tema que há muito tempo desperta o interesse de pesquisadores da área por trazer à baila a discussão das dificuldades inerentes à sua aquisição e a sua ampliação. À escola, portanto, caberia o papel de assegurar que o processo de compreensão de leitura fosse plenamente desenvolvido ao longo dos anos em que o indivíduo é submetido à educação formal.

Considerando-se o Cloze como uma medida de baixo custo, fácil elaboração, aplicação e correção, é importante que estudos que atestem a validade de suas interpretações sobre a compreensão de leitura sejam foco de muitas investigações. Posto isso, seu uso no ambiente escolar parece bastante plausível, pois permite o diagnóstico, o mapeamento e posterior intervenção, visando minimizar as dificuldades inerentes à compreensão de leitura, como também aprimorar habilidades envolvidas nesse processo, quais sejam atenção, criatividade, fluência verbal, consciência metalinguística, entre outras.

Com base em seus resultados seria possível pensar em programas interventivos que pudessem capacitar os professores, principalmente aqueles da educação básica, a se perceberem como leitores, pois será por meio deles que novos leitores serão formados. Nesse sentido, destaca-se o papel da universidade, cujos projetos político-pedagógicos deveriam ser predominantemente voltados a melhorar a formação do professor de Pedagogia e Letras, para que estes possam alcançar o que preconizam as Diretrizes Curriculares da Educação Básica - Língua Portuguesa (Brasil, 1997), que preveem que o estudante do ensino fundamental deveria sair dessa etapa de escolarização tendo alcançado um nível de compreensão de leitura literal e inferencial.

Nessa mesma linha, cabe mencionar que, devido à falta ou à pouca habilidade de leitura, o estudante muitas vezes apenas decodifica o texto, mas não compreende o conteúdo lido. Dessa forma, a leitura não funcionaria como um meio de promover o desenvolvimento do pensamento questionador/crítico da realidade. Infelizmente, o que tem sido observado é que os alunos têm sido vítimas de uma política educacional excludente que forma leitores, apenas com nível de leitura suficiente para lidar mais imediatamente com a realidade em que vive. Em contraste, o que deveria ser alcançado é a formação de leitores, cuja fluência, criatividade e criticidade dos conteúdos permitissem participar ativamente da realidade sociocultural. A pouca habilidade de compreensão torna o cidadão refém da informação que lhe é passada por outrem.

Como mudanças macroestruturais exigem grande investimento financeiro das esferas governamentais e demoram a ser implantadas, caso o sejam, os resultados da presente pesquisa mostram a possibilidade e a necessidade de investimento em programas interventivos, conforme apontado, que podem ser frutos de decisões no nível da gestão de cada unidade escolar. A viabilidade de decisões desse quilate depende da inclusão nos projetos pedagógicos de cada escola, de alternativas que possibilitem de forma séria e comprometida avaliar sistematicamente a habilidade de compreensão de leitura dos estudantes, com amplo envolvimento dos professores para que, em seguida, com base nos resultados das avaliações, fossem definidas formas de enfrentamento com a estruturação de programas em que os alunos das diferentes séries pudessem participar efetivamente.

Avaliar bem, com instrumentos com evidências de validade que suportem as interpretações por eles fornecidas pode constituir uma importante ferramenta para o enfrentamento das dificuldades pelas quais passa o ensino público. A assunção desse pressuposto poderá nos ajudar a melhorar a nossa educação com decisões tomadas a partir de diagnósticos situacionais confiáveis.

REFERÊNCIAS

• Abraham, R. G.; Chapelle. C. A. (1992). The Meaning of Cloze Test Scores: An Item Difficulty Perspective. The Modern Language Journal, 76(4), 468-479.
• Bedento, J. M.; Moreira, L. C. (1990). Desempenho em leitura entre estudantes de enfermagem: um estudo com a técnica de Cloze. In Anais do2ºSimpósio Brasileiro de Comunicação em Enfermagem(pp. 701-714). Ribeirão Preto, SP.
• Bensoussan, M. (1990). Redundancy and cohesion Cloze. Journal of Research in Reading, 13(1), 18-37.
• Bormuth, J. R. (1968). Cloze test readability: Criterion reference scores. Journal of Educational Measurement, 5, 189-196.
• Boruchovitch, E.; Santos, A. A. A.; Oliveira, K. L. (2007). Análise da fidedignidade entre dois tipos de pontuação do Teste de Cloze. Psicologia em Pesquisa, 1(1), 41-51.
• Brasil. Ministério da Educação; Secretaria de Educação Fundamental(1997). Parâmetros Curriculares Nacionais: Língua Portuguesa Brasília: MEC/SEEF.
• Carvalho, L. F.; Monteiro, R. M.; Alcará, A. R.; Santos, A. A. A. (2013). Aplicação da TRI em uma medida de avaliação da compreensão de leitura. Psicologia: Reflexão e Crítica, 26(1), 47-57.
• Cunha, N. B. (2009). Pesquisas com o teste de Cloze no Brasil. In Santos, A. A. A.; Boruchovitch, E.; Oliveira, K. L. (Eds.), Cloze: um instrumento de diagnóstico e intervenção(pp. 79-117). São Paulo: Casa do Psicólogo.
• Cunha, N. B.; Santos, A. A. A. (2009). Validade por processo de resposta no teste de Cloze. Fractal, 21(3), 549-562.
• Cunha, N. B.; Santos, A. A. A. (2014). Estudo de validade do questionário de avaliação de consciência metatextual. Psicologia: Teoria e Prática, 16(1), 141-154.
• García, J. N. (1998). Manual de dificuldades de aprendizagem: linguagem, leitura, escrita e matemática(J. H. Rodrigues, Trad.). Porto Alegre: Artmed.
• Joly, M. C. R. A.; Bonassi, J.; Dias, A. S.; Piovezan, N. M.; Silva, D. V. (2014). Avaliação da compreensão de leitura pelo Sistema Orientado de Cloze (SOC). Fractal, 26(1), 223-242.
• Joly, M. C. R. A.; Piovezan, N. M. (2012). Avaliação do programa informatizado de leitura estratégica para estudantes do ensino fundamental. Paidéia, 22(51), 83-90.
• Klein, A. I.; Lamprecht, R. R. (2012). A compreensão em leitura e a consciência fonológica em crianças com transtorno de déficit de atenção e hiperatividade. Signo, 37(63), 25-54.
• Monteiro, R. M.; Santos, A. A. A. (2013). Recursos familiares e desempenho de crianças em compreensão de leitura. Psico, 44(2), 273-279.
• Mota, M. M. P. E.; Santos, A. A. A. (2014). O Cloze como instrumento de avaliação de leitura nas séries iniciais. Psicologia Escolar e Educacional, 18(1), 135-142.
• Mota, M. M. P. E.; Vieira, M. T.; Bastos, R. R.; Dias, J; Paiva, N.; Mansur-Lisboa, S.; Andrade-Silva, R. (2012). Leitura contextual e processamento metalinguístico no português do Brasil: um estudo longitudinal. Psicologia: Reflexão e Crítica, 25(1), 114-120.
• Oliveira, K. L.; Boruchovitch, E.; Santos, A. A. A. (2007). Compreensão de leitura em alunos de sétima e oitava séries do ensino fundamental. Psicologia Escolar e Educacional, 11(1), 41-49.
• Oliveira K. L.; Boruchovitch, E.; Santos, A. A. A. (2009). A técnica de Cloze na avaliação da compreensão em leitura. In Santos, A. A. A.; Boruchovitch, E.; Oliveira, K. L. (Eds.), Cloze: um instrumento de diagnóstico e intervenção (pp. 47- 70). São Paulo: Casa do Psicólogo.
• Oliveira, K. L.; Cantalice, L. M.; Freitas, F. A. (2009). Compreensão em leitura no ensino médio: análise de acertos por item. In Santos, A. A. A.; Boruchovitch, E; Oliveira, K. L. (Eds.), Cloze: um instrumento de diagnóstico e intervenção (pp. 165-185). São Paulo: Casa do Psicólogo .
• Oliveira, K. L.; Santos, A. A. A.; Boruchovitch, E.; Rueda, F. J. M. (2012). Compreensão da Leitura: Análise do funcionamento diferencial dos itens de um teste de Cloze. Psicologia: Reflexão e Crítica, 25(2), 221-229.
• Prieto, G.; Delgado, A. R. (1999). Medición cognitiva de las aptitudes. In Olea, J.; Ponsoda, V.; Prieto, G. (Eds.), Tests informatizados: Fundamentos y aplicaciones (pp. 207-226). Madrid: Pirámide.
• Rankin, E. F.; Culhane, J. W. (1969). Comparable Cloze and multiple-choice comprehension test scores. Journal of Reading, 13, 193-198.
• Rosa, M. T. (2014). Compreensão leitora em formadores de leitores: um estudo com alunos e professores dos Cursos de Letras e Pedagogia (Dissertação de Mestrado em Educação). Universidade Estadual de Londrina, Londrina.
• Santos, A. A. A. (2005). O Cloze na avaliação da compreensão em leitura com alunos de 5ª a 8ª série Manuscrito não publicado.
• Santos, A. A. A.; Boruchovitch, E.; Oliveira, K. L. (Eds.). (2009). Cloze: um instrumento de diagnóstico e intervenção São Paulo: Casa do Psicólogo .
• Santos, A. A. A.; Primi, R.; Taxa, F.; Vendramini, C. M. M. (2002). O teste de Cloze na avaliação da compreensão em leitura. Psicologia: Reflexão e Crítica, 15(3), 549-560.
• Santos, A. A. A.; Sisto, F. F.; Noronha, A. P. P. (2010). TONI 3: Forma A e teste de cloze: evidências de validade. Psicologia: Teoria e Pesquisa, 26(3) 399-405.
• Santos, A. A. A.; Suehiro, A. C. B.; Oliveira, K. L. (2004). Habilidades em compreensão em leitura: um estudo com alunos de psicologia. Estudos de psicologia, 43(2), 29-41.
• Spinillo, A. G.; Mahon, E. R. (2007). Compreensão de texto em crianças: comparações entre diferentes classes de inferência a partir de uma metodologia on-line. Psicologia: Reflexão e Crítica, 20(3), 463-471.
• Storey, P. (1997). Examining the test-taking process: A cognitive perspective on the discourse cloze test. Language Testing, 14(2), 214-231.
• Taylor, W. L. (1953). “Cloze procedure”: A new tool for measuring read abilility. Journalism Quarterly, 30(4), 415-433.
• Taylor, W. L. (1956). Recent developments in the use of “Cloze Procedure”. Journalism Quarterly, 33(1), 42-48.
• Weaver, W.; Kingston, A. (1963). A factor analysis of the Cloze procedure and other measures of reading and language ability. Journal of Communication, 13, 252-261.

Datas de Publicação

• Publicação nesta coleção
  03 Ago 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  14 Fev 2018
• Aceito
  03 Jun 2019