Escala de leitura: proposta de avaliação das competências leitoras

Reading scale: proposal to assess reading skills

ARTIGO ORIGINAL

Escala de leitura: proposta de avaliação das competências leitoras

Reading scale: proposal to assess reading skills

Adriana de Souza Batista Kida^I; Brasília Maria Chiari^II; Clara Regina Brandão de Ávila^III

^IDoutora, Pesquisadora do Núcleo de Ensino, Assistência e Pesquisa em Escrita e Leitura (NEAPEL) do Departamento de Fonoaudiologia da Universidade Federal de São Paulo – UNIFESP – São Paulo (SP), Brasil

^IILivre-Docente, Professora Titular da Disciplina dos Distúrbios da Comunicação Humana da Universidade Federal de São Paulo – UNIFESP – São Paulo (SP), Brasil

^IIIDoutora, Professora Associada do Departamento de Fonoaudiologia da Universidade Federal de São Paulo – UNIFESP – São Paulo (SP) , Brasil

^{Endereço para correspondência}

RESUMO

OBJETIVO: Apresentar uma escala de testes destinada a avaliar as competências de leitura e investigar sua confiabilidade na mensuração do desempenho de crianças de oito anos a 11 anos e 11 meses.

MÉTODOS: Foi elaborado um instrumento, contendo 12 itens de teste, organizados em quatro campos de competências: Conhecimento de Letras e Relação Fono-grafêmica, Decodificação de Itens Isolados, Fluência de Leitura de Textos, Compreensão de Leitura. Para o estudo da confiabilidade foram selecionadas 100 crianças (64 meninas) de escolas da rede pública com idade de oito anos a 11 anos e 11 meses. Vinte crianças (12 meninas) participaram do estudo de aplicabilidade que resultou na versão de estudo da Escala de Leitura, que foi utilizada na avaliação das demais 80 crianças (52 meninas). As respostas obtidas foram analisadas e computadas para a atribuição de escores de item, que permitiram o cálculo dos escores por campo de competência e do escore bruto da escala. Estes dados foram submetidos a análise estatística para a obtenção do coeficiente alpha de Cronbach, empregado no estudo da confiabilidade do instrumento. Complementarmente, procedeu-se ao estudo das correlações entre os itens (coeficiente de correlação de Pearson). Adotou-se nível de significância de 0,05.

RESULTADOS: Na análise da consistência interna obteve-se α=0,866 para a Escala de Leitura. Correlações entre os itens foram observadas em algumas escalas, variando de fracas a fortes e corroboraram os valores do coeficiente alpha.

CONCLUSÃO: A Escala de Leitura mostrou-se confiável para mensurar o desempenho das crianças da amostra.

Descritores: Leitura; Avaliação/métodos; Fonoterapia; Aprendizagem; Ensino fundamental

ABSTRACT

PURPOSE: To present a range of tests for the assessment of reading skills, and to investigate its reliability in measuring the performance of children from eight to 11 years and 11 months old.

METHODS: It was created an instrument containing 12 test items organized into four assessment skills: Knowledge of Letters and Phonographemic Correspondence, Decoding of Isolated Items, Text-Reading Fluency, Reading Comprehension. For the reliability study, 100 children (64 girls) from public schools, with ages ranging from eight years to 11 years and 11 months, were selected. Twenty of these children (12 girls) participated in the applicability study, which resulted in the version of the Reading Scale used in the present study to assess the remaining 80 children (52 girls). The responses obtained were analyzed and scored by item, which allowed the calculation of a score for each assessment skill and the raw score. Data were statistically analyzed to obtain the Cronbach's alpha coefficient, used to calculate the instrument's reliability. Additionally, a study of correlations between items (Pearson's correlation coefficient) was carried out. A 0.05 level of significance was adopted.

RESULTS: The internal consistency analysis obtained α=0.866 for the Reading Scale. Correlations between the items were observed in some scales, ranging from weak to strong, and corroborated the alpha coefficient values.

CONCLUSION: The Reading Scale was a reliable instrument to measure the reading performance of the subjects.

Keywords: Reading; Evaluation/methods; Speech therapy; Learning; Primary education

INTRODUÇÃO

A avaliação clínica da leitura tem como objetivo identificar a presença de reais alterações e transtornos, diagnosticando-os diferencialmente em relação a padrões de normalidade. Para isso devem ser utilizados testes que permitam observar e medir as características de dois componentes: a decodificação e a compreensão leitora. A avaliação e o diagnóstico clínico dos Transtornos da Leitura, mais frequentemente relatados e observados em crianças entre oito e 11 anos⁽¹⁾, consideram como característica essencial um rendimento (correção, velocidade ou compreensão da leitura) substancialmente inferior ao esperado para a idade cronológica, a inteligência e a escolaridade do indivíduo em geral são medidas por testes padronizados administrados individualmente⁽¹⁾. Para que este diagnóstico seja possível torna-se necessária a utilização de instrumentos e procedimentos que efetivamente analisem o desempenho do escolar quanto a suas capacidades de decodificação e compreensão leitora e que, acima de tudo, sejam reconhecidamente confiáveis e válidos.

A decodificação, capacidade relacionada ao reconhecimento de palavras, permite a identificação dos estímulos recebidos visualmente durante a leitura e o acesso ao seu significado⁽²⁾. Depende, inicialmente, das capacidades de associação fonema-grafema, que levam ao aprendizado do princípio alfabético e dos padrões ortográficos⁽³⁾, cujas representações atuam de maneira progressivamente rápida, precisa e automática⁽⁴⁾.

O reconhecimento da decodificação e do automatismo de seus funcionamentos, evidenciou a importância da fluência da leitura^(5-7) na qual a decodificação é realizada sem esforço, a leitura oral mostra-se suave, precisa, com adequada prosódia e o redirecionamento da atenção para a compreensão se efetiva⁽⁶⁾.

Atualmente, parâmetros quantitativos como a taxa (palavras lidas por minuto) e acurácia (exatidão) são os mais frequentemente utilizados em pesquisas, na caracterização da fluência do leitor em idade escolar ou no diagnóstico dos transtornos da leitura^(7-9).

A análise da fluência da leitura, realizada por meio dos cálculos de palavras lidas por minuto – ppm (taxa) e de palavras corretas lidas por minuto – pcpm (acurácia), permitiu que parâmetros normativos dos níveis de desempenho fossem estabelecidos. Esses parâmetros, utilizados com finalidades clínicas permitem a comparação de desempenhos e, adicionalmente, no plano individual, o seguimento do desenvolvimento das competências leitoras⁽⁷⁾.

Por sua vez, a compreensão leitora, processo pelo qual se atribui significado a um texto escrito, envolve diferentes tarefas cognitivas e metacognitivas que culminam na construção de uma representação mental. Este processo tem início com o acesso ao significado das palavras. Continua na contextualização desses significados no nível da sentença, o que promove a ativação das relações formais entre os componentes da oração. Estas, por sua vez, possibilitam a compreensão das relações de significado (proposição)⁽¹⁰⁾ e, por fim, integram as informações na representação mental de uma ideia ou de um conhecimento adquirido, que serão confrontados com conhecimentos prévios^(11,12), formando novo conhecimento.

As capacidades implicadas na compreensão podem ser avaliadas por meio de procedimentos formais ou informais. Dentre os formais, destacam-se as questões de múltipla escolha^(12-14). Estas possuem vantagens, dentre as quais se destacam as possibilidades de investigar desde aspectos relacionados ao significado contextual de palavras, à identificação da intenção e ponto de vista do autor, passando por informações literais e diferentes inferências necessárias, e até a questões relativas a estilo e técnicas de escrita⁽¹⁴⁾. Quanto aos procedimentos informais, a análise do reconto do conteúdo lido vem sendo utilizada, principalmente após ter sido aperfeiçoada com a utilização da desconstrução de textos. Esta, baseada nas proposições semânticas como forma de identificar o conteúdo abordado em uma dada passagem, permite a mensuração do reconto por meio do cálculo do percentual de proposições recontadas, e da identificação de aspectos relacionados à construção do texto-base realizada pelo leitor⁽¹⁵⁾. Quando se utiliza um texto narrativo para a avaliação da leitura, outra possibilidade apontada é a análise da compreensão por meio da identificação das conexões causais compreendidas e expressas pelo leitor em seu reconto. Isto é possível a partir da identificação de elementos dos episódios narrativos (marco inicial, fato inicial, resposta interna, execução, consequência, reação) e da relação causal estabelecida entre estes⁽¹⁶⁾ no reconto do leitor.

Porém, é importante considerar que, acima de tudo, protocolos, métodos e procedimentos de avaliação efetiva necessitam, acima de tudo, serem reconhecidamente confiáveis e válidos. Características de confiabilidade e validade garantem a segurança na coleta de evidências e na análise das respostas obtidas com o teste. Ambas fornecerão suporte ao raciocínio clínico para fins diagnósticos e terapêuticos⁽¹⁷⁾.

Esta pesquisa se propôs a elaborar uma Escala de Avaliação de Leitura a partir de princípios preconizados na literatura pertinente. Dentre as normas e etapas inicialmente previstas para a construção de testes de avaliação confiáveis e válidos^(17,18) seguiu-se nesta pesquisa:

- definição dos objetivos do teste;

- realização de apurada revisão da bibliografia relacionado ao tema e definição do constructo teórico que suportou a construção da Escala;

- definição do formato do teste, materiais de avaliação e estímulos de teste;

- realização de estudo de aplicabilidade para escolha de itens que compuseram a versão final do instrumento e para a avaliação da compreensão das instruções dadas aos escolares seguidas da realização de modificações para a versão final;

- estudo da confiabilidade das mensurações definidas para o instrumento.

O estudo da confiabilidade deve, em parte, fornecer evidências de que as tarefas de avaliação que compõem o instrumento destinam-se a examinar um mesmo conteúdo ou processamento que se intenciona avaliar^(17-19). Este estudo é, também, entendido como processo de validação de constructo, e deve ser cuidadosamente elaborado durante a construção do próprio teste. Como resultado desse processo, conhecemos a confiabilidade de um dado instrumento, que deve refletir o significado verdadeiro de uma medida, considerando-a livre da variância de possíveis erros aleatórios. A confiabilidade pode ser estudada sob três prismas: a estabilidade, a equivalência e a consistência interna⁽¹⁹⁾. Nesta pesquisa adotaram-se as medidas de consistência interna como parâmetro de confiabilidade do instrumento que ora se apresenta.

Com base nas referências do DSM IV⁽¹⁾, sobre o diagnóstico dos Transtornos da Leitura e a necessidade de utilização de instrumentos diagnósticos padronizados e válidos, este trabalho tem como objetivo apresentar o método de construção de uma Escala de avaliação das competências de leitura, e investigar sua confiabilidade como instrumento de mensuração do desempenho de crianças de oito anos a 11 anos e 11 meses.

MÉTODOS

Pesquisa aprovada pelo Comitê de Ética em Pesquisa (nº 11111/05) da Universidade Federal de São Paulo e iniciada após a assinatura dos Termos de Consentimento Escolar pela diretoria de seis diferentes escolas da Rede Pública da Zona Sul do município de São Paulo, onde a coleta de dados foi realizada.

Este estudo foi realizado em etapas: elaboração da escala destinada a avaliar as competências de leitura; seleção dos participantes da amostra; realização de um estudo prévio de aplicabilidade do instrumento; aplicação da Escala na amostra selecionada; estabelecimento dos critérios de atribuição dos escores da Escala e o estudo da consistência interna do instrumento^(17-19).

De modo a facilitar o entendimento do método empregado na presente pesquisa os processos envolvidos em cada uma destas etapas serão apresentados em ordem distinta da sequência observada no estudo.

Seleção dos participantes

Solicitou-se aos professores das escolas contatadas, a indicação de escolares, meninos e meninas de oito anos a 11 anos e 11 meses de idade, que apresentassem bom desempenho acadêmico. Consideraram-se, nesse processo, os seguintes critérios de inclusão: ausência de queixas relacionadas ou de indicadores de alterações da audição e/ou visão; ausência de distúrbios neurológicos, comportamentais ou cognitivos, de queixas relacionadas a dificuldades ou transtornos do aprendizado da leitura e da escrita ou a dificuldades de aproveitamento escolar e ausência de indicação de retenção no histórico escolar.

Das 132 crianças indicadas, 122 que apresentaram a assinatura do Termo de Consentimento Livre e Esclarecido pelos pais ou responsáveis passaram por triagem fonoaudiológica⁽¹³⁾ realizada com a finalidade de garantir a observância dos critérios inclusivos. O não consentimento de alguns responsáveis e falhas na triagem, apesar da indicação dos professores, obrigaram à procura de mais de uma escola para a obtenção da completude do número de participantes, previamente estabelecido por meio de indicação estatística. A amostra final compôs-se de 100 escolares (61% meninas) que passaram na triagem fonoaudiológica. Para a pesquisa foram sub-agrupados segundo as faixas etárias: oito a oito anos e 11 meses; nove a nove anos e 11 meses; dez a dez anos e 11 meses; 11 a 11 anos e 11 meses. Do total de crianças, cinco de cada faixa etária, foram selecionados ao acaso para integrar a amostra do estudo prévio da aplicabilidade. Os demais 80 escolares (52% meninas) foram distribuídos igualmente nas faixas etárias determinadas para este estudo.

Elaboração da Escala de Avaliação das Competências de Leitura e os procedimentos de coleta de dados

O processo de elaboração da Escala de Leitura teve início com o levantamento bibliográfico de indicadores de desempenho^{(5-7,11,12,20,21)}, e de testes e métodos de avaliação das competências de leitura apropriados às faixas etárias a serem pesquisadas^{(13,15,22-27)}. A partir destas informações definiram-se as competências de leitura ligadas aos processos de decodificação e de compreensão (conhecimento de letras e da relação fono-grafêmica, decodificação de itens isolados, fluência da leitura de texto e compreensão da leitura), além dos respectivos itens de teste que compuseram a Escala. Ao se definirem os itens de teste estabeleceram-se os procedimentos de avaliação, o material linguístico a ser utilizado e os critérios de análise de desempenho para cada um desses itens. Estas informações serão apresentadas a seguir, juntamente com as referentes aos critérios de registro e de cômputo das respostas.

Assim, para avaliar o conhecimento de letras e da relação fono-grafêmica definiu-se os itens 1 e 2 para investigar o conhecimento das crianças sobre o alfabeto, respectivamente, por meio da nomeação de letras e da atribuição de seus valores sonoros. Para o item um optou-se pela apresentação de 24 letras e para o item dois, 23 letras (excluiu-se a letra H). Ambas as apresentações realizaram-se em ordem randômica, em cartões de fundo branco, com as letras impressas em tinta preta, caixa alta, fonte Arial 78. As respostas obtidas para os itens um e dois foram anotadas pelo avaliador, subsequentemente às respostas dos escolares, nas Folhas de Registro de Desempenho e, posteriormente, os números de acertos obtidos para cada um dos itens foram computados.

Os itens 3 e 4, 5 e 6 foram destinados a avaliar as capacidades de decodificação envolvidas na leitura de itens isolados, a partir do cálculo dos parâmetros de taxa e acurácia de leitura apresentados por crianças das faixas etárias estudadas.

Para os itens 3 e 4, adotou-se uma única lista de 38 palavras, resultante da revisão do material linguístico de pesquisa anteriormente realizada⁽²⁵⁾ de modo a contemplar todas as regras de decodificação do sistema ortográfico brasileiro. A lista foi balanceada, com auxílio de uma linguista, quanto à extensão e à frequência de aparecimento de cada estímulo e contou com as seguintes palavras, apresentadas às crianças: bota - carro - laço - ganso - cena - povo - alguém - gente - bife - sagui - depôs - xale - jaula - apito - assistir - crescer - coelho - comida - salame - exagero - mesada - esgoto - gemada - exceto - cenoura - próximo - lâmpada - oxítona - ênfase - absoluto.

Para os itens 5 e 6 utilizou-se uma única lista de 29 pseudo-palavras⁽²⁵⁾ revisadas. Esta lista foi balanceada quanto à extensão e contou com os estímulos psicolinguísticos apresentados à aplicação da Escala: merra - chafo - bancha - taçã - fônus - xolher - caupa - fescer - gresco - solota - geleza - esbada - pelaço - contaso - absimpo - massafem - besego - vacoura - cambujão - dau - gelhe - fuvo - morja - lirra - savocá - cinhela - jaino - sefédu - gebeso.

As listas foram impressas em folha A4 branca, em tinta preta, caixa alta, fonte Arial 12 e espaçamento duplo entre os estímulos dispostos verticalmente. As leituras requeridas pelos itens de 3 a 6 foram gravadas e posteriormente ouvidas para obtenção do tempo despendido na leitura de cada uma das listas e o cômputo de itens psicolinguísticos lidos de maneira correta e fluente. Hesitações, estratégias de revisão para correções ou falhas na decodificação ortográfica foram consideradas erros.

Posteriormente foram calculados os parâmetros de fluência⁽⁹⁾, que consistiram no cálculo da taxa (ppm) e da acurácia (pcpm) da leitura. Complementarmente, adotou-se a análise qualitativa dos erros de leitura, analisados e quantificados segundo categorias previamente definidas a partir da literatura^(25,26), considerando as adaptações para o PB a partir das regras de decodificação ortográfica.

Os itens de 7 e 8, 9 e 10 foram desenvolvidos para avaliar a fluência da leitura de texto, em situação de primeira e segunda leitura, respectivamente, a partir do cálculo dos parâmetros de taxa e acurácia.

Para isto, selecionou-se quatro diferentes textos, a partir de materiais didáticos, da seguinte forma: o texto selecionado do material da segunda série destinou-se a avaliar crianças de oito anos; o de terceira série, crianças de nove; o de quarta, crianças de dez anos; e o de quinta série, para avaliar crianças de 11 anos. Os seguintes textos foram escolhidos, respectivamente às idades: "O jabuti e a onça", "O veterinário maluco", "A coruja e a águia" e "O pequeno engraxate".

As leituras requeridas pelos itens de sete a dez foram igualmente gravadas e posteriormente ouvidas para obtenção do tempo despendido na leitura de texto e identificação das palavras lidas de maneira correta e fluente. Os parâmetros de desempenho adotados para a análise da leitura foram pautados nos procedimentos de avaliação da fluência de textos utilizados na literatura^(5,7-9), calculando-se assim os valores de taxa e acurácia da leitura.

Os itens 11 e 12 de teste foram designados para avaliar a compreensão da leitura nas quatro faixas etárias. Para isto, selecionou-se textos narrativos a partir dos mesmos procedimentos adotados para os itens de 7 a 10⁽¹³⁾, com exceção do texto para dez anos, selecionado a partir da literatura⁽⁸⁾. Foram escolhidos os seguintes textos, respectivamente às idades: "O macaco e o coelho", "A aposta", "A coisa", e "O telegrama".

Os textos destinados a avaliar parâmetros de fluência e a compreensão de leitura foram impressos em folha de papel sulfite - A4 branca, tinta preta em formatações que variaram para cada idade a ser avaliada: Arial 14, espaçamento duplo para os textos destinados a escolares de oito anos; Arial 12, espaçamento duplo para os de nove anos; Arial 12, espaçamento 1,5 para os de dez e 11 anos.

Para a avaliação da compreensão leitora, requerida pelos itens 11 e 12, foi solicitada a leitura silenciosa de um texto. Posteriormente, para a avaliação requerida pelo item 11, realizou-se a gravação dos recontos realizados do texto pelos escolares. Este reconto foi posteriormente analisado segundo a identificação do número de ideias centrais e das relações causais recontadas⁽¹⁶⁾, identificadas a partir de mapas de análises dos episódios da narrativa construídas por uma banca de especialistas. Esta análise possibilitou a classificação e quantificação do reconto segundo os seguintes padrões: três pontos = quando o reconto apresentou todas as relações causais de primeiro nível (idéias centrais) ou contemplou todos os momentos do texto – marco inicial, fato inicial, resposta interna, execução, consequência e reação – mesmo que substituindo algumas ideias de primeiro nível (centrais) por ideias de segundo nível (de detalhe); dois pontos = quando o reconto apresentou relações de causalidade consideradas mínimas, relacionando marco inicial, fato inicial, execução e reação; um ponto = quando o reconto apresentou omissão de uma ou mais relações de causalidade consideradas mínimas, embora apresentasse ideias de primeiro e de segundo nível, caracterizando um reconto descritivo; zero pontos = quando o reconto apresentou omissão de ideias centrais do texto e ausência de relação de causalidade, caracterizando uma narrativa sem estrutura e/ou com intrusão de elementos não presentes no texto.

O item 12, avalia o desempenho da compreensão leitora por meio de respostas a questões de múltipla-escolha referentes ao texto^(13,25). O registro das respostas foi feito pelos próprios escolares na Folha de Respostas. Posteriormente computou-se o número de respostas corretas⁽¹³⁾.

Estudo de aplicabilidade do instrumento

Definidos os itens que compuseram a Escala de Leitura, realizou-se um estudo inicial com o intuito de verificar a aplicabilidade da primeira versão do instrumento e indicar a necessidade de modificações^(17,18). Participaram deste estudo inicial 20 escolares (12 meninas), selecionados ao acaso, a partir da amostra total (100), distribuídos em quatro grupos, compostos por cinco escolares cada um, segundo a faixa etária.

Essa primeira aplicação da Escala possibilitou a identificação de aspectos relacionados à efetividade das instruções oferecidas às crianças, ao grau de dificuldade imposto pelos estímulos linguísticos (letras, palavras, pseudo-palavras e textos) propostos por faixa etária e à funcionalidade das Folhas de Registro de Desempenho, elaboradas para anotação das respostas. A partir desse procedimento, modificaram-se apenas as Folhas de Registro de Desempenho, mostrando-se, os demais aspectos, apropriados para avaliação.

Aplicação da Escala na amostra selecionada

Procedimentos de coleta de dados

Obtida a versão final da Escala de Leitura, cada um dos 80 participantes foi avaliado individualmente, em uma única sessão para aplicação dos 12 itens de teste, que durou, em média, 35 minutos. Ocuparam-se salas das próprias escolas, escolhidas por apresentarem relação sinal/ruído em níveis que não interfeririam na detecção e compreensão das instruções a serem oralmente apresentadas pela examinadora. As instruções e os procedimentos de aplicação e de análise previamente apresentados foram organizados em um Manual de Orientações ao Avaliador, elaborado como um instrumento norteador para o momento da avaliação⁽²⁸⁾.

Obtenção dos critérios de atribuição dos escores

Considerando as diferenças quanto à natureza das respostas registradas e analisadas, segundo os procedimentos de avaliação constantes no Manual de Orientações ao Avaliador, optou-se pela utilização de escores padronizados. A opção pelo uso de escores permitiu uniformizar a análise do desempenho de escolares nos diferentes itens e facilitou a realização do estudo de confiabilidade do instrumento.

Estes escores, obtidos inicialmente para cada item, variaram de 2 a 0 e representaram, respectivamente, do melhor ao pior desempenho observado nesta amostra. Foram denominados escores por item. Assim, o desempenho já quantificado segundo os critérios de análise anteriormente descritos foi tabulado, por criança, para cada um dos itens da bateria e os resultados enviados para análise estatística. Nesta etapa procedeu-se à análise das medidas de tendência central, adotando-se a mediana e o terceiro quartil como parâmetros. A mediana e os valores de terceiro quartil foram calculados por faixa etária e permitiram a definição dos critérios de atribuição dos escores por itens para cada uma das idades definidas para o instrumento. Deste modo, a mediana representou o escore dois, os valores compreendidos entre a mediana e o terceiro quartil receberam escore um, e os valores inferiores ao terceiro quartil receberam o escore zero.

Considerando o objetivo de realizar o estudo de confiabilidade, estabeleceram-se ainda duas medidas de desempenho: os escores por campo de competência (ecc) e o escore bruto da Escala (ebe).

Os ecc forneceram informações sobre o desempenho das crianças em cada campo de competência que compôs a Escala de Leitura: conhecimento de letras e relação fono-grafêmica, decodificação de itens isolados, fluência da leitura de textos e compreensão leitora. Estes escores permitiram analisar se os itens que compuseram um determinado campo destinaram-se a examinar, conforme desejável, uma mesma competência leitora.

Da mesma maneira, o ebe forneceu informações sobre o desempenho dos escolares na Escala total e permitiu verificar se todos os itens selecionados para compor o instrumento relacionaram-se, de fato, ao constructo da leitura.

Estudo da consistência interna do instrumento

O estudo da consistência interna da Escala de Leitura foi realizado para atender ao objetivo de analisar a confiabilidade do instrumento. Deste modo, os escores por itens, por campo de competência (ecc) e bruto da Escala (ebe) foram inicialmente tabulados por participante e posteriormente submetidos à análise estatística.

Para este cálculo, após a definição dos critérios de atribuição dos escores dos itens, procedeu-se à re-análise das respostas de cada um dos participantes, contidas nas Folhas de Registro de Desempenho. A partir desta análise, as respostas quantificadas para cada um dos itens receberam um escore, obtendo-se, deste modo, os escores por itens.

A seguir procedeu-se ao cômputo do escore por campo de competência (ecc), idealizado para mensurar o desempenho em cada campo de conhecimento que compôs a Escala. Para seu cálculo foram identificados os itens que compuseram cada um dos campos de competências da Escala e, após a identificação, procedeu-se à soma dos escores obtidos pelos escolares nos itens pertencentes a este campo.

Calculados os ecc, procedeu-se ao cômputo do escore bruto da escala (ebe) a partir da soma dos ecc que compuseram a Escala de Leitura.

Método estatístico

Para a análise estatística dos dados tabulados foram aplicados os seguintes testes:

- Coeficiente Alpha de Cronbach: utilizado para analisar a consistência interna do instrumento por meio do estudo do grau de covariância dos itens entre si. Com esta análise verificou-se a congruência de cada item de uma escala com os demais itens que a compõem. Este coeficiente varia de zero a um, sendo zero a ausência total de consistência interna dos itens e um a presença de consistência de 100%. Segundo o critério de classificação, valores abaixo de 0,6 indicam grau de covariância em níveis inadmissíveis; valores entre 0,6 e 0,7 indicam covariância fraca; valores entre 0,7 a 0,8 indicam covariância aceitável; valores entre 0,8 e 0,9 indicam grau de covariância bom e valores acima de 0,9 indicam covariância muito boa⁽²⁹⁾.

- Coeficiente de Correlação de Pearson (c): utilizado para medir o grau de associação entre duas variáveis de mensuração numérica, não fazendo julgamento sobre a relação de causa e consequência entre duas variáveis. Esta análise permitiu o estudo sobre quão consistentemente duas variáveis mudam em conjunto.

Para este estudo adotou-se o nível de significância de 0,05.

RESULTADOS

Os resultados da análise da consistência interna da Escala de Leitura e de seus campos de competências encontram-se na Tabela 1.

O campo de conhecimento de letras não teve o grau de covariância calculado em razão dos valores de escore para o item um, referente à tarefa de nomeação de letras, serem constantes, revelando um efeito teto.

Os campos de decodificação de itens isolados, de fluência de leitura de textos e a covariância do escore total da Escala apresentaram coeficientes alpha entre 0,8 e 0,9, valores que indicam bom grau de covariância, recomendáveis para instrumentos com finalidade diagnóstica.

O campo de compreensão da leitura, no entanto, apresentou coeficiente alpha inferior a 0,6, valor de covariância muito fraca.

Na Tabela 2 é possível observar as medidas de consistência interna da Escala de Leitura e de seus campos, obtidas após o estudo de supressão dos itens. Este estudo teve a finalidade de verificar possíveis interferências dos itens propostos sobre a confiabilidade do instrumento proposto.

As medidas do coeficiente alpha dos campos de decodificação de itens isolados, da fluência de leitura de textos e do escore bruto da Escala de Leitura após a exclusão dos itens mantiveram covariância entre 0,8 e 0,9, considerados bom nível de consistência interna. Cabe observar que a exclusão dos itens 11 e 12, pertencentes ao campo de compreensão da leitura, não ocasionou o aumento expressivo dos valores do coeficiente alpha da Escala de Leitura, tendo estes se mantido em níveis bons de covariância.

A consistência interna dos campos de conhecimento de letras e da compreensão da leitura não pode ser analisada porque estes campos constituem-se em dois itens.

Na Tabela 3, em que se observam os valores de associação entre os escores por itens, dos escores por campos de competência e o escore bruto da Escala de Leitura, pôde-se notar que os resultados do estudo da correlação revelaram a presença de associação positiva entre todos os tipos de escore investigados. A associação encontrada entre o item 11 com o ebe da Escala de Leitura foi fraca. Os itens 9 e o ecc compreensão da leitura associaram-se moderadamente com o ebe da Escala de Leitura. Os itens 3, 4, 5, 6, 7, 8, 10, o ecc decodificação de itens isolados apresentaram boa correlação com o ebe da Escala de Leitura. Por sua vez, o ecc fluência da leitura de texto associou-se fortemente com o ebe da Escala de Leitura.

DISCUSSÃO

Esta pesquisa visou a elaboração de um piloto de uma Escala de Leitura destinada a avaliar escolares de oito anos a 11 anos e 11 meses, faixa etária definida pela frequência de aparecimento de queixas relacionadas ao aprendizado da leitura e da escrita e pelos critérios de diagnóstico do Manual Diagnóstico e Estatístico de Transtornos Mentais⁽¹⁾.

A estruturação do instrumento e de seus escores foi projetada de modo a permitir a obtenção de um perfil de desempenho da criança. Assim, a opção pelo desenvolvimento de uma escala possibilitaria a quantificação dos desempenhos observados nas diferentes tarefas e sua posterior comparação, seja no desempenho das tarefas individualmente apresentadas seja entre as diferentes competências de leitura avaliadas.

Faz-se importante confirmar que a elaboração da Escala de Leitura obedeceu, rigorosamente, às normas e etapas previstas para a construção de testes de avaliação de aspectos cognitivos^(17,18).

Quanto ao estudo da confiabilidade, este foi aqui entendido como processo de validação de constructo⁽¹⁹⁾, investigada durante a construção e o estudo do próprio teste, de modo a fornecer evidências de que as tarefas de avaliação que compuseram a Escala de Leitura destinavam-se a examinar um mesmo determinado conteúdo ou processamento que se tencionava avaliar⁽¹⁹⁾. A escolha da consistência interna inter itens como forma de medição foi realizada em razão da possibilidade de se analisar, por meio desta medida, se os itens selecionados para compor os campos de competências e a Escala de Leitura estavam relacionados a um mesmo constructo teórico, mesmo que fossem constituídos por diferentes procedimentos de avaliação.

Os resultados do estudo de confiabilidade revelaram que o coeficiente alpha do instrumento atingiu bom grau de consistência interna, visto que seu valor mostrou-se superior a 0,7, índice recomendado para instrumentos de avaliação diagnóstica^(18,19,29). A análise da confiabilidade da escala em seus campos de competências também revelou bom grau de consistência interna entre os escores dos itens e o escore bruto total da Escala de Leitura, demonstrado por meio das associações que variaram de moderadas a fortes para a maior parte dos itens investigados. Estes resultados observados indicam que a maior parte dos itens de teste que compuseram esta escala mediram, de fato, a mesma variável.

Contudo, a análise do campo da compreensão de leitura demonstrou grau de consistência interna muito fraco. No entanto, mesmo com a exclusão dos itens 11 e 12 que compuseram este campo, o valor do coeficiente alpha para a Escala de Leitura variou pouco. Pode-se dizer que, embora estes itens não tenham apresentado uma boa consistência entre si e sequer tenham estado fortemente correlacionados, não interferiram na consistência interna da Escala, o que permite, ao contrário, supor que ambos contribuem para a avaliação da leitura.

Assim, considerando que os itens 11 e 12 mensuram o desempenho em leitura, mas não somente a compreensão leitora, pode-se supor que os baixos valores de consistência interna tenham sido determinados pela variabilidade das demandas impostas nos procedimentos de avaliação desse campo, realizada ora por meio do reconto do texto lido, ora por resposta a questões de múltipla escolha.

A análise do reconto oral após a leitura de um texto narrativo buscou identificar a compreensão das relações causais entre eventos da história lida - marco inicial, fato inicial, resposta interna, execução, consequência e reação^(15,16). No entanto, este procedimento de avaliação está sujeito a demandas de produção linguística, uma vez que é requerido do escolar não apenas que identifique apropriadamente as ideias centrais do texto, mantenha-as na memória operacional, estabeleça as relações causais entre estas e interprete-as, mas que consiga expressar linguisticamente o produto de todo este processo⁽¹⁶⁾. Isto pôde ser constatado por meio da observação da fraca correlação encontrada entre o escore do item 11 e o ebe da EL.

Além do reconto, o presente estudo utilizou, complementarmente, questões de múltipla escolha para a avaliação da compreensão, as quais envolveram não apenas a avaliação do conhecimento explicitamente expresso no texto, mas também a avaliação da compreensão de informações inferenciais por vezes não presentes no reconto.

Desta maneira, as diferenças nos procedimentos de avaliação da compreensão leitora, determinada pela exigência de maior demanda linguística expressiva na tarefa de recontar o texto lido e da capacidade de realização de inferências para responder às questões propostas, poderiam justificar a baixa consistência interna encontrada entre os dois itens que se propuseram a avaliar a compreensão leitora. Outro fator a ser considerado diz respeito à utilização de diferentes textos para avaliação da compreensão. A seleção de textos adequados a uma das faixas etárias propostas pode ter influenciado os resultados, uma vez que diferentes textos podem determinar diferentes demandas de compreensão, seja pela diversidade de exigências de conhecimentos sintáticos – que atuam em nível local – ou do processamento inferencial, essencial para compreensão em nível profundo.

A literatura indica que o estudo da confiabilidade de instrumentos heterogêneos de avaliação, ou seja, que se destinam a avaliar diferentes constructos, deve ser realizado por meio da análise de cada uma das áreas que o compõem^(19,29). Por isto, a análise deste instrumento considerou as unidades avaliativas para o estudo de sua confiabilidade, uma vez que estas delimitaram um dado constructo teórico que deveria, portanto, ser analisado, em sua especificidade, no que se refere à consistência interna entre os itens.

CONCLUSÃO

O estudo da confiabilidade da Escala de Leitura indicou a possibilidade de utilização da EL para avaliar as competências relacionadas ao conhecimento de letras e da relação fono-grafêmica, a decodificação e a compreensão leitora. Os índices de consistência interna obtidos na análise atingiram níveis admissíveis de confiabilidade para instrumentos de valor diagnóstico, atestando a confiabilidade do instrumento proposto. Embora se mostre promissor, o instrumento deve agora ser submetido a estudos complementares sobre sua propriedade discriminativa, por meio de pesquisas de sensibilidade e especificidade, que atestem sua acurácia para uso no contexto clínico. Posteriormente, deve-se proceder ao estudo da normatização, que fornecerá parâmetros que considerem o desempenho de crianças típicas segundo as variáveis escolaridade e idade, critérios diagnósticos estabelecidos pelos manuais diagnósticos.

AGRADECIMENTOS

Ao Prof. Emílio Sánchez Miguel, Catedrático da Universidad de Salamanca, e sua equipe de pesquisadores, Nadezhna Castellano, Hector García, Elena Ciga y Andrea Bustos que contribuíram imensamente para a revisão e adoção de novos parâmetros de avaliação do desempenho da compreensão leitora. Agradecemos todas as contribuições e conhecimentos partilhados.

Recebido em: 1/9/2009

Aceito em: 15/3/2010

Este trabalho é parte de Tese de Doutorado apresentada ao Departamento de Fonoaudiologia – Universidade Federal de São Paulo – UNIFESP – São Paulo (SP), Brasil, com bolsa concedida pela Coordenação de Aperfeiçoamento de Pessoal de Nìvel Superior – CAPES.

• 1. American Psychiatric Association. Diagnostic and statistical manual of mental disorders: DSM-IV. 4th ed. Washington: American Psychiatric Association; 1994.
• 2. Protopapas A, Sideridis GD, Mouzaki A, Panagiotis GS. Developmental of lexical mediation in the relation between reading comprehension and word reading skills in greek. Sci Stud Read. 2007;11(3):165-97.
• 3. Seidenberg MS, McClelland JL. A distributed, developmental model of word recognition and naming. Psychol Rev. 1989;96(4):523-68.
• 4. LaBerge D, Samuels SJ. Toward a theory of automatic information processing in reading. Cogn Psychol. 1974;6(2):293-323.
• 5. Shinn MR, Good RH, Knutson N, Tilly WD, Collins VL. Curriculum-based measurement of oral reading fluency: a confirmatory analysis of its relation to reading. School Psych Rev. 1992;21(3):459-79.
• 6. Wolf M, Katzir-Cohen T. Reading fluency and its intervention. Sci Stud Read. 2001;5(3):211-39.
• 7. Fuchs LS, Fuchs D, Hosp MK, Jenkins JR. Oral reading fluency as an indicator competence: a theoretical, empirical, and historical analysis. Sci Stud Read.2001;5(3):239-56.
• 8. Salles JF, Parente MAMP. Processos cognitivos na leitura de palavras em crianças: relações com compreensão e tempo de leitura. Psicol Reflex Crit. 2002;15(2):321-31.
• 9. Geva E, Zadeh YZ. Reading efficiency in native english-speaking and english-as-a-second-language children: the role of oral proficiency and underlying cognitive-linguistic processes. Sci Stud Read. 2006;10(1):31-57.
• 10. Kintsch W, Van Dijk TA. Toward a model of text comprehension and production. Psychol Rev. 1978;85(5):363-94.
• 11. Cain K, Oakhill JV, Barnes MA, Bryant PE. Comprehension skill, inference-making ability, and their relation to knowledge. Mem Cognit. 2001;29(6):850-9.
• 12. Cain K, Oakhill JV e Elbro C. The ability of learn new word meanings from context by school-age children with and without language comprehension difficulties. J Child Lang. 2003;30(3):681-94.
• 13. Carvalho CAF. Relação entre a função pragmática da linguagem e compreensão de texto [dissertação]. São Paulo: Universidade Federal de São Paulo; 2008.
• 14. Davis FB. Fundamental factors of comprehension in reading. Psychometrika. 1944;9(3):185-97.
• 15. Salles JF, Parente MAMP. Compreensão textual em alunos da segunda e terceira séries: uma abordagem cognitiva. Estud Psicol (Natal). 2004; 9(1):71-80.
• 16. Trabasso T, van der Broek P. Causal thinking and the representation of narrative events. J Mem Lang. 1985;24(5):612-30.
• 17. American Psychology Association. Standards for educational and psychological testing. New York: American Educational Research Association; 1999.
• 18. Domino G, Domino ML. Psychological testing: and introduction. 2nd ed. New York: Cambridge University Press; 2006.
• 19. Cicchetti DV. Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychol Assess. 1994;6(4):284-90.
• 20. Paolucci JF, Avila CRB. Competência ortográfica e metafonológica: influências e correlações na leitura e escrita de escolares da 4Ş série. Rev Soc Bras Fonoaudiol. 2009;14(1):48-55.
• 21. Stahl SA, Hare VC, Sinatra R, Gregory JF. Defining the role of prior knowledge and vocabulary in reading comprehension: the retiring of number 41. J Read Behav. 1991;23(4):487-508.
• 22. Braz HA, Pellicciotti THF. Exame de linguagem Tipiti. São Paulo: MNJ; 1988.
• 23. Stein LM. TDE - teste de desempenho escolar: manual de aplicação e interpretação. São Paulo: Casa do Psicólogo; 1994.
• 24. Carrow-Woolfolk E. OWLS: oral and written language scales. Circle Pines, MN: American Guidance Service; 1996.
• 25. Ramos CS, Avila CRB. Avaliação da leitura em escolares com indicação de dificuldades de leitura e escrita. Rev Soc Bras Fonoaudiol. 2005;10(Supl.): ptl-0889.
• 26. Goikoetxea E. Reading errors in first- and second-grade readers of a shallow ortography: evidence from Spanish. Br J Educ Psychol. 2006;76(Pt 2):333-50.
• 27. Saraiva RA, Moojen SMP e Murarski R. Avaliação da compreensão leitora de textos expositivos. São Paulo: Casa do Psicólogo; 2006.
• 28. Kida ASB. Bateria de avaliação de habilidades e competências linguísticas, de escrita e de leitura: estudo piloto [tese]. São Paulo: Universidade Federal de São Paulo; 2009.
• 29. Santos JR. Cronbach's alpha: a tool for assessing the reliability of scales. J Extension. 1999;37(2). Available from: www.joe.org/joe/1999april.index.php

Datas de Publicação

• Publicação nesta coleção
  16 Dez 2010
• Data do Fascículo
  Dez 2010

Histórico

• Aceito
  15 Mar 2010
• Recebido
  01 Set 2009