SciELO - Scientific Electronic Library Online

 
vol.28 issue1Reading motivation scale for Elementary Education students: construction and validationValidity evidence of the brazilian version of the Mindful Attention Awareness Scale (MAAS) author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

Share


Psicologia: Reflexão e Crítica

Print version ISSN 0102-7972

Psicol. Reflex. Crit. vol.28 no.1 Porto Alegre Jan./Mar. 2015

http://dx.doi.org/10.1590/1678-7153.201528109 

Avaliação Psicológica

EACOL - Escala de avaliação da competência em leitura pelo professor: construção por meio de critérios e de concordância entre juízes

EACOL - Scale of evaluation of reading competence by the teacher: development through criteria and agreement among judges

Ângela Maria Vieira Pinheiro* 

Anna Edith Bellico da Costa

1Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil

RESUMO

O objetivo deste estudo foi descrever a construção da Escala de Avaliação da Competência em Leitura pelo Professor (EACOL), para crianças do Ensino Fundamental, e apresentar os achados preliminares de sua validação e consistência interna. Procedimentos: (a) elaboração dos itens e critérios; (b) validação por consulta a especialistas; e (c) definição do formato final do instrumento e dos crivos. Resultados: os itens das formas A (para alunos do 2º. ano, n = 23) e B (para alunos do 3º. ao 5º. ano, n = 27) da EACOL se dividem em leitura "em voz alta" e "silenciosa". Em cada forma, as crianças são classificadas em uma das três categorias: "Lê bem", "Lê razoavelmente", "Lê mal". Pode-se concluir que após os aprimoramentos sugeridos, a EACOL será um instrumento válido e fidedigno.

Palavras-Chave: Medida indireta de leitura em voz alta e silenciosa por crianças; validação; consistência interna

ABSTRACT

The purpose of this study was to describe the development of the Scale of Evaluation of Reading Competence by the Teacher (EACOL) for elementary school children and present the preliminary findings of its validity and reliability. Procedures: (a) elaboration of items and criteria; (b) validation by judgment of specialists; and (c) definition of the final shape of the instrument and its scoring. Results: the items of forms A (for pupils of the 2nd year, n = 23) and B (for pupils from the 3rd to the 5th year, n = 27) of the EACOL are divided into "reading aloud" and "silent reading". In both forms, each child was classified in one of the three categories: "Reads well", "Reads reasonably" and "Reads poorly". Conclusion: after the suggested improvements, the EACOL will be a valid and reliable instrument.

Key words: Indirect measure of reading aloud and silently by children; validation; reliability

A leitura, seja em voz alta, seja silenciosa, se constitui em um elemento básico para uma escolarização efetiva. Além de permitir ao aprendiz dominar os conteúdos específicos de sua língua, é a chave para a compreensão das demais disciplinas do currículo. Paradoxalmente, muitas das dificuldades de aprendizagem com as quais se deparam os alunos do Ensino Fundamental (EF) se devem a não competência em leitura. No Brasil, por exemplo, em 2011, o Todos Pela Educação, em parceria com o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), com o Instituto Paulo Montenegro/Ibope e com a Fundação Cesgranrio, realizou a Prova ABC. Essa avaliação aferiu o aprendizado das crianças, para cada região do Brasil, ao fim do 3º ano do EF em leitura, escrita e matemática. No que se refere à alfabetização, somente 56,1% das crianças com 8 anos de idade foram completamente alfabetizadas, se distanciando muito da meta de 80% para o ano de 2010 (Ministério da Educação, 2013). Adicionalmente, segundo os dados da Pesquisa Nacional por Amostra de Domicílios (Instituto Brasileiro de Geografia e Estatística [IBGE], 2012), a taxa de analfabetismo das pessoas de 15 anos ou mais de idade foi estimada em 8,7%, o que correspondeu ao contingente de 13,2 milhões de analfabetos. Tais resultados alarmantes poderiam ser prevenidos se os professores pudessem identificar precocemente e de maneira objetiva as dificuldades primordiais vinculadas à aprendizagem da leitura e da escrita. Isto possibilitaria a adoção não só de métodos eficazes de ensino e de recuperação dessas habilidades mas também a identificação precoce de comportamentos de risco de dislexia que conduza a uma intervenção apropriada (Fuchs & Fuchs, 2006).

Uma questão que tem sido discutida nesse contexto é se as avaliações feitas pelos professores podem servir de base para classificar os alunos quanto ao risco de fracasso educacional de forma geral e, especificamente, quanto a suas habilidades de leitura. As pesquisas a respeito desse tipo indireto de avaliação - em contraste com formas diretas que empregam tarefas que medem acurácia e velocidade de reconhecimento de palavras e compreensão textual - têm gerado resultados por vezes controversos, porém em sua maior parte, consideram válida a utilização de relato de professores para fornecer uma visão preliminar sobre desempenho dos estudantes (p. ex., Snowling, Duff, Petrou, Schiffeldrin, & Bailey, 2011).

As pesquisas que consideram a questão mais geral a respeito da validade do julgamento do professor para avaliar a capacidade acadêmica de seus alunos, inclusive a triagem daqueles com dificuldades, datam a partir do final da década de 70, do século passado. A primeira síntese relevante dessas pesquisas foi apresentada por Hoge e Coladarci em 1989. Os autores identificaram que as medidas baseadas no julgamento do professor eram frequentemente tratadas de maneira casual: os professores eram solicitados a apenas apontar em sua classe os alunos com determinada característica (p. ex., alunos com alto ou baixo potencial), sem lhes dar nenhum critério ou referência operacional do construto avaliado (p. ex., Hoge & Cudmore, 1986). No entanto, já naquela época, podia-se identificar um crescente reconhecimento de que o julgamento (ou avaliação) dos professores deveria ser tratado como medida psicológica, pautado nos mesmos critérios psicométricos utilizados na construção de testes.

Coladarci (1992), em um estudo em que professores foram solicitados a julgar a precisão de respostas de seus alunos em um teste padronizado de desempenho, mostrou que: (a) o julgamento dos professores correlacionou-se positiva e significativamente com as respostas reais dos alunos, (b) os professores julgaram com precisão as respostas dos alunos em cerca de três quartos do número total de itens de teste, (c) a precisão dos julgamentos dos professores variou significativamente conforme o subteste e (d) houve diferenças significativas entre os professores na precisão de seus julgamentos. Diante desses resultados, o autor concluiu que as diferenças encontradas entre o julgamento do professor e o desempenho efetivo de seus alunos podem ser explicadas pela natureza multifatorial dessa relação, que sofre influência das características do professor, do estudante e da tarefa, além da interação entre esses fatores. Wright e Wiese (2001), por exemplo, verificaram que os professores ao avaliarem seus alunos distinguem entre esforço e desempenho e que fazem melhores predições (que mostram de moderada a alta validade) quando tomam a sua experiência profissional como base para seus julgamentos. Já no que se refere às caracteristicas dos avaliandos, fatores externos ao seu desempenho escolar como o gênero, comportamento em sala de aula ou suas características socioeconômicas podem influenciar o julgamento do professor (Bennett, Gottesman, Rock, & Cerullo, 1993; Soares, Fernandes, Ferraz, & Riani, 2010).

Finalmente, à lista de fatores que têm levado à diminuição da validade preditiva sobre a acurácia do professor em julgar o desempenho escolar de seus alunos, Begeny, Eckert, Montarello e Storie (2008) acrescentam os procedimentos de análise estatística empregados em diferentes estudos. Para os autores, análises que utilizam porcentagem de concordância como índice da relação entre o julgamento do professor e o desempenho dos alunos e também estatística inferencial, oferecem informações mais detalhadas do que as análises correlacionais.

Como se pode constatar, os resultados do conjunto de estudos apresentados sobre a precisão do julgamento do professor e o desempenho escolar efetivo de seus alunos encorajam a utilização deste recurso como um componente importante para o sistema educacional. Considerando agora os estudos voltados para o julgamento do professor quanto à leitura de seus alunos, na revisão de literatura de Hoge e Coladarci (1989), supracitada, que também incluiu testes de leitura, os autores encontraram que a correlação entre os julgamentos dos professores e os resultados nesses testes apresentou um coeficiente médio de 0,67. Ao longo dos anos, independentemente dos instrumentos utilizados, da variável dependente controlada e da sub-habilidade de leitura avaliada, o valor em torno dessa correlação tem se mantido. Por exemplo, Bates e Nettelbeck (2001) tomando a precisão e a compreensão em leitura, encontraram correlações de 0,77 e 0,62, respectivamente. O Coeficiente de 0,73, dentro dessa amplitude, foi também obtido por Madelaine e Whedall (2005), ao considerarem a fluência na leitura.

Uma questão que tem suscitado muito interesse na área se refere à identificação precoce, pelo professor, de risco de fracasso em leitura. Nessa direção, Kenny e Chekaluk (1993) realizaram uma pesquisa longitudinal em que 312 professores acompanharam um grupo de alunos da educação infantil por três anos consecutivos, avaliando desde os precursores da habilidade de leitura ao desempenho efetivo de leitura dessas crianças. Os autores constataram que os professores e a bateria de testes a qual as crianças foram submetidas ao longo do período do estudo descreveram de modo muito próximo o progresso da criança na escola elementar. O coeficiente de validade concorrente entre essas medidas foi alto suficientemente para garantir a confiabilidade da avaliação docente sobre o risco de fracasso em leitura.

Esse achado, e outros ainda mais recentes sobre a validade preditiva do julgamento do professor sobre as habilidades emergentes de leitura de pré-escolares (p. ex., Cabell, Justice, Zucker, & Kilday, 2009), são relevantes, já que crianças com dificuldades iniciais de leitura são menos motivadas para a leitura, têm baixa expectativas em relação às suas capacidades e, em consequência, ganham menos prática de leitura em comparação com os bons leitores (Catts, 1997). Dificuldades em leitura têm também sido associadas a problemas de comportamento (Heiervang, Lund, Stevenson, & Hugdahl, 2001), tais como a delinquência (Grigorenko, 2006; Shelley-Tremblay, O'brien, & Langhinrichsen-Rohling, 2007), problemas de internalização/externalização (Willcutt & Pennington, 2000) e disrupção (Maughan, Pickles, Hagell, Rutter, & Yule, 1996), por exemplo. Assim, uma precoce identificação de risco de problemas de leitura por meio de medidas indiretas fidedignas e com boas propriedades psicométricas, que ofereçam um critério operacional do construto leitura, pode desempenhar papel crucial na prevenção.

A despeito da carência desses instrumentos (Schatschneider, Petscher, & Williams, 2008), já se encontra na literatura internacional uma iniciativa na direção de supri-la. Snowling et al. (2011) ofereceram a um grupo de professores critérios de referência para a avaliação de crianças com atraso na leitura e risco de dislexia, nos estágios iniciais de alfabetização. Concluíram que os professores são tão bons juízes do progresso de seus alunos quanto os testes formais, se lhes são oferecidos critérios objetivos.

No Brasil, embora haja algumas pesquisas voltadas para a análise da eficácia do julgamento do professor sobre diferentes aspectos da vida acadêmica de seus alunos (p. ex., Capellini, Tonelotto, & Ciasca, 2004; Pinheiro, 2001; Salles & Parente, 2007; Soares et al., 2010) não dispomos de um instrumento baseado em critério que permita uma rápida e fidedigna categorização de crianças quanto a sua competência em leitura oral e/ou silenciosa, por meio do julgamento de professores. A identificação dessa carência foi a questão que estimulou a retomada da construção da Escala de Avaliação da Competência em Leitura pelo Professor - EACOL - iniciada em 2005, por Pinheiro e Costa.

O presente estudo tem como objetivo descrever o procedimento de elaboração da EACOL, por meio do estabelecimento de critérios e de consulta a especialistas (Pinheiro & Costa, 2005), assim como os procedimentos realizados para a produção da versão final do instrumento (Pinheiro & Costa, 2011). Objetiva ainda apresentar sucintamente os achados dos primeiros estudos de sua validação (concorrente e discriminante) e os resultados gerais sobre a sua consistência interna.

Método

A EACOL foi elaborada por meio de três procedimentos. O primeiro e o segundo, com base em Pasquali (2003), se referem respectivamente à construção de seus itens (e critérios) e à validação desses por meio de especialistas. Já o terceiro, consistiu da definição do formato final da escala e da elaboração de crivos de apuração de seus resultados.

Procedimento de Construção dos Itens e dos Critérios

Na construção do instrumento, uma revisão da literatura sobre a área de desenvolvimento da habilidade de reconhecimento de palavras (p. ex., Ehri, 1992, 2002) e de compreensão de leitura (p. ex., Cain & Oakhill, 1999; Nation & Snowling, 2004) ofereceram os elementos para a formulação de 40 itens descritores de comportamentos de leitura passíveis de observação e de definições operacionais dos critérios de classificação de leitores em três categorias: lê bem, lê razoavelmente e lê mal. Em cada nível de habilidade, os itens se subdividem em itens descritivos da habilidade de leitura em voz alta (LVA) e silenciosa (LS). Havia ainda uma quarta categoria que consistia de 17 itens que definiam os critérios de eficiência de leitura (em voz alta e silenciosa), conforme apresentado na Tabela 1.

Tabela 1 Habilidades Defi nidoras de Competência em Leitura nas Situações de Leitura em Voz Alta (LVA) e Leitura Silenciosa (LS) 

Critérios definidores de eficiência de LVA Critérios definidores de eficiência de LS
Rapidez no reconhecimento de palavras (frequentes) Ler sem movimentar os lábios
Rapidez no reconhecimento de palavras familiares
e não familiares (pouco frequentes)
Ler sem sussurrar
Rapidez no reconhecimento de palavras desconhecidas
ou inventadas
Capacidade de identificar personagens do texto
Precisão no reconhecimento de palavras Capacidade de identificar ideias principais do texto
Audibilidade Capacidade identificar o local onde a história
foi desenvolvida
Inteligibilidade Capacidade de identificar o assunto do texto
Ritmo Capacidade de escolher um título após ler o texto
Entonação Capacidade de síntese
Compreensão

Em conjunto, os itens definidores de leitura em voz alta foram elaborados para medir rapidez e acurácia no reconhecimento de palavras, audibilidade, inteligibilidade, prosódia e compreensão e os definidores de leitura silenciosa avaliavam compreensão, com exceção de um item que media capacidade de síntese.

Já os descritores das diferentes categorias de leitores, formavam conjuntos independentes que eram ordenados da seguinte forma: lê bem, lê razoavelmente e lê mal. Cada uma dessas categorias continha 15, 12 e 13 itens, respectivamente. A construção dos itens partiu do que se espera de um bom leitor e sempre que possível o item era reescrito de forma a contemplar o comportamento do leitor razoável e do ruim. Assim, os itens "É capaz de identificar o assunto a partir do título e vice-versa", "Nem sempre é capaz de identificar o assunto a partir do título e vice-versa" e "Não identifica o assunto a partir do título ou vice-versa", foram elaborados para a situação de leitura silenciosa, tendo em mente o bom, o razoável e o mau leitor, respectivamente. Finalmente, os itens e critérios foram organizados em um formato de questionário, que foi enviado por via eletrônica para os especialistas.

Estudo de Validação da Escala por meio de Consulta a Especialistas

Amostra. Participaram do estudo 10 juízes independentes (três fonoaudiólogas, quatro linguistas e três psicólogos), professores universitários, especialistas em avaliação psicológica e/ou no desenvolvimento da linguagem escrita, com publicações em uma ou ambas as áreas.

Procedimento. Os 40 itens foram submetidos a esses juízes, que receberam a instrução de classificá-los como pertinentes ou não pertinentes às categorias: lê bem, lê razoavelmente e lê mal. Para os itens considerados pertinentes deveriam avaliá-los em uma escala de 1 a 5 (onde 1 é pouco importante e 5 é muito importante) de acordo com o seu nível de importância. Os juízes foram ainda convidados a sugerir itens pertinentes, caso tivessem sugestões e a fazer observações. A seguir, foram solicitados a indicar se as habilidades apresentadas como critério (Tabela 1) foram devidamente contempladas na descrição do perfil dos três tipos de leitores e a avaliar o nível de importância de cada habilidade na definição de cada um desses perfis.

Resultados. Houve um retorno de 70% dos questionários enviados. Dois tratamentos foram realizados neste material. O primeiro consistiu no levantamento dos índices de confiabilidade entre os juízes por meio a medida Kappa (uma medida de concordância interobservador, que quantifica o grau de acordo entre juízes em escalas categóricas) e o segundo, na análise dos itens para os quais se encontrou um índice de concordância entre os juízes acima de 70%.

Para avaliar a concordância entre os juízes do presente estudo, o Kappa foi calculado para as duas formas da EACOL, lembrando que essa medida tem como valor máximo 1, que representa total concordância. Os valores próximos e até abaixo de 0, indicam nenhuma concordância. Para a Forma A, obteve-se o valor 0,39 e para a Forma B, o valor 0,34, ambos considerados como aceitáveis, sendo que o valor Kappa para a forma A ficou no limite superior dessa categoria, segundo Altman (1991).

A concordância entre os juízes não atingiu o valor definido em 27% (lê bem), 42% (lê razoável) e 15% (lê mal) dos itens (com o índice de concordância nesses itens variando de 14% a 57%). A análise desses itens mostrou que se tratavam, na maioria, de descritores de competências associadas às habilidades referentes à audibilidade/inteligibilidade da leitura em voz alta (p. ex., Lê com voz audível, pronunciando cada palavra, sem "atropelar" ou "engolir" as sílabas; Quem ouve a leitura, consegue escutar bem e entender as palavras que foram lidas) e a indícios de decodificação fonológica na leitura silenciosa (p. ex., Lê sem ficar movimentando os lábios, apenas movimentando os olhos; Lê sem pronunciar baixinho as palavras).

De fato, a análise da pertinência dos critérios para a definição da habilidade de leitura (Tabela 1) mostrou que entre 40 e 70% dos juízes não consideram a dimensão audibilidade/inteligibilidade e a presença de indícios de decodificação fonológica na leitura silenciosa importantes para descrever a competência do leitor, em qualquer categoria. Com base nesse resultado, todos os itens descritivos das habilidades audibilidade e inteligibilidade e indícios de leitura soletrada, foram excluídos, embora fossem coerentes com o que é apontado na literatura.

Sobre os itens para os quais se encontrou um índice de concordância entre os juízes acima do valor estipulado (70%), foram feitas análises separadas para cada perfil de leitor (lê bem, lê razoavelmente e lê mal) e para os critérios apresentados aos juízes. Para a análise do nível de importância (escala de 1 a 5) desses itens, foram consideradas as porcentagens de respostas graduadas nos níveis 4 e 5 de importância.

Nos três perfis de leitores, e para cada situação de leitura (LVA e LS) essas porcentagens variaram de 50 a 100, sendo que a porcentagem no limite inferior ocorreu em apenas um item: "Resume oralmente o que leu, mas tem dificuldades em elaborar resumos completos, por escrito". Esse item pertence à categoria "lê razoavelmente" e à situação de "leitura silenciosa". Em função do baixo grau de importância a ele atribuído e das sugestões de alguns juízes, foi reescrito da seguinte forma: "Apresenta certa dificuldade em resumir oralmente o que leu".

A Análise do nível de importância dos critérios julgados pertinentes (também para respostas graduadas nos níveis 4 e 5) mostrou que a amplitude das porcentagens variou de 60 (apenas um item) a 100. O item com o menor grau de importância pertence à situação de "leitura silenciosa" e se refere ao critério "Capacidade identificar o local onde a história foi desenvolvida". Esse item não foi alterado porque não recebeu nenhuma sugestão de alteração. No entanto, outros, em resposta aos comentários dos juízes sofreram pequenas alterações que se constituíram na retirada de partes deles ou substituição de palavras. Exemplos de comentários dos juízes para a situação "lê bem": "'ler imediatamente'... Acho que o conceito de ler imediatamente precisa ser definido. É uma leitura global ou rápida"; "'elaborando um novo texto', me parece ser uma tarefa de produção textual, e não de compreensão textual. Se esta última parte da questão não estivesse aí, eu a teria classificado como pertinente".

Em função desses comentários, a palavra "imediatamente" nos itens 1, 2 e 3 da situação de LVA foi substituída por rapidamente e o item da situação de LS "É capaz de resumir o texto lido elaborando um novo texto" foi reescrito: "É capaz de resumir oralmente o texto lido".

Conclusão da Etapa de Construção dos Itens. Excetuando-se os itens descritivos das habilidades audibilidade e inteligibilidade e indícios de leitura soletrada, que foram excluídos, os demais foram considerados com segurança bons descritores do construto Competência de Leitura. Após os procedimentos de exclusão e de alteração dos itens segundo as sugestões dos juízes, a EACOL ficou constituída de duas versões, Forma A e Forma B.

A Forma A foi elaborada para a avaliação da habilidade de leitura de crianças em fase final alfabetização, alunos do 2º ano do EF, com idade média de 7 anos. É constituída de 23 itens, sendo 13 relacionados à situação de leitura em voz alta, descritores das categorias lê bem, cinco itens; lê razoavelmente, quatro itens; e lê mal, também com quatro itens. Os dez itens restantes são relacionados à leitura silenciosa e são distribuídos quanto aos níveis de competência: lê bem, quatro itens; lê razoavelmente, três itens; e lê mal, três itens.

A Forma B foi construída, para leitores já alfabetizados - alunos de 8 a 10 anos, cursando do 3º. ao 5º. ano do EF. É composta de um total de 27 itens, sendo 17 itens relacionados à leitura em voz alta. Desses 17 itens, seis são relacionados à categoria lê bem; cinco descrevem competência razoável de leitura e seis descrevem habilidades de quem lê mal. Os dez itens restantes consideram a leitura silenciosa e são essencialmente os mesmos da Forma A, com exceção de partes dos seguintes dois itens: "É capaz de identificar personagens, lugares e ideias principais do texto, após a primeira leitura" e "Não é capaz de resumir o que leu, seja oralmente ou por escrito". Na Forma A, esses itens tiveram as partes "após a primeira leitura" e "por escrito" suprimidas, sendo que no último item foi ainda necessário reescrever o restante da frase, que ficou assim: "Não é capaz de resumir oralmente o que leu". Essas alterações foram necessárias porque se espera que os alfabetizandos, além de necessitarem de mais de uma leitura para entender um texto, não possuam ainda competência para resumir um texto por escrito. Outra diferença entre as Formas A e B, no que se refere à leitura silenciosa, é a ordem de apresentação dos itens.

Feitas essas ressalvas, podemos dizer que a diferenciação entre as Formas A e B se aplica, sobretudo, à situação de LVA, com o item "Lê rapidamente as palavras 'conhecidas'" sendo o único específico à Forma A. Isso por ser esperado, de acordo com as teorias de desenvolvimento da leitura, que no período de alfabetização as crianças dominem bem as palavras conhecidas, lendo-as rapidamente, em comparação às palavras novas ou menos conhecidas, que são lidas mais devagar (para resultados com crianças brasileiras que ilustram esse ponto, ver Pinheiro, 2008). Já os itens específicos à Forma B - "Lê rapidamente palavras 'conhecidas' e palavras 'pouco conhecidas'", "Lê rapidamente as palavras 'novas' e não-palavras" - refletem uma evolução no processo de reconhecimento de palavra em que tanto os estímulos conhecidos quanto os menos conhecidos são processados rapidamente. Dessa forma, o item "Demora iniciar a leitura quando encontra palavras 'novas', necessitando soletrá-las" foi elaborado tendo em vista o leitor razoável e o item "Diz 'não sei' quando encontra palavra nova", o mau leitor.

Como pode ser observado, o que distingue o leitor iniciante do leitor com crescente ganho de experiência é a forma como o último passa a reconhecer palavras novas e não-palavras. Enquanto o primeiro tipo de estímulo necessita cada vez menos ser decodificado, o segundo passa a ser reconhecido cada vez mais por um processo de decodificação eficiente, o que assinala, segundo Ehri (2002), a passagem para as fases alfabética plena e alfabética consolidada, dependendo dos anos de escolarização das crianças. Salles e Parente (2007) testaram a Forma B da EACOL com um grupo de cinco professores que preencheram o instrumento para 110 alunos do 3º. ano com idade média de 8,5 anos. Encontraram que a classificação feita pelos professores nas categorias "Lê bem", "Lê razoavelmente" e "Lê mal" foi eficaz. As crianças em cada uma dessas categorias diferenciaram-se nas tarefas de leitura de palavras isoladas e na tarefa de reconto. Nessa última atividade, por exemplo, 80%, 79% e 88% das crianças julgadas como boas, razoáveis e más leitoras, respectivamente, mostraram comportamento equivalente na tarefa de reconto. Esse resultado justifica o fato de a EACOL não ter sido submetida uma segunda vez aos mesmos juízes para a obtenção de novos índices de confiabilidade. Essa decisão foi ainda reforçada pelos comentários feitos por muitos juízes que, explicitamente, indicaram a mudança a ser feita no item de forma a torná-lo pertinente, ou a aumentar o seu grau de importância.

Procedimentos Após a Validação por Meio de Consulta a Especialistas - Instrumento Final a Ser Utilizado Pelos professores

O próximo passo na construção da escala, etapa realizada em 2011 por Pinheiro e Costa, foi a mudança de seu formato, já que na versão submetida aos juízes, os itens definidores de cada perfil de leitor para cada situação de leitura foram apresentados em blocos. Isso porque, neste estágio da construção do instrumento, era necessário, com ajuda dos juízes, selecionar para cada tipo de leitor, os itens que melhor os descrevia. Uma vez satisfeito esse objetivo, a apresentação da escala neste formato original poderia contaminar o julgamento do professor a respeito do aluno.

Assim, nas duas versões da EACOL e em cada situação, leitura em voz alta e leitura silenciosa, os itens pertencentes às três categorias (lê bem, lê razoavelmente e lê mal) foram aglomerados e aleatorizados. À frente de cada item foi colocada a opção SIM e NÃO para ser escolhida pelo professor, de acordo com a sua percepção sobre o aluno avaliado. Reiterando, o processo de aleatorização dos itens foi feito para evitar tendenciosidade por parte do respondente ao preencher a escala. Subsequentemente, elaboramos a instrução para o professor que consistia em solicitá-la a classificar a leitura de cada um de seus alunos de acordo com os critérios dados e levando em consideração o seu ano escolar.

Definidos os formatos, procedeu-se à elaboração de crivos de apuração dos resultados da avaliação dos leitores pelos professores. Tais crivos foram objeto de várias testagens até chegar ao formato final, apresentado a seguir.

Para as duas versões do instrumento, o procedimento considerou dois princípios. O primeiro estabeleceu pesos diferentes de acordo com a habilidade de leitura que representam. Os itens pertencentes às categorias "lê bem" e "lê mal" receberam peso 2 e os itens pertencentes à categoria lê razoavelmente, peso 1. O segundo princípio estabeleceu valores positivos aos itens da categoria lê bem e negativos aos itens da categoria lê mal. A combinação desses dois princípios gerou uma matriz. A título de exemplo, o Anexo apresenta a versão final da EACOL, seu respectivo crivo de correção e escores máximos para a Forma B.

Por essa matriz podemos observar que para os itens descritivos da categoria "lê bem", o professor, ao avaliar um bom leitor, deve responder sim a esses itens e para cada resposta recebe o valor +2. A resposta não a esses itens, que denota um mau leitor, vale -2. Na situação inversa, ou seja, para a categoria "lê mal" (LM), o professor, ao avaliar um mau leitor, deve responder sim a esses itens e para cada resposta recebe o valor -2. Igualmente à situação anterior, a resposta não a esses itens, denota um leitor da categoria oposta, nesse caso, um bom leitor.

Conclui-se então que a valoração das respostas foi feita de tal forma que as respostas que identificam o bom leitor valham sempre +2, enquanto as respostas que identificam o mau leitor valem sempre -2, independentemente da alternativa sim ou não respondida. A ideia é que se o professor responde de forma aleatória ou incongruente a dois itens, os escores para esses itens se compensam. Um exemplo dessa situação na Forma B: se o professor responder sim aos itens 8 (LM) "Lê muito devagar, sem ritmo, soletrando cada sílaba, não observa a pontuação" e 17 (LB) "Lê com ritmo, nem tão devagar, nem tão rápido", o escore obtido será zero [(-2) + 2 = 0]. Assim a avaliação que faz do aluno fica menos sujeita a erros e apresenta, portanto, maior validade. Quando o professor comete 50% de inconsistências desse tipo, o seu protocolo é anulado. A distribuição de valores com base na curva normal de probabilidades para as Formas A e B será apresentado no manual da escala em preparação.

Os Primeiros Estudos de Validação da EACOL e Dados sobre sua Consistência Interna

Até o momento, dois estudos de validação foram conduzidos. O primeiro (Lúcio & Pinheiro, 2013) considerou as Formas A e B da escala e o segundo (Cogo-Moreira, Ploubidis, de Ávila, de Jesus Mari, & Pinheiro, 2012), apenas a Forma B.

Lúcio e Pinheiro (2013) encontraram que, em geral, as correlações entre o desempenho de uma amostra de crianças de Belo Horizonte do 2º. ao 5º. ano do EF (N = 137; idade média = 8,7; DP = 1,252) em uma medida de reconhecimento de palavras e a EACOL foram moderadas, conforme encontrado na literatura. Hecht e Greenfield (2002), por exemplo, mostram que as médias entre o desempenho do aluno e a avaliação do professor giram em torno de 0,66. A seguir, Lúcio e Pinheiro, consideraram as porcentagens de concordância entre o desempenho de leitura das mesmas crianças e a avaliação dos professores. Encontraram que a maior concordância ocorreu entre as classificações de habilidade mais baixas e a menor nos níveis mais elevados, sugerindo, na primeira situação, que as crianças avaliadas como más leitoras, de fato, apresentaram problemas nessa habilidade e, na segunda, que aquelas com alto desempenho tiveram sua habilidade de leitura subestimada pelos professores. Esse achado sugere que os itens do instrumento devem passar por ajustes de maneira a melhorar o grau de concordância nos níveis mais elevados de habilidade.

Cogo-Moreira et al. (2012) tomando a amostra de alunos do 3o. ao 5º. ano do estudo de Lúcio e Pinheiro (2013) e a avaliação de seus respectivos professores, primeiramente, realizaram uma Análise de Classes Latentes com o intuito de verificar em quantos grupos a EACOL poderia classificar as crianças considerando o constructo subjacente - a leitura. O modelo com melhores indicadores foi o de três grupos latentes, tal como previsto pelas autoras. Em seguida, realizaram uma nova Análise de Classes Latentes considerando uma nova população de escolares (235 crianças idade média = 9,15; DP = 0,05) de 10 escolas de regiões carentes da cidade de São Paulo. A instrução apresentada aos professores foi: ". . . pensando nos alunos que possuem uma leitura abaixo da média ou esperado para a série, por favor, preencham e a EACOL". Essa instrução foi dada, pois nessa nova amostra os pesquisadores estavam em busca de crianças com dificuldades de leitura para a realização de um estudo intervencionista a respeito da eficácia da educação musical para aprimoramento das dificuldades de leituras.

No estudo anteriormente mencionado com a instrução restritiva a Análise de Classes Latentes retornou um modelo que permitiria dividir a amostra de 235 crianças sugerida pelos professores em dois grupos, um de maus leitores e outro de leitores razoáveis, desaparecendo, portanto, uma das categorias - bom leitor. Posteriormente, uma validação com medidas de acurácia de leitura de palavras, de pseudopalavras e de texto foi realizada e em todas essas medidas os dois grupos latentes discriminados pela EACOL foram preditores de uma má leitura após o controle de gênero, escolaridade e idade. As associações encontradas entre o julgamento do professor e todas essas medidas diretas de leitura proveram ao instrumento validade concorrente. Ao mesmo tempo, nenhuma associação entre o julgamento do professor e comportamento ou com a inteligência - medidos pelo Questionário de Capacidades e Dificuldades (QCD) de Goodman (1997) e pelo WISC-III (Wechsler, 1991), respectivamente - foi obtida, o que, por sua vez, conferiu validade discriminante à EACOL. O QCD, um instrumento preenchido pelos professores, é composto de 25 itens e cinco escalas. Oferece uma breve triagem sobre sintomas emocionais, problemas de conduta, déficit de atenção/hiperatividade, relacionamento com os pares e comportamento pró-social. Dessa forma, a evidência de baixa correlação entre medidas de habilidade de leitura (no caso, a EACOL) e de comportamento (assim como de inteligência), que supostamente se diferem entre si, indica que diferentes construtos teóricos estão em jogo.

No que se refere à consistência interna da EACOL, a análise da fidedignidade, efetuada por meio do coeficiente alfa de Cronbach (α), revelou-se excelente. Na amostra estudada (um total de 496 crianças - 128 alunos do 2º. ano e 368 do 3º. ao 5º. do EF - das cidades de Belo Horizonte e São Paulo) o instrumento se mostrou uma medida fidedigna para cada forma da escala, tanto no que diz respeito à totalidade dos itens [Forma A (α 0,9148) e Forma B (α, 0,9361)], quanto em cada subdivisão em leitura em voz alta e silenciosa, isoladamente (amplitude de alfa: 0,9063 - 0,9374), revelando que os itens em todas as situações da escala estão bem conectados. (Para detalhes sobre essa análise, ver Pinheiro, 2012).

Discussão

O trabalho teve como objetivo apresentar a Escala de Avaliação da Competência em Leitura pelo Professor (EACOL) - um instrumento construído com a finalidade de fornecer uma forma rápida e eficiente para avaliar a habilidade de leitura de crianças nas séries iniciais do Ensino Fundamental nas situações de leitura em voz alta e silenciosa - e o procedimento de sua elaboração. A acurácia e o rigor desse procedimento se refletiu nos índices psicométricos obtidos pela escala nos estudos de validação, especialmente o de Cogo-Moreira et al. (2012), e de fidedignidade (Pinheiro, 2012) realizados. Em conjunto, esses estudos mostram que a EACOL pode ser uma forma útil para a triagem de diferentes níveis de habilidades de leitura em crianças.

Um achado importante é o de que os professores, ao julgarem o desempenho de leitura de seus alunos, não se deixam influenciar por outros fatores além da própria leitura, uma vez que conseguiram detectar dificuldades nessa habilidade e as diferenciaram de problemas de ordem comportamental e cognitiva (Cogo-Moreira et al., 2012). Essa imparcialidade do professor está em desacordo com a visão de autores tais como Bennett et al. (1993) e Soares et al. (2010), que consideram que a percepção do professor sobre o comportamento de seus alunos pode induzir a julgamentos tendenciosos sobre o desempenho escolar dos mesmos. Por outro lado, o referido achado está em sintonia com Snowling et al. (2011), que mostraram que os professores, uma vez munidas de critérios de referência para conduzirem suas avaliações, conseguem muito cedo identificar sinais de atraso na leitura e risco de dislexia.

Sobre os desenvolvimentos futuros, a EACOL poderá ainda passar por pequenas alterações, tais como o ajuste e/ou exclusão de um ou outro item, após uma análise criteriosa via teoria de resposta ao item. Além disso, o formato das respostas poderá ser modificado, já que, como assinala Pinheiro (2012), o atual nível de mensuração nominal dicotômico com apenas respostas SIM e NÃO, parece ser limitado do ponto de vista de oferecer alternativas para o professor. Diante de apenas dessas duas opções, este, por não conseguir encaixar o desempenho do aluno em nenhuma delas, pode se isentar da resposta ou selecionar aleatoriamente uma das duas opções. Com vistas a contornar essa limitação, identificada nos estudos após a validação da escala por meio de consulta a especialistas, recomenda-se o acréscimo da opção NÃO SEI AVALIAR. Essa nova alternativa não seria pontuada e o grande índice da mesma (a ser estabelecido) anularia a avaliação do professor.

Considerações Finais

Após os aperfeiçoamentos sugeridos, a proposta da EACOL poderá fornecer a pesquisadores da área um instrumental válido e de fácil manejo, permitindo a comparação de avaliações feitas por diferentes professores a partir de um referencial unificado, como uma primeira aproximação na investigação das habilidades de leitura. Além de sua função de triagem, poderá ser também útil para o professor avaliar o progresso do aluno no decorrer do ano letivo, o que abre a possibilidade da EACOL ser empregada em situações de pré e pós-teste em estudos sobre o desenvolvimento da leitura.

Em consonância com a visão de muitos autores, a começar por Hoge e Cudmore, (1986), esperamos ter criado um instrumento em que o julgamento e a avaliação dos professores sejam utilizados como medida psicológica, regida por um critério operacional e objetivo.

Referências

Altman, D. G. (1991). Practical statistics for medical research. London: Chapman and Hall. [ Links ]

Bates, C., & Nettelbeck, T. (2001). Primary school teachers' judgments of reading achievement. Educational Psychology, 21(2), 177-187. doi:10.1080/01443410020043878 [ Links ]

Begeny, J. C., Eckert, T. L., Montarello, S. A., & Storie, M. S. (2008). Teachers' perceptions of students' reading abilities: An examination of the relationship between teachers' judgments and students' performance across a continuum of rating methods. School Psychology Quarterly, 23(1), 43-55. doi:10.1037/1045-3830.23.1.43 [ Links ]

Bennett, R. E., Gottesman, R. L., Rock, D. A., & Cerullo, F. (1993). Influence of behavior perceptions and gender on teachers' judgments of students' academic skill. Journal of Educational Psychology, 85(2), 347-356. doi:10.1037/0022-0663.85.2.347 [ Links ]

Cabell, S. Q., Justice, L. M., Zucker, T. A., & Kilday, C. R. (2009). Validity of teacher report for assessing the emergent literacy skills of at-risk preschoolers. Language, Speech, and Hearing Services in Schools, 40(2), 161-173. doi:10.1044/0161-1461 [ Links ]

Cain, K., & Oakhill, J. V. (1999). Inference making ability and its relation to comprehension failure in young children. Reading and Writing: An Interdisciplinary Journal, 11, 489-503. doi:10.1023/A:1008084120205 [ Links ]

Capellini, S. A., Tonelotto, J. M. F., & Ciasca, S. M. (2004). Medidas de desempenho escolar: Avaliação formal e opinião de professores. Estudos de Psicologia (Campinas), 21(2), 79-90. doi:10.1590/S0103-166X2004000200006 [ Links ]

Catts, H. W. (1997). The early identification of language-based reading disabilities. Language, Speech, and Hearing Services in Schools, 28(1), 86-89. doi:10.1044/0161-1461.2801.86 [ Links ]

Cogo-Moreira, H., Ploubidis, G. B., de Ávila, C. R. B., de Jesus Mari, J., & Pinheiro, A. M. V. (2012). EACOL (Scale of Evaluation of Reading Competence by the Teacher): Evidence of concurrent and discriminant validity. Neuropsychiatric Disease and Treatment, 2012(8), 443-454. doi:10.2147/NDT.S36196 [ Links ]

Coladarci, T. (1992). Teacher sense of efficacy and commitment to teaching. Journal of Experimental Education, 60(4), 323-337. doi:10.1080/00220973.1992.9943869 [ Links ]

Ehri, L. C. (1992). Reconceptualizing the development of sight word reading and its relationship to recoding. In P. Gough, L. C. Ehri, & R. Treiman (Eds.), Reading acquisition (pp. 107-143). Hillsdale, NJ: Lawrence Erlbaum Associates. [ Links ]

Ehri, L. C. (2002). Phases of acquisition in learning to read words and implications for teaching. In R. Stainthorp & P. Tomlinson (Eds.), Learning and teaching reading. London: British Journal of Educational Psychology Monograph Series II. [ Links ]

Fuchs, D., & Fuchs, L. (2006). Introduction to response to intervention: What, why, and how valid is it? Reading Research Quarterly, 41(1), 92-99. doi:10.1598/RRQ.41.1.4 [ Links ]

Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38(5), 581-586. doi:10.1111/j.1469-7610.1997.tb01545.x [ Links ]

Grigorenko, E. L. (2006). Learning disabilities in juvenile offenders. Child and Adolescent Psychiatric Clinics of North America, 15(2), 353-371. doi:10.1016/j.chc.2005.11.001 [ Links ]

Hecht, S. A., & Greenfield, D. B. (2002). Explaining the predictive accuracy of teacher judgments of their students' reading achievement: The role of gender, classroom behavior, and emergent literacy skills in a longitudinal sample of children exposed to poverty. Reading and Writing: An Interdisciplinary Journal, 15, 789-809. doi:10.1023/A:1020985701556 [ Links ]

Heiervang, E., Lund, A., Stevenson, J., & Hugdahl, K. (2001). Behaviour problems in children with dyslexia. Nordic Journal of Psychiatry, 55(4), 251-256. doi:10.1080/080394801681019101 [ Links ]

Hoge, R. D., & Coladarci, T. (1989). Teacher-based judgments of academic achievement: A review of literature. Review of Educational Research, 59(3), 297-313. doi:10.3102/00346543059003297 [ Links ]

Hoge, R. D., & Cudmore, L. (1986). The use of teacher-judgment measures in the identification of gifted pupils. Teaching and Teacher Education, 2, 181-196. doi:10.1016/0742-051X(86)90016-8 [ Links ]

Instituto Brasileiro de Geografia e Estatística. (2012). Pesquisa Nacional por Amostra de Domicílios, 32, 1-134. Recuperado em 10 de novembro, 2014, de ftp://ftp.ibge.gov.br/Trabalho_e_Rendimento/Pesquisa_Nacional_por_Amostra_de_Domicilios_anual/2012/Volume_Brasil/pnad_brasil_2012.pdf [ Links ]

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2011). Sistema Nacional de Avaliação da Educação Básica - SAEB. Resultados Saeb/Prova Brasil 2011 - Língua Portuguesa. Recuperado em http://portal.inep.gov.br/web/prova-brasil-e-saeb/edicao-2011 [ Links ]

Kenny, D. T., & Chekaluk, E. (1993). Early reading performance: A comparison of teacher-based and test-based assessments. Journal of Learning Disabilities, 26(4), 227-236. doi:10.1177/002221949302600403 [ Links ]

Lúcio, P. S., & Pinheiro, A. M. V. (2013). Escala da Avaliação da Competência da Leitura pelo Professor (EACOL) - Evidências de validade de critério. Temas em Psicologia, 21(2), 499-511. doi:88/TP2013.2-15 [ Links ]

Madelaine, A., & Wheldall, K. (2005). Identifying low-progress teacher judgment with a curriculum-based measurement procedure. International Journal of Disability, Development and Education, 52(1), 33-42. doi:10.1080/10349120500071886 [ Links ]

Maughan, B., Pickles, A., Hagell, A., Rutter, M., & Yule, W. (1996). Reading problems and antisocial behaviour: Developmental trends in comorbidity. Journal of Child Psychology Psychiatry, 37(4), 405-418. doi:10.1111/j.1469-7610.1996.tb01421.x [ Links ]

Ministério da Educação. (2013). Compromisso Todos pela Educação. Brasília, DF: Assessoria de Comunicação Social. Recuperado em 10 de novembro, 2014, de www.todospelaeducacao.org.br/educacao-no-brasil/dados-das-5-metas/ [ Links ]

Nation, K., & Snowling, M. (2004). Beyond phonological skills: Broader language skills contribute to the development of reading. Journal of Research in Reading, 27(4), 342-356. doi:10.1111/j.1467-9817.2004.00238.x [ Links ]

Pasquali, L. (2003). Psicometria: Teoria dos testes na psicologia e na educação. Petrópolis, RJ: Vozes. [ Links ]

Pinheiro, A. M. V. (2001). Heterogeneidade entre leitores julgados competentes pelas professoras. Psicologia: Reflexão e Crítica, 14(3), 537-551. doi:10.1590/S0102-79722001000300009 [ Links ]

Pinheiro, A. M. V. (2008). A leitura e a escrita. Uma abordagem cognitiva. São Paulo, SP: Livro Pleno. [ Links ]

Pinheiro, A. M. V. (2012). Os primeiros estudos sobre a validação da Escala de Avaliação de Competência de Leitura pelo Professor - EACOL. In F. L. Viana, R. Ramos, E. Coquet, & M. Martins (Eds.), Leitura, literatura infantil e ilustração: Investigação e prática docente 9. Braga, Portugal: Centro de Investigação em Estudos da Criança, Universidade do Minho. [ Links ]

Pinheiro, A. M. V., & Costa, A. E. B. (2005). Escala da avaliação de competência em leitura pelo professor [Resumo]. In Instituto Mineiro de Avaliação Psicológica (Ed.), VII Encontro Mineiro de Avaliação Psicológica. Resumos (p. 27). Belo Horizonte, MG: Instituto Mineiro de Avaliação Psicológica. [ Links ]

Pinheiro, A. M. V., & Costa, A. E. B. (2011). Construção e validação da Escala de Avaliação de Competência de Leitura de Alunos pelo Professor - EACOL. In Seminário Internacional de Alfabetização na Perspectiva da Psicologia Cognitiva da Leitura. São Paulo, SP. Recuperado em www.seminárioalfabetização2011.com.br [ Links ]

Salles, J. F., & Parente, M. A. M. P. (2007). Relação entre desempenho infantil em linguagem escrita e percepção do professor. Cadernos de Pesquisa, 37(132), 687-709. doi:10.1590/S0100-15742007000300009 [ Links ]

Schatschneider, C., Petscher, Y., & Williams, K. M. (2008). How to evaluate a screening process: The vocabulary of screening and what educators need to know. In L. Justice & C. Vukelic (Eds.), Achieving excellence in preschool language and literacy instruction (pp. 304-316). New York: Guilford Press. [ Links ]

Shelley-Tremblay, J., O'brien, N., & Langhinrichsen-Rohling, J. (2007). Reading disability in adjudicated youth: Prevalence rates, current models, traditional and innovative treatments. Aggression and Violent Behaviour, 12(3), 376-392. doi:10.1016/j.avb.2006.07.003 [ Links ]

Snowling, M. J., Duff, F., Petrou, A., Schiffeldrin, J., & Bailey, A. M. (2011). Identification of children at risk of dyslexia: The validity of teacher judgements using 'Phonic Phases'. Journal of Research in Reading, 34(2), 157-170. doi:10.1111/j.1467-9817.2011.01492.x [ Links ]

Soares, T. M., Fernandes, N. S., Ferraz, M. S. B., & Riami, J. L. R. (2010). A expectativa do professor e o desempenho dos alunos. Psicologia: Teoria e Pesquisa, 26(1), 157-170. [ Links ]

Wechsler, D. (1991). WISC-III: Escalas de Inteligência Wechsler para crianças: Manual (3. ed., V. L. M. de Figueiredo, Adaptação e padronização). São Paulo, SP: Casa do Psicólogo. [ Links ]

Willcutt, E. G., & Pennington, B. F. (2000). Psychiatric comorbidity in children and adolescents with reading disability. Journal of Child Psychology and Psychiatry, 41(8), 1039-1048. [ Links ]

Wright, D., & Wiese, M. (2001). Teacher judgment in student evaluation: A comparison of Grading Methods. Journal of Educational Research, 82(1), 10-14. [ Links ]

Recebido: 25 de Janeiro de 2013; Revisado: 14 de Outubro de 2013; Aceito: 12 de Dezembro de 2013

* Endereço para correspondência: Departamento de Psicologia, Universidade Federal de Minas Gerais, Campus da Pampulha, Av. Antônio Carlos, 6627, Belo Horizonte, MG, Brasil 31270-901. E-mail: pinheiroamva@gmail.com e abellico.bhz@terra.com.br

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution Non-Commercial, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais e que o trabalho original seja corretamente citado.