Estudo de competências básicas das populações jovem e adulta ECBP-1996: termos de referência do projeto

Study of basic competencies in the adult population

Estudo de competências básicas das populações jovem e adulta ECBP-1996: Termos de referência do projeto

Philip R. Fletcher^*

RESUMO: As transformações tecnólogicas exigem o domínio de habilidades cognitivas mais complexas. A pesquisa proposta desenvolverá novos instrumentos de avaliação das competências básicas usadas na compreensão de prosa e poesia, documentos e operações quantitativas. Os novos instrumentos deveriam ser aplicados numa amostra probabilística de base domiciliar no Rio de Janeiro (RJ) e em Campinas (SP), para identificar potencialidades e lacunas no domínio das competências básicas da população jovem e adulta. Pretende-se treinar pessoal na elaboração de instrumentos novos , nos procedimentos do trabalho de campo e nas técnicas de análise em psicometria, permitindo ainda outros estudos das qualificações básicas de mão-de-obra brasileira no futuro próximo.

Palavras-chave: Avaliação, competência básica, TRI

Como resultado dos avanços tecnológicos e da valorização generalizada da educação formal, a cada dia, as habilidades cognitivas básicas acabam se tornando progressivamente mais importantes no Brasil. As pessoas precisam de habilidades cada vez mais complexas para disputar as oportunidades escolares e profissionais que estão associadas à melhoria da qualidade de vida, a uma cidadania consciente e participativa e a maiores opções para desenvolver-se e contribuir com a sociedade. No entanto, à medida que o nível das habilidades requisitadas aumenta, um crescente número de pessoas não consegue mais se manter a par das demandas de habilidades básicas que enfrenta no dia-a-dia.

Embora o problema em relação às competências básicas não seja exatamente novo, ele se complica hoje como resultado de forças que operam para alterar a organização do trabalho. Essas forças criam uma espécie de déficit de competência técnica que ameaça a competitividade de nossa indústria e de nosso comércio, criando barreiras que comprometem o desenvolvimento de toda a sociedade. É preciso dominar os níveis mais complexos de competências que a economia de hoje exige, para garantir o desenvolvimento social pleno do futuro.

Na medida em que a base industrial da sociedade se transforma progressivamente com a introdução da informática, muda a própria natureza das tarefas que exigem as habilidades básicas. A alfabetização, concebida como um processo de simples decodificação de letras e sons ou de produção e compreensão de histórias escritas, transforma-se num contexto de processamento de informações. Aí, o desempenho das tarefas requer que o sujeito localize informações corretas no meio de uma apresentação complexa de material impresso, bem como preserve essas informações na memória enquanto procura outras informações complementares, para depois escrever ou comunicar de outra forma o resultado. Freqüentemente, isso envolve não apenas a leitura e a compreensão de material textual, mas também o estudo de tabelas, gráficos e a execução de cálculos para completar a tarefa.

Embora a necessidade de melhorar as habilidades básicas de toda a população seja amplamente reconhecida, esforços para melhorar o nível das competências precisam de informações que retratem a situação existente e esclareçam a natureza própria e as características das habilidades básicas encontradas em indivíduos e em grupos da sociedade. Infelizmente, faltam as informações mais elementares sobre as condições cognitivas da população brasileira.

Os processos usados para determinar a taxa de alfabetização da população, na base de uma simples autodeclaração voluntária, são superficiais e notoriamente falhos. Não se sabe com precisão que habilidades as pessoas dominam no que se refere à compreensão dos códigos e signos do mundo contemporâneo, quem são essas pessoas ou qual a natureza e a abrangência das dificuldades que enfrentam em suas vidas cotidianas. A falta de instrumentos de medida adequados para o tratamento da questão sujeita-nos à utilização de métodos muito grosseiros para avaliar as habilidades e o progresso de indivíduos, estudar a eficácia de diferentes currículos de educação básica ou acompanhar o progresso do país a caminho da realização de seu potencial econômico e social.

Conceitualmente, é preciso evitar a tendência quase universal de simplificar a natureza das habilidades básicas, reduzidas a um simples conceito de alfabetização. Deve-se reconhecer que critérios censitários que simplificam a alfabetização ao ponto de permitir uma resposta oral em termos de um resumido "sim" ou "não" descaracterizam totalmente a questão. Como conseqüência, as categorias simplistas de "analfabeto", "alfabetizado" ou "funcionalmente alfabetizado" escondem mais do que revelam sobre a distribuição das competências básicas na população e as reais dificuldades enfrentadas por ela no decorrer de um dia.

Ao contrário, deve-se reconhecer que as pessoas desenvolvem uma grande variedade de habilidades de compreensão e de uso da leitura, que refletem o contexto social em que interagem com materiais impressos, seja este no lar, na comunidade, na escola ou no trabalho. Por conseguinte, os novos instrumentos de avaliação precisam levar em conta a dificuldade da matéria encontrada e o contexto em que está inserida ao retratar um perfil de habilidades e competências básicas, ao invés de conduzir a um juízo simplista imperativo e categórico sobre a mera alfabetização.

Em 1985, o National Assessment of Educational Progress (Naep) americano desenvolveu uma pesquisa domiciliar para avaliar as habilidades e competências básicas de jovens adultos de 21 a 25 anos. Essa experiência foi seguida pelo Workplace Literacy Project, de 1990, do U.S. Department of Labor, e o National Adult Literacy Survey (Nals), de 1992, patrocinado pelo U.S. Department of Education, todos executados sob contrato com o Educational Testing Service (ETS) de Princeton, NJ, utilizando uma metodologia comum. Essas experiências inspiraram várias outras, mundo afora, no Canadá, na Alemanha, na França, na Holanda, na Irlanda, na Suíça, na Polônia e na Austrália, entre outros países.

Na tentativa de representar as diversas perspectivas da questão das habilidades básicas, o ETS convocou um painel de especialistas para estabelecer um quadro de referência para suas avaliações. As deliberações levaram-nos a adotar a seguinte definição da alfabetização: "O uso de informação impressa e escrita para operar na sociedade, alcançar seus objetivos e desenvolver seu conhecimento e potencial". Prosseguiram ao identificar três dimensões que representam aspectos distintos e importantes da alfabetização, ampliados aqui para circunscrever as competências e as habilidades básicas:

Competência de leitura de prosa e poesia, relativa à execução de tarefas que envolvem os conhecimentos e as habilidades necessários para compreender e usar informação de textos tais como editoriais, reportagens, artigos, letras de música, poemas e ficção encontrados em jornais, revistas e livros na escola, em casa ou na vida em sociedade. A competência de leitura envolve o domínio da síntese da idéia central, da recordação de detalhes, da classificação de fatos, da interpretação de significados múltiplos, da previsão de eventos, do reconhecimento de causa e efeito, da capacidade de resumir argumentos e da síntese de inferências, entre outros.

Competência de leitura de documentos, relativa à execução de tarefas que envolvem os conhecimentos e as habilidades necessários para localizar e usar informações encontradas em formulários para pedido de emprego, contracheques, requisições, faturas, pedidos de entrega, roteiros de transporte, mapas, tabelas, gráficos, relações e índices encontrados no comércio e na vida civil.

Competência de operações quantitativas, relativa à execução de tarefas que envolvem os conhecimentos e habilidades necessários para realizar operações aritméticas, tanto isoladamente quanto numa seqüência de passos. As tarefas envolvem matérias impressas, tais como conciliar um talão de cheque, computar um desconto proporcional ao total de uma fatura, calcular o menor preço por unidade constante de medida, preencher uma requisição de compra, determinar a quantidade de juros a partir de um anúncio para empréstimos ou determinar horários para a dosagem de medicamentos.

O que se propõe aqui é aproveitar de uma parte dessa experiência, devidamente adaptada e ampliada para atender às condições existentes no país, para melhor compreender as diversas facetas do problema e das habilidades e competências básicas da população adulta de 15 a 54 anos, e desenvolver técnicas de medida para a avaliação e o acompanhamento de programas e projetos de aperfeiçoamento e treinamento profissionais no Brasil. Embora se reconheça a importância das habilidades de trabalhar em grupo, habilidades de relacionamento interpessoal e habilidades de comunicação que operam em diversos contextos sociais, tais como o local de trabalho, sentimo-nos impossibilitados de abordar essas questões nesse projeto, a não ser de forma geral, através dos dados socioeconômicos e culturais levantados no questionário de mão-de-obra da pesquisa de campo.

Os novos instrumentos de avaliação cognitiva a serem desenvolvidos pelo projeto servirão para identificar potencialidades e lacunas no desenvolvimento das habilidades básicas; explorar fatores socioculturais associados ao domínio dessas habilidades na população adulta; identificar as principais necessidades educacionais a partir de uma perspectiva adulta, de modo a estabelecer novas prioridades para o ensino infantil e adulto; e produzir instrumentos e um modelo de levantamento que possam ser facilmente estendidos para investigar as necessidades socioculturais da mão-de-obra e de populações contempladas nos grandes projetos de desenvolvimento industrial.

Pretende-se com isso desenvolver sólidas técnicas de avaliação que possam ser reaproveitadas em diversas ocasiões no futuro; treinar pessoal iniciante e experiente nos procedimentos de elaboração dos instrumentos, trabalho de campo e técnicas de análise em psicometria; e, de maneira geral, reforçar a base institucional do Centro de Estudos Educação e Sociedade (Cedes) em Campinas, SP, e do Instituto de Estudos da Cultura e Educação Continuada (IEC) no Rio de Janeiro, duas instituições não-governamentais que se associam para desenvolver as atividades desse projeto. No momento, há várias instituições que se empenham para desenvolver o potencial da avaliação sistemática dos resultados cognitivos alcançados no ensino de crianças e jovens no Brasil. No entanto, há poucas instituições, fora as duas já citadas, que se empenham em desenvolver técnicas de avaliação cognitiva próprias para avaliação da população geral e para ser utilizadas em levantamentos sobre as qualificações da mão-de-obra. Pretende-se aplicar os instrumentos em outros projetos que investigam as potencialidades dos trabalhadores da indústria, do comércio e de outros setores da economia.

As três dimensões das competências básicas apresentadas acima envolvem processos ativos de construção da compreensão, em vez de um simples processo passivo de reconhecimento de palavras e idéias. Nosso objetivo imediato é demonstrar, em termos que possam ser facilmente compreendidos, o que a população adulta consegue fazer, efetivamente. Isto inclui evidentemente a quantidade e a amplitude dos conhecimentos já adquiridos, mas prioriza o uso funcional do conhecimento adquirido na resolução de problemas, na avaliação de argumentos conflitantes, no raciocínio crítico e na aprendizagem de novos conhecimentos a partir de matérias novas a serem apresentadas em tarefas simuladas. Pretende-se elaborar itens de testes novos com tarefas simuladas, que levam em conta os seguintes objetivos:

– priorizar o uso de tarefas simuladas em vez das perguntas de múltipla escolha tradicionais;

– dar ênfase a uma grande amplitude de habilidades de processamento de informações aplicáveis numa grande diversidade de contextos;

– dar ênfase às tarefas simuladas que demonstram como o examinado procederia à especificação e à resolução de um determinado problema; e

– desenvolver tarefas quantitativas que permitam ao entrevistado usar uma calculadora com um número mínimo de funções para solucionar problemas.

As tarefas dos instrumentos de avaliação a serem desenvolvidos pelo projeto deveriam se basear em autênticas matérias escritas e impressas encontradas no mundo real: em casa, no trabalho ou em comunidades de todo o país. Procuram-se apresentar trechos mais extensos de materiais encontrados na sociedade, reproduzidos nos instrumentos de avaliação assim como aparecem em suas publicações de origem, utilizando equipamento do projeto para armazenar imagens originais e facilitar sua reprodução em fac-símile para compor novos cadernos de prova. Histórias, tabelas, índices, artigos e seções completas de livros deveriam ser usados na íntegra, evitando meras citações ou resumos, para recriar experiências realistas e válidas. Trechos escritos especificamente para integrar as provas jamais serão aceitos para compor os instrumentos de avaliação desse projeto. O texto original será alterado apenas para resguardar a privacidade e o anonimato de terceiros citados nominalmente, conforme necessário. Portanto, cada estímulo requer uma referência explícita à origem do documento apresentado.

Procura-se alcançar certo equilíbrio nos temas apresentados nos instrumentos de avaliação, sem favorecer qualquer ponto de vista especial. O conteúdo das provas pode tratar de questões estéticas e filosóficas (a natureza do homem, da mente, do universo), do mundo de assuntos práticos, de ciências e de relações humanas, sem priorizar qualquer uma dessas áreas em particular. As pessoas respondem lendo, escrevendo, falando e escutando tarefas que requerem a demonstração para sua resolução, o reconhecimento, a aquisição, a organização, a interpretação, a produção e a aplicação de informações encontradas em diversos tipos de materiais impressos.

O desempenho demonstrado em qualquer tarefa que exige as competências básicas reflete a interação entre a estrutura da matéria original de estímulo, o que se propõe que a pessoa faça com a matéria e, ainda, a natureza do conteúdo ou contexto dessa matéria. O conteúdo ou contexto da matéria é fundamental para a elaboração de um significado a partir do texto. Além de sua familiaridade com o processo de leitura, bons leitores usam seu conhecimento a priori do tema, a estrutura do texto e o propósito da leitura para elaborar o significado do texto que lêem. Diferentes tipos de texto aparecem em diferentes formatos de apresentação e estruturas de organização que influenciam a atividade de leitura. Os leitores se orientam em relação ao texto de maneira diferente, dependendo da natureza do texto e o propósito de leitura.

Alguns leitores sentem-se confortáveis e obtêm sucesso quando lêem contos e romances, mas se sentem incomodados, desnorteados ou até diminuídos quando precisam ler instruções para a montagem de uma bicicleta ou para a operação de uma gravadora de vídeo. Alguns leitores já sabem como ler e aprender dos livros didáticos em sala de aula, mas não sabem como abordar um poema, apreciar sua linguagem ou compreender seu significado. Ainda outros se habituaram às diversas formas de literatura, mas não dispõem da mesma facilidade ao interpretar as porcentagens de uma tabela, consultar o índice de um documento, localizar endereços a partir de um mapa ou dobrar as quantias de uma receita, o que pode gerar sensações de angústia e desespero em situações novas. Ao perceber que as pessoas podem ser mais ou menos hábeis ao enfrentar textos com diferentes propósitos, a avaliação das competências básicas deve ocorrer em circunstâncias que variam contextos e propósitos.

Considerável atenção será dada à relação conceitual que une a tarefa a ser executada e o objetivo a ser medido. No fundo, essa relação resguarda a validade do uso do instrumento de avaliação em situações aplicadas. É importante assegurar que cada tarefa seja consistente com o conceito a ser verificado. Na prática, este objetivo é alcançado com especificações bem definidas. As especificações para a elaboração dos itens deveriam ser detalhadas, exigentes e formuladas objetivamente. Propõem-se elaborar tarefas simuladas a partir de uma matriz que relaciona as competências básicas com distintos contextos e propósitos. Como primeira aproximação, apresenta-se na Tabela 1 uma matriz de especificação para a elaboração de tarefas apropriadas para pessoas adultas com 4ª à 8ª séries de ensino prévio.

Procura-se avaliar o perfil das competências básicas a partir do desempenho de tarefas de prova organizadas em função dessa classificação. Para tanto, não será suficiente um único escore de escala que estabeleça a ordem relativa da população numa única dimensão ou escala. A noção de perfil implica múltiplos indicadores do desempenho, o que retrata potencialidades e lacunas mais apropriadas para orientar a evolução do conhecimento e atender a uma proposta pedagógica. Nesse exercício, procura-se também um referencial absoluto em termos das tarefas efetivamente dominadas e não apenas a posição do examinado em relação às normas populacionais. Procuram-se medidas de escala que permitam predizer a probabilidade de sucesso em qualquer tarefa que exige as competências básicas. As modernas técnicas da Teoria da Resposta ao Item, a serem introduzidas pelo projeto, permitirão uma abordagem que leva em conta a dificuldade relativa das tarefas executadas e ainda fornece um referencial claro e tangível dos resultados da avaliação, ao identificar as tarefas efetivamente dominadas em cada ponto da escala.

A tabela 1 apresenta um esquema apropriado para levantar o perfil das habilidades básicas. Cento e noventa e cinco tarefas deverão ser elaboradas para compor cada uma de 4 provas distintas. As provas coincidem com quatro níveis de escolarização prévia:

– uma prova para adultos com escolaridade zero;

– uma prova para adultos com 1ª até 4ª séries de ensino;

– uma prova para adultos com 5ª até 8ª séries de ensino; e

– uma prova para adultos com algum ensino secundário ou superior.

No total, 195 itens por prova, que multiplicados por quatro provas totalizam 780 itens, deverão ser elaborados.

O esquema apresentado na tabela 1 estabelece metas para a elaboração e seleção de itens de boa qualidade para uma única prova. A distribuição dos itens ao longo das dimensões da estrutura da matéria, do contexto e da natureza da tarefa a ser executada evita concentrações que ocorrem como tendência natural quando os autores de item trabalham sem orientação explícita. A organização da tabela evita a produção de itens restritos à narração e à exposição, todos concentrados no contexto do emprego ou exclusivos das tarefas de identificação e localização, por exemplo. A configuração exata da tabela e as prioridades relativas representadas pelas freqüências de itens nas células são sujeitas a alterações e negociações que dependem dos interesses de cada equipe. No entanto, a experiência demonstra que um esquema dessa natureza, elaborado para cada uma das três provas, é necessário para evitar lacunas, assegurar compatibilidade entre equipes trabalhando à distância e ainda para aumentar as possibilidades de análise.

A tabela estabelece um número suficiente de itens nas margens da tabela para a produção de múltiplas escalas que retratam o perfil das competências básicas da população. Juntando células vizinhas para formar linhas e colunas, os totais nas margens da tabela deveriam alcançar um mínimo de 15 itens para permitir o cálculo de um escore de escala para a população. Embora nem sempre o número mínimo seja alcançado na prática, percebe-se a amplitude das possibilidades de análise ao inspecionar os 24 totais que aparecem nas margens. Itens organizados em função da matriz permitem respostas a indagações tais como: Quantas pessoas na população conseguem ler um mapa e qual o nível de habilidade que apresentam nesse tipo de tarefa? Quantas pessoas conseguem generalizar um argumento escrito para outras circunstâncias? Quantas podem identificar falhas e omissões num texto escrito? Essas são indagações substantivas que muitas pessoas têm e que requerem respostas claras numa variedade de situações aplicadas.

O total de 195 itens em cada prova é suficiente para assegurar a cobertura das três competências cognitivas básicas da população. No entanto, cada pessoa recebe apenas um único caderno de prova com 45 perguntas a serem respondidas em uma hora de prova. Esse número deveria fornecer 45 itens no caderno, que divididos por três competências básicas totalizam 15 itens para o cálculo do escore de escala que representa cada competência. No entanto, o objetivo imediato é descrever o perfil das habilidades básicas da população e, apenas muito eventualmente, calcular escores para representar o perfil de indivíduos. O projeto introduzirá um esquema de rodízio de itens em múltiplos cadernos de prova, permitindo que cada pessoa responda a apenas um pequeno subconjunto de itens, ao mesmo tempo em que um número muito maior de tarefas é distribuído numa amostra aleatória da população.

O procedimento a ser introduzido é uma versão da amostragem matricial múltipla de itens chamados Blocos Incompletos Balanceados em Espiral ou simplesmente BIB-Espiral, onde uma grande variedade de tarefas é distribuída em blocos que depois são compilados em cadernos, de tal forma que cada bloco aparece uma única vez com cada outro bloco. Dessa maneira, 13 blocos de 5 itens cada são formados e depois montados em grupos de 3 blocos. Esses grupos preenchem 26 cadernos de avaliação, cada um parte de uma combinação única de três blocos. Cada participante responde às tarefas simuladas encontradas em apenas um desses cadernos. O esquema de montagem garante vínculos entre todos os blocos (itens), permitindo que se estabeleça a relação entre todas as tarefas simuladas, defina o perfil das habilidades básicas em diversos grupos da população da maneira mais eficiente e ainda permita o cálculo de escores menos precisos para indivíduos. A Teoria da Resposta ao Item é usada para estabelecer a equivalência entre os diversos cadernos da prova e produzir escores de escala comparáveis, mesmo quando os examinados respondem a diferentes itens.

Study of basic competencies in the adult population

ABSTRACT: Techonological transformations require higher levels of cognitive skills. The proposed research will develop new instruments for the measurement of basic skills used in understanding prose and poetry, documents and quantitative reasoning. The new instruments will be applied to a household probability sample in Rio de Janeiro, RJ, and Campinas, SP, for the purpose of identifying the potential and shortcoming in basic competencies among the adult population. The project will train personel in the elaboration of new test instruments, fielwork techniques and in psychometric analisys, enabling future studies of basic skills in the Brazilian labor force.

*

Cedes

Datas de Publicação

• Publicação nesta coleção
  21 Jun 2001
• Data do Fascículo
  Dez 1997