Como está a educação no Brasil? O que fazer?

¿Cómo está la educación en Brasil? ¿Qué se puede hacer?

How is Brazilian education? What to do?

Como está a educação no Brasil? O que fazer?

How is Brazilian education? What to do?

¿Cómo está la educación en Brasil? ¿Qué se puede hacer?

Ruben Klein

Doutor em Matemática, Massachusets Institute of Technology, EUA, Consultor da Fundação Cesgranrio, Pesquisador Titular Aposentado do LNCC/MCT, [e-mail]

RESUMO

O artigo mostra como está a educação brasileira em termos de atendimento, fluxo escolar e qualidade de ensino. O acesso ao Ensino Fundamental está universalizado, mas não sua conclusão. As taxas de repetência e evasão deixaram de cair nos últimos anos e estão subindo no Ensino Médio. A expansão do Ensino Médio parou. Dessa maneira não é possível universalizar a conclusão do Ensino Fundamental e do Médio. O artigo mostra também que a qualidade de ensino em Matemática no Brasil é muito ruim, com um julgamento do que seriam os níveis básicos e satisfatórios da escala de proficiência do SAEB para as 4ª e 8ª séries do EF e para a 3ª série do EM. Os percentuais de alunos acima dos níveis satisfatórios são muito baixos e decrescem com a série. O artigo sugere metas desejáveis para o fluxo escolar e para o desempenho dos alunos. Finalmente o artigo sugere algumas ações, que se acredita, terão efeito positivo sobre o fluxo e desempenho dos alunos.

Palavras-chave: Fluxo escolar. Universalização da conclusão do ensino fundamental. Qualidade de ensino. Metas desejáveis.

ABSTRACT

The paper shows how brazilian education is terms of attendance, student flow and quality of education. Access to school is universalized, but finishing 8th grade (Middle School) is not. Repetition and drop-out rates ceased to fall in the last years and are increasing in High School. Expansion of High School stopped. Therefore, it is not possible to universalize conclusion of Middle and High School. The paper also shows that the quality of Education in Mathematics in Brazil is very bad, pointing out (personal judgment) basic and satisfactory levels of SAEB proficiency scale for the 4th, 8th and 11th (3rd grade of High School). The percentages of students above the satisfactory levels are very low and decrease with the grade. The paper suggests desirable targets for student flow and student achievement. Finally, the paper suggests some actions believed to have positive effect over student flow and achievement.

Keywords: Student flow. Universalize conclusion of Middle School. Quality of learning. Desirable targets.

RESUMEN

El artículo muestra como está la educación brasileña en términos de atención, flujo escolar y calidad de enseñanza. El acceso a la Enseñanza Fundamental está universalizado, pero no su conclusión. Las tasas de repetición y evasión dejaron de caer en los últimos años y están subiendo en la Enseñanza Media. La expansión de la Enseñanza Media paró. De esta manera no es posible universalizar la conclusión de la Enseñanza Fundamental y del Medio. El artículo muestra también que la calidad de enseñanza en Matemáticas en Brasil es muy mala, juzgando lo que serían los niveles básicos y satisfactorios de la escala de proficiencia del SAEB para el 4º y 8º cursos del EF y para el 3 curso del EM. Los porcentajes de alumnos por encima de los niveles satisfactorios son muy bajos y descienden con el curso. El artículo sugiere metas deseables para el flujo escolar y para el desempeño de los alumnos. Por último el artículo sugiere algunas acciones que se acredita tendrá efecto positivo sobre el flujo y desempeño de los alumnos.

Palabras clave: Flujo escolar. Universalización de la conclusión de la Enseñanza Fundamental. Calidad de enseñanza. Metas deseables.

Introdução

Um sistema educacional é de qualidade quando seus alunos aprendem e passam de ano. Além disso, tem que atender a todas as suas crianças e jovens. Quando todas as crianças têm acesso à escola, diz-se que o acesso à escola está universalizado. O ideal é que todos os jovens concluam o Ensino Fundamental (EF) e o Ensino Médio (EM). Como isso é difícil, diz-se que a conclusão do EF (EM) está universalizada se mais de 95% dos jovens o concluem. No Brasil, o acesso à escola está universalizado, mas, como veremos mais adiante, a conclusão do EF e do EM está longe de ser universalizada.

As políticas educacionais devem ser formuladas para se obter e manter uma educação de qualidade. Elas devem utilizar diagnósticos, entre outros, provenientes de análises dos dados coletados pelos Censos Escolares, por pesquisas domiciliares como a Pesquisa Nacional por Amostra de Domicílios – PNAD, do Instituto Brasileiro de Geografia e Estatística – IBGE, e por avaliações externas de aprendizado. As políticas implementadas, por sua vez, também precisam ser avaliadas para verificar sua eficácia e se há necessidade de mudanças. Até os conceitos e diagnósticos precisam ser questionados e corrigidos quando necessário.

No Brasil, muitas políticas educacionais foram baseadas em diagnósticos errados. Um exemplo disso foi considerar a evasão entre séries, especialmente na 1ª série, como um dos grandes problemas da educação brasileira. Por isso concluía-se que faltavam escolas e se culpavam as famílias por não manterem os filhos nas escolas. A taxa de evasão sem correção na 1ª série, em 1982, era de 28%, e a taxa de repetência era também de 28%. A ênfase era na evasão. Após a correção das taxas, verificou-se que a taxa de evasão era de somente 2%, mas que a taxa de repetência era muito mais alta, de 60%. O problema é a repetência e não a evasão. A tabela 1 mostra a evolução das taxas, sem correção e com correção, na 1ª série. Pode-se ver no gráfico 1, no ^anexo, que as taxas de repetência corretas são muito altas em todas as séries. A evasão acaba acontecendo em decorrência da repetência. Os alunos avançam pouco nas séries, e acabam "expulsos" da escola.

Os gráficos 1 a 3, no ^anexo, mostram as taxas de repetência, evasão e promoção corrigidas e sem correção para todas as séries. Pode-se ver que a repetência sem correção é subestimada em todas as séries. O curioso é que taxas de evasão negativas nas 4ª e 8ª séries, um absurdo, eram aceitas. Observa-se também taxas de promoção sem correção maiores que 1 (um) na 8ª série, outro absurdo.

O erro dessas análises é o conceito errado de repetente, que segundo o Censo Escolar era definido como o aluno que freqüentava a mesma série no ano seguinte, por ter sido reprovado por avaliação ou freqüência. Isso corresponde ao uso coloquial para o qual repetente e reprovados são sinônimos. No conceito correto, repetente é o aluno que freqüenta a mesma série no ano seguinte, qualquer que seja o motivo.

Outras análises usando a pirâmide educacional levavam a conclusões mais erradas ainda. Segundo essa análise, no início dos anos 80, a taxa de evasão na 1ª série era de quase 50%. O modelo da pirâmide educacional pressupõe taxa de repetência 0 (zero), um óbvio absurdo para o Brasil.

Esses erros são cometidos em outros países também e estão descritos e explicados em Klein e Ribeiro (1991) e Klein (2004).

Essas análises erradas são a justificativa para "resumir" política educacional a construção de escolas. Ainda hoje, é comum ler na imprensa, que o dinheiro pode ser mais bem gasto construindo escola, em vez de falar em melhorar a qualidade de ensino.

A correção do diagnóstico para o problema da repetência e para o fato de que, desde 1981, o número de matrículas no EF já era igual ou maior que o número de crianças de 7 a 14 anos, leva a conclusão de que as crianças estavam, em sua grande maioria na escola, e que o foco devia mudar para a escola, a qualidade de ensino e a pedagogia da repetência, bem descrita em Ribeiro (1991).

Para analisar a qualidade da educação utilizam-se indicadores de atendimento (proporção da população em idade escolar matriculada), movimentação escolar (taxas de aprovação, reprovação e abandono durante o ano escolar) e fluxo escolar (taxas de promoção, repetência e evasão entre séries), taxas de acesso à escola, taxas de conclusão da 4ª série, do EF e do EM e indicadores de aprendizado baseados em escalas interpretadas de proficiências (habilidade) para algumas disciplinas, como por exemplo, compreensão de leitura e matemática. Para julgar a qualidade é necessário definir padrões (ou valores mínimos) para esses indicadores. Nas duas seções seguintes, serão apresentados alguns diagnósticos e padrões para discussão e finalmente na última seção serão apresentadas conclusões com propostas de políticas educacionais.

Análise do atendimento e do fluxo escolar

A tabela 2 exibe os resultados de uma simulação ideal de fluxo supondo que o aluno só entra no sistema na 1ª série, sem limite de anos de repetência, e com taxas constantes de repetência, evasão e promoção iguais em todas as séries e em todos os anos. Variou-se a taxa de repetência de 0,200 a 0,025 e a taxa de evasão de 0,020 a 0,005. Pode-se ver que os percentuais de conclusão das séries aumenta com a redução das taxas de evasão e que o tempo médio esperado de conclusão das séries diminui com a redução das taxas de repetência.

Para uma taxa de evasão de 2%, bem mais baixa que no Brasil, 91.5% dos alunos terminariam a 4ª série, 82.5% a 8ª série e 77% a 3ª série do EM. Se a taxa de evasão cair para 1%, esses percentuais sobem, respectivamente, para cerca de 96.5%, 93% e 90%.

Por outro lado, para uma taxa de repetência de 20%, aproximadamente as taxas médias de repetência no Brasil, hoje em dia, ver tabela 5, os tempos médios esperados de conclusão são, respectivamente, de 5 anos para a 4ª série, 10 anos para a 8ª e 13,8 anos para a 3ª série do EM, ou seja, 1 ano a mais para a conclusão de 4 anos, 2 anos a mais para a conclusão de 8 anos e 3 anos a mais para a conclusão de 11 anos. Se a taxa de repetência cair para 5%, os tempos médios esperados caem, respectivamente, para 4, 2, 8, 4 e 11, 6 anos.

Portanto para universalizar o EM, e ter tempos médios esperados de conclusão reduzidos, é necessário que as taxas de repetência sejam menores que 5% e as taxas de evasão menores que 1%. Em outras palavras, é necessário que as taxas de aprovação sejam maiores que 95% em todas as séries e as taxas de evasão entre séries menores que 1%, também, em todas as séries. É claro que o ideal seria taxas nulas de repetência e evasão.

Qual é a situação no Brasil? Da tabela 2, conclui-se que a situação depende das taxas de repetência e evasão.

Houve uma grande melhora na década de 1990, quando as taxas de repetência e evasão caíram até cerca de 1998. No entanto, ainda estão muito altas. As tabelas 3 e 4 mostram as taxas médias de repetência e evasão desde 1992 da 1ª a 4ª série, da 5ª a 8ª série e nas 3 séries do EM. Somente da 1ª a 4ª série as taxas de repetência ainda mostram tendência de queda. No EM, as taxas de repetência estão subindo um pouco. Há indicação que está havendo um recrudescimento da evasão. No entanto, talvez uma explicação para esse ligeiro aumento da evasão seja a expansão da Educação de Jovens e Adultos - EJA, antigo ensino supletivo, que está atraindo alunos mais velhos e atrasados (devido à repetência) do ensino regular.

Os gráficos nos ^{anexos 1 a 3} exibem os gráficos das taxas de repetência, evasão e promoção por série, desde 1981. Pode-se ver que a taxa de repetência na 1ª série caiu de cerca de 60% em 1981 para cerca de 30% em 2003.

A queda dos percentuais de repetência de 1992 a 1998 e conseqüente aumento dos concluintes do EF, auxiliado por programas localizados que promoveram um maior retorno a 1ª série do EM, gerou uma enorme expansão das matrículas de 5ª e 8ª série do EF (aumento de 50% de 1992 a 2002) e do EM (cerca de 130%), ver tabela 5. Observa-se ainda que parte da matrícula do EF de 1999 em diante é proveniente de EJA registrados como ensino regular por causa do FUNDEF e da incorporação das classes de alfabetização e dos anos iniciais dos "ciclos de 6 a 8 anos", que chamamos de série 0, dando início, oficialmente, ao EF com 9 anos. Mesmo assim, a matrícula do segmento inicial 0-4EF já começa a cair em 1999, fato altamente positivo provocado pela queda das taxas de repetência. O gráfico 4, no ^anexo, exibe a evolução das matrículas, por série, de 1981 a 2004, sem a "série 0".

O tamanho de uma coorte de idade de 7 anos estava em torno de 3.500.000 crianças até 1997, caindo para cerca de 3.350.000 de 1998 em diante. Se todos os alunos estivessem nas diversas séries com a idade correta, para 4 (quatro séries) seriam necessárias somente cerca de 14.000.000 matrículas. Em 2004, o número de crianças registrados na série 0, foram somente cerca de 740.000, ver tabela 6. No EM, para 3 séries, seriam necessárias 10.050.000 matrículas, valor ainda não atingido.

É positivo também que a matrícula agregada da 5ª a 8ª série esteja caindo, já que as matrículas individuais da 5ª e 6ª séries são bem maiores do que 3.500.000. No entanto como mostra o gráfico 4, as matrículas da 7ª e 8ª séries já começam a cair em 2003, implicando a queda também do número de promovidos, o que encerra a expansão do EM (KLEIN, 2005a). De fato, os dados preliminares do censo escolar de 2005 já mostram uma queda da matrícula no EM. Esta queda só não é maior por causa do aumento da repetência. O que não é positivo é a matrícula da 8ª série estar abaixo do número de jovens de 14 anos.

Os gráficos 5 a 7 mostram uma simulação de matrículas de 1999 a 2008, a partir das matrículas e taxas de transição entre séries do ano de 1998 , taxas de retorno à escola do ano de 1999, um número de 3.700.000 alunos novos em 1999 e de 3.300.000 de 2000 em diante. As taxas são consideradas constantes no período. Essa evolução é mostrada nas linhas com os números das séries. Os gráficos mostram também a matrícula real de 1998 a 2004. Observa-se que, à exceção da 1ª série, como as taxas de transição entre séries de 1998 são as melhores (taxas de repetência e evasão mais baixas), inicialmente as matrículas simuladas crescem, atingem um pico e caem até estabilizar. Observa-se que os picos ocorrem como em uma onda, seguindo a progressão das séries. As matrículas da 1ª série já vinham caindo e como supomos um número de alunos novos menor que o registrado nos anos anteriores, caem mais um pouco até estabilizar.

Observa-se que, em geral a simulação é boa até os anos de 2000 ou 2001, começando a divergir depois. Observa-se que, após 1998, o registro das matrículas é afetado pela inclusão e exclusão de alunos do EJA, inclusive no EM. As matrículas do EM foram corrigidas pela distribuição dos alunos registrados como "não seriado" no Estado de Santa Catarina de 2001 a 2003.

Portanto, o efeito da queda das taxas de repetência e evasão em alguns anos e posterior estabilização é o de provocar inicialmente um aumento das matrículas e posteriormente uma queda até estabilizar. Foi exatamente isso que ocorreu. Como as taxas de repetência e evasão da 5ª série em diante estão relativamente estáveis, ou subindo um pouco, a matrícula no EM subiu até 2004 e já apresenta uma queda em 2005. Se não houver mudanças, deve cair um pouco mais e estabilizar dentro de alguns anos.

A tabela 7 mostra os percentuais esperados de conclusão e os respectivos tempos médios esperados de conclusão para as 4ª, 8ª e 3ª série EM, utilizando-se as taxas de transição entre séries, respectivamente, dos anos de 1992, 1998 e 2003. Pode-se ver a acentuada melhora de 1992 a 1998, com o aumento dos percentuais de conclusão e a queda dos tempos médios de conclusão devido às quedas das taxas de repetência e evasão no período. Em 2003, devido as maiores taxas de evasão, ver tabela 6, há queda dos percentuais esperados de conclusão nas 8ª e 11ª (3ª EM) séries. Os tempos médios esperados de conclusão só melhoram por causa da queda da repetência da 1ª à 3ª série EF, em especial da 1ª série. Essa simulação projeta um resultado futuro. Observa-se que os tempos médios esperados utilizando-se as taxas de 2003 são quase iguais aos da simulação com taxas de repetência de 20% em cada série, pois como mencionado antes, pela tabela 5, as taxas médias de repetência em cada segmento de ensino são aproximadamente 20%. Já, pela tabela 6, as taxas de evasão são maiores que 2%, implicando em percentuais de conclusão muito menores que nas simulações da tabela 2.

A queda observada no percentual esperado de conclusão em 2003, em relação a 1998, é devido ao aumento das taxas de evasão, o que é extremamente preocupante. Pode ser que essas taxas de evasão, em 2003, estejam um pouco infladas, devido ao registro no Censo Escolar de alunos da Educação de Jovens e Adultos (EJA) no Ensino Regular, provocado pela introdução do FUNDEF em 1998 ou 1999, que só distribui verbas para alunos matriculados no Ensino Regular.

Na tabela 8, exibem-se as taxas de conclusão dessas mesmas séries nos anos de 1992, 1998 e 2002, obtidas a partir de dados de PNADs , considerando-se a maior taxa de conclusão atingida por uma coorte de idade. Essas taxas refletem o que já se passou. Pode-se ver a melhora nas taxas e que as taxas de 2002 são coerentes com as taxas projetadas pela simulação com as taxas de transição entre séries de 1998. É importante lembrar que a projeção dada pela simulação refere-se somente ao Ensino Regular, não levando em conta a EJA. Já os dados das PNADs são contaminados pelo EJA. Além de possível confusão sobre os sistemas educacionais regular e EJA pelo informante, as taxas obtidas pelos dados da PNAD consideram o retorno de alunos ao Ensino Regular, em qualquer série. Por exemplo, cerca de 7% a 9% da matrícula da 1ª série do EM é composta de alunos que terminaram o EF via EJA ou de que estavam fora da escola no ano anterior.

A tabela 9 mostra que o percentual de crianças e jovens na escola vem aumentando gradativamente e que cerca de 96% das crianças de 7 anos e de 98% das crianças de 8 a 12 anos inclusive, estão na escola, em setembro, mês de coleta da PNAD, desde 2002, percentual que começa a cair aos 13 anos.

Em todas as idades, o aumento foi grande de 1992 a 1998, período em que não havia programas generalizados tipo Bolsa Escola, instituído nacionalmente somente no ano 2001. De 2001 a 2003, os percentuais de crianças e jovens na escola são praticamente os mesmos dos 7 aos 18 anos. Só houve um pequeno crescimento dos 4 aos 6 anos, indicando o contínuo crescimento da pré-escola e da "série 0". Observa-se que os alunos nessas idades não são atendidos pelo Programa Bolsa Escola.

O aumento nos percentuais de jovens na escola nas idades mais altas, de 1998 a 2001 é ainda devido ao decréscimo da repetência, que permitiu um avanço maior, com a correspondente queda da evasão nessas faixas. De fato, observa-se que os alunos se evadem a partir dos 14 ou 15 anos, certamente por causa do atraso devido à repetência. O preocupante é que não houve aumento nos percentuais de jovens na escola dos 13 anos em diante de 2002 para 2003.

A tabela 6 exibe, também a partir das PNADs percentuais de crianças e jovens na série correta ou avançada, por coorte de idade. Observa-se, em primeiro lugar, que, em cada ano, o percentual de crianças e jovens na série correta ou avançada cai com a idade, conseqüência da repetência. Observa-se o aumento desses percentuais ao longo dos anos para a mesma idade, conseqüência de que cada vez mais, os alunos estão entrando na 1ª série na idade correta e da queda da repetência.

No entanto, pela tabela 10, somente 87% das crianças de 7 anos estão na idade correta ou adiantados, isto é, na 1ª série ou acima. Cerca de 10% ainda estão na pré-escola. Aos 11 anos este percentual é de 59% (39% estão atrasados), aos 15 de 37% (50% estão atrasados) e aos 18 anos de 5% (42% estão atrasados). Observa-se uma melhora considerável em relação a 1992.

Chama a atenção o aumento desses percentuais em 2003 em relação a 2002. É estranho que para a mesma coorte, 9 anos em 2002, 10 anos em 2003, haja mais alunos na série correta ou avançada em 2003 do que em 2002, embora a diferença seja pequena. Apesar da diferença poder não ser real devido à precisão das estimativas, o esperado é que, para a mesma coorte, o percentual caísse no ano seguinte devido a repetência. Pode ser que esteja ocorrendo erro na informação do informante a PNAD causado pela confusão que se está instalando no país com a criação do EF de 9 anos cujas séries estão sendo chamadas de anos escolares. Dessa maneira, o 2º ano escolar do EF de 9 anos corresponde a 1ª série do EF de 8 anos, o 3º ano escolar a 2ª série e assim por diante. Pode ser que o informante indica, por exemplo, o 5º ano escolar que fica registrado como 5ª série e não como a 4ª série, que seria o correto. O correto seria chamar a série inicial do EF de 9 anos de "série 0" ou "série inicial" ou "série A", ou outro nome qualquer, mas sem mexer nos nomes das outras séries. Esse é um problema que o Censo Escolar também tem que enfrentar.

Portanto para universalizar a conclusão do EF e expandir o EM é necessária uma nova política de correção de fluxo que faça baixar a repetência e a evasão a níveis bem mais baixos.

Análise de avaliações de aprendizado

O Brasil tem desde 1995 o Sistema Nacional de Avaliação da Educação Básica - SAEB, que aplica testes de Língua Portuguesa (compreensão de leitura) e Matemática, a uma amostra probabilística de alunos das 4ª e 8ª séries do EF e da 3ª série do EM, de escolas públicas e particulares, representativa por UF e dependência administrativa. O SAEB aplica também aos alunos questionários socioeconômicos e culturais e de hábito de estudo, questionários a professores, diretores de escolas e sobre as condições da escola. O SAEB¹ é aplicado a cada dois anos.

O SAEB, através do uso da Teoria de Resposta ao Item - TRI (KLEIN, 2003b), apresenta seus resultados em escala única para todas as séries e anos, para cada disciplina. Dessa maneira é possível comparar os resultados entre séries e entre anos. Na escala do SAEB, para cada disciplina, foram fixados os valores de 250 e 50, respectivamente, para a média e o desvio padrão da distribuição de proficiência (habilidade) dos alunos da 8ª série no ano de 1997.

As tabelas 11 a 16 mostram a evolução das médias das distribuições de proficiência do SAEB 1995 ao SAEB 2003, por série/disciplina, para o Brasil e regiões. No ^anexo, os gráficos 8 a 10 exibem as médias com seus intervalos de confiança, também, para o Brasil e regiões.

Observa-se uma queda nas médias de 1997 para 1999, principalmente em língua portuguesa. Mas há uma razoável estabilidade de médias nos últimos 3 SAEBs. Nas tabelas 17 a 19, vê-se que houve um aumento considerável de crianças e jovens na escola de 1995 a 2003. Houve também, o que é muito importante, uma melhora grande na distribuição por séries, havendo diminuído, em muito, a defasagem. Por exemplo, em 1995, 53% das crianças de 10 anos estavam atrasadas e 6% fora da escola. Em 2003, o percentual de crianças de 10 anos atrasadas caiu para 34% e somente 1% fora da escola. Portanto, as crianças de 10 anos estão praticamente todas na escola, embora algumas ainda estejam, bem atrasadas. Lembra-se que é utópico ter 100% das crianças na escola, pois algumas não podem ir devido a problemas físicos e mentais.

Observa-se novamente, a grande melhora nos percentuais de crianças e jovens em idade correta, em 2003. Como foi dito antes, isso pode ser confundido pelo informante da série no EF de 8 anos e do ano no EF de 9 anos. Também pode ser confusão causada pelos ciclos. É importante que os nomes das séries sejam uniformizados.

As tabelas 20 e 21 exibem uma estimativa das médias da população de 14 anos na escola matriculada na escola e para 99% da coorte, em matemática e língua portuguesa. Para se fazer essa estimativa, foram utilizadas as médias dos alunos no SAEB para as 4ª e 8ª séries nos diversos anos, considerou-se que os intervalos entre as médias das diversas séries são iguais, e levando-se em conta as médias dos alunos sem atraso, com 1 ano de atraso, etc, para as séries do SAEB, ver tabelas 22 e 23 para o SAEB 2003, extrapolou-se para as outras séries. Na 2ª linha das tabelas, foi suposto que os alunos fora da escola teriam uma média equivalente aos alunos dessa idade na 4ª série.

Pode-se ver na tabela 20, que em matemática, a média da população de 14 anos manteve-se praticamente a mesma em todos os anos, subindo somente em 2003. É provável que parte dessa subida seja devido a erro de informação. Já em língua portuguesa, pela tabela 21, parece que houve uma queda em 1999, que está sendo recuperada.

Pode-se ver nas tabelas 22 e 23 a grande diferença de médias entre os alunos que não têm atraso e os que têm atraso. Essas tabelas mostram que a repetência não adianta e não funciona.

O SAEB introduziu, no Brasil, o conceito de interpretação da escala descrevendo, em alguns níveis, o que os alunos sabem e são capazes de fazer. Isso é fundamental para se entender os resultados. Essa interpretação da escala pode ser utilizada também para se propor indicadores de qualidade de aprendizado como será feito mais adiante. As escalas interpretadas do SAEB para as disciplinas de Língua Portuguesa e Matemática estão no Relatório Técnico do SAEB 2003 (FUNDAÇÃO CESGRANRIO, 2003b).

A interpretação da escala e as informações sobre os erros dos alunos deveriam ser utilizadas para fornecer subsídios para programas de formação e capacitação de professores (KLEIN, 2003a; KLEIN, 2005b). No entanto, esses diagnósticos dos testes normalmente não são utilizados. Um programa de capacitação que utiliza estas informações está descrito em Elliot, Fontanive e Klein (2003).

A escala do SAEB é interpretada no nível 250 e nos níveis obtidos somando-se ou subtraindo um múltiplo de 25 (meio desvio padrão). Assim, na disciplina de Matemática, os níveis interpretados são 125, 150, [...]., 400 e 425. A interpretação é acumulativa. Os alunos em um nível sabem e são capazes de fazer o que foi descrito nos níveis anteriores. Em cada nível, adicionam-se as habilidades que a população começa a dominar naquele nível.

Utilizando a interpretação da escala de matemática do SAEB, do que os alunos sabem e são capazes de fazer em cada nível, pode-se fazer um julgamento de que níveis seriam básicos e satisfatórios para uma determinada série. Esse julgamento tem uma parcela de subjetividade e por isso deveria ser obtido através de um consenso de especialistas.

Para começar um debate, descrevo abaixo minha opinião sobre quais deveriam ser esses níveis para a disciplina de Matemática, já discutida com alguns especialistas.

4ª série:

Nível básico: 175. Nesse nível, entre outras habilidades, os alunos efetuam adição e subtração, inclusive com recurso e uma multiplicação por número com 1 algarismo. Resolvem problemas, do cotidiano, que envolvem adição de números naturais e de números racionais escritos na forma decimal com mesmo número de casas decimais, inclusive utilizando o sistema monetário e conseguem identificar frações como parte de um todo, com o apoio de representação geométrica.

Nível satisfatório: 250. Nesse nível, entre outras habilidades, os alunos efetuam as 4 operações e calculam percentagens simples (50%, 25%), resolvem problemas simples que utilizam a multiplicação. Localizam, na reta numérica, números naturais e, em situações simples, números racionais representados na forma decimal.

Nível avançado: 300. Nesse nível, já relacionam frações com decimais com a representação decimal, identificam fração como parte de um todo sem apoio da figura, ordenam e comparam números decimais com números diferentes de casas decimais e reconhecem frações equivalentes.

8ª série:

Nível básico: 275. Nesse nível, entre outras habilidades, os alunos identificam equações e sistemas de equações de primeiro grau que permitem resolver problemas e calculam o valor numérico de uma expressão algébrica simples.

Nível satisfatório: 350. Nesse nível, entre outras habilidades, os alunos aplicam o Teorema de Pitágoras, reconhecem a proporcionalidade entre comprimentos em figuras relacionadas por ampliação ou redução; ordenam números inteiros positivos e negativos; resolvem expressões com números decimais e fracionários; calculam o resultado de expressões envolvendo, além das quatro operações, números decimais (positivos e negativos), potências e raízes exatas; resolvem problemas que recaem em equação do 2º grau.

3ª série EM:

Nível básico: 375. Nesse nível, entre outras habilidades, os alunos são capazes de aplicar as propriedades da semelhança de triângulos na resolução de problemas, usam as razões trigonométricas para resolver problemas simples, conhecem e utilizam a nomenclatura do plano cartesiano (abscissa, ordenada, quadrantes) e conseguem encontrar o ponto de interseção de duas retas. Identificam a função linear ou afim que traduz a relação entre os dados em uma tabela, resolvem problemas envolvendo funções afins. Em relação ao gráfico de uma função, são capazes de identificar intervalos, em que os valores são positivos ou negativos, e os pontos de máximo ou mínimo. No estudo dos polinômios, reconhecem o seu grau, identificam as raízes de um polinômio na forma fatorada e os fatores do primeiro grau de um polinômio dado.

Nível satisfatório: 425. Nesse nível, entre outras habilidades, os alunos identificam o coeficiente angular de uma reta, dada sua equação ou conhecidos dois de seus pontos. Reconhecem o centro e o raio de uma circunferência, dada sua equação na forma reduzida e reconhecem, dentre várias equações, a que representa uma circunferência. Resolvem problemas envolvendo a aplicação sucessiva de percentuais. Resolvem também problemas que requerem modelagem através de duas funções do 1º grau e calculam parâmetros desconhecidos de uma função, conhecidos pontos de seu gráfico. Utilizam as propriedades da função exponencial para resolver equações. Além disso, reconhecem que um ponto (a, b) pertence ao gráfico de uma função, é equivalente a b = f (a).

A tabela 11 apresenta os percentuais dos alunos por série acima de cada nível da escala e a tabela 12 apresenta um resumo para cada série dos percentuais de alunos acima dos níveis básico e satisfatório.

A tabela 24 permite acompanhar a evolução dos percentuais e compara o ganho entre as séries. A tabela 25 mostra a gravidade da situação em que poucos alunos estão nos níveis básicos e satisfatórios, e que a situação piora com a série.

A tabela 26 mostra as médias em matemática por série e dependência administrativa. Pode-se ver que nem os alunos das escolas particulares têm média acima do nível satisfatório.

Um padrão de qualidade pode ser definido requerendo-se que 75% dos alunos da série estejam acima do nível satisfatório e que todos estivessem acima do nível básico.

Um erro comum, que merece ser destacado e que vejo ocorrer desde o SAEB de 1995, é confundir traço de fração com ",". Somente 25% dos alunos de 8ª série acertam que 3/4 é 0,75 e não 3,4. O mais grave, como descrito em Klein (2005b), é que, na 4ª série, a resposta errada 3,4 "funciona" como a resposta correta. Esse item está no nível 300 da escala SAEB, acima da média, em matemática, dos alunos da 3ª série do EM, que está em torno de 279.

Esse mau desempenho dos alunos reforça que é necessário rever as políticas de formação e capacitação dos professores. É preciso garantir que os futuros professores saibam o que vão ensinar. O Ministério da Educação deveria organizar reuniões com os diferentes cursos de magistério, licenciaturas e associações científicas e acadêmicas para explicar os resultados das avaliações. Certamente, a grande maioria desses cursos ignora as avaliações.

Fatores associados ao desempenho

As avaliações costumam ter como objetivo também explicar o desempenho dos alunos em função de variáveis coletadas em questionários socioeconômicos e culturais e hábitos de estudo aplicados aos alunos, questionários a professores, diretores e sobre as condições das escolas. Desde 1997, modelagens baseadas no modelo de regressão hierárquico ou multinível vêm sendo utilizadas. Essas modelagens procuram levar em conta a estrutura hierárquica existente entre alunos, turmas, escolas, etc. Na realidade, de acordo com a amostragem do SAEB, a estrutura hierárquica a ser utilizada deve ser aluno-turma e não aluno-escola.

Essas modelagens permitem estudar o efeito de certas variáveis controlando-o, por exemplo, pelo nível socioeconômico, idade e dependência administrativa onde o aluno estuda.

O objetivo de uma análise de fatores associados ao desempenho deve ser a identificação de variáveis relevantes e que sejam passíveis de intervenção por políticas públicas.

Os comentários a seguir se baseiam em análise do SAEB² e em análises de diversas avaliações estaduais:

Hoje em dia, constroem-se índices socioeconômicos dos alunos. Todas as avaliações mostram associações positivas entre desempenho e índice socioeconômico. Quanto mais alto o nível socioeconômico, maior a média da distribuição de desempenho dos alunos. Só que políticas públicas de educação não afetam essa variável em curto prazo. Espera-se que, a médio e longo prazo, uma melhora da qualidade de ensino possa contribuir muito para elevar o nível socioeconômico da população.

Todas as avaliações mostram também que quanto maior a idade em uma série (isto é, quanto maior o atraso), mais baixa é a média da distribuição dos alunos. Um atraso maior está relacionado à repetência. Medidas diretas da repetência mostram o mesmo quadro. O desempenho cai com o número de repetências. Essa constatação mostra, que ao contrário do que o sistema educacional acredita, a repetência não ajuda. Pelo contrário, só prejudica. Isso é verdade, também, quando se controla pelo nível socioeconômico.

Outra constatação, em todas as avaliações, é a diferença de desempenho entre os alunos das escolas públicas (estaduais e municipais) e particulares, mesmo controlando-se pelo nível socioeconômico e pela idade. Hipóteses para explicar isso são problemas de gestão das escolas públicas, que podem, por exemplo, escolher seus professores, ao contrário das públicas, que podem "cobrar" mais dos professores e talvez também fatores extra-escola, como maior envolvimento dos pais no sentido de incentivar os filhos a estudar e maior valorização do aprender. Certamente deveria haver mais investigação sobre esses aspectos.

As análises das avaliações apresentam uma grande preocupação em relação a variável "como os alunos se consideram em relação a sua cor". Mesmo restringindo-se a alunos de escolas estaduais e municipais e controlando-se pelo nível socioeconômico e pela idade, observa-se, muitas vezes, que não há diferença entre os que se consideram brancos ou pardos, e quando há, a diferença pode ser a favor de qualquer um dos grupos. Mas invariavelmente, os que se consideram pretos ou negros têm um desempenho médio pior. Isso precisa ser investigado e uma hipótese pode ser o aspecto cultural, por motivos históricos. Isso certamente exige mais investigação e formulação de políticas públicas para correção.

As análises mostram que é importante que o professor passe dever de casa, que os alunos o façam e que seja corrigido, especialmente na 4ª série. As análises mostram também que é importante que os alunos sejam avaliados por testes, exercícios, trabalhos, etc. Isso contradiz uma vertente da pedagogia existente no Brasil, que é contrária a testes e avaliações. De fato, os alunos precisam ser constantemente avaliados, seus erros diagnosticados e corrigidos imediatamente.

As análises também mostram a importância da pré-escola, mesmo controlando as análises pelo índice socioeconômico e pela idade.

A tabela 27 mostra que menos de 25% dos alunos no Brasil não tem acesso à pré-escola. Pode-se ver que em qualquer dependência administrativa, os alunos que não cursaram pré-escola têm, em média, desempenho pior. Aparentemente, entrar na escola no maternal também é positivo.

As análises não são conclusivas quanto à introdução dos ciclos. Na realidade, não podem ser, pois não houve planejamento para testar sua eficácia em relação à situação anterior e não há grupos de controle. Outro problema é que sua concepção e implementação podem ser diferentes em diversos locais. Uma queixa comum é que são mal implementados e sofrem rejeição dos professores. Outra é que o ciclo existe somente no nome e que continua o ensino seriado. Uma conseqüência intencional ou não, que parece ter acontecido em alguns ciclos, é os professores deixarem de aplicar testes ou provas.

Creio que sua justificativa básica, de que alunos têm tempos diferentes de aprendizagem, precisa ser mais bem qualificada. Isso é verdade, mas o aprendizado tem que se dar em um certo período de tempo. Mesmo no tradicional ensino seriado, esse fato precisa ser levado em conta. Se um ciclo substitui um período de 3 séries, por exemplo, ao final de 3 anos, os alunos têm que aprender e desenvolver as habilidades requeridas. Se levar mais anos, está havendo repetência. É importante que continue a haver equivalência com as séries, para que se possam fazer análises de fluxo e acompanhar o sistema escolar. É inadmissível registrar somente como "não seriado" no Censo escolar, como já aconteceu.

No Brasil existe o hábito de mudar os nomes ou fazer leis e achar que o problema vai ser resolvido. Não há fórmulas mágicas para melhorar a qualidade de ensino. Em qualquer sistema, os alunos precisam passar e, se não estiverem com o nível adequado é preciso recuperá-los.

As avaliações mostram uma componente extra-escola importante que é o envolvimento dos pais, que se dá de duas maneiras diferentes, A primeira é pelo ambiente familiar, com a existência de dicionário em casa, local para estudar, livros. A segunda é pelo incentivo ao estudo, à leitura, a freqüentar a escola, a tirar uma nota boa, em suma, a ser um bom aluno.

Outra variável importante é a expectativa de progresso e a auto-estima do aluno. Alunos que dizem almejar estudar mais costumam ter melhor desempenho. Alunos que se dizem sentir deixados de lado na sala de aula costumam ter pior desempenho.

Quanto ao professor, as análises mostram mais índices significativos na 4ª série e menos na 3ª série EM. No SAEB 2003, somente os índices relativos à expectativa do professor e violência no ambiente escolar apresentam efeitos significativos nas análises da 3ª série EM. Essas variáveis apresentam efeito significativo nas outras séries também. Nas 4ª e 8ª séries aparece o índice quanto à visão do professor sobre o clima da escola, que reflete seu comprometimento com a escola e seu relacionamento com os pais dos alunos. Na 4ª série, aparece também um índice quanto à influência do diretor sobre o clima da escola, que reflete a liderança positiva do diretor em relação aos aspectos pedagógicos e administrativos. Outro índice que aparece nas 4ª e 8ª séries foi chamado de "ensino centrado no aluno", o qual reflete o desenvolvimento do pensamento do aluno na interpretação dos resultados e discussão de diferentes maneiras de resolver um problema. Esse último índice é muito importante, pois é uma evidência de que o desempenho está associado a fazer o aluno pensar e desenvolver suas habilidades e competências.

Essas considerações provocam a inquietação de que o controle e a influência do professor diminuem com o avanço da série.

Quanto à escola e diretor, as análises apontam para melhores desempenhos nas escolas mais bem conservadas e limpas, com salas de aulas bem iluminadas e arejadas. Isso indica uma melhor gestão do diretor, pelo menos em termos gerenciais.

Conclusão

Baseado nas seções anteriores, propõe-se aqui uma série de políticas educacionais que se acredita ter um efeito positivo sobre o desempenho dos alunos. O objetivo tem de ser cumprir as duas metas abaixo, quais sejam

1) baixar as taxas de repetência e evasão para valores menores que 5% e 1% em cada série, meta essa necessária para se universalizar a conclusão do EM em um tempo médio pouco além do estabelecido;

2) requerer que mais de 75% dos alunos de uma série tenham proficiência (habilidade) acima do nível da escala do SAEB, considerado satisfatório para a referida série. Todos os alunos de uma série devem ter proficiência (habilidade) acima do nível da escala considerado básico para a série. Essa meta é necessária para se garantir a qualidade de ensino.

Essas duas metas, principalmente a segunda, não serão conseguidas imediatamente. Portanto é preciso divulgar um calendário onde metas menos ambiciosas possam ser obtidas e ir gradualmente fazendo mais exigências até chegar ao desejado, tais como:

1) existência de currículo básico (mínimo) para todas as séries o que facilita a capacitação de professores, transferência de escola e avaliações externas;

2) divulgação da interpretação das escalas de proficiência e dos itens de testes com suas estatísticas e comentários pedagógicos para as escolas, cursos de magistério e licenciaturas, ensino superior em geral e para a sociedade;

3) divulgação dos resultados das avaliações e das taxas de movimentação das escolas;

4) realização de Seminários com professores dos cursos de Licenciatura e Magistério para uso desse material na formação de professores e na capacitação dos mesmos. Os diagnósticos sobre os erros dos alunos precisam chegar à sala de aula;

5) a garantia da boa formação inicial dos professores. Além dos problemas apontados pela avaliação dos alunos, o Exame Nacional de Cursos mostra que há graves deficiências na formação dos professores. As licenciaturas e cursos de magistério precisam ter disciplinas que cubram os conteúdos e as habilidades que os professores vão ter de ensinar. Os futuros professores precisam conhecer os livros didáticos que irão utilizar;

6) mudança de metodologia: de aula passiva para participativa; trabalho em grupos na sala de aula; ênfase em fazer o aluno pensar em vez de decorar; encorajar o aluno a perguntar; encorajar o aluno a discutir e debater. Aprendizado de conteúdo e memorização é conseqüência desse uso cujo objetivo é o emprego de testes para diagnosticar e corrigir erros. Não usar testes para punir e reprovar. Os cursos de licenciatura e de magistério deveriam ser modificados para dar exemplo e servir de modelo;

7) a avaliação da eficácia dos Cursos Normais Superiores leva-nos a perguntar se estão ensinando novos conteúdos? Estão apresentando uma pedagogia moderna ou houve apenas mudança de nome?

8) melhoria e incentivo ao uso do livro didático. Expandir sua distribuição para o Ensino médio. Mas não basta distribuir. Tem de haver capacitação dos professores para utilização dos livros;

9) trabalhar atitude e expectativa dos professores, diretores e funcionários das escolas quanto ao sucesso e progresso dos alunos. É preciso convencer de que a repetência não funciona. Tem de haver programas contínuos de recuperação;

10) trabalhar a auto-estima dos alunos. A repetência provoca justamente o contrário;

11) incentivar o envolvimento dos pais. Trabalhar a expectativa dos pais em relação ao sucesso e progresso de seus filhos. Os pais precisam motivar seus filhos a estudarem e a serem bons alunos. Aproveitar reuniões de pais para tratar desses assuntos

12) incentivar a valorização do bom aluno pelos pais, sociedade e escola;

13) manter o jovem na escola de 14 a 18 anos. É preciso lembrar que quem está aprendendo não sai da escola. Portanto é necessário melhorar os programas de recuperação para os que precisam, manter sempre monitores que possam ajudar os colegas. É importante dar perspectiva de vida e criar cursos que visam à empregabilidade como programas de inclusão digital e cursos técnicos modernos;

14) para acabar ou diminuir a falta de professores, especialmente de Matemática, Física e Química no EM, e também, no EF, permitir que qualquer pessoa com formação superior possa ser professor após fazer um exame de habilitação de conteúdo e passar por um treinamento pedagógico nos moldes propostos acima, em serviço;

15) para atrair profissionais capacitados para a carreira de professor, é necessário valorizar o professor, com plano de carreira, que permita ascensão por mérito e melhoria salarial. Trabalhar auto-estima do professor. Pagar gratificação especial para os que forem trabalhar e se dedicar às escolas com maiores problemas;

16) melhoria da gestão escolar. Autonomia para fazer pequenos reparos. Autonomia para escolher professores;

17) garantir pré-escola de boa qualidade;

18) buscar apoio dos pais e da sociedade.

Finalmente, é preciso ter em mente que os programas possam ser implementados e que precisam ser avaliados. É importante evitar somente mudanças de nome, fato muito comum no país.

Recebido em: 18/05/2006

Aceito para publicação em: 26/06/2006

• ELLIOT, L.G.; FONTANIVE, N. S.; KLEIN, R. A capacitação de professores em avaliação em sala de aula: um esboço de idéias e estratégias. Ensaio: avaliação e políticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v.11, n. 39, p. 141-152, abr./jun. 2003.
• FONTANIVE, N. S.; KLEIN, R. Uma visão sobre o Sistema de Avaliação da Educação Básica do Brasil (SAEB). Ensaio: avaliação e políticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v. 8, n. 29, p. 409-442, out./dez. 2000.
• FUNDAÇÃO CESGRANRIO. Fatores associados ao desempenho em língua portuguesa e matemática: a evidência do SAEB 2003: relatório técnico. Rio de Janeiro, [2003a].
• ______. SAEB 2003: relatório técnico. Rio de Janeiro, [2003b].
• KLEIN, R. A boa escola. O Globo, Rio de Janeiro, p. 7, 31 mar. 2005a.
• KLEIN, R. Por uma educação de qualidade. Ensaio: avaliação e políticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v. 11, n. 38, p. 115-120, jan./mar. 2003a.
• ______. Produção e utilização de indicadores educacionais: metodologia de cálculo de indicadores do fluxo escolar da educação básica. Revista Brasileira de Estudos Pedagógicos, Brasília, DF, v. 84, n. 206/207/208, p. 107-157, out. 2004.
• ______. Testes de rendimento escolar. In: MELLO E SOUZA, A. Dimensões da avaliação educacional Petrópolis, RJ: Vozes, 2005b.
• ______ Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: avaliação e políticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v. 11, n. 40, p. 283-296, jan./mar. 2003b.
• KLEIN, R.; RIBEIRO, S. C. O censo educacional e o modelo de fluxo: o problema da repetência. Revista Brasileira de Estatística, Rio de Janeiro, v. 52, n. 197/198, p. 5-45, 1991.
• PNAD. Disponível em: <http://www.mct.gov.br/index.php>. Acesso em: jun. 2006.
• RIBEIRO, S. C. A pedagogia da repetência. Estudos Avançados, São Paulo, v. 5, n. 12, maio/ago. 1991.

anexo

1

Para uma descrição mais detalhada do SAEB, ver Fontanive e Klein (2000).

2

Ver, por exemplo, o relatório técnico "Fatores associados ao desempenho em língua portuguesa e matemática" (FUNDAÇÃO CESGRANRIO, 2003a).

Datas de Publicação

• Publicação nesta coleção
  16 Out 2006
• Data do Fascículo
  Jun 2006

Histórico

• Aceito
  26 Jun 2006
• Recebido
  18 Maio 2006