Uma solução para a divergência de diferentes padrões no SAEB

A solution to the divergence of different standards in SAEB

Una solución para la divergencia de diferentes estándares en el SAEB

Resumo

Neste artigo, mostramos que há necessidade de se construir um consenso sobre terminologia dos níveis, que as metas do Todos pela Educação são razoáveis e que não há discordância com os níveis da divulgação do SAEB 2017, desde que se definam corretamente as metas para cada nível e que sejam feitas as correções necessárias. Para isso, construímos uma distribuição de referência ancorada a uma distribuição empírica de uma população alvo. No artigo, utilizou-se a população dos estudantes dos países pertencentes à OCDE. Indicamos que as metas do IDEB deveriam ser mais altas e mais consistentes com as metas do Todos pela Educação.

SAEB; PISA; IDEB; Escala de proficiências; Níveis; Metas; Distribuição de referência

Abstract

In this article, we show that there is a necessity of building a consensus about terminology of proficiency levels, that the Todos pela Educação (All for Education) goals are reasonable, and that there is no disagreement with the disclosed levels of SAEB 2017, as long as the attainment goals for each level are correctly defined and the necessary corrections are made. For this purpose, we construct a reference distribution anchored to an empirical distribution of a target population. In the paper, it was used the population of students from OECD countries. We indicate that IDEB targets should be higher and consistent with Todos pela Educação goals.

SAEB; PISA; IDEB; Proficiencies scale; Levels; Goals; Reference distribution

Resumen

En este artículo mostramos que hay necesidad de construir un consenso sobre terminología de los niveles, que las metas del Todos por la Educación son razonables y que no hay discordancia con los niveles de la divulgación del SAEB 2017, siempre que se definan correctamente las metas para cada nivel y, se efectúen las correcciones necesarias. Para ello construimos una distribución de referencia anclada a una distribución empírica de una población objetivo. En el artículo se utilizó la población de los estudiantes de los países pertenecientes a la OCDE. Indicamos que las metas del IDEB deberían ser más altas y consistentes con las metas del Todos por la Educación.

SAEB; PISA; IDEB; Escala de habilidades; Niveles; Metas; Distribución de referencia

1 Introdução

O objetivo deste artigo é mostrar que, além de definir níveis com seus pontos de corte em uma escala de proficiências, e fazer julgamentos sobre que níveis são básicos, adequados, etc, é importante acrescentar metas, isto é, qual o percentual desejado da população considerada deve estar acima de cada nível. Uma questão sempre é se essas metas fazem sentido para a população. Neste artigo, procuramos responder a essa questão, definindo uma distribuição de referência que engloba algumas propostas de níveis justificando as metas. Mostra-se que essa distribuição de referência é desejável por ter uma correspondência com a distribuição empírica dos estudantes da OCDE (Organização para a Cooperação e Desenvolvimento Econômico) no PISA (Programa Internacional de Avaliação de Estudantes). Verifica-se que é preciso haver um consenso no país acerca da terminologia do que é básico, adequado, avançado ou outros termos. Indica-se que as metas do IDEB (Índice de Desenvolvimento da Educação Básica) deveriam ser baseadas nas distribuições de referência e que deveriam ser maiores que as atuais.

2 Diferentes propostas de níveis para o SAEB

Recentemente, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP (INEP, 2018a; 2018b) divulgou os resultados do SAEB (Sistema de Avaliação da Educação Básica) com uma interpretação das escalas de Língua Portuguesa (Leitura) e Matemática para os 5º e 9º anos do Ensino Fundamental (EF) e para a 3ª série do Ensino Médio (EM) e uma classificação de níveis, sendo insuficiente (níveis 3 e abaixo), básico (níveis 4 a 6) e adequado (níveis de 7 em diante), tanto para Língua Portuguesa (Leitura) quanto para Matemática. Mas não divulgou metas.

A Tabela 1, abaixo, indica os níveis (intervalos), com seus pontos de corte, extremo inferior do intervalo que define o nível.

Tabela 1
Os níveis divulgados no SAEB 2017 para Leitura e Matemática.

Leitura				Matemática
	5º ano EF	9º ano EF	3ª série EM		5º ano EF	9º ano EF	3ª série EM
Nível 0	<125	<200	<225	Nível 0	<125	<200	<225
Nível 1	[125,150)	[200,225)	[225,250)	Nível 1	[125,150)	[200,225)	[225,250)
Nível 2	[150,175)	[225,250)	[250,275)	Nível 2	[150,175)	[225,250)	[250,275)
Nível 3	[175,200)	[250,275)	[275,300)	Nível 3	[175,200)	[250,275)	[275,300)
Nível 4	[200,225)	[275,300)	[300,325)	Nível 4	[200,225)	[275,300)	[300,325)
Nível 5	[225,250)	[300,325)	[325,350)	Nível 5	[225,250)	[300,325)	[325,350)
Nível 6	[250,275)	[325,350)	[350,375)	Nível 6	[250,275)	[325,350)	[350,375)
Nível 7	[275,300)	[350,375)	[375,400)	Nível 7	[275,300)	[350,375)	[375,400)
Nível 8	[300,325)	>=375	>=400	Nível 8	[300,325)	[375,400)	[400,425)
Nível 9	>=325			Nível 9	[325,350)	>=400	[425,450)
				Nível 10	>=350		>=450

• Fonte: Elaborada pelo autor, a partir das escalas do SAEB obtidas no site do INEP, 2018 (INEP, 2018b).

Por outro lado, temos a Meta 3 do Movimento Todos pela Educação definida no final de 2006 como: “70% ou mais dos alunos da série considerada devem estar acima do ponto considerado adequado na escala do SAEB”. A Tabela 2 exibe esses pontos para o 5º e 9º anos do EF, e 3ª série do EM. Aqui temos uma definição de nível com uma meta.

Tabela 2
Pontos na escala SAEB considerados adequados pelo Todos pela Educação.

	5º ano EF	9º ano EF	3ª série EM
Leitura	200	275	300
Matemática	225	300	350

• Fonte: Todos pela Educação (2017).

Pode-se ver que os pontos de corte do nível 7 divulgados pelo SAEB são 75 pontos maiores em Leitura que os pontos adequados do Todos pela Educação. Já em Matemática são 50 pontos a mais no 5º e 9º anos do EF e 25 pontos na 3ª série do EM. Isso reflete um julgamento muito mais exigente.

Causa estranheza que os pontos de corte do nível adequado (7) sejam iguais em Leitura e Matemática, o que implica estarem os alunos brasileiros melhor em Matemática do que em Leitura, como mostra a Tabela 3, o que contraria o que se conhece da educação brasileira. Quais valores deveriam ser as metas para a população? Na divulgação, não há nenhuma menção a metas. Daremos uma resposta no final do artigo e mostraremos, com a correspondência com a distribuição empírica dos estudantes da OCDE, que, de fato, em Leitura é necessário baixar os pontos de corte em 25 pontos.

Tabela 3
Percentuais de alunos brasileiros no nível 7 ou acima segundo o SAEB 2017.

	5º ano EF	9º ano EF	3ª série EM
Leitura	11.9	2.9	1.6
Matemática	15.5	4.5	4.5

• Fonte: Elaborada pelo autor, a partir dos dados do site do INEP, 2018, (INEP, 2018a).

A Tabela 4 exibe os percentuais de alunos brasileiros acima dos pontos adequados do Todos pela Educação para o ano de 2017.

Tabela 4
Percentuais de alunos brasileiros acima dos pontos adequados do Todos pela Educação, segundo o SAEB 2017.

	5º ano EF	9º ano EF	3ª série EM
Leitura	60.7	39.5	29.1
Matemática	48.9	21.5	9.1

• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017 (INEP,2018).

Apesar de seus pontos adequados serem muito menos exigentes, somente em Leitura no 5º ano do EF o país está mais perto de atingir a meta dos 70%. A situação em Matemática é pior do que em Leitura em todas as séries. Houve uma preocupação do Comitê Técnico do Todos pela Educação, do qual fazemos parte, em procurar ter metas factíveis. Além da interpretação da escala, houve uma tentativa de ter pontos de corte na “média da OCDE” no PISA. No final do artigo, daremos outra interpretação, em relação à OCDE e ao PISA.

Em 2006, publicamos um artigo na revista Ensaio (Klein, 2006), na qual, na Tabela 5, apresentamos os pontos de corte para os níveis básico e satisfatório (questão de terminologia) com as seguintes metas para Matemática: 75% dos alunos acima do nível satisfatório e 100% acima do nível básico.

Tabela 5
Pontos de corte para os níveis básico e satisfatório em Klein, R. 2006.

	5º ano EF	9º ano EF	3ª série EM
Básico	175	275	375
Satisfatório	250	350	425
Avançado	300

• Fonte: KLEIN (2006)

Houve uma concordância no julgamento de adequado ou satisfatório e de básico no 9º ano entre Klein (2006), e na divulgação do SAEB 2017. Mas a meta de Klein (2006) sobre o nível adequado é irreal, como será visto. No Todos para a Educação, para ter os 70% acima do nível foi necessário baixar a exigência no ponto de corte, mas chamou-se esse valor mais baixo também de nível adequado.

De fato, somente no ponto 350, os alunos do 9º ano têm um melhor domínio da Álgebra: sabem resolver uma equação de 2º grau, usar o teorema de Pitágoras e outros teoremas de Geometria. No ponto 275, os alunos teriam um nível básico para o 9º ano. É a partir desse ponto que mais de 65% dos alunos sabem determinar o valor numérico de uma expressão algébrica simples ou de 1º grau envolvendo números naturais e reconhecer números inteiros negativos e números racionais na forma decimal na reta numérica.

O ponto de corte do nível 7 do 5º ano, 275, em Matemática, encontram-se entre o satisfatório e o avançado de Klein (2006). Lembra-se que a escala é comum entre os anos escolares (séries), adicionando-se para anos escolares mais avançados habilidades relativas a esse ano escolar. O nível 250 foi considerado satisfatório por Klein, 2006, pois a partir desse ponto, em geral, os alunos do 5º ano efetuam as 4 operações (divisões exatas) e calculam percentagens simples (50%, 25%), resolvem problemas simples em que utilizam a multiplicação, localizam na reta numérica números naturais e, em situações simples, números racionais representados na forma decimal.

Mas o ponto de corte do nível 7 da 3ª série do EM é baixo (375), na interpretação da escala, tem muito pouco do EM. Klein (2006) propõe 425 (muito exigente). Neste artigo, consideraremos o ponto 400, que corresponderia ao nível 8. A partir desse ponto, em geral, entre outras habilidades, os alunos reconhecem a proporcionalidade dos elementos lineares de figuras semelhantes, utilizam o teorema de Pitágoras em figuras tridimensionais, calculam áreas e volumes de figuras tridimensionais, reconhecem gráficos de funções trigonométricas, interpretam o significado dos coeficientes da equação de uma reta, a partir de sua forma reduzida.

3 Distribuição de referência

Usando os resultados do PISA 2015 e sua interpretação de escala, criaremos uma distribuição de referência para cada série/disciplina que relacionará os pontos de corte do Todos pela Educação com os pontos de corte dos níveis propostos na divulgação do SAEB 2017, com a correção para o nível 8 em Matemática, ficando com uma diferença de 50 pontos entre as propostas dos níveis adequados do 9º ano do EF e da 3ª série do EM. Para Leitura, temos que baixar 25 pontos, considerando os níveis 6 para o 5º e 9º anos e mantendo o nível 7 para a 3ª série do EM, ficando também com uma diferença de 50 pontos entre os adequados do 9º ano do EF e da 3ª série do EM.

Achamos que nos pontos adequados do Todos pela Educação, o ponto adequado para a 3ª série do EM em Leitura, deveria ser 325 e, não, 300, ficando com uma diferença de 50 pontos para o ponto 275 do 9º ano do EF.

Indicaremos que os IDEBs, utilizando as médias das distribuições de referência são os IDEBs relativos às metas do Todos pela Educação e aproximações relativas às médias dos estudantes da OCDE em Leitura e Matemática.

Supondo-se que a distribuição de proficiências de uma série tem distribuição normal com desvio padrão 50, pode se mostrar que para se ter a probabilidade acima do ponto adequado do Todos pela Educação igual a 0,7, a distribuição normal tem que ter uma média aproximadamente igual ao ponto adequado mais 25 (meio desvio padrão). Por exemplo, no 9º ano do EF, Matemática, o ponto adequado é 300. Logo a média é 325.

De fato, esse é um fato para qualquer distribuição normal, com média m e desvio padrão s. A Tabela 6 exibe algumas probabilidades.

Tabela 6
Probabilidade da variável aleatória X, com distribuição normal com média m e desvio padrão s ser maior que alguns pontos.

$\mathrm{P}(\mathrm{X}>\mathrm{m}-2\mathrm{s})=$	0,977
$\mathrm{P}(\mathrm{X}>\mathrm{m}-1,5\mathrm{s})=$	0,933
$\mathrm{P}(\mathrm{X}>\mathrm{m}-\mathrm{s})=$	0,841
$\mathrm{P}(\mathrm{X}>\mathrm{m}-0,5\mathrm{s})=$	0,691	~ 0,7
$\mathrm{P}(\mathrm{X}>\mathrm{m})=$	0,5
$\mathrm{P}(\mathrm{X}>\mathrm{m}+0,5\mathrm{s})=$	0,309	~ 0,3
$\mathrm{P}(\mathrm{X}>\mathrm{m}+\mathrm{s})=$	0,159
$\mathrm{P}(\mathrm{X}>\mathrm{m}+1.5\mathrm{s})=$	0,067

• Fonte: Elaborada pelo autor (2018)

Por exemplo, para o 9º ano EF, Matemática, a Tabela 7 ilustra os valores para m=325 e s = 50 e a Tabela 8 ilustra para o 9º ano EF Leitura, m- 300, s=50.

Tabela 7
Matemática, 9º ano do EF, probabilidade da variável aleatória X, com distribuição normal com média 325 e desvio padrão 50 ser maior que alguns pontos, incluindo o ponto adequado do Todos pela Educação, 300 e o ponto de corte do nível 7, da divulgação do SAEB 2017, 350.

$\mathrm{P}(\mathrm{X}>325-2*50)=$	$\mathrm{P}(\mathrm{X}>225)=$	0,977
$\mathrm{P}(\mathrm{X}>325-1,5*50)=$	$\mathrm{P}(\mathrm{X}>250)=$	0,933
$\mathrm{P}(\mathrm{X}>325-1*50)=$	$\mathrm{P}(\mathrm{X}>275)=$	0,841	Correspondente ao nível 2 (básico) do PISA
$\mathrm{P}(\mathrm{X}>325-0,5*50)=$	$\mathrm{P}(\mathrm{X}>300)=$	0,691	Adequado - Todos pela Educação
$\mathrm{P}(\mathrm{X}>325)=$	$\mathrm{P}(\mathrm{X}>325)=$	0,5
$\mathrm{P}(\mathrm{X}>325+0,5*50)=$	$\mathrm{P}(\mathrm{X}>350)=$	0,309	Adequado - SAEB 2017 e correspondente ao nível 4 (“adequado”) do PISA
$\mathrm{P}(\mathrm{X}>325+50)=$	$\mathrm{P}(\mathrm{X}>375)=$	0,159
$\mathrm{P}(\mathrm{X}>325+1,5*50)=$	$\mathrm{P}(\mathrm{X}>400)=$	0,067

• Fonte: Elaborada pelo autor (2018).

Tabela 8
Leitura, 9º ano do EF, probabilidade da variável aleatória X, com distribuição normal com média 300 e desvio padrão 50 ser maior que alguns pontos, incluindo o ponto adequado do Todos pela Educação, 275, e o ponto de corte do nível 6 da divulgação do SAEB 2017, 325.

$\mathrm{P}(\mathrm{X}>300-2*50)=$	$\mathrm{P}(\mathrm{X}>200)=$	0,977
$\mathrm{P}(\mathrm{X}>300-\mathrm{1,5}*50)=$	$\mathrm{P}(\mathrm{X}>225)=$	0,933
$\mathrm{P}(\mathrm{X}>300-1*50)=$	$\mathrm{P}(\mathrm{X}>250)=$	0,841	Correspondente ao nível 2 (básico) do PISA
$\mathrm{P}(\mathrm{X}>300-\mathrm{0,5}*50)=$	$\mathrm{P}(\mathrm{X}>275)=$	0,691	Adequado - Todos pela Educação
$\mathrm{P}(\mathrm{X}>300)=$	$\mathrm{P}(\mathrm{X}>300)=$	0,5
$\mathrm{P}(\mathrm{X}>300+\mathrm{0,5}*50)=$	$\mathrm{P}(\mathrm{X}>325)=$	0,309	Adequado - SAEB 2017 e correspondente ao nível 4 (“adequado”) do PISA
$\mathrm{P}(\mathrm{X}>300+50)=$	$\mathrm{P}(\mathrm{X}>350)=$	0,159
$\mathrm{P}(\mathrm{X}>300+\mathrm{1,5}*50)=$	$\mathrm{P}(\mathrm{X}>375)=$	0,067

• Fonte: Elaborada pelo autor (2018).

Faremos agora a comparação com os resultados do PISA. A interpretação das escalas do PISA e seus níveis encontram-se em OCDE (2016). As interpretações das escalas do SAEB encontram-se em INEP (2018b).

No PISA, em Matemática, o nível 2 é considerado básico e é dado pelo intervalo (420,482). Na interpretação desse nível está escrito: “alunos sabem empregar algoritmos básicos, fórmulas, procedimentos para resolver problemas envolvendo números inteiros”. Na escala SAEB essas habilidades são descritas no nível 275.

No nível 3 do PISA (482, 545), “alunos tipicamente mostram alguma habilidade para usar percentagens, frações e números decimais, e trabalhar com relações proporcionais”. No Saeb, essas habilidades do nível 3 são descritas nos níveis 300 e 325.

Essa descrição do nível 3 é insuficiente para ser considerada o nível adequado para alunos de 15 anos, que deveria ser o nível 4 (545, 607) do PISA. Ressaltamos que o PISA não define nível adequado. O nível correspondente do SAEB é 350.

Em OCDE, 2016, os estudantes no nível 5 ou acima são considerados “top performers”. Podemos considerar o ponto de corte do nível 5 como sendo o ponto de corte do nível avançado. Mais tarde definiremos um nível avançado e faremos a correspondência com o “nível avançado” do PISA.

A Tabela 9 exibe os percentuais de estudantes da OCDE de 15 anos que, em Matemática, estão no nível 2 (básico) ou acima, no nível 4 (adequado ou acima) e no nível 5 (avançado ou acima). Pode-se ver que são 76,6% no nível básico ou acima, 29,3% no nível adequado ou acima, e 10,7% no nível avançado ou acima.

Tabela 9
Percentagem de estudantes da OCDE nos níveis 2 ou acima e nos níveis 4 ou acima, em Matemática no PISA 2015.

nível 2 ou acima	76.6%
nível 4 ou acima	29.3%
nível 5 ou acima	10.7%

• Fonte: Extraído da Tabela 1.5.1a de OCDE (2016).

Observa-se que a Tabela 7, para o 9º ano do EF Matemática mostra que para a distribuição de referência com média 325 e desvio padrão 50, a probabilidade de estar acima de 275 (nível básico na divulgação SAEB 2017 e nível básico Pisa) é 84%, acima de 300 é 69%, acima de 325, 50%, acima de 350 (nível adequado na divulgação SAEB 2017 e nível ‘adequado’ Pisa) é 31%, acima de 375 é 16% e acima de 400 é 7%. Logo o nível 300 definido pelo Todos pela Educação está acima do nível correspondente ao nível básico do PISA, e é razoável querer 70%. Da mesma maneira, é razoável querer somente 30% para o ponto 350 definido na divulgação do SAEB e por Klein 2006. Se quiséssemos um ponto para o qual teríamos probabilidade de 95% acima dele, esse deveria ser 225 ou 250, digamos 250, para ficar somente meio desvio padrão abaixo do ponto correspondente ao básico do PISA. O ponto de corte do nível avançado do PISA estaria entre os pontos 375 e 400. Podemos definir então o ponto de corte de um nível avançado como sendo 375 ou 400, digamos 375. Observamos que estamos considerando pontos de corte do tipo m ± k*dp, k=0, 0,5, 1, 1,5, etc. onde m e dp são respectivamente a média e o desvio padrão da distribuição de referência.

Teríamos então, em relação ao Todos pela Educação: nível básico 250, meta 95% ou acima, nível adequado 300 meta 70% ou acima e nível avançado 375, meta 15% ou acima.

A distribuição empírica dos estudantes da OCDE no PISA nos mostra que é irreal querer um percentual de estudantes de 70% acima do ponto 350.

Essa distribuição de referência é o mínimo que queremos, equivalente à média da OCDE. É claro que pode ser melhor. Por exemplo, o Japão tem cerca de 46% de seus estudantes de 15 anos no nível 4 ou acima, e a Finlândia, 35%. O melhor resultado em Matemática no PISA 2015 foi de Singapura, que tem cerca de 60% de seus estudantes de 15 anos no nível 4 ou acima.

As Tabelas 10, 11 e 12 mostram que, em relação ao PISA, o Brasil só tem cerca de 30% de seus alunos no nível básico ou acima, cerca de 4% no nível “adequado” ou acima, e cerca de 1% no nível avançado ou acima.

Tabela 10
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico no PISA e no SAEB 2015, 9º ano, em Matemática.

	PISA >= 420	SAEB, 9º ano >= 275
2015	29,8%	33,2%
2003	24,9%	26,3%

• Fonte: Elaborada pelo autor a partir dos microdados do SAEB (2018)

Tabela 11
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis “adequado” no PISA e no SAEB 2015, 9º ano, em Matemática.

	PISA >= 545	SAEB, 9º ano >= 350
2015	4,0%	3,6%
2003	3,9%	3,3%

• Fonte: Elaborada pelo autor a partir dos microdados do SAEB (2018)

Tabela 12
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis “avançado” no PISA e no SAEB 2015, 9º ano, em Matemática.

	PISA >= 607	SAEB, 9º ano >= 375
2015	0,9%	1,2%
2003	1,2%	1,1%

• Fonte: Elaborada pelo autor a partir dos microdados do SAEB (2018)

Em Leitura, Morais (2017), indica que o nível adequado do PISA deve ser o nível 4 (553,626). Nesse nível que ele chama de literácia argumentativa, os alunos são capazes de em algumas tarefas, interpretar o significado de nuances da linguagem em uma parte do texto, levando-se em consideração o texto como um todo e, em outras tarefas, capazes de analisar criticamente um texto. Na interpretação da escala do SAEB do 9º ano do EF, a partir do ponto 325, os alunos são capazes de, por exemplo, identificar argumento em reportagens e crônicas, reconhecer a relação de causa e consequência em contos, reconhecer diferentes opiniões entre cartas de leitor que abordam o mesmo tema. Em outras palavras são capazes de desenvolver argumentos.

No nível 2 (407,480) do PISA, por exemplo, os alunos localizam um ou mais fragmentos de informação, que podem ter inferidos ou podem satisfazer diversas condições, reconhecem a ideia principal em um texto, o entendimento de relações ou a construção de significado dentro de uma parte específica do texto, quando a informação não é proeminente e deve fazer inferências de nível baixo. Já a partir do ponto 250 da escala do SAEB, os alunos são capazes de localizar informações explícitas em crônicas e fábulas, identificar os elementos da narrativa em letras de música e fábulas, inferir tema e ideia principal em notícias, crônicas e poemas.

Na escala SAEB, o ponto adotado pelo Todos pela Educação no 9º ano, 275, exige um pouco mais, por exemplo, os alunos devem ser capazes de localizar informações explícitas em artigos de opinião e crônicas, de identificar a finalidade e elementos da narrativa em fábulas e contos e, ainda, inferir tema, tese e ideia principal em contos, letras de música, editoriais, reportagens, crônicas e artigos.

Essas correspondências aproximadas são corroboradas pelas Tabelas 13, 14, 15 e 16 que mostram os resultados equivalentes das Tabelas 9, 10, 11 e 12 de Matemática para Leitura, 9º ano EF.

Tabela 13
Percentagem de estudantes da OCDE nos níveis 2 ou acima e nos níveis 4 ou acima, em Leitura no PISA.

Nível 2 ou acima	79,9%
Nível 4 ou acima	28,8%
Nível 5 ou acima	8,3%

• Fonte: Extraído da Tabela 14.1a de OCDE (2016).

Tabela 14
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico no PISA e no SAEB 2015, 9º ano, em Leitura.

	PISA >= 407	SAEB, 9º ano >= 250
2015	49,2%	52,4%
2003	50,3%	35,9%

• Fonte: Elaborada pelo autor a partir dos microdados do SAEB (2018)

Tabela 15
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis “adequado” no PISA e no SAEB 2015, 9º ano, em Leitura.

	PISA >= 553	SAEB, 9º ano >= 325
2015	7,8%	6,6%
2003	8,2%	3,1%

• Fonte: Elaborada pelo autor a partir dos microdados do SAEB (2018)

Tabela 16
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis “avançado” no PISA e no SAEB 2015, 9º ano, em Leitura.

	PISA >= 626	SAEB, 9º ano >= 350
2015	1,4%	1,6%
2003	1,9%	0,7%

• Fonte: Elaborada pelo autor a partir dos microdados do SAEB (2018)

A Tabela 13 mostra que em Leitura, o percentual de estudantes da OCDE no nível 2, ou acima, é de cerca de 80%, no nível 4, ou acima, de cerca de 29% e, no nível 5, ou acima, 8,3%. Novamente, a Tabela 8 mostra que para a distribuição de referência com média 300 e desvio padrão 50, a probabilidade de estar acima de 250 (básico Pisa) é 84%, acima de 275 (Todos), 69%, acima de 300, 50%, acima de 325 (nível 6 da divulgação SAEB 2017 e nível ‘adequado’ Pisa) de 31%, acima de 350, 16% e acima de 375, 0,7%. Portanto, como em Matemática, o nível adequado do Todos pela Educação em Leitura é superior ao nível básico do PISA em Leitura. E de acordo com a distribuição de referência e a correspondência com o PISA, o ponto 325 (nível 6 na divulgação do SAEB 2017) é que deve ser considerado o nível adequado.

Com o mesmo raciocínio feito em Matemática, poderíamos definir em Leitura, em relação ao Todos pela Educação: nível básico 225, meta 95% ou acima, nível adequado 275 meta 70% ou acima e nível avançado 350, meta 15% ou acima.

A distribuição empírica dos estudantes da OCDE no PISA nos mostra que é irreal querer um percentual de estudantes de 70% acima do ponto 325.

Essa distribuição de referência é o mínimo que queremos, equivalente à média da OCDE. É claro que pode ser melhor. Por exemplo, o Japão tem cerca de 37% de seus estudantes de 15 anos no nível 4 ou acima, e a Finlândia, 42%. O melhor resultado em Leitura no PISA 2015 foi de Singapura, que tem cerca de 46% de seus estudantes de 15 anos no nível 4 ou acima.

As Tabelas 14, 15 e 16 mostram que o Brasil só tem cerca de 50% de seus alunos acima do nível básico, 8% acima do nível adequado e 1,5% acima do nível avançado do PISA. Essas Tabelas mostram que o desempenho dos alunos brasileiros em Leitura foi estável no PISA em relação a 2003 e 2015, mas muito ruim no SAEB 2003. Em 2015, temos resultados comparáveis. Em Matemática, as Tabelas 10, 11 e 12 mostram que houve evolução dos resultados tanto no PISA como no SAEB e que os resultados são comparáveis.

Em coerência com esses resultados e em conjunto com a interpretação das escalas, podemos considerar as seguintes distribuições de referências para Matemática, 5º e 9º anos do EF, e para a 3ª série do EM. Na 3ª série do EM fazemos as correções dos níveis básico e adequado dos níveis 4 e 7, respectivamente, para os níveis 5 e 8 na divulgação do SAEB 2017. As Tabelas 17, 18 e 19 mostram os percentuais de alunos brasileiros com proficiência acima dos pontos de corte dos diversos níveis por dependência administrativa, respectivamente, para os 5º e 9º anos do EF e para a 3ª série do EM em Matemática.

Tabela 17
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico, básico na divulgação SAEB 2017, Todos pela Educação, adequado na divulgação SAEB 2017 e avançado no 5º ano do EF de Matemática, por dependência administrativa, no SAEB 2017.

	>=175	>=200	>=225	>=275	>=300
Brasil	82.8	66.9	48.9	15.5	6.2
Federal	97.5	91.3	79.2	35.5	15.9
Estadual	85.5	70.4	51.8	15.8	6.0
Municipal	79.2	61.1	42.3	11.6	4.4
Privada	95.0	86.7	72.6	31.1	14.0
EstMun	80.4	62.9	44.1	12.4	4.7

• EstMun = Estadual ou municipal
• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017. (2018)

Tabela 18
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico, básico na divulgação SAEB 2017, Todos pela Educação, adequado na divulgação SAEB 2017 e avançado no 9º ano do EF de Matemática, por dependência administrativa, no SAEB 2017.

	>=250	>=275	>=300	>=350	>=375
Brasil	54.8	36.9	21.5	4.5	1.6
Federal	92.9	86.0	73.6	34.3	16.2
Estadual	51.9	32.4	16.5	2.0	0.5
Municipal	45.7	27.7	14.0	2.0	0.5
Privada	84.6	71.4	53.6	17.6	7.1
EstMun	49.2	30.3	15.4	2.0	0.5

• EstMun = Estadual ou municipal
• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017. (2018)

Tabela 19
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico, básico na divulgação SAEB 2017, Todos pela Educação, adequado na divulgação SAEB 2017 e avançado na 3ª série do EM de Matemática, por dependência administrativa, no SAEB 2017.

	>=300	>=325	>=350	>=400	>=425
Brasil	28.3	17.0	9.1	2.1	0.6
Federal	85.5	75.2	59.9	25.6	9.1
Estadual	21.0	10.2	3.8	0.3	0.1
Municipal	34.5	20.9	10.2	1.3	0.2
Privada	70.0	55.9	39.3	12.0	3.8
EstMun	21.1	10.3	3.8	0.3	0.1

• EstMun = Estadual ou municipal
• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017. (2018)

i) 5º ano EF Matemática: média 250; básico, 175; básico na divulgação SAEB 2017, 200 (nível 4); Todos pela Educação 225; adequado na divulgação SAEB 2017, 275 (nível 7); vançado 300 (nível 8 na divulgação do SAEB 2017).

ii) 9º ano EF Matemática: média 325; básico, 250; básico na divulgação SAEB 2017, 275 (nível 4) e o correspondente do básico no PISA; Todos pela Educação 300; adequado na divulgação SAEB 2017, 350 (nível 7); avançado 375 (nível 8 na divulgação do SAEB 2017).

iii) 3ª série do EM Matemática: média 375; básico, 300; básico corrigido na divulgação SAEB 2017, 325 (nível 5); Todos pela Educação 350; adequado, corrigido na divulgação SAEB 2017, 400 (nível 8) ; avançado 425 (nível 9 na divulgação do SAEB 2017).

Fazemos o mesmo para Leitura, com as correções dos níveis básico e adequado, respectivamente de 4 e 7 para 3 e 6, nos 5º e 9º anos do EF como mencionado anteriormente. As Tabelas 20, 21 e 22 mostram os percentuais de alunos brasileiros com proficiência acima dos pontos de corte dos diversos níveis por dependência administrativa, respectivamente, para os 5º e 9º anos do EF e para a 3ª série do EM em Língua Portuguesa.

Tabela 20
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico, básico na divulgação SAEB 2017, Todos pela Educação, adequado na divulgação SAEB 2017 e avançado no 5º ano do EF de Leitura, por dependência administrativa, no SAEB 2017.

	>=150	>=175	>=200	>=250	>=275
Brasil	88.9	76.6	60.7	25.2	11.9
Federal	98.5	95.3	86.6	48.1	26.0
Estadual	90.7	79.4	63.5	26.5	12.5
Municipal	86.3	71.9	54.5	20.3	9.2
Privada	97.6	92.8	83.3	43.6	22.3
EstMun	87.2	73.3	56.2	21.5	9.8

• EstMun = Estadual ou municipal
• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017. (2018)

Tabela 21
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico, básico na divulgação SAEB 2017, Todos pela Educação, adequado na divulgação SAEB 2017 e avançado no 9º ano do EF de Leitura, por dependência administrativa, no SAEB 2017.

	>=225	>=250	>=275	>=325	>=350
Brasil	73.6	57.8	39.5	9.1	2.9
Federal	95.3	91.2	82.3	39.3	17.4
Estadual	72.3	55.5	36.0	6.4	1.7
Municipal	67.5	49.5	30.7	5.3	1.4
Privada	91.8	83.9	70.0	26.0	9.7
EstMun	70.2	52.8	33.7	5.9	1.6

• EstMun = Estadual ou municipal
• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017. (2018)

Tabela 22
Percentagem de alunos brasileiros com proficiência acima dos pontos de corte dos níveis básico, básico na divulgação SAEB 2017, Todos pela Educação, adequado na divulgação SAEB 2017 e avançado na 3ª série do EM de Leitura, por dependência administrativa, no SAEB 2017.

	>=275	>=300	>=325	>=375	>=400
Brasil	45.6	29.1	15.4	1.6	0.2
Federal	89.8	81.5	63.2	13.8	1.7
Estadual	39.4	22.4	9.7	0.6	0.0
Municipal	51.4	34.3	18.8	1.5	0.1
Privada	81.0	67.5	47.7	7.8	0.9
EstMun	39.5	22.5	9.8	0.6	0.0

• EstMun = Estadual ou municipal
• Fonte: Elaborada pelo autor, extraídos dos microdados do SAEB 2017. (2018)

iv) 5º ano EF Leitura: média 225; básico, 150; básico corrigido na divulgação SAEB 2017, 175 (nível 3); Todos pela Educação 200; adequado, corrigido na divulgação SAEB 2017, 250 (nível 6); avançado 275 (nível 7 na divulgação do SAEB 2017).

v) 9º ano EF Leitura: média 300; básico, 225; básico, corrigido na divulgação SAEB 2017, 250 (nível 3); Todos pela Educação 275; adequado, corrigido na divulgação SAEB 2017, 325 (nível 6); avançado 350 (nível 7 na divulgação do SAEB 2017).

vi) 3ª série do EM Leitura: média 350; básico, 275; básico, na divulgação SAEB 2017, 300 (nível 4); Todos pela Educação modificado 325; adequado, na divulgação SAEB 2017, 375 (nível 7); avançado, 400 (nível 8 na divulgação do SAEB 2017).

O nível 4, 300, da divulgação SAEB 2017 corresponde ao ponto adequado do Todos pela Educação.

Pode-se ver nessas tabelas que a situação é pior em Leitura que em Matemática em todos os anos escolares, e que a situação piora com o aumento da série. Os melhores resultados são os da rede federal, que é muito pequena. A rede privada só atinge a meta do Todos pela Educação no 5º ano do EF em Leitura.

4 IDEB

O IDEB (Fernandes, 2008a), e suas metas têm, hoje, um papel muito importante na educação básica no Brasil. O IDEB reúne em um único índice, para cada segmento da Educação Básica, Anos Iniciais, Anos Finais e Ensino Médio, uma medida de movimentação escolar e da qualidade da educação. O IDEB é o produto da taxa de aprovação no segmento e de uma padronização das proficiências do SAEB, em Leitura e em Matemática, no final do segmento em uma escala de 0 a 10.

Para definir as metas do IDEB, Fernandes (2008b) fez uma comparação entre os resultados do 9º ano do SAEB e o PISA em 2003. A ideia de Fernandes foi obter o valor do IDEB que corresponderia à média dos países da OCDE supondo uma taxa de aprovação de 0,96. Para isso, Fernandes calculou, para cada disciplina, a proporção de alunos brasileiros na avaliação do PISA acima da média dos países da OCDE e encontrou o valor na escala de proficiências do SAEB que corresponde a essa proporção. Esse valor corresponderia à média da OCDE, na disciplina, na escala do SAEB.

Fernandes empregou as mesmas proporções obtidas para o 9º ano do EF para o 5º ano do EF e para a 3ª série do EM para obter os ‘valores correspondentes na escala SAEB’ às médias da OCDE.

Esses valores foram utilizados para definir as metas do IDEB iguais a 6 para 2022 nos Anos Iniciais, para 2026 nos Anos Finais e para 2029 no Ensino Médio.

Os IDEBs obtidos por Fernandes estão na Tabela 23.

Tabela 23
IDEBs para os valores correspondentes às médias dos países da OCDE em 2003.

	IDEB
Anos Iniciais	6,2
Anos Finais	6,0
EM	5,9

• Fonte: Fernandes (2008b).

Usando a mesma metodologia de Fernandes para os resultados do SAEB e PISA 2015, obtemos os IDEBs exibidos na Tabela 24. Observa-se que são maiores que os obtidos com os resultados de 2003, especialmente no 5º ano do EF. Isso indica que as metas do IDEB deveriam ser maiores que as atuais.

Tabela 24
IDEB para os valores correspondentes às médias dos países da OCDE em 2015.

	IDEB
Anos Iniciais	7,3
Anos Finais	6,2
EM	6,2

• Fonte: Elaborada pelo autor (2018)

Tendo as distribuições de referência, faz sentido definir as metas do IDEB baseado nas médias dessas distribuições, que correspondem às metas do Todos pela Educação ou às metas associadas aos níveis corrigidos da divulgação do SAEB 2017 propostas nesse artigo. Dessa maneira teríamos equivalência entre as 3 metas. Além disso, a definição da meta dessa forma não depende do ano de comparação entre o SAEB e o PISA.

A média da distribuição de referência no 9º ano do SAEB é uma boa correspondência aproximada da média dos estudantes da OCDE. Em 2003, a média dos estudantes da OCDE foi de 489 em Matemática e de 488 em Leitura, portanto maior que a média dos pontos de corte dos níveis 2 e 4, que é o ponto de corte do nível 3, 482 em Matemática e 480 em Leitura.

No entanto, em 2015, se considerarmos somente os 30 países integrantes da OCDE em 2003, as médias caem para 479 em Matemática e permanecem estáveis em Leitura em 488. Se considerarmos todos os atuais países integrantes da OCDE em 2015, as médias são 478 e 487.

Como vemos essas médias não são fixas, dependem do ano.

Os pontos de corte dos níveis correspondente no SAEB em Matemática ao nível 2, básico, do PISA, e do nível 4 no 9º ano são, respectivamente, 275 e 350. Logo sua média é 312,5, que seria o “equivalente” ao ponto de corte do nível 3 do PISA. Em 2003. Esse valor seria menor que a “média correspondente” da OCDE e é ¼ de um desvio padrão do SAEB menor que a média de referência de 325 para o 9º ano em Matemática. Talvez essa média de referência seja um pouco maior que essa “média correspondente” da OCDE. Mas é um valor fixo, que não depende do ano.

O mesmo argumento se aplica a Leitura.

A Tabela 25 exibe os IDEBs para as médias das distribuições de referência. Como podem ser vistas, as metas do IDEB deveriam ser mais altas, pelo menos 6,5.

Tabela 25
IDEBs para as médias das distribuições de referência ou equivalentemente para a meta 4 do Todos pela Educação, com a correção para a 3ª série do EM Leitura.

	IDEB
Anos Iniciais	6,6
Anos Finais	6,8
EM	6,9

• Fonte: Elaborada pelo autor (2018)

5 Conclusão

Mostramos a necessidade de junto com um julgamento de mérito (por exemplo, níveis básico e adequado) haver metas e uma distribuição de referência, se possível, ancorada a uma distribuição empírica de uma população alvo. No artigo utilizou-se a população dos estudantes dos países pertencentes a OCDE.

Mostramos que há necessidade de se construir um consenso sobre terminologia dos níveis, que as metas do Todos pela Educação são razoáveis e que só precisam de uma correção na 3ª série EM em Leitura, não havendo discordância com os níveis da divulgação do SAEB 2017, desde que se definam corretamente as metas para cada nível e de que sejam feitas as correções necessárias.

Indicamos que as metas do IDEB deveriam ser mais altas e consistentes em relação às metas do Todos pela Educação.

Mostramos uma correspondência aproximada entre as distribuições de referência com as distribuições empíricas do PISA.

Referências

• FERNANDES, R. Nota técnica: índice de desenvolvimento da educação básica, IDEB. Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’, 2008a. Disponível em: <http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_concepcaoIDEB.pdf> Acesso em: 19 fev. 2019.
  » http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_e_o_ideb/Nota_Tecnica_n1_concepcaoIDEB.pdf>
• FERNANDES, R. Nota metodológica sobre a compatibilização de desempenhos do PISA com a escala do SAEB. Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’, 2008b. Disponível em: <http://download.inep.gov.br/download/Ideb/Nota_Tecnica_n3_compatibilizacao_PISA_SAEB.pdf> Acesso em: 19 fev. 2019.
  » http://download.inep.gov.br/download/Ideb/Nota_Tecnica_n3_compatibilizacao_PISA_SAEB.pdf>
• Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’ – INEP. Microdados do SAEB 2017. Brasília, DF. 2018. Disponível em: <http://portal.inep.gov.br/microdados> Acesso em: 19 fev. 2019.
  » http://portal.inep.gov.br/microdados>
• Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’ – INEP. IDEB: resultados e metas. Brasília, DF, 2018. Disponível em: <http://ideb.inep.gov.br/resultado/> Acesso em: 19 fev. 2019. Era IDEB
  » http://ideb.inep.gov.br/resultado/>
• Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’ – INEP. Press kit SAEB 2017. Brasília, DF, 2018a. Disponível em: <http://download.inep.gov.br/educacao_basica/saeb/2018/documentos/presskit_saeb2017.pdf> Acesso em: 19 fev. 2019.
  » http://download.inep.gov.br/educacao_basica/saeb/2018/documentos/presskit_saeb2017.pdf>
• Instituto Nacional de Estudos e Pesquisas Educacionais ‘Anísio Teixeira’ – INEP. Matrizes e escalas. Brasília, DF, 2018b. Disponível em: <http://portal.inep.gov.br/web/guest/educacao-basica/saeb/matrizes-e-escalas> Acesso em: 19 fev. 2019.
  » http://portal.inep.gov.br/web/guest/educacao-basica/saeb/matrizes-e-escalas>
• KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 51, p. 139-71, abr./jun. 2006. https://doi.org/10.1590/S0104-40362006000200002
  » https://doi.org/10.1590/S0104-40362006000200002
• MORAIS, J. Literacy and democracy. Language, Cognition and Neuroscience, v. 33, n. 3, p. 351-72, mar. 2017. https://doi.org/10.1080/23273798.2017.1305116
  » https://doi.org/10.1080/23273798.2017.1305116
• ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT – OECD. PISA 2015 results (volume 1): excellence and equity in education. Paris, 2016. Disponível em: <https://www.oecd-ilibrary.org/education/pisa-2015-results-volume-i_9789264266490-en> Acesso em: 19 fev. 2019.
  » https://www.oecd-ilibrary.org/education/pisa-2015-results-volume-i_9789264266490-en>
• TODOS PELA EDUCAÇÃO. De olho nas metas 2015-16. São Paulo: Moderna; 2017.

Datas de Publicação

• Publicação nesta coleção
  02 Maio 2019
• Data do Fascículo
  Apr-Jun 2019

Histórico

• Recebido
  23 Nov 2018
• Aceito
  19 Fev 2019