Avaliação Nacional e Internacional no Brasil: os vínculos entre o PISA e o IDEB

Resumo:

Este artigo pretende analisar o relacionamento entre o Program for International Student Assessment (PISA), desenvolvido pela OCDE e o Índice de Desenvolvimento da Educação Básica (IDEB), desenvolvido pelo INEP. Os sistemas educativos atuais estão sujeitos a programas de avaliação estandardizada em nível nacional e internacional. Esse processo é resultado da implementação da Nova Gestão Pública (NGP) que no Brasil começa a ser introduzido a partir dos anos noventa. Nesse contexto os dados estatísticos assumem um papel relevante como instrumento do governo da política pública. Este texto apresentará de forma sumária o desenvolvimento histórico do PISA e do IDEB, como se relacionam - do ponto de vista estatístico-metodológico e político - e como essas dinâmicas influenciam a política educacional do país.

Palavras-chave:
PISA; IDEB; Avaliação Estandardizada Nacional; Avaliação Estandardizada Internacional; Prestação de Conta

Abstract:

This article analyses the relationship between the Program for International Student Assessment (PISA)designed by OECD and the Index of Development of Basic Education (IDEB), designed by INEP. Currently, educational systems are subjected to implement national and international standard assessments. This process is the result of the New Public Management (NPM) policy implementation, which in Brazil starts at the beginning of the nineties. In this context, statistical data play a relevant role as a government policy tool. This work presents the development of PISA and IDEB, how they relate - from a statistical, methodological and political perspective, and how these dynamics influence the Brazilian educational policy.

Keywords:
PISA; IDEB; National Standard Assessment; International Standard Assessment

Introdução

O objetivo deste artigo é analisar o relacionamento entre indicadores e programas de avaliações nacionais, mais especificamente estabelecer algumas relações entre o Índice de Desenvolvimento da Educação Básica (Ideb), desenvolvido pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e o exame internacional Program for International Student Assessment (PISA), desenvolvido pela Organização para a Cooperação e o Desenvolvimento Econômico (OCDE) que tem sua aplicação também no Brasil. A análise busca perceber como esses dois instrumentos de medição da aprendizagem impactam na política educativa do país. O artigo apresentará dados de uma pesquisa focalizada na análise da produção dos dados do PISA no Brasil, realizada com o apoio da Embaixada da França no Brasil, por meio da bolsa REFEB¹, durante o ano de 2016. Serão apresentados dados provenientes das entrevistas realizadas com pesquisadores do Inep que participaram do processo de realização do PISA no Brasil nas edições 2012 e 2015. A pesquisa contou com uma parte qualitativa, na qual o dispositivo usado foi entrevista semiestruturada, com o fim de permitir a abordagem de diferentes temas e adaptar o instrumento a cada sujeito participante na investigação².

As políticas públicas atuais são cada vez mais produtos de um processo complexo de análise, fundamentado no princípio do evidence based policies, isto é, políticas que têm por base conhecimentos e fatos. Essa concepção de política pública se desenvolveu também na área da educação nos diferentes países do mundo, incluindo o Brasil. De acordo com Solesbury (2001) as políticas públicas se produzem e se difundem sob o controle de accountable politicians (políticos que prestam conta ou políticos responsáveis) e nesse processo o pragmatismo substitui as ideologias. Para definir o conceito de evidence, Solesbury se reporta à definição dada pelo Oxford English dictionary: the available body of facts or information indicating whether a belief or proposition is true or valid (Conjunto de fatos ou informações que indicam se acreditar se uma proposição é verdadeira ou válida - tradução livre das autoras), para destacar como questão chave os conceitos de availability, ou seja, a disponibilidade, e validity, a validade. É a partir desses dois fatores que os programas de avaliações internacionais (assim como os nacionais) se desenvolvem nas diferentes partes do mundo. Esse modelo guarda relação com o desenvolvimento do paradigma da Nova Gestão Publica (NGP), que no Brasil começa a ser introduzido a partir dos anos noventa (Oliveira, 2015).

Os programas de avaliações nacionais e internacionais usam os dados estatísticos como instrumento de produção de avaliação e informação como elementos objetivos do processo. Assim, desenvolvem uma relação entre estatística e política pública que não é linear, como nos ensina Foucault (2004). Tendo analisado em diferentes trabalhos a relação entre poder, produção das políticas públicas e instrumentos técnicos, Foucault chega ao conceito de governamentalidade para descrever o processo de controle político e social posto em prática pelos governos:

[...] Com esse termo de ‘governamentalidade’ eu quero dizer três coisas. Por governamentalidade, entendo o conjunto constituído pelas instituições, os procedimentos, análise e reflexões, os cálculos e as táticas que permitem exercitar essa forma bem especifica, bem complexa, do poder, que tem como alvo principal a população, como forma maior de conhecimento, a economia política, como instrumento técnico essencial os dispositivos de segurança [...] (Foucault, 2004, p. 111)³.

Vemos com Lascoumes (2004) que nos últimos trinta anos as estatísticas, e, por conseguinte, as avaliações internacionais se tornaram uma das novas tecnologias do poder. Segundo essa perspectiva, o processo de quantificação dos fenômenos sociais afeta não somente as estatísticas, mas também a contabilidade, os indicadores de desempenho e todos os instrumentos implementados pela Nova Gestão Pública (Desrosières, 2014). O uso das estatísticas segundo o modelo da NGP produz uma descontinuidade com o antigo uso feito pelos governos. De acordo ainda com Desrosières (2014), os indicadores estatísticos concebidos com base no modelo da NGP produzem um efeito retroativo a respeito de ações e comportamentos dos atores políticos e sociais. É sobre esse efeito retroativo, que também influencia os programas nacionais, o que se pretende desenvolver neste texto.

A OCDE como Ator Transacional de Desenvolvimento das Políticas Públicas em Âmbito Internacional

Para melhor compreensão dos programas internacionais de avaliação recorremos à distinção proposta por Nóvoa e Yariv-Mashal (2003): no primeiro caso, os programas têm como objeto de comparação os casos nacionais, independentemente da época (time) ou do contexto (space); no segundo caso, o objeto de análise é baseado no estudo das variáveis que comparam os resultados provenientes de um conjunto de variáveis. De acordo com Lindblad, Pettersson e Popkewitz (2015), a primeira perspectiva tem um relacionamento com as ciências humanas (em particular essa heurística é utilizada pelas disciplinas da literatura, da ciência da educação); a segunda com as ciências sociais (esse segundo paradigma é mais desenvolvido nas disciplinas sociologia da educação, economia da educação, estatística social). Este tipo de debate se desenvolveu também na área do comparative studies (Steiner-Khamsi, 2013). Lindblad, Pettersson e Popkewitz (2015) propõem exemplos diferentes. As comparações estandardizadas permitem medir os resultados em relação às normas, aos indicadores escolares, e à igualdade de gênero. Entre esses programas estão, por exemplo, a International Large-Scale Assessment (ILSA).

Por International Large-Scale Assessment, ou seja, programas de avaliação internacional em larga escala, entende-se avaliações baseadas sobre instrumentos estandardizados que promovem uma comparação do nível de conhecimento e das competências dos estudantes ou adultos em diferentes países do mundo. As agências que desenvolvem e implementam mais este tipo de avaliação são a Association for the Evaluation of Educational Achievement (IEA) e a OCDE.

O PISA⁴ é um dos programas de avaliação internacional mais desenvolvido e aplicado no mundo. A particularidade desse programa é a utilização do Item Response Theory (IRT), em português, Teoria de Resposta ao Item (TRI). Este método oferece a possibilidade de aplicar a prova generalizando o valor preditivo dos desempenhos, sem obrigar a aplicação da prova inteira. O uso desse método permite sobressair as problemáticas de aplicação do teste. A TRI é uma avaliação em que as propriedades técnicas produzem resultados que mudam em função da amostragem, desenvolve assim, instrumentos de medida cuja característica é de não ser influenciada por um grupo de referência, e isso passa a definir a escala absoluta (Pini, 2012).

Os países da América Latina começaram a desenvolver programas de avaliações em matemática e competência em leitura com a ajuda da Organização das Nações Unidas para a Educação, a Ciência e a Cultura (UNESCO). Os objetivos principais com esses resultados eram: diminuir a diferença cultural com outros programas de avaliações internacionais e aumentar a relevância da avaliação; conduzir análise comparativa internacional e análises explicativas do sucesso dos alunos; identificar os fatores socio-familiares e escolares que têm impacto sobre o sucesso dos alunos; oferecer informações úteis para a criação e implementação de política pública educativa nessas regiões (Lindblad; Pettersson; Popkewitz, 2015).

Bottani e Vrignaud (2005) atribuem o desenvolvimento dos programas de avaliação escolar conduzidos por organismos internacionais como a OCDE a presença das condições políticas, econômicas e sociais que permitiram a expansão desses inquéritos. Eles definem três elementos que deram vida a esse processo: a expansão dos sistemas educativos na área da OCDE; a uniformização dos modelos educativos que reduziram as divergências entre os sistemas escolares, alinhando-os uns com os outros; a dicotomia crescente entre objetivos científicos de um lado e objetivos políticos de outro, no domínio da educação. Criar e implementar um programa de avaliação internacional, focalizado sobre os conhecimentos e as competências dos estudantes, exige uma articulação de setores complementares envolvendo: a pilotagem e gestão do exercício do programa de avaliação; o financiamento inicial; o plano contabilístico e o balanço final; a construção de instrumentos de pesquisa; o trabalho dos centros de cálculos e tratamento dos dados; a análise dos resultados e a divulgação (Bottani; Vrignaud, 2005).

Hoje em dia as ILSA, são as protagonistas do cenário de avaliação educativa e a sua evolução e difusão representou, segundo setores do mundo acadêmico, um desenvolvimento no domínio das metodologias de medição (Lindblad; Pettersson; Popkewitz, 2015).

De acordo com Mons (2009), os programas de avaliação estandardizada se inscrevem em uma dinâmica de Policy Evaluation, definida por Spenlehauer (2003) como avaliação da política pública. Esse paradigma é baseado sobre um modelo de ciências experimentais que, com uma abordagem pragmática, propõe organizar em três sequencias os dispositivos de ação pública. O modelo se estrutura em três etapas: projeto; medida; análise dos efeitos.

Para analisar as dinâmicas que representam hoje a relação entre avaliação estandardizada e políticas públicas, Mons (2009) recorre também às lógicas econômicas do capital humano e o princípio da school effectiveness (eficácia da escola). Segundo a autora, os economistas endossam o paradigma da função de produção e usam os fatores de produção (inputs) para elaborar um produto (output). Quando traduzidos esses modelos para a educação, segundo ainda Mons (2009), obtém-se como resultado a utilização de diferentes inputs - material pedagógico, professores com características particulares (tempo de formação, período de antiguidade, etc.) - para produzir uma avaliação do sistema educativo de tipo quantitativo (número de anos de escolarização) e qualitativo (medida do acervo dos alunos). Esses dois elementos são necessários aos economistas para fazer girar os modelos de análise. Para a colheita dos dados, eles usam as provas estandardizadas. Isto explica o fato de que a abordagem de análise dos economistas para os sistemas educativos é, em geral, baseada sobre a regulação dos resultados (Wöessmann, 2007).

Essa dinâmica, determinada por dita abordagem, no contexto brasileiro se desenvolve com a implementação do Ideb. Com a criação do Ideb em 2007, no bojo do Plano de Desenvolvimento da Educação (PDE), como uma referência para o planejamento e orientação de políticas e financiamento público para a educação em âmbito nacional, tem-se a consumação da lógica econômica para a gestão e organização da educação pública. Usando os resultados da Prova Brasil e do Sistema Nacional de Avaliação da Educação Básica (SAEB), o Ideb passa a ter impacto direto sobre a regulação dos resultados dos estudantes, mas também das práticas dos outros atores escolares, pois interfere nas lógicas organizativas das escolas, incluindo seus arranjos curriculares e o planejamento da gestão. A partir disso, dissemina-se pelo país a regulação por resultados, desde os mais distantes municípios até as grandes capitais, as políticas educacionais passaram a estabelecer metas e a negociar sua realização com as escolas. Assiste-se aí a introdução da contratualização entre escolas e secretarias, tendo as médias do Ideb como parâmetros a ser conquistados (Oliveira; Jorge, 2015).

O efeito que passa a ter o Ideb a partir daí sobre a definição das políticas públicas educacionais passando por todas as instâncias, do Ministério da Educação à direção da escola, é algo observado como uma tendência internacional que se consuma com o PISA. Bottani e Vrignaud (2005, p. 17) relativamente ao programa PISA e a predominância da OCDE em termos de avaliação afirmam:

A OCDE tinha assim obtido o que a Associação Internacional para a Avaliação do Desempenho Escolar (IEA) não tinha jamais realizado durante quarenta anos, ou seja, não somente chamar atenção dos decisores políticos sobre estes inquéritos, mas reorientar as políticas de ensino em vários países, o PISA tornou-se uma referência para justificar todos os tipos de decisões ou de reforma. Nós podemos afirmar que os inquéritos PISA modificaram sensivelmente a paisagem das políticas de ensino em nível mundial⁵.

De acordo com Morgan (2011), a OCDE com a realização do PISA conseguiu se posicionar como líder na produção dos dados estatísticos no mundo da educação:

Criando o PISA a OCDE posicionou-se como líder na produção dos dados estatísticos em nível internacional e na produção de infraestrutura que existe dentro de uma arquitetura global da educação. Essa estrutura global inclui diferentes organizações internacionais chaves como o Banco Mundial, Fundo Monetário Internacional, Nações Unidas. Organizações regionais como a União Europeia são também conectadas com ele. Além disso existe o adversário da OCDE na área de medidas em educação -Associação Internacional para a Avaliação do Desempenho Escolar (IEA) que foi criada sob a égide da UNESCO e do Instituto pela Educação (UIE) (Morgan, 2011, p. 4)⁶.

O programa PISA é reconhecido em nível internacional como produtor da maior quantidade de conhecimento sobre o sistema educativo de muitos países no mundo. Ao mesmo tempo, a produção da avaliação estandardizada impacta em diferentes níveis a produção da política pública. O PISA pode ser considerado como um instrumento de knowledge policy (política do conhecimento). Como afirma Carvalho (2012, p. 174), ele funciona como um dispositivo de geração de conhecimento:

Isso significa que o PISA é um dispositivo baseado sobre o conhecimento e gerador de conhecimento, que combina componentes sociais e técnicos, ele (O PISA) participa do estabelecimento de regras pela coordenação e o controlo da ação pública em educação⁷.

Esse processo de produção de conhecimento se desenvolve também através das metodologias de produção e aplicação da avaliação estandardizada do PISA. Tal processo cria um monopólio do conhecimento governado pela OCDE, o que só foi possível com o desenvolvimento do PISA. Segundo ainda Carvalho (2012), existe um grupo de expertos provenientes de diferentes setores da OCDE e de outras organizações públicas e privadas que participam de diversas formas da coordenação do PISA. No caso do Brasil, esses expertos se encontram no Inep, que se constitui na agência líder do processo de avaliação no país, mas também em empresas privadas que contribuem na parte logística do programa.

Pettersson (2014) designa o impacto do PISA sobre as políticas públicas educativas com a expressão international comparative hegemony (comparação internacional hegemônica). No artigo Three Narratives: national interpretations of PISA (Pettersson, 2014), o autor identifica três narrativas para um modelo interpretativo usado em nível nacional para analisar a influência do PISA sobre as políticas educativas.

A primeira narrativa é de tipo ontológico. Nesse modelo os relatórios nacionais definem a maneira sobre a qual a função do PISA pode ser interpretada e os países aceitam a monitorização comparativa como um instrumento de melhoramento da oferta educativa. Esse modelo desenvolve o conceito de effectiveness (eficácia/eficiência), governmental capacity (capacitação governamental) e globalised Market economy (economia do mercado globalizado). Segundo o autor, esses elementos são condições prévias à narrativa ontológica.

A segunda narrativa é de tipo epistemológico. Nessa perspectiva é analisada a forma de interpretar os conceitos de competência e conhecimento. A OCDE declara que por meio do PISA avalia a habilidade dos estudantes para refletir os conhecimentos e experiências e a maneira de aplicá-los nas problemáticas reais e quotidianas. Segundo Pettersson (2014), esse paradigma teórico é englobado na conceituação da literacia (letramento). A literacia não é moldada pelo currículo nacional, mas pelo senso-comum. A terceira narrativa é a da reforma, que descreve as recomendações geradas dos relatórios nacionais do PISA.

De acordo com o autor, usando essas três narrativas de forma sincronizada é possível promover a percepção nacional do PISA em cada país (Pettersson, 2014). No caso do Brasil, nos dados provenientes das entrevistas, foi possível identificar um modelo entre a narrativa ontológica e o tipo epistemológico, que é introduzido no Inep através da implementação do Programa, mas também com a formação dos pesquisadores que participam e que difundem em nível nacional as metodologias da OCDE. Os dados da pesquisa desenvolvida no INEP mostram pelos relatos dos informantes como esse processo vai sendo incorporado pelos atores envolvidos:

[...] Uma das coisas que eu fiz durante... acho que foi interessante, e como eu estava aprendendo sobre o PISA toda a vez que eu aprendi uma coisa com um pouco mais de profundidade eu procurava chamar os colegas que cuidavam das avaliações nacionais sobre isso e dava um seminário.... então dei um seminário de matemática, sobre o resultado de português 2009, de leitura 2009, sobre a matriz de ciências... eu dei um seminário interno, dei dois seminários internos sobre o questionário Pisa, pouca gente participando... mas, enfim, dei o seminário, quero dizer.... eu tinha essa disponibilidade de fazer: olha vamos compartilhar o lado bom do projeto que é o conhecimento que a gente tem, não apenas aqui internamente no Inep, mas também eu fui chamado na Universidade de São Paulo, também dei seminário para pós-graduação, na disciplina de avaliação educacional, sobre o Pisa, fui na Fundação Carlos Chagas [...] (Entrevistado 2, 2016).

A definição da OCDE como ator transnacional da educação se dá em razão do processo de expansão segundo diferentes dimensões. Para Carvalho (2012) há uma dimensão de expansão no tempo (esse programa existe desde o ano 2000), mas também uma expansão de tipo geográfico, atualmente 75 países participam do Programa e outros são envolvidos através do programa PISA for Development (Addey, 2017). Essa expansão se produz também do ponto de vista das competências avaliadas, como as competências tecnológicas para comunicação e informação (TIC). Além disso, Carvalho (2012) descreve uma expansão que produz uma interconexão entre o PISA e os diferentes programas da OCDE.

De acordo com Mons (2007), o PISA produz uma concepção universalista da comparação em educação com uma análise dos sistemas educativos que visa a mostrar o processo de isomorfismo e de compartilhamento dos objetivos dos diferentes países considerados. Por consequência, uma comparação baseada nos mesmos critérios de análise e representação parece justificável metodologicamente. A partir desses elementos, Felouzis e Charmillot (2012) propõem uma análise das diferentes edições do PISA e mostram como os conceitos de eficácia e equidade são os elementos subjacentes ao quadro teórico do programa.

De acordo com Morgan (2011), as estruturas supranacionais como a OCDE abordam as questões ligadas às teorias da educação comparada de forma vertical. Segundo a autora, os organismos como a União Europeia através da ideia de (formação contínua), a UNESCO (Educação para todos) e a OCDE (o conceito da literacia através do PISA) desenvolveram conceitos que se tornaram fatores determinantes nas políticas públicas educativas nacionais pelo mundo e nos programas de avaliações internacionais. Os países que usam essas referências teóricas e metodológicas têm como objetivo a harmonização do próprio sistema educativo e tem o interesse de analisar em que medida eles estão atingindo os critérios internacionais (Morgan, 2011).

É necessário evidenciar que o processo de expansão do PISA em países da América Latina como o Brasil resulta, em relação à produção de dados estatísticos sobre a educação, em um efeito de desalinhamento (Carvalho, 2012) no nível metodológico, logístico e analítico (Villani, 2018). No que se refere à produção dos dados do PISA, os resultados da pesquisa realizada mostram algumas criticidades em relação às informações coletadas e disseminadas concernentes ao sistema escolar do país. Constatamos que o PISA, como aplicado no Brasil, reflete uma representação parcial da realidade escolar brasileira que se apresenta complexa, muito diversificada e com um nível de desigualdade econômica e cultural forte (Villani, 2018).

Ressalta-se que, além disso, a OCDE produz uma influência política de tipo soft, já que não tem instrumentos legais para a promoção das políticas educativas (Pettersson, 2014). É o que ocorre no Brasil, salvo o fato de ter conseguido imprimir no Plano Nacional de Educação (PNE), aprovado como Lei Federal, nº 13.005, em junho de 2014, na estratégia 7.11, da sua meta 7, a proficiência do PISA como um indicador da qualidade da educação no país. Entretanto, a OCDE conseguiu produzir um discurso político internacional baseado sobre as classificações e as avaliações internacionais. Assim, é importante compreender que o PISA desenvolve duas funções na construção do discurso político internacional: uma econômica e outra educativa (Pettersson; 2008; 2014).

O Duplo Papel do Inep como Ator Nacional e Internacional da Política Educativa no Brasil

O Inep é atualmente o organismo que produz mais dados sobre o sistema educativo brasileiro, constituindo-se em um organismo autárquico que depende do Ministério da Educação. Fundado em 1938, foi nos anos 1950 que Anísio Teixeira começou a desenvolver os objetivos do Instituto, definindo um deles como: movimento de reverificação e reavaliação educacional. Em 1955 foram criados os Centros de Pesquisas Educacionais. Durante a Ditadura Militar (1964-1985) as funções do Inep foram limitadas e Anísio Teixeira foi perseguido e morto. Nos anos 1990, com a redemocratização da sociedade e a aprovação da Constituição Federal de 1988, que mais direitos garantiu ao conjunto da população na história do país, o Inep passa a ter como principal tarefa a avaliação e a produção de conhecimentos sobre o sistema escolar brasileiro (Ferreira, 2008; Schwartzman, 2013). Na atualidade, de acordo com um dos entrevistados, o objetivo principal do Inep é acompanhar o trabalho do MEC:

[...] Eu acho que é importante falar um pouco pra você como a gente se organiza aqui dentro dessa estrutura, que o Inep, Instituto Nacional de Pesquisas Educacionais Anísio Teixeira, que é uma autarquia do Ministério da Educação...ele tem vinculação de uma maneira metafórica, a gente fala que o Inep é 1% do orçamento da educação, que orienta ou deveria orientar os outros 99% por cento, é um instituto que pensa toda a estratégia, da política educacional das pesquisas em educação básica quanto superior e das avaliações educacionais que é uma responsabilidade mais recente do Instituto que adquiriu a partir dos anos 90, principalmente quando assumiu a responsabilidade pela implementação do sistema de avaliação da educação básica Saeb……. então nós temos aqui no Inep várias diretorias, mas entre as diretorias, nós temos a diretoria de avaliação da Educação Básica daeb, que é o diretor e responsável por toda implementação das estratégias de avaliação da educação básica no país…... toda a responsabilidade de organizar o sistema de avaliação da Educação Básica que tem várias avaliações, por organizar é o Exame Nacional do Ensino Médio Enem, que é um grande exame que foi criado em 1998, mas que a partir de 2009 assume essa responsabilidade por ser a porta de acesso ao ensino superior público [...] (Entrevistado 1, 2016).

Como o entrevistado declara, o papel maior que o Inep realiza é de orientação da educação no país. Consequentemente, é possível afirmar que o instituto realiza um duplo papel de acordo com os três fatores anteriormente apontados: estatístico, político e geográfico. Estatístico, porque é o organismo que mais produz dados sobre a educação por meio do Censo Escolar⁸ e das diferentes avaliações da educação básica e superior. Político, porque como declaram os entrevistados, os expertos concentrados no Inep realizam orientações das estratégias das políticas educativas no país. E por fim, do ponto de vista geográfico, porque o Inep realiza um trabalho em nível nacional e internacional, não somente através do PISA, mas também com outros organismos internacionais como a UNESCO.

O Inep tem sua atuação marcada em um cenário nacional e internacional que predomina o paradigma da NGP. Foi assim, que em 2005, o Instituto decidiu produzir um indicador de qualidade do sistema escolar brasileiro que se inscrevesse na dinâmica de implementação das políticas de accountability, ou seja, de prestação de contas (Alves; Soares, 2013), já implementadas em outros países da América Latina e do mundo. Essa intenção está declarada pelo próprio MEC, no momento da criação do Ideb:

[...] uma iniciativa do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) para mensurar o desempenho do sistema educacional brasileiro a partir da combinação entre a proficiência obtida pelos estudantes em avaliações externas de larga escala (Prova Brasil e Saeb) e a taxa de aprovação, indicador que tem influência na eficiência do fluxo escolar, ou seja, na progressão dos estudantes entre etapas/anos (Brasil, 2015 p. 6).

O Ideb é o resultado do produto entre o fluxo dos estudantes brasileiros no sistema escolar e seu desempenho, calculado por meio do SAEB⁹ (Fernandes, 2009), representado pela seguinte forma estatística (Figura 1):

Figura 1
Fórmula Estatística do IDEB

IDEB e PISA uma Relação Estatística e Política

O relacionamento entre o Ideb e o PISA começa no processo de concepção do indicador. Nos relatórios sobre o Ideb (Fernandes, 2009; Brasil, 2015) podemos encontrar referências metodológicas a respeito desses dois dispositivos:

A definição de uma meta nacional para o Ideb em 6,0 significa dizer que o país deve atingir em 2021, considerando os anos iniciais do ensino fundamental, o nível de qualidade educacional, em termos de proficiência e rendimento (taxa de aprovação), da média dos países desenvolvidos (média dos países membros da OCDE) observada atualmente. Essa comparação internacional foi possível devido a uma técnica de compatibilização entre a distribuição das proficiências observadas no PISA (Programme for Internacional Student Assessment) e no Saeb (Fernandes, 2009 p. 2).

A escolha do Inep de usar o PISA como modelo de referência (estatística e epistemológica) de qualidade do sistema escolar é um exemplo do processo de expansão descrito por Carvalho (2012) e Pettersson (2014). Usando o paradigma de Pettersson (2014) é possível evidenciar uma dinâmica de tipo epistemológico e de reforma. O PISA é utilizado não somente como referência de tipo metodológico (Carvalho, 2012), mas também para desenvolver metas de políticas educativas nacionais.

Outro elemento importante dessa relação é a entrada do Brasil no PISA Governing Board (PGB), a partir de outubro de 2013¹⁰. Esse evento coloca o Brasil em nova posição, de país não membro da Organização passa a adquirir poder político no interior do Programa e na relação com a OCDE. A partir desse momento cada representante do país no PGB é automaticamente eleito como vice-presidente do PGB. É nesse organismo que todas as ações e decisões políticas em relação ao PISA ocorrem.

É importante destacar como esse processo vivenciado no Brasil pelo Inep põe em evidência o forte papel da OCDE como ator transacional. Interferindo nas políticas nacionais, produzindo uma transformação e uniformização do conceito de qualidade educativa que vai sendo incorporada por atores governamentais, setores acadêmicos, segmentos sociais, a OCDE vai exercendo assim um poder de tipo soft (Foucault, 2004; Pettersson, 2014).

O uso do PISA como referência no desenvolvimento de medidas do sistema escolar brasileiro pode ser considerado também uma ação política do Inep. Na reunião do Programa PISA for Development, em junho de 2013, o representante do Brasil, professor Luiz Claudio Costa, então presidente do Inep, apresentou um gráfico (Gráfico 1) que definiu o processo de comparação entre o PISA e o Ideb.

Gráfico 1
Comparação entre as escalas do IDEB e do PISA apresentado na reunião PISA for Development em Junho 2013

O interesse do Inep de desenvolver uma relação do Ideb com o PISA é declarado publicamente pelo Instituto, como é possível encontrar no seu próprio site, figurando dentre seus objetivos¹¹, essa ação se estrutura também na política do PNE, introduzindo o Ideb e o PISA na sua meta 7, conforme já comentado. Analisando o processo de comparação entre o Ideb e o PISA, do ponto de vista estatístico, verifica-se alguns elementos de desalinhamento. O Ideb é construído a partir dos resultados das proficiências baseadas sobre o conhecimento do currículo escolar brasileiro. O PISA é construído a partir de uma prova elaborada para avaliar as competências dos alunos em literacia (letramento), matemática e ciência. Para permitir a comparação entre esses dois instrumentos seria necessário utilizar um item parecido nas duas provas que seria usado para avaliar a proficiência dos estudantes (Soares; Xavier, 2013). Em consequência, esse processo de comparação é feito entre dispositivos construídos e que são de natureza diferente. Essas críticas já foram formuladas por Soares e Xavier (2013). Eles evidenciam problemáticas relativas à confiabilidade estatística do indicador. Além disso, segundo os dois autores, o sucesso do Ideb como indicador de qualidade no contexto acadêmico, político e escolar obteve tamanha relevância ao ponto de ser utilizado na atualidade como único indicador de referência da qualidade escolar brasileira. É possível derivar disso que também o PISA, para o efeito que é usado como modelo de referência, tendo sido incluído até na legislação educacional brasileira, cumpre papel de referência quanto à qualidade educativa, ainda que de forma indireta. Essa forma indireta de influenciar o contexto educativo assume maior importância se consideramos que o PISA não é uma referência muito usada no debate da sociedade pública, envolvendo sobretudo os atores das escolas, diferentemente do Ideb. Entretanto, já se anuncia entre atores mais engajados na agenda nacional, em especial entre gestores que absorvem os princípios da NGP e incorporam suas orientações no sentido de promover uma educação competitiva, como sinônimo de qualidade. É o que se observa no relato de um entrevistado que ocupou anteriormente cargo de gestor municipal:

[...] int#1¹²: Ai tem alguma coisa que tem começado a aparecer e que eu como gestor municipal me utilizei a gente tem o Ideb né que te falei, você já deve conhecer só que o Ideb ele enquanto instrumento de qualidade é um instrumento limitado, o conceito de qualidade atrás dele é estreito, então ele não é uma boa referência por exemplo pra redes que já têm um bom Ideb, no meu município, lá tinha um Ideb 6, então em tese já era bom, mas não era bom, você conversava com os professores, você conversava com as pessoas, você ia nas escolas e via que tinha muita coisa por fazer, os próprios professores, a própria comunidade entendia isso. Então o resultado do PISA eu usei pra fazer um diálogo com a comunidade, com os professores pra falar “olha gente nosso município está bem? Está, mas olha só o que a gente tá falando: o que é 6 aqui quando a gente olha para o PISA e o Brasil, a gente vê que a gente precisa melhorar muito mais”, então ele ajuda a fazer um debate sobre qualidade para quem já tá no nível, digamos avançado. (...) E o PISA ajudou a dar essa dimensão do que pode ser em termos avançados, em termos de educação com competências globais, com um espectro de exigência do campo da Ciência, da leitura e da resolução de problemas com uma complexidade major [...] (Entrevistado 1, 2016).

Esse processo de desalinhamento se evidencia também na relação entre o PISA e o SAEB, que um dos elementos que constitui o Ideb. A prova SAEB “[...] possui matrizes de referência elaboradas a partir de uma síntese de propostas curriculares estaduais, municipais e os PCNs” (Becker, 2012, p. 38). Em particular essa diferença é percebida no learning outcomes (resultados de aprendizagem) entre o PISA (que avalia competências de alunos de 15 anos de idade) e as provas usadas nas avaliações do SAEB (que avalia o conhecimento através de testes cognitivos e questionários contextuais baseados sobre os currículos escolares brasileiros), e ainda mais evidente entre o learning outcomes do PISA e a organização do currículo escolar brasileiro que apresentam objetivos diferentes. Outro fator importante a destacar é o uso que se faz dos dados do PISA e do Ideb entre as redes públicas e as escolas privadas. A diferença entre a realidade das escolas públicas e privadas no Brasil é uma característica relevante do sistema. Dada a desigualdade que o país comporta e que é refletida na oferta educativa, sobretudo, no que se refere à oferta pública, torna ainda mais discrepante a segmentação escolar, considerando que os setores médios e altos são os que vão para as escolas privadas. Essa diferença se mostra também na média do desempenho do PISA entre as escolas públicas e privadas do país (Villani, 2017), em que as escolas privadas têm um desempenho médio que supera a média do PISA. Contudo, é importante sublinhar que as escolas públicas federais também apresentam muito bom desempenho no PISA, ultrapassando a média dos estudantes de escola privada, mas elas são responsáveis por menos de 5% da oferta nesta etapa da educação básica.

Nesse sentido, o PISA parece constituir-se uma referência mais importante para as escolas privadas que para as redes públicas, como observado por um dos entrevistados, quando perguntado sobre os usos dos dados do PISA:

Nas redes públicas não, nas redes públicas eu não vejo isso, eu vejo isso em algumas instituições privadas que demandam ao Inep, por exemplo, fazer um PISA for Schools, que é uma iniciativa que tem em alguns países (Entrevistado 1, 2016).

Sendo assim, pode-se identificar o papel do PISA como produtor de novos dispositivos e ferramentas pedagógicas (Carvalho, 2012). É possível que as ações promovidas pelo Inep - já que o próprio Instituto promove debates, seminários, reuniões sobre os temas da avaliação da educação básica, aos quais busca envolver gestores estaduais e municipais e setores acadêmicos - sejam uma forma de buscar ampliar seu papel para além de uma agência que produz dados estatísticos. Essas ações refletem, em certa medida, uma intencionalidade política por parte do Inep de ter um referencial internacionalmente reconhecido como o PISA e de exercer influência sobre os governos e decisores políticos.

Essa preocupação está presente entre os técnicos do Inep que são cônscios das fragilidades metodológicas do Ideb e da inadequação da aplicação de ambos programas (Ideb e PISA) como referência para as mesmas políticas. É o que se constata a partir dos argumentos de um dos entrevistados:

[...] eu acho que teve um erro inicial que foi...o Ideb fala assim... Quando você chegar a média 6 você vai ter um nível 500 do Pisa...você baixa a nota técnica... ela faz uma conta muito simples, você pega os alunos que estão no ano que fizeram a média do SAEB e compara, você tira e você consegue fazer uma escala, basicamente é isso que foi feito...só que essas provas elas.... não são no mesmo instante, quero dizer que você não pode comparar um grupo de alunos da mesma forma, de uma forma tão simples, você não sabe se é o mesmo aluno, se a prova é aplicada na mesma data. Para você fazer uma comparação de escalas normalmente tem que usar mecanismos mais sofisticados, como colocar algum item ancora do PISA em uma avaliação nacional e ver como esses alunos sairiam, para você tentar fazer uma comparação de escalas. O que foi feito foi muito mal enjambrado, eu acredito que a média 6 é importante porque ela colocou uma meta para as escolas. [...]

[...] o PISA é um instrumento cognitivo enquanto o Ideb traz dois elementos, o cognitivo e o fluxo, então são medidas completamente distintas, você pode progredir no Ideb pra uma melhoria de Fluxo e se isso acontecer, no PISA vai piorar a nota [...] (Entrevistado 2, 2016).

Além das problemáticas metodológicas, nesses dados é possível evidenciar a diferença técnica entre o PISA e o Ideb. A entrevista evidencia as diferenças que se produz entre procedimento técnico-estatístico e os instrumentos pedagógicos, nesse caso o currículo escolar. Essa diferença produz uma distorção entre o que é ensinado (currículo escolar) e o que é avaliado (o PISA). Consequentemente, usar o PISA como escala de referência na produção do Ideb pode produzir também uma defasagem entre o que é ensinado e o que é avaliado.

Os dados coletados evidenciam o efeito de retroação (Desrosières, 2014) que a implementação do Ideb desenvolveu no sistema escolar brasileiro. Essas dinâmicas influenciam as políticas porque influenciam os atores locais da escola, os professores, as famílias (Oliveira; Duarte; Clementino, 2017). Essas políticas apoiadas sobre o Ideb têm impacto direto na gestão da escola. A direção escolar é quem recebe as pressões sobre as metas de desempenho que são estabelecidas a partir do Ideb. A escola depois que negocia as metas, já não se organiza de acordo com seus princípios ou finalidades, mas com o foco nos resultados dos testes. Soares e Xavier (2013), para descrever esse fenômeno se referem à teoria de Campbell (1979, p. 85):

Um indicador quantitativo, ao ser usado para a tomada de decisões, fica mais sujeito a manipulações e assim sua própria existência distorce e corrompe os processos que pretendia monitorar.

Para descrever esse fenômeno, Schwartzman (2013) fala do efeito Goodhart ou lei do Goodhart, referindo-se ao economista que em 1975 desenvolveu uma teoria para demonstrar que quando os governos tentam regular um domínio particular dos ativos financeiros, aqueles se tornam pouco confiáveis como indicador de tendência econômica. Para Schwartzman essa teoria no contexto dos indicadores educativos no Brasil explica o fenômeno avaliativo atual em que os indicadores perdem sua força explicativa no momento preciso ao qual os governos agem sobre eles.

Conclusões

O Brasil parece apresentar um cenário particular, no que se refere ao contexto das políticas de avaliação em escala mundial, justamente pelo fato de implementar como referência para a qualidade da educação um indicador nacional e um internacional. Esses indicadores têm por função padronizar procedimentos, ações e valores em um contexto bastante diverso e, sobretudo desigual. Dessa maneira, a padronização de metas de qualidade pode estar produzindo novos desequilíbrios e encobrindo problemas e dificuldades inerentes aos contextos locais que necessitariam atenção. Nos últimos 10 anos, com a consolidação do Ideb como indicador nacional de medida de qualidade educativa, assistiu-se na realidade brasileira um processo de estandardização que influencia não somente as ações e escolhas de políticas educativas em nível federal, mas também nos estados e municípios, dada a organização federativa do país. Diferentes pesquisas mostram o efeito do Ideb no que se refere aos atores escolares no nível local (Almeida; Dalben; Freitas, 2013; Oliveira, 2017; Clementino, 2018). Essas dinâmicas desenvolvem um mercado da educação que se ativa de um lado, pelo efeito de retroação dos indicadores sobre as escolhas das famílias, de outro lado, diretamente sobre a carreira dos professores.

Este artigo buscou apresentar algumas críticas, tanto no âmbito epistemológico quanto das políticas públicas, em relação a dois dispositivos de avaliação utilizados no sistema escolar brasileiro: o Ideb e o PISA. É possível evidenciar o processo de expansão desenvolvido pela OCDE no contexto brasileiro, esse tipo de dinâmica se desenvolve em todos os países participantes do PISA. Entretanto, para o Brasil, essa influência pode produzir um duplo efeito, sendo o primeiro de harmonização, relativo ao processo de estandardização que acomete a vários países no mundo, e um segundo, de uniformização em relação a um modelo educativo ocidental. Esse segundo efeito desconsidera (ou desconhece) as características e necessidades próprias de um sistema escolar situado na região latino-americana, com as especificidades socio-históricas que comporta. Essa dinâmica de desconsideração produz um desalinhamento (Carvalho, 2012) que se evidencia na parte estatística quanto ao sistema escolar, através dos diferentes objetivos entre o learning outcomes do PISA e learning outcomes do currículo escolar brasileiro.

Também é preciso pôr em relevo uma vontade institucional, por parte do Inep, de produzir uma relação internacional. A criação do Ideb pelo Inep revela a intenção de participar do jogo da estandardização entre os grandes influentes nesse campo, desenvolvendo um indicador próprio que possa contribuir para um modelo educativo que seja mais harmonizado e comparável. Contudo, algumas fragilidades apontadas por estudiosos em relação ao indicador, conforme comentado anteriormente, demonstram que além de problemas metodológicos, esse processo não conseguiu abarcar a complexidade representada pelo sistema educativo brasileiro.

O elemento central, que parece caracterizar a relação entre a OCDE e o Inep na concepção e implementação de dispositivos de avaliação, e que se diferencia muito do impacto do PISA em outros países, é a dinâmica determinada pela influência indireta do processo de incorporação do modelo de referência internacional. Na prática diária esse modelo quase não aparece no debate, mas que se inscreve no instrumento de avaliação e constitui-se em referência maior, pelo menos entre os que estão imersos no processo.

Referências

• ADDEY, Camilla. Golden Relics & Historical Standards: how the OECD is expanding global education governance through PISA for Development. Critical Studies in Education, Melbourne, v. 58, n. 3, p. 311-325, 2017. Disponível em: <Disponível em: https://doi.org/10.1080/17508487.2017.1352006 >. Acesso em: 29 maio 2018.
  » https://doi.org/10.1080/17508487.2017.1352006
• ALMEIDA, Luana; DALBEN, Adilson; FREITAS, Luiz Carlos. Ideb: limites e ilusões de uma política educacional. Educação & Sociedade, Campinas, v. 34, n. 125, p. 1153-1174, 2013. Disponível em: <Disponível em: http://dx.doi.org/10.1590/S0101-73302013000400008 >. Acesso em: 6 mar. 2018.
  » http://dx.doi.org/10.1590/S0101-73302013000400008
• ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Contexto Escolar e Indicadores Educacionais: condições desiguais para a efetivação de uma política de avaliação educacional. Educação e Pesquisa, São Paulo, v. 39, n. 1, p. 177-194, 2013. Disponível em: <Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022013000100012 >. Acesso em: 7 jun. 2018.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1517-97022013000100012
• BECKER, Fernanda da Rosa. Avaliações Externas e Ensino Fundamental: do currículo para a qualidade ou “da qualidade o currículo”. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 10, n. 3, p. 37-48, 2012. Disponível em: <Disponível em: http://www.rinace.net/reice/numeros/arts/vol10num4/art3.pdf >. Acesso em: 6 maio 2018.
  » http://www.rinace.net/reice/numeros/arts/vol10num4/art3.pdf
• BOTTANI, Norberto; VRIGNAUD, Pierre. La France et les Évaluations Internationales. Paris: Rapport pour l’haute Conseil de l’évaluation de l’école; Documentation Française, 2005. Disponível em: <Disponível em: http://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/054000359.pdf >. Acesso em: 5 abr. 2015.
  » http://www.ladocumentationfrancaise.fr/var/storage/rapports-publics/054000359.pdf
• BRASIL. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Resumo Técnico, Resultado do Índice de Desenvolvimento de Educação Básica 2005-2015. Brasília: INEP, 2015.
• CAMPBELL, Donald. Assessing the Impact of Planned Social Change. Evaluation and Program Planning, New York, v. 2, n. 1, p. 67-90, jan. 1979.
• CARVALHO, Luis Miguel. The Fabrication and Travel of a Knowledge-Policy Instrument. European Educational Research Journal, London, v. 11, n. 2, p. 172-188, 2012.
• CLEMENTINO, Ana Maria. Os Docentes frente a Política de Avaliação do IDEB: responsabilização e resistência. In: INTERNATIONAL CONGRESS OF THE LATIN AMERICAN STUDIES ASSOCIATION - LATIN AMERICAN STUDIES IN A GLOBALIZED WORLD, 36., 2018, Barcelona. Anais... Barcelona, 2018.
• DESROSIÈRES, Alain. Prouver et Gouverner: une analyse politique des statistiques publiques. Paris: La Découverte, 2014.
• FELOUZIS, Georges; CHARMILLOT, Samuel. Les Enquêtes PISA. Paris: PUF, 2012.
• FERNANDES, Reynaldo. Índice de Desenvolvimento da Educação Básica (IDEB): metas intermediárias para a sua trajetória no Brasil, estados, municípios e escolas. Brasília: INEP , 2009. Disponível em: <Disponível em: http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_sao_as_metas/Artigo_projecoes.pdf >. Acesso em: 7 jul. 2016.
  » http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_sao_as_metas/Artigo_projecoes.pdf
• FERREIRA, Marcia Santos. Os Centros de Pesquisas Educacionais do INEP e os estudos em ciências sociais sobre a educação no Brasil. Revista Brasileira de Educação. São Paulo. v. 13 n. 38 maio/ago, p. 279-292, 2008.
• FOUCAULT, Michel. Sécurité, Territoire, Population: cours au Collège de France (1977-1978). Paris: Seuil, 2004.
• GRENET, Julien. PISA: une enquête bancale? La Vie des Idées, Paris, 8 fev. 2008. Disponível em: <Disponível em: http://www.laviedesidees.fr/PISA-une-enquete-bancale.html >. Acesso em: 24 set. 2015.
  » http://www.laviedesidees.fr/PISA-une-enquete-bancale.html
• LASCOUMES, Pierre. La Gouvernementalité: de la critique de l’ État aux technologies du pouvoir. Le Portique - Revue de philosophie et de sciences humaines, Strasbourg, n. 13/14, p. 1-15, 2004. Disponível em: <Disponível em: http://leportique.revues.org/625 >. Acesso em: 12 jun. 2016.
  » http://leportique.revues.org/625
• LINDBLAD, Swerker; PETTERSSON, Daniel; POPKEWITZ, Thomas. International Comparison of School Results: a sistematic review of a research on large scale assessments in education. Stockholm: Swedish Research Council, 2015.
• MONS, Nathalie. Les Effets Théoriques et Réels de L’Évaluation Standardisée. Paris: EACEA Eurydice, 2009.
• MONS, Nathalie. Les Nouvelles Politiques Éducatives. Paris: Puf, 2007.
• MORGAN, Clara. Constructing the OECD Programme for International Student Assessment. In: PEREYA, Miguel (Org.). PISA under Examination: Changing Knowledge, Changing Tests, and Changing Schools. Rotterdam: Sense Publishers, 2011. P. 47-59.
• NÓVOA, António; YARIV-MASHAL, Tali. Comparative Research in Education: a mode of governance or a historical journey? Comparative Education, Abingdon, v. 93, n. 4, p. 423-438, 2003.
• OLIVEIRA, Dalila Andrade. Nova Gestão Pública e Governos Democrático-Populares: contradições entre a busca da eficiência e a ampliação do direito de educação. Educação & Sociedade , Campinas, v. 36, n. 132, p. 625-646, jul./set. 2015.
• OLIVEIRA, Dalila Andrade. O Governo das Escolas e a Nova Gestão Pública. In: LIMA, Licínio; SA, Vírginio. O Governo das Escolas: democracia, controlo e performatividade. Famalicão: Editora Húmus, 2017. P. 61-86.
• OLIVEIRA, Dalila Andrade; DUARTE, Alexandre William Barbosa; CLEMENTINO, Ana Maria. A Nova Gestão Pública no Contexto Escolar e os Dilemas dos(as) diretores(as). Revista Brasileira de Política e Administração da Educação, Porto Alegre, v. 33, n. 3, p. 707-726, dez. 2017. Disponível em: <Disponível em: http://seer.ufrgs.br/rbpae/article/view/79303 >. Acesso em: 3 jun. 2018.
  » http://seer.ufrgs.br/rbpae/article/view/79303
• OLIVEIRA, Dalila Andrade; JORGE, Tiago da Silva. As Políticas de Avaliação, os Docentes, e a Justiça. Currículo sem Fronteiras, Braga, v. 15, n. 2, p. 346-364, maio/ago. 2015. Disponível em: <Disponível em: http://www.curriculosemfronteiras.org/vol15iss2articles/oliveira-jorge.pdf >. Acesso em: 3 jun. 2018.
  » http://www.curriculosemfronteiras.org/vol15iss2articles/oliveira-jorge.pdf
• PETTERSSON, Daniel. International Knowledge Assessments: an element of national educational steering. 2008. 294 f. Tese (Doutorado em Educação), Uppsala Studies in Education, Uppsala Universitet, Uppsala, 2008.
• PETTERSSON, Daniel. Three Narratives: national interpretations of PISA. Knowledge Cultures, Woodside, v. 2, n. 4, p. 172, 2014.
• PINI, Gianreto. À Propos de la Théorie des réponses aux items: le cas d’itemsdichotomiques. Genebra: Groupe-Edumétrie, 2012. Disponível em: <Disponível em: https://www.irdp.ch/data/secure/1952/document/TRI_DICHO.pdf >. Acesso em: 9 jun. 2016.
  » https://www.irdp.ch/data/secure/1952/document/TRI_DICHO.pdf
• SCHWARTZMAN, Simon. Uses and Abuses of Education Assessment in Brazil. Prospects, Paris, v. 43, n. 3, p. 269-288, 2013. Disponível em: <Disponível em: https://doi.org/10.1007/s11125-013-9275-9 >. Acesso em: 24 fev. 2016.
  » https://doi.org/10.1007/s11125-013-9275-9
• SOARES, Francisco José; XAVIER, Flavia Pereira. Pressupostos Educacionais e Estatísticos do Ideb. Educação & Sociedade , Campinas, v. 34, n. 124, p. 903-923, 2013.
• SOLESBURY, William. Evidence Based Policy: whence it came and where it’s going. ESRC Centre for Evidence Based Policy and Practice, London, p. 1-11, 2001.
• SPENLEHAUER, Vincent. Une Approche historique de la notion de politiques publiques. Informations Sociales, Paris, n. 110, p. 34-45, sep. 2003.
• STEINER-KHAMSI, Gita. What is Wrong with the “What-Went-Right” Approach in Educational Policy?. European Educational Research Journal , Oxford, v. 12, n. 1, p. 20-33, jan. 2013.
• VILLANI, Marialuisa. International Assessment, Standardisation, evidence-based policies et inégalités éducatives. 2017. 120 f. Tese (Mestrado em Sociologia e Estatística) - Master2 recherche Sociologie et Statistique, Sociologie, EHESS/ENSParis, Paris, 2017.
• VILLANI, Marialuisa. The Production Cycle of PISA Data in Brazil: the history of data beyond the numbers. Sisyphus Journal of Education, Lisboa, v. 6, n. 3, p. 30-52, 2018.
• WÖESSMANN, Ludger. International Evidence on School, Competition, Autonomy and Accountability: a review. Peabody Journal of Education, Nashville, v. 82, n. 2-3, p. 473-497, 2007.

1

• 1
  A REFEB Rede Francesa de Estudos Brasileiros foi criada em 2001 pela Embaixada da França no Brasil para ajudar os pesquisadores em Ciências Humanas e Sociais cujo objeto de estudo ou de pesquisa necessita de uma estadia no Brasil, a partir do nível acadêmico Master 2.

2

• 2
  Pelo tipo de temas abordados e em respeito aos pesquisadores que com muita disposição participaram da pesquisa, o nome e função de cada entrevistado foram preservados por meio do anonimato. Foram entrevistados 8 pesquisadores, quase todos participantes das equipes PISA do Inep nas duas edições consideradas, em 2012 e 2015.

3

4

• 4
  O PISA avalia as “[...] competências em literacia (letramento), a capacidade de compreender, de usar textos escritos com o fim de poder realizar os próprios objetivos, desenvolver o próprio conhecimento e potencial para desempenhar um papel na sociedade”. Em matemática, o objetivo do PISA é analisar a “[...] atitude do indivíduo para identificar e compreender os diferentes papéis desempenhados pela matemática no mundo, produzir julgamentos baseados nela, e se comprometer em função das exigências da vida presente e futura como cidadão construtivo, implicado e refletivo”. No que se refere à área de ciências, a define como “[...] a capacidade de utilizar os conhecimentos científicos e identificar as questões e tirar conclusões fundamentadas nos fatos, com a finalidade de compreender as mudanças realizadas pela ação humana” (Grenet, 2008, online, tradução livre das autoras).

5

6

7

8

• 8
  O Censo Escolar é uma base de dados desenvolvida anualmente pelo INEP, que traz informações censitárias dos professores, das turmas, das escolas e dos alunos da educação básica no país.

9

• 9
  O Sistema de Avaliação da Educação Básica (Saeb) é composto por um conjunto de avaliações externas em larga escala que permitem ao Inep realizar um diagnóstico da educação básica brasileira. Desde 1990, quando foi criado, o Saeb teve algumas reestruturações. Em 2005, passou a ser composto por duas avaliações: a Avaliação Nacional da Educação Básica (Aneb), que manteve as características, os objetivos e os procedimentos da avaliação efetuada até aquele momento, e a Avaliação Nacional do Rendimento Escolar (Anresc), conhecida como Prova Brasil, criada com o objetivo de avaliar a qualidade do ensino ministrado nas escolas das redes públicas. Em 2013, a Avaliação Nacional da Alfabetização (ANA) foi incorporada ao Saeb para melhor aferir os níveis de alfabetização e letramento em Língua Portuguesa (leitura e escrita) e Matemática. Em 2017, não só as escolas públicas do ensino fundamental, mas também as de ensino médio, públicas e privadas, passaram a ter resultados no Saeb e, consequentemente, no Índice de Desenvolvimento da Educação Básica (Ideb).

10

• 10
  No documento oficial da OCDE DRAFT SUMMARY RECORD OF THE THIRTY-SIXTH MEETING OF THE PISA GOVERNING BOARD (PGB) 36th meeting of the PISA Governing Board é oficializada a entrada do Brasil no PGB.

11

• 11
  Disponível em: <http://portal.inep.gov.br/web/guest/pisa-e-o-ideb>. Acesso em: 20 maio 2016.

12

• 12
  Um dos entrevistados teve, na sua carreira profissional um cargo de gestor municipal, que é usado como experiência do relacionamento com as avaliações nacionais e internacionais.

13

• 13
  The REFEB is the French Network of Brazilian Studies, it was created in 2001 by French Embassy in Brazil to support Human and Social Sciences researchers (starting Master degree Level) which research work needs a field-work in Brazil.

14

• 14
  Due to the presented topics and to respect the privacy of the interviewees, that kindly participated in the research project, their name and role have been anonymised. They were interviewed 8 researchers, almost all the participants of Inep PISA team, for 2012 and 2015 editions. All the interviews have been translated from Brazilian Portuguese to English by the authors.

15

• 15
  Authors Translation.

16

• 16
  PISA assesses the “[...] literacy competencies, the understanding skills to use text in order to realize they own purposes, to develop our knowledge and potential to play a role in the society. The PISA purpose in numeracy is to analyse “[...] the individual attitude to identify and understand the several roles by mathematic in the world, to produce judgment based on it, and to involve in function of needs of present and future life as constructive citizens. Regarding the Sciences area it is defined as “[...] the capacity of knowledge use and identify issues and jump to conclusion based on evidence, which purpose is understanding the changes realized by human actions (Grenet, 2008, online authors translation).

17

• 17
  Authors translation.

18

• 18
  Authors translation.

19

• 19
  Censo Escolar is a database designed by Inep that provides census information about teachers, classes, schools and pupils of Brazilian basic education system.

20

• 20
  Authors translation.

21

• 21
  The system of Basic Education Assessment (Saeb) is the result of a standardized assessments’ combination that allow Inep to realize a diagnostic of Brazilian basic education. Since 1990, when it was made, SAEB has been changed. In 2005 has been composed by two assessments: Aneb (National Assessment of Basic Education), that maintains characteristics, purposes and procedures of former assessment, and Anersc (National Assessment of School Performance) know as Prova Brasil, created with the purpose to assess the quality of learning provided by public schools. In 2013, ANA (National Assessment of Alphabetization) has been included in the SAEB to better assess the alphabetisation and literacy in Portuguese, and Mathematic. In 2017, not only public school of basic education, but also secondary school system and private to, started to be included in the SAEB and consequently they have been assessed by Ideb

22

• 22
  Official Document: OCDE DRAFT SUMMARY RECORD OF THE THIRTY-SIXTH MEETING OF THE PISA GOVERNING BOARD (PGB) 36th meeting of the PISA Governing Board is formalised the entry of PISA in PGB.

23

• 23
  Available at: <http://portal.inep.gov.br/web/guest/pisa-e-o-ideb>. Accessed at: 20 May.2016.

24

• 24
  One of the interviewees, during the professional career, was a municipal manager. This experience was important to explain the relationship with national and international assessments.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2018

Histórico

• Recebido
  17 Jul 2018
• Aceito
  26 Set 2018