O PISA PARA O DESENVOLVIMENTO E O SACRIFÍCIO DE DADOS COM RELEVÂNCIA POLÍTICA^*

PISA pour le développement et le sacrifice de données pertinents pour la politique

RESUMO:

Este artigo examina como o PISA vem sendo alargado de modo a incluir países de 'renda baixa e média', e levanta questões sobre a importância do teste em tais contextos e sobre a sua pretensão de produzir dados politicamente mais relevantes. O artigo começa por apresentar a história do PISA para o Desenvolvimento (PISA-D) e, depois, discute como este programa é negociado enquanto instrumento de política. Com base na noção de 'comunidade epistémica' (Haas, 1992), bem como na semiótica sócio-material (Law, 2008), este artigo analisa entrevistas sobre o PISA-D realizadas com atores da OCDE, da The Learning Bar (uma empresa privada) e, ainda, com atores políticos de alto nível do Equador e do Paraguai (dois países PISA-D). Ao debruçar-se sobre o processo de negociação em função do qual se estabeleceu o 'limiar de relevância política' do PISA-D, o artigo revela os múltiplos interesses envolvidos. Ao fazê-lo, o artigo põe em questão a reivindicação da relevância política do PISA-D e argumenta que a aceitação do 'limiar de relevância política' do PISA-D é determinada pelo compromisso com a 'comunidade epistêmica do PISA' (Bloem 2015). O artigo conclui questionando o que significa 'relevância política' no mundo PISA. Em tempos de 'governança epistemológica' (Sellar e Lingard 2013), a comunidade mundial da educação global parece ter deslocado a sua atenção dos conhecimentos são relevantes para a política para os conhecimento que contam para a política.

Palavras-chave:
PISA para o desenvolvimento; OCDE; Relevância política; Paraguai; Equador

RÉSUMÉ:

Cet article examine comment PISA est élargi pour inclure les pays à revenu faible et moyen, soulevant des questions sur sa signification dans tels contextes et sa prétention à produire plus de données pertinentes destinées aux politiques. Le texte raconte l'histoire du 'PISA pour le Développement' (PISA-D) et discute comment il est négocié comme outil politique. Appuyée sur le concept de communautés épistémiques (Haas, 1992) et aussi sur la théorie de l'acteur-réseau (Law, 2008), l'article analyse des entrevues sur PISA-D menées à l'OCDE, à The Learning Bar (un entrepreneur privé), et avec les acteurs politiques de haut niveau en Equateur et le Paraguay (deux pays PISA-D). En exposer le processus de négociation sur lequel le seuil de pertinence politique de PISA-D a été établi, le texte identifie les multiples intérêts investis dans PISA-D. Ce faisant, le texte mette en question la pertinence politique demandé par PISA-D. Dans les jours de la gouvernance épistémologique (Sellar et Lingard 2013), la communauté mondiale de l'éducation semble avoir être déplacée l'attention des connaissances qui sont pertinentes pour la politique à ceux qui comptent pour la politique.

Mots-clés:
PISA pour le développement; OCDE; Pertinence politique; Paraguay; Equateur

ABSTRACT:

This paper examines how PISA is being extended to include lower and middle income countries, raising questions about its significance in such contexts and its claim to produce more policy-relevant data. The paper tells the history of PISA for Development (PISA-D), before discussing how PISA-D is negotiated as a policy tool. Drawing on Haas' (1992) epistemic communities, and on socio-material semiotics (LAW, 2008), this paper discusses qualitative data consisting of document analysis and interviews on PISA-D carried out at the OECD, The Learning Bar (a private contractor), and with high level policy actors in Ecuador and Paraguay (two PISA-D countries). By unpacking the negotiation process upon which PISA-D's policy-relevance threshold was established, the paper unravels the multiple interests invested in PISA-D. These interests, and PISA-D's policy-relevant data being more PISA-relevant, challenge PISA-D's policy-relevance claim and argue its relevance threshold is driven by a commitment to the PISA epistemic community (BLOEM, 2015). The paper concludes questioning the meaning of "policy-relevance" in the PISA era. In the days of epistemological governance (SELLAR; LINGARD, 2013), the global education community appears to have moved away from what knowledges are relevant for policy to whose knowledge counts for policy.

Keywords:
PISA for development; OECD; Policy-relevance; Paraguay; Ecuador

Introdução

O Programa Internacional de Avaliação de Alunos (Programme for International Student Assessment - PISA), da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), está sendo ampliado para incluir países de renda média e baixa, levantando questões profundas sobre o significado do PISA nesses contextos e sobre sua pretensão de produzir dados politicamente mais relevantes¹. Este trabalho baseia-se em dados empíricos para contar a história do PISA para o Desenvolvimento (PISA-D) - uma versão estendida do PISA - e destaca as forças contrárias em ação. Por um lado, há razão para utilizar a métrica PISA de forma única e universal e fazer comparações internacionalmente, direcionando os países a buscarem conformidade no que diz respeito a padronização e centralização de dados. Por outro lado, existe comprometimento e lógica para tornar os dados politicamente mais relevantes para países de renda média e baixa. Este artigo analisa como esta tensão é negociada por atores de alto nível do PISA-D no âmbito da OCDE, por um contratante do PISA-D², e por atores políticos de alto nível no Equador e no Paraguai.

A OCDE afirma que o PISA-D oferecerá dados que serão politicamente mais relevantes para países de renda baixa e média, e está implementando atividades políticas para garantir que os dados do PISA-D (esperados para o final de 2018) terão impacto político. Por esse motivo, esta análise se concentra no PISA-D como uma ferramenta política.

Após descrever as ferramentas teóricas e metodologia utilizadas, o artigo reconstrói brevemente a história do PISA-D, indo além dos documentos oficiais disponibilizados no site da OCDE, e descreve as atividades implementadas para garantir o impacto político do PISA-D sobre as políticas públicas. Em seguida, explora como os instrumentos do PISA foram aprimorados e como os limites desta melhoria foram estabelecidos pela OCDE, por um dos seus contratantes privados (The Learning Bar) e pelos países do PISA-D.

Ao debruçar-se sobre o processo de negociação em que o limiar de relevância para políticas do PISA-D foi estabelecido, este trabalho revela os motivos da OCDE para a participação dos atores do PISA-D, que incluem o compartilhamento de conhecimentos políticos com não-membros e expansão geopolítica, oportunidades de negócios e laços políticos com a comunidade mundial do PISA. Consequentemente, questiona-se a reivindicação da relevância política do PISA-D e argumenta-se que a aceitação do limiar de relevância é determinada pelo compromisso com a comunidade epistêmica do PISA (BLOEM, 2015), e não pela necessidade de informações para as políticas. Por fim, o estudo conclui questionando o significado de "relevância política" na era PISA. Como a comunidade de educação global passou a valorizar mais a relevância do PISA, os valores de sua comunidade epistêmica e o seu empreendimento político do que o conhecimento político relevante a cada contexto? Ao que parece, em tempos de governança epistemológica, nos distanciamos dos conhecimentos que são relevantes para a política e nos aproximamos mais dos conhecimentos que contam para a política.

Uma caixa de ferramentas teórica: comunidades epistêmicas e semiótica sócio-material

Este estudo utiliza como base teórica a abordagem analítica de Haas's (1992) às comunidades epistêmicas e noções de semiótica sócio-material (LAW, 2008; LATOUR, 2005) para teorizar sobre a forma como a OCDE e seus parceiros do PISA-D entram em consenso a respeito do uso do PISA-D como um instrumento de relevância política. Relaciona-se essa compreensão aos trabalhos de Bloem (2015) sobre a comunidade epistêmica PISA, e de Sellar e Lingard (2013), sobre a OCDE e o PISA como parte da governança epistemológica.

De acordo com Haas, comunidades epistêmicas são redes baseadas em conhecimento formadas por especialistas reconhecidos em domínios específicos (embora possam pertencer a contextos diferentes), que "exercem autoridade sobre conhecimentos de relevância política" (HAAS, 1992, p. 3). O prestígio, a formação profissional, e a reputação de especialista dos membros legitimam as atividades de uma comunidade epistêmica e sua autoridade sobre os conhecimentos (HAAS, 1992, p. 17). Nas palavras de Haas, uma comunidade epistêmica possui:

(1) um conjunto compartilhado de crenças normativas e baseadas em princípios, que justificam a ação social dos membros da comunidade com base em seu valor; (2) crenças causais compartilhadas, derivadas de suas análises das práticas que levam a ou que contribuem para um conjunto central de problemas em suas áreas, e que sirvam como base para elucidar as múltiplas ligações entre as ações políticas possíveis e os resultados desejados; (3) noções de validade compartilhadas - ou seja, critérios intersubjetivos definidos internamente para pesagem e validação dos conhecimentos nas áreas das suas competências; e (4) um empreendimento político comum - ou seja, um conjunto de práticas comuns associadas a um conjunto de problemas para os quais sua competência profissional é dirigida, partindo do pressuposto de que haverá melhora no bem-estar humano como consequência (HAAS, 1992, p. 3).

Haas (1992) também argumenta que a dinâmica de incerteza, da interpretação e da institucionalização são cruciais para a compreensão de comunidades epistêmicas. A incerteza (ver MURPHY, 2010, sobre a incerteza política dos usuários de dados do PISA) guia as necessidades de conhecimento da política, e as comunidades epistêmicas surgem para fornecer essas informações com base em conhecimentos científicos e técnicos.

A abordagem teórica de Haas (1992) assimila-se à maneira como a relevância política do PISA-D é negociada e estabelecida, e ajuda a entender como o limiar de relevância relaciona-se mais ao PISA do que à política. Em vez de criar uma métrica diferente para os contextos do PISA-D, garantir que seus dados sejam comparáveis aos dados do PISA permite que os países participantes tenham acesso e se beneficiem do prestígio obtido pelo PISA e da legitimidade atribuída por ele.

Para explorar mais a fundo as nuances do uso das comunidades epistemológicas de Haas (1992), este trabalho baseia-se em noções de semiótica sócio-material (LAW, 2008; LATOUR, 2005): composições (assemblages), caixas pretas (black boxes) e piggy-backing ('cavalitar'). Uma composição é um conjunto de atores humanos e não-humanos, que se juntam temporariamente para promover os objetivos da associação (ou seja, produção de conhecimento). A capacidade de ação dos atores é dada por suas relações, trazendo o poder para a esfera prática e distribuindo-o entre os atores. O conceito de caixa preta sugere que, para que os atores participem de uma composição , verdades previamente instáveis devem ser estabilizadas e aceitas por todos os atores participantes - estas caixas pretas seladas tornam-se alicerces compartilhados inquestionáveis. (LATOUR, 1987). O conceito de caixas pretas é usado para entender quais pressupostos tornaram-se verdades temporariamente aceitas e impassíveis de contestação no PISA-D (incluindo a abordagem científica e técnica à educação e a dimensão ideológica e política incorporada ao PISA). As verdades ocultas das caixas pretas assemelham-se à compreensão de Haas de crenças e noções de validade compartilhadas ao sugerir que estas verdades são temporárias e incontestáveis para que os atores possam formar e manter um agrupamento. A terceira noção da semiótica sócio-material relevante para este trabalho é a de 'cavalitar', usada por Latour (1987) para teorizar como uma aliança pode servir aos múltiplos interesses, mesmo contraditórios, de todos os atores envolvidos. Latour argumenta que, ao apoiar os interesses de uma composição, um ator beneficia-se dele enquanto promove seus próprios interesses (LATOUR, 1987, p. 108). No contexto da comunidade epistêmica do PISA, a noção de piggy-backing pode ajudar a compreender o que leva à participação de atores com justificativas diferentes.

Ao combinar as comunidades epistêmicas de Haas (1992) à semiótica sócio-material, todos os atores envolvidos adquirem capacidade de ação por fazerem parte da composição, e entende-se que o poder seja distribuído. Esta abordagem teórica ajuda a compreender que a negociação do limiar de relevância política do PISA-D é um processo compartilhado, e não uma imposição da OCDE. Como veremos, todos os atores decidem armazenar verdades temporárias em caixas pretas e se adaptarem à composição PISA-D - não porque um dos atores (o mais óbvio sendo a OCDE) decidiu o nível de relevância dos dados do PISA-D, mas porque todos os atores têm interesse em estabelecer um limiar de relevância que permita que dados do PISA-D sejam comparados aos do PISA.

Ao participarem da composição PISA-D, assume-se que todos os atores envolvidos estão de acordo quanto a um conjunto compartilhado de crenças normativas, causais e baseadas em princípios, noções de validade, e o empreendimento político. Entre eles, podemos destacar que:

• há um problema comum referente à necessidade de reformar políticas, que produzirão sociedades do conhecimento mundialmente competitivas e farão os sistemas de ensino responderem melhor às pressões do mercado globalizado;

• há a necessidade de evidências na forma de dados comparativos para orientar a política (ROSE, 1999; LINGARD, 2010);

• a quantificação e a comparação internacional de desempenho educacional são práticas válidas;

• a validade pode ser obtida cientificamente e não é construída socialmente; a métrica descontextualizada de habilidades globais do PISA, as interpretações dos dados e as recomendações políticas fornecem conhecimento científico e objetivo para a política;

• a estratégia educacional global de qualidade e equidade da OCDE é o empreendimento político mais valorizado;

• a estratégia de habilidades e competências da OCDE (GREK, 2014) é um empreendimento político compartilhado;

• uma abordagem economista à educação é uma abordagem política valiosa;

• a medição das habilidades dos jovens na faixa dos 15 anos de idade oferece uma medida da futura competitividade nacional e global (SELLAR; LINGARD, 2013); e

• os dados comparativos do PISA permitem a identificação das melhores políticas e práticas.

Embora sejam guiados por razões de participação e desenvolvimento diferentes, a OCDE, as contratantes privadas e os países do PISA-D concordaram com os valores comuns do PISA-D, em valorizar a relevância do PISA sobre a relevância política e com os valores da comunidade epistêmica do PISA. Este estudo argumenta que o empreendimento político e as crenças compartilhadas da comunidade epistêmica do PISA foram fundamentais para que a relevância política do PISA-D fosse colocada em segundo plano.

Sellar e Lingard (2013, p. 16) argumentam que a OCDE e o PISA criaram um modo de governança epistêmica global, constituindo o campo de política de educação e construindo "o mundo como um espaço comensurável". Entende-se a governança epistemológica como uma combinação dos modos normativos e cognitivos de governança de Woodward's (2009): os modos normativos funcionam através de conjuntos de valores acordados (por exemplo, a necessidade de conhecimentos baseados em dados comparativos para a política) e os cognitivos funcionam através da articulação cooperativa de uma estratégia transnacional (por exemplo, propondo aumentar a qualidade e a equidade da educação por meio da procura por melhores práticas através de dados comparativos de desempenho). Sellar e Lingard (2013) argumentam que a governança epistemológica é fortalecida pela expansão do PISA em escopo e escala, mas também pela criação de uma comunidade epistêmica do PISA pela OCDE. Ao realizar uma pesquisa etnográfica na OCDE, Bloem (2015) constatou uma mudança na organização, que apenas descrevia os dados produzidos nas primeiras implementações do PISA, transformando-se em uma produtora de conhecimento independente. Interessada em permanecer politicamente relevante, mas também aproveitando a legitimidade e o prestígio adquiridos pelos instrumentos, dados e conjuntos de dados com valor histórico do PISA, a OCDE deixou de terceirizar a análise dos dados do PISA para cientistas e assumiu essa função a partir de 2006. De acordo com Bloem (2015), transformar qualidade em quantidade através da comensuração (ESPELAND; STEVENS, 2008) e depois transformá-la novamente em qualidade requer que decisões e interpretações (baseadas em pressupostos, valores e estratégias) sejam tomadas. Assumir o controle da interpretação dos dados do PISA permitiu à OCDE guiar o processo de interpretação e aumentar a relevância política da análise. Igualmente, baseando-se em Haas (1992), Bloem (2015) argumenta que essa mudança permitiu à OCDE assumir uma posição central na comunidade epistêmica em torno do PISA.

À época do desenvolvimento e da implementação do PISA-D, o PISA já não era mais apenas uma avaliação internacional da OCDE que fornece dados comparativos aos países, mas uma comunidade epistêmica mundial de prestígio - com a OCDE como seu centro - fornecendo dados e uma interpretação destes na forma de soluções políticas (por exemplo, o relatório PISA-D inclui um capítulo sobre as "opções políticas na Zedelândia", um país ficcionado onde o items/questões PISA são usualmente contextualizadas). Como veremos neste artigo, todos os atores envolvidos no PISA-D são movidos pelo prestígio do PISA e de sua comunidade epistêmica, porém, a maneira como negociam o processo do PISA-D sugere que os valores acordados e a estratégia transnacional sejam colocados em prática e perseguidos de forma diferente.

Uma observação sobre a metodologia

Este trabalho baseia-se em dados recolhidos no âmbito do projeto de pesquisa PISA para o Desenvolvimento para a Política (PISA for Development for Policy - P4D4Policy), que analisa o modo como o PISA-D está mudando os processos de políticas de educação no Equador e no Paraguai, mas também dos principais atores políticos globais envolvidos. O projeto de pesquisa P4D4Policy é do tipo qualitativo. Os dados discutidos neste documento baseiam-se em quatro anos de documentos de trabalho do PISA-D³, do "Edital de contratação do PISA-D" lançado pela OCDE, observações dos participantes de uma reunião do Grupo Consultivo Internacional do PISA-D, realizada no Paraguai em março de 2016, além de discussões em eventos sociais do PISA-S e entrevistas semiestruturadas realizadas na OCDE, na The Learning Bar⁴ e com atores políticos de alto nível no Equador e no Paraguai no final de 2015 e início de 2016. É importante destacar que os dados foram recolhidos enquanto o programa estava sendo desenvolvido e implementado.

As entrevistas semiestruturadas, realizadas no Canadá, em Paris, no Equador e no Paraguai, foram resultado de um longo processo de negociação do acesso e de construção de confiança, que decorreu ao longo de quatro anos. Os dados aqui apresentados são resultado de acesso de alto nível e relacionamentos de confiança, o que significa que eu entrevistei os níveis mais altos envolvidos no PISA-D (incluindo Andreas Schleicher, diretor de Educação e Competências da OCDE, que pediu para não ser mantido anônimo; decisores políticos importantes e atores a nível ministerial). Os altos níveis de confiança também explicam os convites que recebi para reuniões realizadas rotineiramente atrás de portas fechadas, para as quais investigadores independentes não são convidados. Isto tem implicações importantes para a ética de investigação aplicada, e levaram-me a excluir dados comprometedores da segurança participantes. Trechos das entrevistas que foram considerados muito específicos (por exemplo, relacionados a papéis pessoais) ou comprometedores foram alteradas para proteger o anonimato dos envolvidos. Embora os entrevistados tenham compartilhado uma grande quantidade de informação sobre o processo a ser investigado neste trabalho, os dados selecionados para serem discutidos destacam informações que se destacam como significativas para as perguntas de pesquisa discutidas aqui. Os trechos são apresentados em inglês, mas as entrevistas foram realizadas em espanhol no Paraguai e no Equador.

A história do Programa Internacional de Avaliação de Alunos para o Desenvolvimento

Após cinco implementações do PISA desde 2000, a OCDE reconheceu publicamente que o PISA teve um baixo valor político para os países de renda baixa e média que diagnosticaram seus resultados educacionais com o PISA. Embora afirme que o PISA oferece ideias para a legislação e a política, e que motive reformas educacionais (OECD, 2014a, p. 16), em 2013, a OCDE publicou um documento de trabalho citando a "falta de capacidade institucional e resultados menos relevantes devido a uma amostra não representativa de jovens com 15 anos de idade e a aglomeração de estudantes em níveis de proficiência baixos" como os "principais desafios para o uso efetivo do PISA" em contextos de renda baixa e média (BLOEM, 2013, p. 4).

O reconhecimento dessa baixa relevância política é resultado de um processo iniciado pela participação da Índia no PISA. Após envolver-se no plano nacional de educação da Índia, o Departamento Britânico para o Desenvolvimento Internacional (Department for International Development - DFID) concluiu que o programa de avaliação nacional indiano levava a um relatório de má qualidade. O DFID, portanto, contratou o Serviço de Testes Educacionais (Education Testing Service - ETS) para implementar um conjunto de capacidades técnicas visando gerar uma capacidade de uso da avaliação internacional em larga escala na Índia, terminando por decidir que a participação no PISA permitiria uma evolução rápida para o país. Foi nesta fase que o DFID e a OCDE discutiram como a Índia poderia juntar-se ao PISA e montar um pacote de apoio ao programa para sua participação em 2009. A Índia implementou o PISA em dois estados com desempenho alto: Tamil Nadu e Himachal Pradesh. Porém, seu desempenho geral foi muito ruim, "ficando acima apenas do Quirguistão" (Entrevista, OECD2015#30). O Ministério do Desenvolvimento indiano defendeu os resultados, sugerindo que os testes eram inadequados para o contexto indiano e contestando os critérios de validade compartilhados pela comunidade epistêmica do PISA (que tinham sido previamente aceitos). Foi observando a experiência indiana no PISA que a equipe de alto nível da OCDE se reuniu e decidiu: "Ok, vamos fazer alguma coisa" (Entrevista, OECD2015#30).

A experiência indiana com o PISA informou o tipo de assistência que a OCDE viu como necessária para a participação de países de renda baixa e média, mas também a necessidade de que os dados do PISA fossem significativos. Embora a OCDE tenha feito questão de fazer melhorias no PISA nos contextos mais difíceis para o programa (países de renda baixa), também determinou que o PISA-D seria um sucesso e decidiu que não podia correr riscos. A Organização estabeleceu três critérios para iniciar o projeto: os países tinham de ser de baixa renda, já terem implementado uma avaliação internacional, e deveria haver um parceiro disposto a financiar a participação de cada país. Os parceiros receberam uma lista de potenciais países e questionados sobre quais deles iriam financiar.

Tendo identificado os países e os parceiros de financiamento⁵, a Diretoria de Edicação e Competências e a Diretoria de Cooperação para o Desenvolvimento da OECD começaram a desenvolver parcerias e colaborações com órgãos e organizações internacionais⁶ com experiência educacional em contextos de baixa e média renda, e começaram a desenvolver o PISA-D. Em março de 2013, a OCDE buscou a confirmação do apoio dos seus parceiros e iniciou um diálogo com os países selecionados. Em 2015, Equador, Guatemala, Paraguai, Honduras, Zâmbia, Senegal e Camboja comprometeram-se oficialmente em implementar o PISA-D⁷. O Equador foi descrito como o primeiro país a assinar o contrato do PISA-D, o que foi crucial para abrir o caminho para que outros países se comprometessem formalmente. Em 2016, o Panamá, que já tinha participado do PISA principal, passou a participar do programa "fora da escola" (vertente C) do PISA-D, que avalia as habilidades dos jovens 15 anos de idade fora de suas escolas.

O que é o Programa Internacional de Avaliação de Alunos para o Desenvolvimento?

A primeira reunião técnica de trabalho do PISA para o Desenvolvimento em 2013⁸, realizada com parceiros do PISA-D, países candidatos, especialistas e membros internacionais do Conselho Consultivo, incluiu uma apresentação introdutória de boas-vindas feita por Andreas Schleicher, na qual ele afirmou que o PISA-D teria "a máxima comparabilidade possível, para facilitar a aprendizagem entre pares" e seria "tão específico fosse necessário para cada país⁹ para ser significativo e interpretável em contextos nacionais" (Apresentações em Power Point da Reunião Técnica Inicial: slide 9). A OCDE também argumentou que os países de baixa e média renda precisam medir seus resultados educacionais de uma forma comparável a nível internacional, pois a medição do progresso educacional dentro de um quadro acordado internacionalmente oferece uma base para colaborações internacionais na concepção e implementação de políticas educacionais. Em ressonância com as comunidades epistêmicas de Haas (1992) a OCDE afirmou¹⁰ que o PISA pode ajudar os governos com interesses políticos comuns a fixarem metas políticas em termos de objetivos mensuráveis já atingidos em outros lugares e pode facilitar a aprendizagem entre pares em relação a políticas e práticas. Afirmou, também, que ao participarem, os países "se juntam a uma comunidade internacional focada em melhorar os resultados de aprendizagem com base na análise comparativa dos resultados do PISA" (Apresentação em Power Point da Segunda Oficina Técnica). A OCDE também esclareceu que os países do PISA-D não fazem parte de uma segunda classe, e que a publicação dos dados do PISA-D permanece a critério dos países participantes.

Assim como fez com o PISA, a OCDE terceirizou o PISA-D para empresas privadas através de um edital de contratação. A OCDE dividiu o PISA-D em três vertentes:

• vertente A: desenvolvimento cognitivo dos instrumentos de teste para destacar a distribuição de competências abaixo dos níveis basais de proficiência do PISA;

• vertente B: desenvolvimento de questionários contextuais do PISA que sejam comparáveis, mas relevantes para contextos de média e baixa renda; e

• vertente C: desenvolvimento dos questionários de teste e de contexto do PISA-D para jovens de 15 anos de idade fora da escola.

Em 2015, um consórcio dirigido pela Global North foi adjudicado com os contratos das vertentes A, B, e C, além da gestão de todo o programa. A vertente A foi delegada para a ETS em colaboração com cApStAn, Westat e Pearson; a vertente B foi delegada para a The Learning Bar; e a vertente C foi delegada para todas as empresas privadas anteriores, que trabalharam em parceria.

Desenvolvido como uma "ferramenta poderosa para orientar e criar políticas" (Slides do PISA-D da OCDE), a relevância política do PISA-D seria obtida através da reconstrução dos instrumentos do PISA para que respondessem às prioridades políticas dos primeiros sete países participantes. No entanto, os dados do PISA-D também teriam que ser comparáveis com os dados do PISA principal. Transformar o PISA-D numa extensão do PISA, e não em algo diferente, implica que os países do PISA-D seriam obrigados a compartilhar os valores e estratégias políticas da comunidade epistêmica do PISA. Com base na motivação da OCDE pela necessidade de tornar o PISA-D o mais parecido possível com o PISA, é útil esclarecer de que maneiras a Organização descreve a diferença entre o PISA e o PISA-D em seis pontos:

• o projeto tem como alvo jovens de 15 anos na extremidade inferior (no PISA principal, 20% dos itens de teste são de nível 2 e abaixo; a proporção desses itens no PISA-D será substancialmente maior, potencialmente 60%);

• os itens de teste foram aprimorados para serem mais relevantes em contextos de renda baixa e média - usando itens do PISA, do teste PISA para Escolas, do PIAAC¹¹, do STEP¹², e do LAMP¹³;

• os questionários de contexto incluem questões relevantes para contextos de renda média e baixa e para suas prioridades políticas;

• os testes e questionários foram adaptados para reduzir a carga de leitura;

• o PISA-D inclui uma avaliação para jovens de 15 anos de idade fora da escola; e

• atividades de capacitação e de aprendizagem política são oferecidas.

A capacitação e aprendizagem política do PISA-D incluem o intercâmbio de conhecimentos políticos entre os países participantes, a troca de conhecimentos políticos entre os principais países do PISA e do PISA-D, capacitação em análise política, elaboração colaborativa de relatórios orientados para políticas, e apoio presencial da OCDE durante a divulgação dos dados. A OCDE argumenta que a aprendizagem política do PISA é o seu objetivo primordial. Baseando-se em uma entrevista feita com Andreas Schleicher, os testes do PISA podem ser entendidos como se fossem o Esperanto da comunidade educativa global, o que é propício para a aprendizagem política:

O objetivo geral é simplesmente permitir que esses países tenham envolvimento com o melhor conhecimento global. Não se trata realmente da pontuação; a pontuação seria um produto disso. Mas a ideia é realmente conectar a perícia desses países com o melhor conhecimento pericial que existe, de qualquer lugar do mundo. Não houve diálogo global, nenhuma vontade de se envolver com as ideias de outras pessoas, missões de outras pessoas. (...) Temos de encontrar uma linguagem comum para aprender uns com os outros. O teste foi apenas o instrumento. (...) O que eu mais me orgulho é que agora, quando os ministros se reúnem, ou quando os educadores se encontram, ou quando os cientistas se encontram, eles podem não concordar, mas eles ouvem um ao outro. E eles aprendem uns com os outros. (Entrevista, Andreas Schleicher em 2015)

O que não é dito sobre o Esperanto da comunidade educacional global é que uma língua artificial é um projeto político - que, no caso do PISA, pode ser descrito como a disseminação de uma abordagem economicista à educação - que é canalizada através das estruturas conceituais e metodológicas dos testes. A capacitação e as atividades de aprendizagem política previstas como parte do PISA-D ilustram como um processo foi posto em prática para garantir que os valores e o empreendimento político por trás do PISA fossem adotados e mantidos pelos atores participantes do agrupamento PISA-D. Esse processo está em curso em todas as fases do PISA-D, mas é fortalecido quando os dados são disponibilizados para análise e publicação, pois os países ficam mais propensos a deixar a composição PISA-D e questionar as noções previamente acordadas de validade, o empreendimento político e as crenças compartilhadas ( e.g., o caso da participação da Índia no PISA 2009).

Como o Programa Internacional de Avaliação de Alunos para o Desenvolvimento faz sua reinvindicação de dados políticos relevantes?

Em 2013, a OCDE contratou Willms e Tramonte (2014) para investigar como o questionário de contexto do PISA-D poderia responder melhor aos contextos recém-alcançados, dado o desafio de manter a comparabilidade entre os dados do PISA principal e do PISA-D, mas também desenvolver os instrumentos para que os dados fossem politicamente significativos e interpretáveis o suficiente em contextos nacionais. Em resposta, Willms e Tramonte (2014) sugeriram que as ferramentas de avaliação contextual incluíssem:

• itens sobre a experiência de aprendizagem inicial dos alunos;

• itens sobre a familiaridade dos alunos com a linguagem do teste;

• medidas de envolvimento, do capital social e do capital cultural dos pais;

• medidas do papel de outros membros da comunidade e dos tipos de comunidade;

• medidas de frequência escolar; e

• itens de participação em mercado de trabalho formal e informal.

Willms e Tramonte (2014) argumentaram que modelo de aprendizagem de Caroll (1963), no qual se baseia o questionário do PISA principal, é limitado, dado o âmbito dos objetivos do programa. O PISA não visa compreender como os estudantes podem aplicar as habilidades como resultado do ano escolaridade formal para o qual eles são testados, mas como resultado da aprendizagem formal, informal e não-formal, que ocorre desde o nascimento (e antes). Portanto, o trabalho de Willms e Tramonte (2014) recomenda fortemente que os questionários de histórico do PISA-D e também do PISA principal, sejam reescritos. Em abril de 2014, foi acordado que o trabalho apresentado por Willms e Tramonte (2014) representaria a base técnica para melhorar os questionários contextuais do PISA-D e, portanto, os termos de referência do Edital de Contratação para a vertente B.

Por contrato, a The Learning Bar (TLB), que foi contratada para pôr em prática a vertente B, tem que desenvolver o questionário de histórico com base nas prioridades políticas identificadas pelos países participantes, além de ajudar a OCDE na implementação das atividades de aprendizagem política no âmbito do PISA-D¹⁴. A OCDE também solicitou que a TLB formasse e administrasse um grupo de peritos em questionários (GPQ), que aconselharia a TLB em seu trabalho, mas também teria um papel legitimador: os especialistas são peritos altamente respeitados, cujo papel de assessoria e engajamento transfere experiência e autoridade para o trabalho da TLB no PISA-D. Como teorizado por Haas (1992), uma comunidade epistêmica conta com o prestígio e a formação profissional dos peritos que convoca para legitimar suas reivindicações de autoridade sobre o conhecimento. Em junho de 2015, a TLB visitou cada um dos países do PISA-D "para identificar perguntas políticas não respondidas pelos dados do questionário contextual do PISA-D", para que os países participantes pudessem "trabalhar com a The Learning Bar para identificar questões (ou medidas) para serem inclusas nos questionários contextuais do PISA-D" (Reunião do Grupo Consultivo Internacional, maio de 2015: slide 61), antes de se encontrar com o GPQ em agosto de 2015, para discutir e chegar a um acordo a respeito das sugestões de políticas do país. Como veremos na próxima parte deste artigo, ao participar da comunidade epistêmica PISA, os valores e a agenda política que guiam essas negociações já tinham sido resolvidos antes das consultas.

Programa Internacional de Avaliação de Alunos para o Desenvolvimento e sua reinvindicação de dados de relevância política: relevante para quem?

Esta seção discute como o conceito de "relevância política" é entendido e negociado pelos atores do PISA-D entrevistados. Entender como a relevância política do PISA-D é negociada anda de mãos dadas com as razões que levaram a OCDE, a TLB, o Equador e o Paraguai a participarem do PISA-D.

A Organização para a Cooperação e Desenvolvimento Econômico

Ao deixar de apenas descrever dados para passar a interpretar os dados para a política (BLOEM, 2015), a OCDE também se conscientizou de que sem inovações, o PISA e sua comunidade epistêmica perderiam tração em breve. Foi decidido que o PISA teria de inovar, ampliando seu alcance, mas, a fim de oferecer informações do PISA a mais países, a OCDE teve que entender o que os países precisavam:

Este é o lado da "oferta" da história - nós queremos disponibilizar isso para os países de baixa renda. Daí você tem o lado da demanda da história, que é a OCDE como um todo, basicamente, tentando se posicionar globalmente. Como a OCDE pode se manter relevante? Bem, ela tem que oferecer coisas que os países que não participam da OCDE querem. (Entrevista, OECD2015#30)

Reconhecendo a relevância dos dados do PISA para a política de países de baixa e média renda, a Organização começou a alimentar uma demanda por mais dados politicamente relevantes do PISA¹⁵. Para aumentar ainda mais a demanda, a OCDE estrategicamente garantiu que um referencial universal de aprendizagem parecido com o PISA fosse necessário para os Objetivos de Desenvolvimento Sustentável:

Os ODMs estavam chegando ao fim. Então, teve muita discussão, processos sendo iniciados para analisar a situação pós-2015, e assim nós nos posicionamos muito cedo como uma voz argumentando que o mundo pós-2015 tem que ser focado em resultados de aprendizagem e em qualidade, não podemos ter mais quinze anos em que todos falam sobre isso, sobre botar as crianças na escola. E é claro que isso imediatamente levantou a pergunta: "Como é que vamos para medir a qualidade, como vamos medir resultados de aprendizagem?". Por isso, oferecemos o PISA como uma métrica global, e dissemos: 'Olha, o trabalho do PISA para o Desenvolvimento vai para nos ajudar a disponibilizar isso para uma ampla gama de países'. (Entrevista, OECD2015#30)

Por último, e importante para entender o trabalho recente da OCDE, está a Reunião do Conselho de Nível Ministerial pelo 50º aniversário da OCDE em 2012, durante a qual foi manifestada preocupação sobre a adesão à OCDE ser uma relíquia do passado (Entrevista, Andreas Schleicher em 2015). Os Estados-Membros da OCDE concordaram que a gravidade da economia mundial havia mudado ao longo dos cinquenta anos anteriores e, com ela, a governança econômica mundial tinha mudado (OECD, 2012). A reunião foi seguida pela publicação de uma estratégia da OCDE para o Desenvolvimento (OECD, 2012) em que os Ministros declararam a nova visão da Organização: um compartilhamento de políticas mais inclusivo, partilhando as suas abordagens políticas baseadas em evidências com o que a Organização define como "países em desenvolvimento". Nessa estratégia, a OCDE reconhece que necessita tornar suas recomendações políticas relevantes para diferentes contextos:

Essa estratégia de desenvolvimento estabelece muito claramente a ambição de OCDE em ser relevante num mundo em transformação, e em atender às necessidades de países de renda média, especialmente as economias emergentes. E o ponto principal dessa estratégia é levar o melhor dos instrumentos políticos da OCDE e adaptá-los para torná-los relevantes para os países de renda média. E, é claro, esse foi o objetivo com o PISA para o Desenvolvimento em 2012, nós demos forma a ele e tivemos a ideia. E assim, a estratégia para o desenvolvimento nos deu este ímpeto para que pudéssemos seguir em frente. (Entrevista, OECD2015#31)

Em 2014, a OCDE afirmou que o PISA-D "apoia diretamente a Estratégia para o Desenvolvimento da OCDE e a estratégia de relações globais do Conselho Diretor do PISA" (OECD, 2014b, p. 19). A Organização também admite estar satisfeita com sua capacidade de combinar sua estratégia de desenvolvimento¹⁶ com o PISA para formar "o instrumento de política fundamental" na estratégia de educação global impulsionada pelos Objetivos de Desenvolvimento Sustentável (ODSs):

O PISA é o instrumento de política fundamental para a Diretoria de Educação e Competências. O PISA para o Desenvolvimento não é um tipo de projeto discreto, é parte desse esforço para tornar o PISA disponível para uma ampla gama de países. Eu acho que se encaixa muito bem no que a Diretoria de Educação e Competências está tentando fazer, e se encaixa totalmente na estratégia para o desenvolvimento. E agora que a estratégia para o desenvolvimento está ainda mais reforçada pela estrutura dos ODSs, e, certamente, na educação, o ODS de educação 4.1.1 sobre os níveis de proficiência em leitura e matemática no final do primário e primeiros anos do secundário, isso é por causa do PISA. Eu acho que tudo se encaixa muito perfeitamente agora. (Entrevista, OECD2015#30)

O que se entende dos trechos acima é que o PISA-D é uma forma de expansão global através da partilha de experiências políticas de educação para a OCDE. Embora a estratégia e o programa de trabalho da OCDE sugiram que a Organização está ciente de que precisa seguir o centro de gravidade econômico global e que "precisa aprender com diversas experiências de crescimento e desenvolvimento" (OECD, 2012, p. 4), as justificativas da OCDE para o desenvolvimento do PISA-D implicam também uma inclinação limitada a correr riscos (por exemplo, o desenvolvimento de novos instrumentos, em vez de uma outra versão PISA). Isso ajuda a entender por que a OCDE tem se esforçado para estabelecer o PISA-D como um limiar de relevância política que possa ser descrito como mais relevante para o PISA do que para os contextos recém-alcançados.

The Learning Bar

Afirmando que as afirmações e o assessoramento político da OCDE no âmbito do PISA não eram fundamentadas pelos dados do PISA, a TLB alegou que tinha um modelo no qual os dados do PISA podiam melhorar sua relevância para os países do PISA-D, e também para os países do PISA principal, se a OCDE estivesse disposta a melhorar seus instrumentos:

O limão do PISA foi espremido demais. (...) Todo o modelo é falho, e tem sido desde o início. As pontuações de aprendizagem são afetadas desde o nascimento. O efeito da escola é feito por subtração. O modelo entrada-processo-saída não é o caminho certo seguir nesse caso, mas é ele que baseia todo o PISA. O modelo não tem nenhuma ligação clara com a política, por isso toda a ideia é falha. Os países definem seus valores de referência almejando a quinta posição no ranking mundial, e, em seguida, revisam seu currículo. Mas não é isso que o PISA diz, e isso não vai mudar a pontuação na próxima rodada do PISA. Existe uma ligação muito fraca entre o que é ensinado e o PISA. É incrível que o PISA tenha chegado tão longe quanto chegou. (Entrevista, PISA-Dcontractor2015#34)

A TLB identificou onde estava o problema da fraca relevância política do PISA e ofereceu uma solução à OCDE e a todos os seus parceiros do PISA-D, com uma condição: a OCDE teria que estar disposta a mudar os questionários de contexto do PISA. A OCDE expressou ceticismo, justificado pela necessidade de manter conjuntos de dados longitudinais do PISA, mas também porque fazia questão de garantir a comparabilidade entre os dados do PISA principal e do PISA-D. Como o PISA, da forma como foi desenvolvido em 1997, estava no coração da comunidade epistêmica do PISA e era o que cada país acreditava que iria oferecer-lhe os dados e recomendações políticas de que precisavam para melhorar a sua educação, a OCDE não estava disposta a correr riscos:

Nós não queríamos correr riscos, teremos a chance de fazer isso apenas uma vez, por isso temos de fazê-lo direito. Nós não queríamos dar isso a alguém que não tínhamos a total confiança em ser capaz de fazê-lo. (Entrevista, OECD2015#30)

Do ponto de vista da semiótica sócio-material, mudar os questionários do PISA teria exigido o questionamento das verdades acordadas sobre as quais a composição do PISA tinha se estabelecido, potencialmente colocando-a em perigo de desmoronar, consequentemente derrubando também a base para o desenvolvimento do PISA-D.

No entanto, a TLB conseguiu convencer os parceiros e países do PISA-D, o que a levou a ter maior influência sobre a OCDE:

Com base em um trabalho anterior de minha autoria, tive a inspiração para desenvolver o Modelo de Prosperidade (Prosperity Model) . Os países ficaram bem felizes com o que foi proposto, com o que estamos dando a eles. Paraguai e Equador amaram o modelo. Eles o entenderam. Perguntamos a todos que estavam à mesa no Equador, houve absoluta unanimidade, alguns até disseram 'Nós amamos isso, é o que eu sempre quis'. (...) Nós temos que comercializar o Modelo de Prosperidade na Educação (Education Prosperity Model) para fazê-lo ter um impacto na prática. Para isso, é preciso ter campanhas de informação. Se você estiver disposto a trazer a mudança, é preciso criar uma nova estrutura de compreensão do que é educação. É preciso ter uma visão - como no marketing, onde você bombardeia a mensagem de um modelo diferente de aprendizagem. (Entrevista, PISA-Dcontractor2015)

A OCDE acabou concordando em adotar o Modelo de Prosperidade na Educação da TLB, com a condição de que uma percentagem substancial dos questionários de contexto do PISA-D permanecesse igual aos do PISA principal. Desta forma, a partir da perspectiva da semiótica sócio-material, as verdades que alicerçam o PISA não seriam questionadas.

Após vender com sucesso o Modelo de Prosperidade na Educação como a melhor estrutura de solução em política global, o contrato da TLB com a OCDE exigiu que o Modelo fosse revisado em conjunto com os países do PISA-D, levando suas necessidades contextuais e políticas em consideração:

Quando fomos para os países, apresentamos o Modelo de Prosperidade e, basicamente, mostramos a eles por que ele iria funcionar. Ele é bastante completo. Quando apresentamos o modelo, era difícil dizer que não fazia sentido, porque ele faz, está tudo lá, e se eles acharam que faltava alguma coisa, eles tiveram muitas oportunidades de nos dizer isso, e de um modo geral, eles não fizeram isso, porque esava tudo lá. (Entrevista, PISA-Dcontractor2015#36)

Embora o processo de negociação pareça unidirecional, a próxima seção sugere que os países do PISA-D não negociaram os questionários de contexto no interesse de manter o PISA como estava. Tendo chegado ao consenso de que o Modelo de Prosperidade na Educação devesse refletir as prioridades políticas dos países, a TLB passou por uma série de rodadas de consultas para finalizar os questionários de contexto do PISA-D. Em 2016, todos os atores envolvidos com o PISA-D chegaram a um acordo. É com base neste modelo que os relatórios da OCDE, da TLB e dos países do PISA-D serão escritos em 2018.

Após obter um contrato de prestígio com a OCDE, a TLB tornou-se uma empresa reconhecida mundialmente na área de avaliação educacional, aumentando a sua credibilidade e alcance globais. Fazer parte do consórcio de contratados do PISA-D não só permite que a empresa interaja amplamente com atores globais que investem na educação, mas também a permite ampliar o alcance de seus negócios para países onde a sua experiência e seus produtos (pro exemplo, pacotes de avaliação pré-escolares) têm sido apresentados para mostrar a empresa como o ator mais competitivo do mercado. Não é surpreendente, portanto, que os pacotes da TLB estejam sendo consideradas pelos governos dos países do PISA-D. Através das suas atividades no PISA-D, a TLB melhorou a sua reputação, além de suas oportunidades de negócio.

Países do Programa Internacional de Avaliação de Alunos para o Desenvolvimento

Embora estejam interessados em obter dados de maior relevância política do que o PISA principal teria a oferecer, os países do PISA-D encontraram um dilema. Os países foram convidados a discutir como os questionários de contexto e os instrumentos poderiam se tornar mais relevantes, porém foram avisados de que, caso ultrapassasse um certo limiar, a avaliação não seria mais considerada PISA e os dados não seriam comparáveis com os dados do PISA principal.

Os entrevistados contam que, depois de um longo processo, algumas adaptações foram feitas (em particular, graças à mediação da OCDE entre os países e contratados), mas que, em geral o programa foi criado de tal forma que a relevância política não teria a ver com um conjunto geral de conhecimentos, mas sim com conhecimento específico, suscitando a questão: a relevância política do PISA-D responde a quem?

Nós teríamos que repensar o estudo. Este tipo de trabalho teria exigido diferentes tipos de relacionamentos, com diferentes prazos, diferentes formas de trabalho, porque se você pensar bem, durante todo o período, a OCDE faz três ou quatro reuniões por ano, basicamente apenas para revisão. Os especialistas dessas organizações e empresas apresentam seus instrumentos e não há muito tempo útil. E preocupa-se apenas em entender o que eles estão dizendo, e às vezes em tentar se adaptar, mas na maioria dos casos, você não questiona o conteúdo. (...) Realmente, existe muita assimetria, não é um processo de construção compartilhado, não é como se estivéssemos construindo o estudo em conjunto. Os questionários de contexto foram onde eu observei mais abertura, mas no resto, não. Havia uma grande distância na gestão técnica, entre os especialistas, que são o nível mais alto, e os países, e, por isso, a realidade é que não é um diálogo. (Entrevista, PISADcountry2016)

As observações dos participantes substanciam as percepções dos países de que o PISA é estruturado de uma forma não muito propícia para a consideração de várias preocupações, porque a estrutura dos instrumentos, os modos de trabalho, as relações, os prazos e os conhecimentos valorizados não são utilizados para repensar o conceito de relevância política na era PISA. Embora isso possa ser lido como um limiar de relevância política imposto, a semiótica sócio-material sugere que o poder é disseminado, e que é adquirido através da estabilidade e do tamanho da composição (assemblage). Composições que não impulsionam os interesses dos seus aliados desmoronam, mas quando os países do PISA-D se depararam com o dilema da relevância para a política ou relevância para o PISA, houve consenso unânime entre os países do PISA D:

É como se você tivesse toda a liberdade no mundo, mas com limites, não é possível testá-los demais, e esses limites não são unicamente impostos pela OCDE, os países também os impõem. Você participa do PISA porque quer o PISA, você não participa do PISA porque quer o TERCE. No final das contas, eles querem preservar o PISA, e nós também queremos preservar o PISA, então eu não vejo qualquer motivo para participar do PISA-D se não for para fazer parte do PISA. (...) Quando todos nós participamos, pensamos: "Bem, eu quero o PISA, e se eu estou no PISA-D é porque eu quero me comparar com outros países que fazem parte do PISA, e não apenas me comparar com esse punhado de outros países". Então, sim, eu preciso essas perguntas lá, sim, eu preciso que o índice socioeconômico se encaixe com o do PISA, mesmo que isso não reflita a minha realidade. Ele pode não refletir muito a minha realidade, mas eu posso sacrificar isso. (...) Nós nos viramos da melhor forma que podíamos. Bem, não da melhor forma que podíamos. Dentro destes limites, foi o melhor que podíamos. (...) E sim, muitas coisas que os países queriam foram omitidas. No fim das contas, você precisa decidir o que prefere. E o que preferiram foi ter um laço mais forte com PISA. (Entrevista, PISADcountry 2016)

Os países estavam dispostos a sacrificar a relevância dos dados; o que eles não estavam dispostos a sacrificar é ser parte do PISA e da comunidade epistêmica à qual tiveram acesso acessado através do PISA-D. Este trecho sugere que a relevância do PISA não é um limiar imposto, mas guiado por um consenso unânime: participar do PISA é o que conta. Do ponto de vista da comunidade epistêmica, os países do PISA-D parecem compartilhar das crenças causais, normativas e baseadas em princípios sobre as quais o PISA é construído, a validade do teste, e o empreendimento político primordial do PISA.

Conclusões

Este trabalho contou a história do PISA para o Desenvolvimento - desde as primeiras experiências que levaram à ideia à criação do PISA D. Isso adiciona uma camada à história oficial do PISA-D contada nos documentos online da OCDE, ilustrando como o PISA-D baseia-se na frustração da OCDE e na experiência da Índia com os dados de baixa relevância política do PISA principal; como a OCDE conseguiu encaixar o PISA-D perfeitamente na estratégia global de educação pós-2015, alinhando-a ao mesmo tempo com a estratégia de desenvolvimento da OCDE, e como a Organização preferiu não correr riscos para garantir que o PISA-D tornasse-se uma estória de sucesso.

O trabalho, em seguida, discutiu como a OCDE e os seus parceiros do PISA-D negociaram o limiar de "relevância política". Através deste processo de negociação, surgiram as múltiplas justificativas para o envolvimento dos atores do PISA-D: a partilha de conhecimentos políticos e a expansão geopolítica, oportunidades de negócios e os laços políticos com comunidades globais valorizadas do PISA. Embora os atores que se juntam à comunidade epistêmica do PISA pareçam compartilhar das mesmas crenças, a noção de caixa preta sugere que estas sejam verdades temporariamente aceitas, apenas na medida em que o PISA-D promove seus diversos interesses. O ato de guardar as crenças compartilhadas e estratégicas políticas da comunidade epistêmica do PISA temporariamente em uma caixa preta facilitou o processo de negociação do limiar de relevância política entre todos os atores do PISA-D.

O estudo desafia a reivindicação de relevância política do PISA-D, impulsionada por prioridades políticas de contextos de renda baixa e média, argumentando que o limiar de relevância política foi impulsionado pelas múltiplas preocupações dos atores envolvidos. No entanto, todos os agentes estavam preocupados com a manutenção de um forte laço com o PISA, resultando em um limiar de relevância política que é melhor descrito como relevante para o PISA. Em temos de governança epistemológica, pode-se sugerir que a relevância do PISA oferece mais do que a relevância política pode oferecer.

Este artigo conclui convidando todos os envolvidos na produção e uso de dados de avaliação internacional a refletir sobre como a relevância política é entendida na era PISA. Parece que a comunidade de educação global tem se afastado de dados politicamente relevantes e preferido dados relevantes para o PISA. Deveríamos estar nos perguntando quais dados e interpretações de dados contam, e não como os dados podem ser mais relevantes para informar as políticas? Que implicações éticas isso pode ter para a produção de conhecimentos para políticas públicas?

Referências

• BLOEM, S. PISA in Low and Middle Income Countries . Paris: OECD Publishing, 2013.
• BLOEM, S. The OECD Directorate for Education as an Independent Knowledge Producer through PISA. In: ESPELAND, W.N.; STEVENS, M.L. A sociology of quantification. European Journal of Sociology v. 49, n. 3, p. 401-436, 2008.
• CARROLL, J.B. A model for school learning. Teacher College Record , n. 64, p. 723-733, 1963.
• GREK, S. OECD as a site of coproduction: European education governance and the new politics of 'policy mobilization', Critical Policy Studies v. 8, n. 3, 2014.
• HAAS, P.M. Introduction: Epistemic communities and international policy coordination. International Organization v. 46, n. 1, p. 1-35, 1992.
• LATOUR, B. Science in Action . Milton Keynes: Open University Press, 1987.
• LATOUR, B. Reassembling the social: an introduction to Actor-Network-Theory . Oxford: Oxford University Press, 2005.
• LAW, J. On Sociology and STS. The Sociological Review v. 56, n. 4, 2008.
• LINGARD, B. Policy as numbers: Ac/counting for educational research. The Australian Educational Researcher , v. 38, n. 4, p. 355-382, 2010.
• MURPHY, S. The Pull of PISA: Uncertainty, Influence, and Ignorance. International Journal of Education for Democracy , v. 3, n. 1, p. 28-44, 2010.
• OECD - ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. OECD Strategy on Development Paris: OECD, 2012.
• OECD - ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. Call for Tender 100000990 PISA for Development Strand A and B . Paris: OECD , 2014a.
• OECD - ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. 2014 Report on the Implementation of the OECD Strategy on Development . Paris: OECD , 2014b
• ROSE, N. Powers of Freedom: Reframing Political Thought . Cambridge University Press, 1999.
• SELLAR, S.; LINGARD, B. PISA and the Expanding Role of the OECD in Global Education Governance. In: MEYER, H.D.; BENAVOT, A. PISA, Power, and Policy the emergence of global educational governance . Wallingford/GB, Symposium Books, 2013.
• WILLMS, D.; TRAMONTE, L. Towards the development of contextual questionnaires for the PISA for Development Study . Paris: OECD , 2014.
• WOODWARD, R. The Organization for Economic Cooperation and Development (OECD) . Abingdon: Routledge, 2009.

• *
  O artigo baseia-se no projecto de investigação P4D4Policy, financiado pela Fritz Thyssen Foundation.
• 1
  Para maior clareza, vale ressaltar que, neste trabalho, os dados politicamente relevantes são entendidos como informações que respondem às necessidades políticas de um sistema educacional específico (ou seja, dados que representem o histórico dos estudantes de um país de renda mais baixa, baseadas num quadro socioeconômico que se encaixe nesse contexto em vez do o contexto de um país de rendimento mais elevado).
• 2
  Um contratado é uma empresa privada que responde a um processo de licitação da OCDE para fornecer um serviço ou produto à Organização.
• 3
  3. Os documentos em que me baseio são as apresentações em Power Point apresentadas entre 2013 e 2015 em três reuniões de trabalho técnicas (27 e 28 de junho de 2013 em Paris, 8 a 11 de abril em Washington DC, 1 a 2 de outubro de 2014 em Paris) e dois Conselhos Consultivos Internacionais (27 e 28 maio de 2014 em Paris, 11 a 13 março de 2015 em Paris). Todos os documentos estão disponíveis na página do PISA-D no site da OCDE: https://www.oecd.org/pisa/aboutpisa/pisa-for-development-meetings.htm
• 4
  A The Learning Bar descreve a si mesma como "uma empresa de educação baseada em pesquisa que fornece [...] ferramentas e soluções destinadas a informar os educadores, orientar o planejamento escolar e dar voz aos alunos, pais e professores". Baseada no Canadá, foi co-fundada em 2005 por Douglas Willms. A empresa agora é liderada por Wills, professor e diretor do Instituto Canadense de Pesquisa em Política Social da Universidade de New Brunswick (UNB). Embora o TLB seja um novo ator no campo das avaliações internacionais da educação, Willms tem se envolvido nas atividades do PISA desde seu início, no desenvolvimento dos instrumentos, presidindo o Conselho Técnico Consultivo do PISA e escrevendo seus relatórios internacionais.
• 5
  França, Banco Interamericano de Desenvolvimento (IADB), Coreia, Banco Mundial, Parceria Global para a Educação (GPE), Noruega (Norad), Reino Unido (DFID), Alemanha (BMZ/GIZ), Japão (JICA), e Irlanda (Irish Aid).
• 6
  UNESCO, Instituto de Estatística da Unesco (UIS), equipe do Relatório de Monitoramento Global de Educação para Todos (EFA GMR), UNICEF, WEI-SPS, Education International, PISA SDG, equipe do PIAAC, e os seguintes programas de avaliação: ASER; EGRA; EGMA; SACMEQ; PASEC; Pre-PIRLS e PIRLS; TIMSS; LLECE; STEP; LAMP; UWEZO.
• 7
  Para cinco dos países participantes, foi estabelecido um acordo de financiamento: o Senegal é financiado pelo Banco Mundial e pela França (AFD); Honduras, pelo Banco Interamericano de Desenvolvimento; Guatemala, pelo Banco Interamericano de Desenvolvimento, mas também pela Noruega e pela Alemanha; Zâmbia, pelo Banco Mundial e pelo DFID, e o Camboja, pela Coreia do Sul. Equador e Paraguai têm sua participação no PISA-D autofinanciada. Além disso, cada país tem um país do PISA principal como par.
• 8
  Durante esta reunião técnica inicial, o PISA-D foi oficialmente apresentado e visava atingir: (1) um "entendimento comum entre os participantes e parceiros" - tal como apresentado nos Power Points disponíveis online em http://www.oecd.org/pisa/aboutpisa/pisafordevelopment.html
• 9
  Embora este aspecto seja muito debatido, as avaliações internacionais de grande escala fazem isso usando itens culturalmente neutros.
• 10
  Tirado da apresentação introdutória de Andreas Schleicher no Power Point para as boas-vindas à Reunião Técnica inicial.
• 11
  Programa de Avaliação Internacional das Competências dos Adultos realizado pela OCDE.
• 12
  Estudo de medição de habilidades realizado pelo Banco Mundial.
• 13
  Avaliação de Alfabetização e Programa de Monitoramento realizado pelo Instituto de Estatística da UNESCO.
• 14
  A TLB pretende ajudar os países do PISA-D a transformar a análise de dados em dispositivos políticos (isto é, relatórios nacionais, que respondam às necessidades específicas das prioridades e desafios políticos educacionais de cada país) e a desenvolver a capacidade dos decisores políticos nacionais para usar os dados do PISA-D para políticas.
• 15
  Em 2016, a OCDE convidou os países da Ásia e da América Latina para considerarem a participação em uma segunda rodada do PISA-D, pedindo que os países apresentassem (em eventos internacionais patrocinados pela OCDE) sua motivação para participar, os resultados esperados, os potenciais desafios e as relações entre avaliações nacionais e o PISA/PISA-D).
• 16
  Isto é referido mais a fundo na revisão de 2014 do PISA para o Desenvolvimento: "O PISA-D está bem posicionado para apoiar os esforços globais de enquadramento de uma meta de aprendizagem no contexto da estratégia pós-2015 e para fornecer uma única métrica universal para medir o progresso neste aspecto. O PISA é considerado um dos mais importantes instrumentos políticos de educação no mundo de hoje. Há uma lógica convincente para torná-lo mais relevante para os países em desenvolvimento, para que um número maior de países possa se beneficiar das pesquisas e análises. Por isso, o projeto aborda diretamente os elementos centrais da Estratégia para o Desenvolvimento, em especial a adaptação dos instrumentos de política de maior sucesso da OCDE para torná-los mais relevantes para o contexto dos países em desenvolvimento". (OECD 2014b, p. 10)

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2016

Histórico

• Recebido
  30 Jun 2016
• Aceito
  05 Set 2016