Os instrumentos de regulação baseados no conhecimento: o caso do programme for international student assessment (PISA)

Knowledge-based regulation tools (KRT): the programme for international student assessment (PISA) case

DOSSIÊ: "CONHECIMENTO E POLÍTICA"

Os instrumentos de regulação baseados no conhecimento: o caso do programme for international student assessment (PISA)

Knowledge-based regulation tools (KRT): the programme for international student assessment (PISA) case

Estela Costa^I; Natércio Afonso^II

^IDoutoranda em Ciências da Educação (Universidade de Lisboa) e bolseira do Projecto de Investigação Knowandpol. E-mail: [e-mail]

^IIProfessor associado da Faculdade de Psicologia e de Ciências da Educação da Universidade de Lisboa e membro da equipa portuguesa do Projecto de Investigação Knowandpol. E-mail: [e-mail]

RESUMO

Este artigo inscreve-se na temática dos novos modos de regulação da educação, em particular nos instrumentos de políticas públicas. No quadro da instrumentação da acção pública, a atenção recai nos instrumentos de regulação baseados no conhecimento (Knowledge-based Regulation Tools [KRT]). Na verdade, a economia mundial fundamenta-se, cada vez mais, no conhecimento, o qual emerge como instrumento de política, regulando os actores sociais e legitimando a decisão política. O Programme for International Student Assessment (PISA), da Organização para Cooperação e Desenvolvimento Económico (OCDE), foi o instrumento escolhido como passível de configurar um KRT. O texto baseiase em seis estudos de caso, assentes em entrevistas e análise documental. Intentando na circulação e no uso do PISA, na Bélgica, Escócia, França, Hungria, Portugal e Roménia, procuramos demonstrar que o PISA se afirma como um KRT, provando a relação circular entre conhecimento e política, dado que, como instrumento de política, produz conhecimento e, como instrumento científico, produz política

Palavras-chave: Instrumentos de regulação baseados no conhecimento. PISA. Políticas educativas. Regulação.

ABSTRACT

This text focuses on the study of a KRT (Knowledgebased Regulation Tool), within the wider framework of the new modes of regulation in education, and use of instruments in public action. The world economy is gradually more knowledge-based. Knowledge emerges as a tool for policy-making and for regulating social actors, and legitimating the political decision-making. We choose the OECD's Program for International Student Assessment (PISA) as an example of a KRT. The article is based on six case-studies, with interviews and document analysis. Our goal was to study the circulation and use of PISA, in Belgium, Scotland, France, Hungary, Portugal and Romania, trying to show that PISA is indeed a KRT, thus proving the circular relationship between knowledge and policy, because as a policy instrument it produces knowledge, and as a scientific tool it produces policy.

Key words: Knowledge based regulation tools. PISA. Educational policies. Regulation.

Este artigo inscreve-se na temática da regulação da educação e dos instrumentos de políticas públicas. No quadro da instrumentação da acção pública, incidimos o nosso olhar nos instrumentos de regulação baseados no conhecimento (do inglês Knowledge-based Regulation Tools [KRT]). Presentemente, assiste-se ao desenvolvimento de novos modos de regulação, a diferentes escalas e por diferentes actores. A emergência de uma economia cada vez mais baseada no conhecimento, onde este surge com um papel crucial na criação de valor, remete-nos, no campo das políticas educativas, para a importância do conhecimento como instrumento de fazer política e de regular os actores sociais, legitimando a tomada de decisões políticas. Neste contexto, o Programme for International Student Assessment (PISA), da Organização para Cooperação e Desenvolvimento Económico (OCDE), é o instrumento escolhido como passível de configurar um KRT.

No quadro conceptual da ciência política clássica, o conceito de instrumento tinha pouca utilidade na análise das políticas educativas, pois, para além da produção legislativa, "a actividade do governo restringia-se à provisão directa de bens e serviços a cargo dos burocratas governamentais" (Salamon, 2002, p. 1). Contudo, o crescimento, em volume e diversidade, das responsabilidades públicas, em matéria de educação, assim como a multiplicação dos níveis de decisão, e dos actores envolvidos na produção e gestão das políticas, deram origem ao desenvolvimento de novos repertórios de acção e de novos instrumentos à disposição dos decisores e dos actores, em geral (Papadoupolos, 1994).

A decisão política é um processo onde muitos actores participam e mobilizam informação, e em que, progressivamente, se vão construindo e desconstruindo alternativas e opções, de um modo que está longe de se parecer com um processo linear, de decisão racional. A expansão do leque de actores e das instâncias da decisão política conduziu ao desenvolvimento do conceito de acção pública, com um alcance mais abrangente que o de políticas públicas. O papel do Estado é relativizado, dando-se maior importância aos actores locais, devendo a análise, por isso, estender-se a vários contextos, públicos e privados, que vão para além dos institucionais. A visão do processo de decisão passa a ser mais horizontal e circular e menos hierárquica (Commaille, 2004). O mesmo autor sublinha que as abordagens pela acção pública acentuam a multiplicação e diversidade dos actores, como uma visão menos hierarquizada das suas relações, e entendem a decisão como não linear, fragmentária e flexível. No mesmo sentido, Thoenig (2004) relativiza o momento da decisão política formal, destacando o conjunto complexo de actores, instâncias e interacções que precedem, e se seguem, à decisão formal.

Salamon (2002) fala de uma revolução ocorrida, nos últimos 50 anos, na "tecnologia" da acção pública, para se referir à proliferação de novas ferramentas e instrumentos de acção pública (IAP), sendo que os instrumentos surgem investidos de maior relevância, deixando de ser pensados apenas em termos legislativos ou normativos. O conceito de instrumento é aqui mobilizado nos termos em que Lascoumes e Le Galès (2004, p. 14) o definem: "um dispositivo técnico de vocação genérica, portador de uma concepção específica da relação política/sociedade e sustentado por uma concepção da regulação". Assim definido, o IAP assume um carácter institucional, na medida em que, como as instituições sociais, estabelece um conjunto de normas e procedimentos que estruturam a conduta dos actores e das organizações, fornecendo um quadro estável para a acção colectiva (North, 1990), através de matrizes cognitivas e normativas, que agregam valores, crenças e práticas.

A nossa investigação intenta analisar uma circunstância específica da acção pública, isto é, o uso do PISA no âmbito dos processos de decisão política. Logo, um dos conceitos que advém com centralidade é o de regulação. Conceito de que nos apropriamos para identificar e descrever os processos através dos quais a acção colectiva é promovida, orientada e coordenada, com o fim de alcançar as metas estabelecidas como soluções desejáveis, em relação a situações problemáticas específicas. Como refere Afonso (2008, p. 6):

(...) a regulação das políticas públicas e da acção pública, em educação, é concebida como um processo composto por um complexo conjunto de acções e interacções, realizadas por múltiplos actores, produzindo a coordenação da acção colectiva na oferta da educação como bem público.

Esta abordagem remete-nos para as mudanças dos processos de regulação "muito próxima da ideia de governança" (Freeman et. al, 2007, p. 2), entendida, aqui, como "um processo de coordenação entre actores, grupos sociais e instituições para atingir objectivos que foram definidos e discutidos colectivamente" (Le Galès, 2004, p. 243).

Num tal contexto, os governos são constrangidos a desenvolverem novas formas de conhecimento, necessitando de encontrar novos modos de legitimação (Pons & Van Zanten, 2007), pelo que o conhecimento surge com um papel nuclear, um recurso e uma vantagem competitiva. Nesta medida, um KRT procura "difundir um tipo particular de conhecimento, de modo a moldar o comportamento dos actores, num dado domínio político" (Freeman et al., 2007, p. 4).

A governança da política educativa da OCDE faz-se pelo recurso a instrumentos assentes na medida e na comparação dos desempenhos, dos indivíduos e dos sistemas. As suas recomendações, não sendo obrigatórias, exercem uma forte ascendência sobre os vários Estados, o que resulta essencialmente da gestão que faz da informação que recolhe. É uma nova forma de governação, que se baseia na gestão da informação supranacional (Rinne et al., 2004), tendo como eixo as análises, as estatísticas, as publicações de indicadores, as revisões nacionais e temáticas, que servem os mecanismos da "prestação de contas". Como assinala Carvalho (2006, p. 41):

É pertinente supor que é em torno desta vasta instrumentação, frequentemente suportada por um certo tipo de conhecimento ou por certos tipos de

experts

, que se joga hoje uma parte significativa da política educativa, enquanto construção e fixação de um quadro de interpretação do mundo.

A nossa incursão pela instrumentação da acção pública é, aqui, defendida enquanto espaço, social e político, construído tanto por técnicas e instrumentos, como por finalidades, conteúdos e projectos (Lascoumes & Le Galès, 2004). Remete-nos, além disso, para a definição de "trabalho de delegação política", de Latour (1989), que actua em direcção aos cientistas, ou aos peritos, para legitimar a tomada de decisão, impulsionando, no caso dos instrumentos de carácter supranacional, a divulgação e a aprendizagem das boas práticas, pelo recurso a uma perícia internacional, assente em conhecimento técnico (Deacon, Hulse & Stubbs, 1997).

Na presente investigação, é nosso objectivo demonstrar que o PISA se afigura como um KRT, intermediando as ligações que se estabelecem entre os campos do conhecimento e da política.

O texto divide-se em três partes: uma primeira, onde fazemos uma breve descrição das principais características do PISA; uma segunda, onde se abordam questões de ordem metodológica; uma terceira, onde a inquirição se dá em torno da apresentação e análise dos dados.

O Programa PISA

Oficialmente lançado em 1997, o PISA é um estudo internacional, de avaliação comparada, que, sob a égide da OCDE, avalia, a cada três anos, o desempenho de mais de um milhão de estudantes de 15 anos de idade (Turner, 2006; OCDE, 2007a). Contando com mais de 60 países participantes, incluindo os 30 países da OCDE (OCDE, 2007a), o estudo assenta em três áreas específicas do conhecimento: a leitura, a matemática e as ciências. A primeira edição decorreu em 2000, a segunda em 2003, a terceira em 2006 e a quarta, em 2009.

O Programa centra-se no conceito de "literacia" que, de acordo com os seus responsáveis, consiste em os alunos aplicarem o conhecimento e as suas capacidades em áreas-chave, em analisarem, raciocinarem e comunicarem, eficaz e efectivamente, e em resolverem e interpretarem problemas, numa variedade de situações da vida real (Schleicher, 2006; OCDE, 2007a). Constitui uma resposta da OCDE às exigências dos seus países membros, no sentido de, com regularidade, disporem de dados sobre os conhecimentos e as competências dos seus alunos e do desempenho dos seus sistemas educativos. É esta orientação política, imprimida ao instrumento, que nos interessa aqui explorar, principalmente procurando compreender em que medida este instrumento supranacional configura um KRT.

Aspectos metodológicos

A investigação faz parte de uma análise mais ampla, desenvolvida no âmbito do Projecto Knowandpol, onde se inclui o estudo da fabricação do PISA (Carvalho, 2009). O presente texto baseia-se numa metaanálise (Carvalho, Afonso & Costa, 2009), que consistiu numa leitura transversal de seis estudos de caso (Afonso & Costa, 2009; Bajomi et al., 2009; Cattonar et al., 2009; Mons & Pons, 2009; Rostás et al., 2009), centrados na forma como o PISA circula e é difundido na Bélgica francófona, Escócia, França, Hungria, Portugal e Roménia.

Os estudos de caso - que abarcaram o período compreendido entre a edição de 2000 e a de 2006 - centraram-se na realização de entrevistas e em análise documental. As entrevistas realizadas incluíram um variado naipe de actores: ministros da Educação, gestores nacionais do PISA, peritos nacionais que integram o corpo supranacional de especialistas do PISA, representantes institucionais, especialistas, entre outros. Quanto ao corpus documental, incidiu nos documentos produzidos pelo empreendimento PISA (da OCDE e produzidos pelos Centros Nacionais do PISA), bem como na imprensa (escrita e on-line), em jornais especializados na área da educação, em agências noticiosas, em informação contida nas publicações/websites dos governos e dos sindicatos de professores, na blogosfera, incidindo, ainda, em textos legislativos e nos conteúdos dos debates parlamentares.

A análise interpretativa das equipas nacionais decorreu em consonância com o conhecimento que os investigadores têm dos contextos em que se inserem. Observaram-se, assim, as especificidades dos actores e dos diferentes sistemas políticos, além de se atender a variáveis de natureza histórica, como seja a tradição avaliativa de cada país.

Apresentação e discussão dos dados

Os dados obtidos, no estudo empírico, apontam no sentido da confirmação da hipótese de partida de que o PISA configuraria um KRT, com capacidade para influenciar a decisão política e o debate público sobre educação. Efectivamente, a evidência empírica permite-nos concluir que o PISA se afirma como um KRT. Mobilizado numa lógica discursiva legitimadora, o instrumento é caracterizado por quatro dimensões - credibilidade, maleabilidade, relevância simbólica e pertinência - que lhe conferem força, científica e política, e que contribuem para a sua afirmação e penetração, nos diversos países.

A credibilidade está relacionada com a reputação científica da OCDE; a maleabilidade define o PISA enquanto um instrumento passível de ser apropriado de diferentes formas e em contextos políticos diversificados; a relevância simbólica prende-se com o simbolismo dos processos de adesão ao Programa; finalmente, a pertinência é uma dimensão que reúne um conjunto de aspectos que conferem ao PISA relevo político, os quais designámos do seguinte modo: (a) despertar de consciências; (b) narrativa de modernização; (c) mudança para a comparação; (d) áreas de avaliação e (e) variáveis contextuais.

A questão da credibilidade está relacionada com a solidez que se diz existir no PISA, em particular, e na OCDE, em geral, o que sucede, quer do ponto de vista científico, quer quanto à dimensão estratégica do instrumento:

A OCDE é considerada, tecnicamente, como o padrão de ouro na realização de estudos comparativos como o PISA: nem as agências europeias, nem outras organizações internacionais, como o IEA, são vistas pelos nossos informantes como tendo a capacidade pericial para estudos comparativos de maior relevo. (Grek, Lawn & Ozga, 2009, p. 7)

Analisar os reflexos do PISA, no debate público sobre educação e nas políticas de educação de cada um dos países em análise, implica, forçosamente, que se atente no estatuto da OCDE: estatuto técnico, dum lado, prendendo-se com o reconhecimento da sua competência e elevada expertise; estatuto político, do outro lado, enquanto actor conceituado do mundo industrializado. Como dizem, a este propósito, Cattonar et al. (2009, p. 154):

O PISA parece não poder ser posto em causa. A sua imagem, de rigor e objectividade, é grande, embora baseada numa indefinição dos seus pressupostos e limitações. Além disso, o PISA não incomoda ninguém, agregando muitos actores: os investigadores, pois oferece uma rara oportunidade de acesso, sem custo, a dados comparativos rigorosos, passíveis de lhes conferir legitimidade científica internacional, reflectindo-se na política local; os actores políticos locais, porque têm a possibilidade de interpretar os dados, em relativa conformidade com o cumprimento dos seus interesses e crenças; e todos, porque o PISA permite estruturar os conhecimentos e argumentos a que cada um pode recorrer para tentar influenciar o curso da acção pública.

Em relação à maleabilidade, esta define o PISA como multipurpose tool, um instrumento apropriável e apto a moldar-se a contextos políticos diversificados. Descrito como "um recipiente vazio, que poderia ser usado, simultaneamente, a favor e contra as mesmas medidas" (Bajomi et al., 2009, p. 53), esta dimensão de plasticidade advém da facilidade com que os actores que intervêm no debate público educativo se apropriam do Programa. Salienta-se, a propósito:

(...) os inquéritos PISA servem, antes de mais, numa lógica de retórica e legitimação, para defender posições políticas pré-existentes. Estas investigações inscrevem-se num espaço público, no seio do qual pré-existem interesses, posicionamentos, tomadas de posição. Os inquéritos PISA alimentam e consolidam, mais do que transformam, essas relações de poder e sentido. O que mostra até que ponto os estudos PISA proporcionam oportunidade para discutir sobre políticas educativas e são utilizados, por vezes, como pretexto para tal. (Cattonar et al., 2009, p. 81)

O PISA sustenta um argumentário de amplo espectro, permitindo que, no jogo político, como é o caso dos debates parlamentares, se possam defender opiniões políticas antagónicas. Esta facilidade em se adaptar a diferentes argumentações possibilita, às forças políticas, esgrimirem convicções e posicionarem-se, de forma contrária, no debate público sobre educação. Por exemplo, na Bélgica:

Aquando da divulgação dos resultados do primeiro ciclo do PISA (2000), o governo apoia-se neles para "consolidar" uma reforma curricular recentemente promulgada, que definia "as competências básicas" a serem adquiridas pelos alunos, enquanto outros actores se vão, pelo contrário, apoiar no PISA para a pôr em causa. (Idem, ibid., p. 88)

A discussão, no Parlamento português, em torno das elevadas taxas de retenção, a propósito dos resultados do PISA 2006, é, também, ilustrativa desta situação. Assistiu-se:

[à] direita questionando o governo sobre se pretende "acabar com a reprovação dos alunos que não têm os conhecimentos necessários para passar de ano" (...) e a esquerda, concluindo, a propósito desta disfunção do sistema, "que, afinal de contas, o problema está na retenção dos alunos" (...). (Afonso & Costa, 2009, p. 62)

A adaptabilidade do PISA é, ainda, demonstrada pelo modo como os meios de comunicação social mobilizam o conhecimento veiculado, em que jornalistas e opinion makers preferiram centrar-se na disseminação das classificações, e não tanto no conteúdo dos relatórios. Em termos gerais, podemos afirmar que uma parte substancial da informação é descartada e os temas seleccionados são tratados de forma superficial, tendo em vista defender pontos de vista já pré-existentes:

Artigos de jornais e revistas constituem uma fonte primária para estudar a relação entre o conhecimento científico e a acção política. Neste processo de tradução, o PISA é sempre simplificado e é apresentado de uma forma destilada, purificada - a prática mais comum é condensá-lo em 2-3 números, e os artigos sobre o PISA tendem a limitar-se a ecoar o lugar que o país ocupa no

ranking

, relativamente a poucos aspectos, e à informação básica veiculada aquando da divulgação do relatório. (Bajomi et al., 2009, p. 60)

Em rigor, a retórica discursiva em torno do instrumento parece não se traduzir numa tentativa de apropriação ou aprofundamento do conhecimento fornecido pelo Programa, embora seja intensa - mormente no que respeita a prestação de contas, pondo em evidência as más classificações dos países nos rankings.

Quanto à relevância simbólica, é uma característica relacionada com o simbolismo que, com sentidos diversos, esteve na base dos processos de adesão ao PISA na Bélgica francófona, na Escócia, na França, na Hungria e em Portugal.

Nos casos da Bélgica e de Portugal, a dimensão simbólica aparece associada à necessidade de visibilidade e de integração na arena política internacional. Segundo um ex-ministro da Educação, português, falando sobre a entrada de Portugal no Programa:

(...) os países percebem que há organismos, instrumentos ou organizações que tratam as questões de um ponto de vista global, a chamada globalização (...), mas isso leva a que muitos países digam "Bem, nós também não podemos ficar de fora (...) não há nenhuma razão para ficarmos de fora, nós não somos menos que os outros, e portanto, nós fazemos parte da comunidade internacional". (Afonso & Costa, 2009, p. 30)

A mesma questão da visibilidade se verifica no caso belga:

Podemos interrogar-nos se, com o tempo, a participação, hoje, no PISA não tende a tornar-se numa prática motivada pela necessidade de ser visível e de existir ao nível internacional, e não por um desejo de melhor conhecer e compreender os sistemas educativos. (Cattonar et al., 2009, p. 32)

Em França, foi "na sequência de uma decisão essencialmente técnica que havia sido tomada pela liderança do DEPP [Departamento de Avaliação Planeamento e Prospectiva], [que foi tomada] a decisão [de] participar no PISA 2000, [e que] repousou sobretudo sobre Claude Thélot" (Mons & Pons, 2009, p. 16-17). Uma recusa poderia sugerir que havia algo a esconder, o que se traduziria numa imagem negativa de um país que se quer dinâmico no seio da OCDE.

No caso da Hungria, trata-se do desejo do país se demarcar dos demais Estados "pós-comunistas" e de se filiar no mundo "euro-atlântico", integrando a OCDE e envolvendo-se nas suas estruturas, o que sucede desde 1996:

A orientação ocidental dos últimos 20 anos é tangível, quer na política (isto é, o compromisso com a democratização e o livre mercado capitalista manifesto na aprendizagem e no empréstimo de políticas), quer do ponto de vista simbólico. (Bajomi et al., 2009, p. 70)

Finalmente, na situação escocesa, o PISA "constitui uma referência para um pequeno país, periférico, como a Escócia, na tentativa de escapar da sombra do 'outro', da Inglaterra, tanto no contexto imediato como no futuro" (Grek, Lawn & Ozga, 2009, p. 41). Destaca-se a OCDE como "selo do clube das nações competitivas" (idem, ibid., p. 8), sendo que a visibilidade que daí advém, para a Escócia, lhe permite aparecer, e ser reconhecida, enquanto "entidade separada", nesse "palco" internacional.

A última característica - a pertinência - reúne um conjunto de aspectos que contribuem para a relevância política do PISA, que agrupámos sob 4 designações: (a) o despertar de consciências; (b) a narrativa de modernização; (c) a mudança para a comparação; (c) as áreas de avaliação e (d) as variáveis contextuais.

No debate público sobre educação, o PISA surge a despertar consciências, a oferecer diagnósticos, a identificar problemas e destacar os bons exemplos. É considerado uma fonte de informação privilegiada, que reforça o foco sobre certos assuntos, favorecendo uma tomada de consciência para os problemas dos sistemas educativos. Como aponta Bajomi et al. (2009, p. 45), o PISA é visto como um instrumento que "se tornou numa 'autoridade externa' (Steiner-Khamsi 2003), (...) uma fonte adicional que legitima reformas e assegurará o apoio público para fazer avançar as reformas controversas (...)".

Por outras palavras, o PISA actua como um catalisador, despertando os decisores políticos para a tomada de decisões, em diferentes matérias, ao mesmo tempo que permite fundamentar o processo decisional. É o que nos revela um ex-ministro da Educação português: "(...) estudei e analisei os dados e tomei uma série de decisões políticas com base nos resultados do PISA, (...), designadamente, sobre formação inicial e a formação contínua em Matemática" (Afonso & Costa, 2009, p. 57).

Mobilizado em textos legislativos, na imprensa e nos discursos dos actores governamentais, os dados apontam para um novo tipo de influência, que se apresenta sob a forma de variáveis, dados e recomendações, para reequacionar a educação e intervir na agenda e no debate público sobre educação.

A narrativa da modernização - e consequentemente a da agenda da economia do conhecimento - encontra-se intrinsecamente ligada ao debate sobre o PISA, sendo explicitada nos relatórios da OCDE:

A prosperidade dos países advém agora, em grande parte, do seu capital humano, e para ter sucesso num mundo em rápida mudança, as pessoas precisam de fazer avançar os seus conhecimentos e competências ao longo da vida. Os sistemas educativos devem, para isso, lançar alicerces fortes, promovendo a aprendizagem e reforçando a capacidade e a motivação dos jovens para continuar a aprender além da escola. (OCDE, 2006, p. 3)

Com um papel relevante na mobilização do debate sobre a relação da educação com a economia do conhecimento, algumas entrevistas "sugeriram que seria mais benéfico, para garantir vantagem competitiva para as futuras gerações, se se deslocasse as lentes para fora da Europa e para o mundo" (Grek, Lawn & Ozga, 2009, p. 10). Por exemplo:

Se olharmos para a educação, internacionalmente, as economias mundiais foram-se globalizando. Isto tem implicações profundas em todos os sistemas - os vossos filhos têm que ser competitivos num mercado global. Isto constata-se, claramente, no contexto Europeu, com as pessoas a circularem na União Europeia. Então, tivemos que conhecer o que estava a acontecer no resto do mundo, para que pudéssemos avaliar quais as capacidades decisivas de que os nossos filhos precisariam na economia moderna. Estávamos a perder o ritmo? O que é que temos de pensar para resolver as deficiências que supostamente surgiriam? E PISA foi um contributo para isso. E um contributo bastante poderoso. (Idem, ibid., p. 10)

Assim, o debate em torno do PISA ocorre sustentado numa retórica de modernização, que permite legitimar os discursos modernizadores dos actores e, consequentemente, validar o lançamento de reformas educacionais mais controversas. É o que se constata nas palavras do primeiro-ministro húngaro: "Temos de decidir: em que liga queremos jogar? Se for na dos países desenvolvidos, então temos que nos comparar a eles. (...) Atrasámo-nos na formação e no conhecimento - e não podemos culpar os turcos, os alemães ou a maldição turaniana" (Bajomi et al., 2009, p. 61).

Relativamente à mudança para a comparação, trata-se de uma tendência que emerge do debate público e reflecte a importância do PISA, enquanto instrumento de avaliação comparada. Como referem Grek, Lawn e Ozga (2009, p. 32): "Institucionalizou-se fazer benchmarking do desempenho escocês em relação às outras nações". Igualmente, em França, sob a égide de Sarkozy, "As comparações internacionais tornaram-se numa peça central na estratégia governamental, nos media, para justificar as suas reformas" (Mons & Pons, 2009, p. 81).

O PISA possibilita avaliar a qualidade das aprendizagens, em termos comparativos, pondo em relação os desempenhos dos vários sistemas educativos, o que é valorizado pelos actores políticos:

(...) um instrumento magnífico! Os miúdos são confrontados com uma prova e essa prova é, depois, comparada internacionalmente e a gente sabe que um miúdo de 15 anos português fez uma prova que é igual ao de um menino americano, ou de um menino mexicano, ou de um menino tailandês, o que for (ex-ministro da Educação portuguesa. (Afonso & Costa, 2009, p. 28)

No que diz respeito às áreas de avaliação, o inquérito é, de um modo geral, referenciado de forma negativa. Como nos mostram Mons e Pons (2009, p. 23), os mass media tendem a fazer ressaltar a mediocridade dos resultados:

(...) numa breve notícia dedicada ao assunto,

Le Point

(...) observou: "É o fim de um mito: a França não tem o melhor sistema educativo mundial. Com efeito, de acordo com os resultados de uma pesquisa publicados nesta semana, acaba por não ser mais do que mediana".

Por fim, as variáveis contextuais, aparecendo fortemente correlacionadas com os resultados dos testes cognitivos - relacionam o desempenho dos alunos com o contexto socioeconómico, o género, o ano de escolaridade, a região onde estudam, etc. - têm consequências na retórica política dos governantes, que nelas se baseiam para legitimarem medidas diversas. No caso de Portugal:

Os maus resultados de Portugal no inquérito da OCDE são excessivamente tributários do contexto socioeconómico das escolas portuguesas e das famílias. Nessa medida, o actual governo mobiliza estes indicadores do PISA para, também nesta área, implementar "políticas que intervenham ao nível do território e do apoio social para elevar estas condições, para fazer sair as escolas daqui para que os resultados melhorem". (Afonso & Costa, 2009, p. 80)

Na Hungria:

Talvez o uso mais importante do argumento PISA seja nas justificações oficiais para introduzir a modificação da Lei de Educação Pública, em 2007. As alterações introduzem restrições à livre escolha da escola, na fase de entrada na escola primária: esta medida é proposta a fim de combater a alta selectividade e segregação sistémica dos socialmente desfavorecidos, diagnosticada pelo PISA. (Bajomi et al., 2009, p. 53)

Na situação escocesa:

(...) o relatório do Programa de avaliação internacional de estudantes - PISA - foi publicado. Mostrou que, na Escócia, a leitura e os resultados da matemática tiveram uma das maiores quedas de toda a Organização para a Cooperação Económica e os países em desenvolvimento. A Escócia também tem uma das maiores lacunas de desempenho, que podem ser identificadas como relacionadas com a pobreza e privação. (Grek, Lawn & Ozga, 2009, p. 39)

Em conclusão

Dos resultados da nossa análise, retiramos a confirmação, da hipótese inicial, de que o PISA configura um poderoso KRT, o qual, mediando a relação entre a esfera do conhecimento e a da política, é invocado pelos actores que intervêm no debate público, em educação, e no processo de decisão política, contribuindo para legitimar as agendas públicas educativas.

Enquanto IAP, o PISA transporta em si uma representação do modo de conceber as políticas públicas e de organizar as relações entre governantes e governados (Lascoumes & Le Galès, 2004), projectandose como um instrumento de regulação, que ajuda os governos nos processos de tomada de decisão.

Concebido como um instrumento para moldar a forma como os actores pensam, agem e interagem na elaboração das políticas educativas, quer ao nível da policy (entendendo-se a política como plano de acção), quer da politics (como jogo político), o PISA define um padrão de regularização das interacções entre os indivíduos e as organizações, determinando as questões que os devem preocupar, como a qualidade e eficácia, e as perspectivas adequadas para enfrentá-las, como a avaliação e o benchmarking. A OCDE apresenta-o como sendo orientado politicamente, com objectivo de melhorar os sistemas educativos, providenciando "evidências para orientar a política nacional, os currículos escolares, os esforços de instrução e a aprendizagem dos alunos" (OCDE, 2004, p. 3), e suprindo os países "com informação para julgar as áreas de pontos fortes e fracos e para monitorar o progresso" (OCDE, 2004, 2007, p. 3). Desse modo, o PISA não só possibilita a extracção de lições políticas dos seus relatórios (Schleicher, 2006; OCDE, 2007) como, à semelhança dos demais IAPs, "constitui uma forma condensada de conhecimento sobre controlo social e as formas de exercê-lo" (Lascoumes & Le Galès, 2007, p. 3).

O inquérito da OCDE revela-se um instrumento polivalente que é usado, no debate público, numa lógica discursiva que legitima ideias, argumentos, opiniões e posições políticas. Graças a um conjunto de características (de credibilidade, maleabilidade, relevância simbólica e pertinência), o PISA dissemina-se internacionalmente e entra nos espaços políticos nacionais, agindo sobre eles. Estas características, que concorrem para alimentar a retórica discursiva legitimadora em torno do instrumento, conferem-lhe um carácter incontornável no mundo da educação e das políticas educativas: desde logo, devido à sua solidez científica; igualmente, pela dimensão de plasticidade, que lhe permite adaptar-se a contextos variados; ademais, possui um carácter emblemático, que o torna relevante no domínio do simbólico; e, finalmente, devido à sua pertinência, ou seja, a capacidade - enquanto espaço de circulação de informação - para criar dependências, arregimentando "utilizadores" vários (Carvalho, Afonso & Costa, 2009, p. 28). Servindo aos propósitos de todos - jornalistas, deputados, governos, decisores políticos, dirigentes sindicais, investigadores, etc. -, os seus resultados são instrumentalizados, com base numa credibilidade que funciona como um backup para opiniões diferentes, a tal ponto que o PISA concorre menos para uma racionalização da acção pública e mais para uma "politização" do conhecimento (Maroy & Mangez, 2008).

Como se verificou, estamos perante um processo, em que o dispositivo deixa de ser um mero procedimento para se tornar num valor, numa fonte de legitimação. Assistimos a uma indução sobre o que é essencial no sistema educativo e sobre que valores promover, o que resulta também do facto de se tratar de um dispositivo de avaliação. Desta forma, o PISA providencia uma matriz cognitiva e normativa, um conjunto de valores e princípios de acção que guiam as práticas, transportando consigo um conceito específico da relação que se estabelece entre a política e a sociedade, que se apoia num conceito de regulação (Lascoumes & Le Galès, 2004, 2007) e que opera em diferentes escalas, do nacional ao global.

Em síntese, enquanto KRT, o PISA é "não apenas baseado em conhecimento, mas também orientado para o conhecimento: (...) não só convoca certos tipos de conhecimento, como também produz certos (talvez outros) tipos de conhecimento" (Freeman et al., 2007, p. 4). Um conhecimento vasto, como é vasta a dimensão das publicações que produz e dissemina internacionalmente.¹ Perspectivando-se o conhecimento como instrumento de regulação, são diversos os tipos de conhecimento em que o PISA se baseia - eficácia da escola, desenvolvimento organizacional, literaturas de aprendizagem, entre outros. Porém, à medida que evolui, através do seu sofisticado aparato de investigação e da dinâmica do processo de política educacional, o PISA produz novas questões, novos tópicos, novos conhecimentos, tanto a nível supranacional como a nível nacional. Falamos de conhecimento científico, resultante do trabalho de um núcleo-duro de especialistas e de ligações estabelecidas com sedes de investigação variadas, o qual se faz sentir em múltiplas actividades de publicação, convocação e divulgação (ver Carvalho, 2009, cap. 4), permitindo a criação e troca de conhecimentos e de políticas.²

Definir o PISA como um KRT significa que é concebido como um exemplo da relação complexa e circular entre conhecimento e política: o PISA, como instrumento de política, produz conhecimento; o PISA, como instrumento de pesquisa, produz política (Afonso, 2008).

Notas

Recebido e aprovado em outubro de 2009.

• AFONSO, N. Guidelines for field research: study on the use and circulation of PISA at the national level. Methodologial Report. Orientation 3 - WP 12, Project Knowandpol, 2008.
• AFONSO, N.; COSTA, E. Use and circulation of OECD's "Programme for International Student Assessment" (PISA) in Portugal Report on Orientation 3 - WP 12, Project Knowandpol, 2009. Disponível em: <www.knowandpol.eu/>
• BAJOMI, I. et al. The reception of PISA in Hungary Report on Orientation 3 - WP 12, Project Knowandpol, 2009. Disponível em: <www.knowandpol.eu/>
• CARVALHO, L.M. Apontamentos sobre as relações entre conhecimento e política educativa. Revista do Fórum Português de Administração Educacional, Lisboa, n. 6, p. 36-45, 2006.
• CARVALHO, LM. Production of OCDE's "Programme for International Student Assessment" (PISA). Final reporcast. Orientation 3 - WP 11, Project Knowandpol, 2009. Disponível em: <www.knowandpol.eu/>
• CARVALHO, L.M.; AFONSO, N.; COSTA, E. PISA: fabrication, circulation and use in 6 European countries. Integration Report [Education]. Orientation 3 - WP 17, Project Knowandpol, 2009.
• CATTONAR, B. et al. Usage et circulation des enquêtes PISA en communauté française de Belgique. Report on Orientation 3 - WP 12, Project Knowandpol, 2009. Disponível em: <www.knowandpol.eu/>
• COMMAILLE, J. Sociologie de l'action publique. In: BOUSSAGUET, L.; JACQUOT, S.; RAVINET, P. (Org.). Dictionnaire des politiques publiques Paris: Sciences-Po, 2004. p. 413-421.
• DEACON, B.; HULSE, M.; STUBBS, P. Global social policy: international organizations and the future of welfare. London: Sage, 1997.
• FREEMAN, R. et al. (Coord.). Knowandpol - Deliverable 3 - Orientation 3: regulation: specifications [France education and France health, Norway health, Portugal education, United Kingdom education and health], Sept. 2007.
• GREK, S.; LAWN, M.; OZGA, J. Study on the use and circulation of PISA in Scotland Report on Orientation 3 - WP 12, Project Knowandpol, 2009. Disponível em: <www.knowandpol.
• LASCOUMES, P.; LE GALÈS, P. L'action publique saisie par ses instruments. In: LASCOUMES, P.; LE GALES, P. (Dir.). Gouverner par les instruments Paris: Science-Po, 2004. p. 13-44.
• LASCOUMES, P.; LE GALÈS, P. Understanding public policy through its instruments: from the nature of instruments to the sociology of public policy instrumentation. Governance, Paris, v. 20, n. 1, p. 1-21, 2007.
• LATOUR, B. La science en action Paris: Gallimard, 1989.
• LE GALES, P. Gouvernance. In: BOUSSAGUET, L.; JACQUOT, S.; RAVNET, P. (Org.). Dictionnaire des politiques publiques Paris: Sciences-Po, 2004. p. 242-250.
• MAROY, C.; MANGEZ, C. Rationalisation de l'action publique ou politisation de la connaissance? Revue Française de Pédagogie, Paris, n. 164, p. 87-90, juil./sept. 2008.
• MONS, N.; PONS, X. The reception of PISA in France: knowledge and regulation of the educational system. Report on Orientation 3 - WP 12, Project Knowandpol, 2009. Disponível em: <www.knowandpol.eu/>
• MULLER, P. L'analyse cognitive des politiques publiques: vers une sociologie politique de l'action publique. Communication au Séminaire MESPI, nov. 2003. Disponível em: <http//séminaire.mespi.online.fr.
• NORTH, D.C. Institutions, institutional change and economic performance Cambridge: Cambridge University, 1990.
• ORGANISATION FOR ECONOMIC CO-OERATION AND DEVELOPMENT (OECD). Knowledge and skills for life: first results from PISA 2000. Paris, 2001.
• ORGANISATION FOR ECONOMIC CO-OERATION AND DEVELOPMENT (OECD). Learning for tomorrows world: first results from PISA 2003. Paris, 2004.
• ORGANISATION FOR ECONOMIC CO-OERATION AND DEVELOPMENT (OECD). Sciences competencies for tomorrows world: PISA 2006. Paris, 2007.
• ORGANISATION FOR ECONOMIC CO-OERATION AND DEVELOPMENT (OECD). PISA: the OECD Programme for International Student assessment [PISA Brochure]. 2007a. Disponível em: <www.pisa.oecd.org/dataoecd/51/27/37474503.pdf>
• PAPADOPOULOS, Y. Complexité sociale et politiques publiques Paris: Montchrestian, 1994.
• PONS, X.; VAN ZANTEN, A. Knowledge circulation, regulation and governance Knowandpol Project Review Literature (part 6), 2007. Disponível em: <www.knowandpol.eu/>
• POWELL, W.W.; DIMAGGIO, P.J. The new institutionalism in organizational analysis Chicago: University of Chicago, 1991.
• RINNE, R.; KALLO, J.; HOKKA, S. Too eager to comply?: OECD education policies and the finnish response. European Educational Research Journal, Oxford, v. 3, n. 2, p. 454-486, 2004.
• ROSTÁS, Z. et al. Use and circulation of PISA in a Romanian contex Report on Orientation 3 - WP 12, Project Knowandpol, 2009. Disponível em: <www.knowandpol.eu/>
• SALAMON, L. (Org.). The tools of governance: a guide to the new governance. Oxford: Oxford University, 2002.
• SCHLEICHER, A. Fundamentos y cuestiones políticas subyacentes al desarrollo de PISA. Revista de Educación, Madrid, n. extra, p. 21-43, 2006.
• STEINER-KHAMSI, G. The politics of league tables. Journal of Social Science Education, Bilefeld, n. 1, 2003. Disponível em: <www.jsse.org/02003-1/tables_khamsi.htm>
• THOENIG, J-C. Politiques publiques. In: BOUSSAGUET, L.; JACQUOT, S.; RAVINET, P. (Org.). Dictionnaire des politiques publiques Paris: Sciences-Po, 2004. p. 326-333.
• TURNER, R. El Programa Internacional para la Evaluación de los Alumnos (PISA): una perspectiva general. Revista de Educación, Madrid, n. extra, p. 45-74, 2006.

1

. Sugere-se a leitura do relatório final do

Knowandpol, referente à produção do PISA (Carvalho, 2009), onde se analisa o modo como o PISA é concebido, o seu processo de construção, bem como o tipo de relações que estabelece entre o campo do conhecimento e o da política. Ver, igualmente, artigo deste autor no presente dossiê.

2

. Salientamos, a propósito, a importância dos relatórios, através dos quais se divulga o conhecimento produzido - relatórios técnicos, bases de dados, enquadramentos conceptuais e o relatório geral. O Relatório Geral é o documento central, principal veículo de disseminação do conhecimento gerado em cada edição do PISA, sendo da responsabilidade do secretariado da OCDE, em conjunto com especialistas mundiais ligados ao Programa; de salientar, ainda, a existência de relatórios nacionais, de carácter facultativo, de autoria dos Centros Nacionais, sedeados nos países participantes; de relatórios temáticos, lançados através de concurso, pela OCDE, que aprofundam as temáticas do Relatório Geral e de relatórios extensivos, que resultam de sinergias entre a OCDE e outros organismos.

Datas de Publicação

• Publicação nesta coleção
  13 Maio 2010
• Data do Fascículo
  Dez 2009

Histórico

• Recebido
  Out 2009