AS "DESCRIÇÕES FINAS" DAS ANÁLISES SECUNDÁRIAS DO PISA

Les "descriptions fines" des analyses secondaires des données PISA

RESUMO:

Os métodos da OCDE e do PISA para influenciar a política por meio dos rankings e do aconselhamento político estão bem documentados. Este artigo é especulativo e explora as implicações mais sutis e talvez mais profundas da evolução da base de dados do PISA, e da análise secundária que é realizada utilizando-a. Com base em conceitos dos Science and Technology Studies , este artigo sugere que o PISA reduz "objetos ontologicamente luxuriantes" em "objetos ontologicamente empobrecidos" por meio da padronização e simplificação. Libertos das suas amarras e traduzidos em inscrições, esses objetos ontologicamente empobrecidos são promíscuos, combinando-se livremente, de diferentes formas, com outros tantos objetos, através de espaços e tempos, tendo em vista a produção de lições para as políticas e as práticas. Neste artigo, sugiro que, embora essas relações promíscuas possam produzir afirmações matematicamente defensáveis, esses resultados podem ser ontologicamente um absurdo. Utilizando dados de entrevistas com especialistas da avaliação e com políticos, bem como análises secundárias publicadas, este artigo introduz algumas ideias sobre como podemos compreender o banco de dados do PISA e o seu uso em análises secundárias. O artigo argumenta que a análise secundária não é um exercício meramente matemático ou técnico, mas sociotécnico, e que, dada a sua influência e o seu alcance, intenta abrir as caixas negras do banco de dados do PISA e as práticas das análises secundárias, disponibilizando-as para uma análise e uma crítica sociológica e filosófica mais ampla.

Palavras-chave:
Bases de dados de larga escala; Análise secundária; Estudos Sociais em Ciência e Tecnologia; PISA

RÉSUMÉ:

Les méthodes lourds de l'OCDE et de PISA pour influencer la politique à travers les 'rankings' et les recommandations politiques sont bien documentés. Cet article est spéculatif et explore les implications plus subtiles et peut-être plus profondes de l'évolution de la base de données de PISA, et l'analyse secondaire qui est effectuée en utilisant cette base de données. En spéculant de concepts des Science and Technology Studies, cet article suggère que l'enquête PISA vide "des objets ontologiquement luxuriantes" dans des "objets ontologiquement pauvres" grâce à la standardisation et la simplification. Libérés de ses amarres et traduites en des inscriptions, ces objets ontologiquement pauvres sont sujets à la promiscuité, en s'associant librement, de différentes manières, avec autant d'objets à travers l'espace et le temps, afin de produire des leçons pour la politique et des pratiques. Dans cet article, je suggère que, bien que ces relations de promiscuité puissent produire des assertions mathématiquement défendables, ces résultats peuvent être ontologiquement un absurde. En utilisant des données à partir d'entretiens avec des experts de l'évaluation et de la politique et des analyses secondaires publiées, cet article introduit des idées spéculatives sur la façon dont nous pouvons comprendre la base de données du PISA et son utilisation dans des analyses secondaires. Cet article soutient que l'analyse secondaire n'est pas un exercice purement mathématique ou technique, mais sociotechnique, et que, compte tenu de son influence et de la portée, a l'intention d'ouvrir les boîtes noires de la banque de données PISA et des pratiques des analyses secondaires, en les fournissant pour une analyse et une critique, plus large, sociologique et philosophique.

Mots-clés:
Bases de données à large échelle; Analyse secondaire; Sciences, Technologies et Société; PISA

ABSTRACT:

The heavy hammer methods of OECD and PISA in influencing policy through the rankings and through its policy advice are well documented. This speculative paper explores the more subtle and perhaps deeper implications of the development of the PISA database, and of the secondary analysis that is performed using this database. Speculating with concepts from Science and Technology Studies, this paper suggests that PISA deflates "ontologically luxuriant objects" into "ontologically impoverished objects" through standardization and simplification. Freed from their moorings and translated into inscriptions, these ontologically impoverished objects are promiscuous, freely combining with other such objects across spaces and times in different ways to produce lessons for policy and practice. In this paper, I suggest that, while these promiscuous relations may produce mathematically defensible assertions, such findings may be ontologically absurd. Using data from interviews with measurement and policy experts, as well as published secondary analyses, this paper ventures some speculative ideas about how we might understand the PISA database and the use of this database in secondary analysis. The paper argues that secondary analysis is not merely a mathematical or technical exercise but a sociotechnical one, and that, given its influence and reach, it attempts to open up the black boxes of the PISA database and the practices of secondary analysis, and make them available for wider sociological and philosophical examination and critique.

Keywords:
Large-scale databases; Secondary analysis; Science and Technology Studies; PISA

Alguns anos atrás, enquanto fazia pesquisas sobre práticas contemporâneas de políticas de educação baseadas em evidências, entrevistei vários especialistas no Programa Internacional de Avaliação de Estudantes (PISA) sobre as origens, o desenvolvimento e a influência do PISA. Muitos entrevistados disseram que os países focavam muito em informações superficiais, como rankings, que não eram muito úteis para tomar decisões políticas, e que pouca atenção era dada à riqueza da informação que poderia ser retirada de uma análise secundária da base do PISA. Eles se sentiam decepcionados porque, embora o PISA estivesse disponível gratuitamente, não era explorado adequadamente para levar a entendimentos importantes e úteis. Um dos especialistas disse:

[A] visão da OCDE é 'coletamos esta informação, fazemos um relatório inicial, e cada país vai providenciar um relatório sobre cada um; disponibilizamos os dados disponíveis para pesquisadores secundários analisarem, mas penso que não há pessoas suficientes para de fato fazer esta análise secundária. Pessoalmente, acho que há estórias mais interessantes ou benefícios ao olhar para os dados com mais cuidado. Há algumas tentativas - e é possível ouvir falar delas em algumas conferências da IEA (Associação Internacional para Avaliação de Rendimento Educacional) -, mas os grandes relatórios só podem nos conta estórias limitadas. (analista do PISA, transcrição de entrevista, 2008)

Nos últimos anos, muito mais ênfase tem sido dada à análise secundária. A Organização para a Cooperação e Desenvolvimento Económico (OCDE) instituiu a bolsa Thomas J Alexander¹ para incentivar acadêmicos a usar os dados do PISA para análises secundárias. A própria OCDE produz relatórios temáticos e outros documentos com base em sua própria análise secundária dos dados. Há vários pesquisadores avaliando o banco de dados do PISA e produzindo estudos com títulos como Scientific Literacy and Student Attitudes: Perspectives from PISA 2006 Science e School Socio-economic Composition and Student Outcomes in Australia: Implications for Educational Policy . Os pesquisadores que realizaram a análise secundária do PISA estão publicando em vários jornais, incluindo o Multivariate Behavioural Research; Studies in Educational Evaluation; International Journal of Science Education; e Comparative Education Review .

O interesse em análises secundárias de dados de larga escala não ocorre simplesmente na OCDE e no PISA. Conforme conjuntos de megadados se acumulam, cresce a vontade global de explorá-los por meio da análise secundária, que envolve a reavaliação de conjuntos de dados já existentes para responder novas perguntas (GLASS, 1976), ou responder perguntas antigas com novas metodologias e teorias com base em dados existentes. No Reino Unido, o treinamento de estudantes de doutorado e pesquisadores em início de carreira na análise secundária tornou-se prioridade nacional (ESRC, 2011). A American Educational Research Association gerencia institutos anuais, onde aproximadamente 500 pesquisadores são treinados para o uso de conjuntos de megadados, apoiados por aportes de várias agências federais (AERA, 2012).

A prática da análise secundária de grandes bases de dados na educação está se estabelecendo. Hoje, há um reconhecido acúmulo de conhecimento; um conjunto de práticas com as quais as pessoas do campo devem ter familiaridade; cursos sobre como fazer a análise secundária; publicações; e conferências onde os acadêmicos podem trocar ideias, compartilhar conhecimento, criticar uns aos outros e avançar no campo. Também tem se tornado uma indústria, já que vários think tanks e organizações com e sem fins de lucro são pagos para produzir essas análises.

Os defensores da análise secundária dizem que a mesma leva pesquisadores temporal e geograficamente distribuídos, e teórica e metodologicamente diversos, além dos com poucos recursos, a produzirem descobertas significantes e com objetivos específicos e focados (SMITH, 2006). Os críticos citam desafios metodológicos e conceituais da análise secundária, e alertam em relação às falsas conclusões. Rutkowski et al. (2010), por exemplo, mencionam várias armadilhas que podem vir de encontro aos mais inexperientes, quando estes analisam as grandes bases de dados do PISA, do Trends in International Mathematics and Science Study (TIMSS), e do Progress in International Reading Literacy Study (PIRLS), e indicam como usar essas bases de dados de maneira tecnicamente defensiva. Há debates - às vezes, polêmicos - sobre a validade de uma técnica ou dos méritos relativos a diferentes abordagens. Porém, essas discussões permanecem na área técnica, explanadas em publicações voltadas a analistas quantitativos e estatísticos. Debates tão 'internos' são também limitados; falta a perspectiva que as pessoas de fora podem dar.

Avaliando do ponto de vista do campo interdisciplinar dos Estudos da Ciência (também chamado de Estudos da Ciência e da Tecnologia, ou STS), quero explorar esta prática epistêmica como um estranho à estatística e à análise secundária. O STS é um campo relativamente novo e interdisciplinar, e suas origens podem ser encontradas no trabalho de Kuhn, The Structure of Scientific Revolutions , publicado em 1962. Começou como uma nova abordagem aos estudos sociais e históricos da ciência, nos quais os fatos científicos eram estudados não pela sua correspondência objetiva com a natureza, mas como construções baseadas em condicionamento social e institucional, assim como em um conjunto de práticas que apoiavam culturas epistêmicas específicas. O grande trabalho de Latour e Woolgar's (1979), Laboratory Life , por exemplo, traçou as práticas diárias e o trabalho dos cientistas no Salk Laboratories , em San Diego para produzir um relatório da prática científica; alguns colaboradores do laboratório acharam o estudo desconcertante e até irreconhecível, às vezes. Porém, o responsável pelo centro de investigação escreveu na introdução de Laboratory Life:

Qualquer objeção que possa existir sobre os detalhes e argumentos do autor [Latour], já estou convencido de que este tipo de estudo direto de cientistas trabalhando deve ser estendido e incentivado pelos próprios cientistas, pelo nosso próprio bem, e também pelo bem da sociedade... (Jonas Salk, na introdução de Laboratory Life , LATOUR; WOOLGAR, 1979, p. 13)

Neste artigo especulativo, quero levar os debates sobre análise secundária para um escopo mais amplo, onde podem ser examinados como questões práticas e filosóficas. O STS oferece conceitos que se adequam a isso. Não pretendo rebaixar essas análises nem desafiá-las em termos técnicos. Em vez disso, ao visualizar o PISA como um empreendimento social e técnico, quero examinar o status ontológico da base de dados e suas consequências para a análise secundária.

Existem três argumentos chave neste artigo:

1. há uma falha inerente causada pelo olhar distante das comparações globais do PISA, que favorecem análises estruturais e a busca por princípios e limitam compreensões mais úteis e significativas;

2. os objetos gerados pelo PISA para aumentar sua base de dados são tão abstratos e tão rasos que não podem ser ressignificados para se conectar com suas origens em toda sua complexidade e diversidade; por exemplo, a "circulação da referência", crucial para a prática da boa ciência (LATOUR, 1999), fica comprometida; e

3. esses objetos rasos e abstratos são tão retirados do contexto de sua produção que se tornam móveis e promíscuos, viajando rapidamente no tempo e no espaço, combinando-se livremente e sem limitações com outros objetos igualmente deslocados, levando à produção de conteúdo que pode até ser matematicamente defendido, mas talvez ontologicamente absurdo.

Como os cientistas no Salk Labotaroty, os analistas secundários podem achar este relato de suas práticas estranho ou perturbador, e talvez até incorreto. Mesmo assim, pode gerar formas diferentes de pensar sobre essas práticas. Ao embarcar nesta aventura diferente e arriscada, adotei o estilo de escrita extravagante do STS, exemplificado por Latour e bem demonstrado nos textos de Serres, anteriores ao STS como uma disciplina, para persuadir os analistas secundários a desistirem momentaneamente de seus entendimentos sobre suas próprias práticas, acompanhando uma estranha em sua jornada pelo seu mundo.

Embora este artigo seja um experimento filosófico, ele surge de uma pesquisa que incluiu uma análise de aproximadamente cem artigos publicados em revistas e relatórios com base na análise secundária do PISA, e entrevistas semiestruturadas com 30 especialistas: analistas secundários do PISA, especialistas em mensuração, psicometristas e estatísticos da OCDE, dos Serviços de Testes Educacionais (ETS), do Australian Council for Educational Research (ACER) e de outras universidades, assim como oficiais de políticas que usam essas análises. O estudo centralizou-se no Reino Unido, Austrália e Nova Zelândia.

Serres, Latour e a base de dados do PISA

Minhas especulações teóricas são desenvolvidas com base em conceitos elaborados por Latour, especificamente em sua análise e explicação (2009) da filosofia de Tarde nas práticas da quantificação, e em seu estudo (1986) Visualistaion and Cognition: Drawing Things Together. Ao explicar os pontos de vista de Tarde, Latour diz que cientistas naturais são desmotivados pela distância entre eles mesmos e os objetos e "sociedades" que eles pretendem estudar. Para Tarde, segundo Latour, estrelas e bactérias e outros objetos de interesse científico eram "sociedades" (ou, na teoria ator-rede, "composições"). Seja o astrônomo observando o céu ou o biólogo analisando um microscópio, os números do mundo natural são tão impossivelmente grandes que os cientistas naturais são forçados a pensar em termos de estruturas e conjuntos, desenvolvendo leis e princípios gerais. Esta é a falha dos cientistas naturais - são forçados a negligenciar o indivíduo em favor do coletivo, no processo de aceitar uma distinção entre os dois, o que não é apropriado, segundo Latour, especialmente nas ciências sociais:

A distinção é um artefato da distância, de onde o observador está olhando e do número de entidades que considera ao mesmo tempo. A brecha entre a estrutura como um todo e os componentes subjacentes é um sintoma da falta de informação: os elementos são vários, seu paradeiro é incerto, há muitos hiatos em suas trajetórias, e as formas com as quais eles se misturam não foram compreendidas. (LATOUR, 2009, p. 148)

O cientista social, por outro lado, lida com números menores e não precisa sacrificar o "individual" pela "sociedade" - indivíduos e sociedades podem ser estudados ao mesmo tempo, juntos, como co-constituintes. Isso é adequado, e os "indivíduos" fazem parte da sociedade - refletem e respondem à sociedade da qual fazem parte; e a "sociedade" é constituída de indivíduos - uma ideia bem expressada pelo hífen em "ator-rede", na teoria do ator-rede.

Um dos pontos centrais de Serres com relação à quantificação é que entendemos tão pouco sobre o comportamento individual com base em regras e princípios que podemos derivar de estudos de estruturas e sistemas como um todo. Por outro lado, ele acredita que, estudando atentamente os indívuos e acumulando muitas dessas descrições, é possível desenvolver "tipos" ou tentativas de princípios de comportamento; mas, como os indivíduos e as sociedades estão sempre interagindo e se influenciando, esses "tipos" e princípios estão constantemente evoluindo juntos. Essas "regras" ou "tipos" criados pela reunião de relatos individuais não se sobrepõem nem superam os casos individuais, ditando relatos de comportamento individual.

O segundo ponto que ele defende se relaciona à influência dos nossos instrumentos e constructos de pesquisa sobre nossas descobertas e entendimentos. A "Sociedade" (ou estrutura) é criada por estatísticas, e as "sociedades" criadas por estatísticas mudam conforme o conhecimento cresce e se altera.

É por causa da ideia distorcida de que a ciência natural é ciência "real", e de que a ciência social não é adequadamente rigorosa, diz Latour, que o cientista natural foi forçado a adaptar métodos para superar a falha da distância, e os grandes números passaram a ser imitados e valorizados na ciência social. Porter também defende que as "descrições densas" do etnógrafo não ganham tanta confiança e poder quanto as "descrições finas" daqueles que lidam com números:

Os defensores da etnografia podem perguntar por que, em um mundo complexo, os economistas passam altivos pelos corredores do poder, enquanto historiadores culturais repassam seus insights, possivelmente profundos, uns aos outros. Por que, no mundo dos negócios e da administração, os longos relatórios, com todas as suas incertezas, circulam entre os subalternos, enquanto o "sumário executivo", purgado de ambiguidade e detalhe, é destinado a pessoas no topo? O fino, se não for o estado natural das coisas, é um projeto atraente e moderno. Engana-nos com sua economia concisa e muscular. (PORTER, 2012b, p. 212)

Avaliações internacionais comparativas de larga escala, como o PISA, cujo estudo inclui aproximadamente 70 nações, sendo a maioria de renda média e alta, parecem-se muito com o olhar do astrônomo a estrelas e galáxias distantes. Tem de ser baseado nas "classes" abstratas e padronizadas de objetos, em detrimento da luxuriante nuance dos atores individuais fornecida por um olhar mais próximo. Eles também não enxergam como vários elementos interagem entre si, ou como viajam e se misturam.

Dois conjuntos de questões surgem desses entendimentos. Primeiro, que tipos de objetos são "vistos" e registrados, armazenados no PISA, desde suas incursões (ou investidas) pelos cantos longínquos do mundo, para formar sua central de dados?

O segundo conjunto de questões, que é o ponto crucial da minha especulação, relaciona-se com as práticas da análise secundária desses dados. Quando os analistas secundários sentam-se em frente aos seus computadores e abrem o arquivos contendo objetos abstratos, agregados e mascarados, eles os olham "de perto" ou com certa distância? A base de dados do PISA contém uma mistura de dados primários e agregados. Que tipos de distorções e magnificações aparecem, e com qual consequência? A proximidade ilusória dos dados da base incentiva a falta de compreensão de que os próprios objetos, em vez de serem imagens pobres e distantes deles mesmos, estão sendo apreendidos?

A base de dados PISA

Para responder o primeiro conjunto de perguntas: "Que tipos de objetos existem no PISA? Qual é seu status ontológico?", temos que conhecer brevemente alguns dos métodos do PISA e examinar a base de dados em si: os objetos da base, assim como os processos usados para que eles chegassem à base.

Objetos rasos

O objetivo do PISA é examinar a preparação para a vida de alunos de 15 anos de idade, com base em sua capacidade de aplicar o que sabem. Os questionários têm três componentes principais - testes de leitura, de matemática e ciência; o questionário do histórico do estudante, para medir "vantagem"; e o questionário sobre o histórico da escola, usado para criar descrições de escolas e sistemas educacionais.² Cada um desses componentes requer tradução e simplificações incansáveis para atingir uma grande gama de sistemas e culturas. Por exemplo, itens individuais do teste primeiro passam pela peneira de uma estrutura que garante que estão aptos para o propósito de extrair as habilidades dos alunos para aplicar o que eles conhecem. Os itens, então, são testados em um leque de contextos para garantir que se comportam da mesma maneira em diferentes culturas.

Os itens, então, são categorizados de acordo com o nível de dificuldade. O nível de dificuldade é calibrado de forma que a diferença entre um nível e o próximo seja padronizado e nivelado. Esta noção é interessante, já que a dificuldade vivenciada por diferentes alunos com o mesmo problema dificilmente será uniforme. No PISA, a "dificuldade" está dissociada do aluno e relacionada ao item do teste, ao padronizar o aluno com base na capacidade de responder tal pergunta. As perguntas podem ser definidas em "logits" por nível de dificuldade. Esta abstração garante que substituir uma pergunta por outra do mesmo nível de dificuldade não tem efeito no resultado dos estudantes. Assim, o teste torna-se independente dos itens de questões - o fato de um item específico aparecer ou não no teste não faz diferença no resultado dos alunos. Como resultado dessas dissociações, as notas dos alunos podem se tornar previsíveis ao usar técnicas como a Teoria de Resposta ao Item. Então, paradoxalmente, os níveis de performance dos alunos só se tornam calculáveis quando os alunos e os itens de questões se dissociam um do outro (GORUR, 2011).

Os próprios estudantes são abstrações na base de dados do PISA. Como amostra, eles representam o maior grupo de alunos de 15 anos do sistema.³ Os estudantes são descritos na amostra com base em alguns atributos universais, como sexo, idade e condição socioeconômica para que alunos da Alemanha, Austrália, Polônia, China ou Turquia sejam indistinguíveis - ou pelo menos descritos pelos mesmos termos. Para superar o desafio do tempo que levaria para cada estudante completar um teste com itens suficientes para torna-lo válido, um único "teste" é distribuído a vários estudantes. Então, um "estudante" na base de dados do PISA está distante de um aluno real, que completa o questionário em uma sala de aula real.

O laboratório do PISA, então, transforma entidades ontologicamente complexas em outras ontologicamente empobrecidas para facilitar a comensuração e o cálculo em larga escala. Abstrações parcimoniosas substituem as ontologias luxuriantes de crianças, escolas, famílias, comunidades e nações. Ao mesmo tempo, casas, famílias e escolas são definidas em termos padronizados. Os questionários do PISA são lançados no mundo a cada três anos e trazem mais e mais objetos empobrecidos e rasos para armazenar na base de dados.

Por si só, o fato de os objetos serem rasos não é problemático - é inerente a todos os processos de pesquisa. As coisas começam a se tornar problemáticas na base de dados do PISA, creio eu, na dificuldade de transformar os objetos rasos nos atores da vida real, tridimensionais e originais (3D) que representam. A cadeia de referência que deveria facilitar as traduções para frente e para trás (LATOUR, 1999) parece não funcionar no caso do PISA. Uma vez que os vários atores foram traduzidos para sua forma mais empobrecida, e passaram a fazer parte da base de dados do PISA, as possibilidades de sua reanimação para se tornaram objetos complexos e desenvolvidos, aparentam diminuir. Os seres empobrecidos parecem substituir suas versões complexas e luxuriantes, em vez de simplesmente tomarem seu lugar temporariamente. Em parte, eu sugiro que isso se dá não só porque os atores estão destacados de seus contextos, mas porque os contextos em si são padronizados e universalizados - descritos com parcimônia quando se trata de alguns detalhes universais.

Inscrições móveis

Um grande benefício desses objetos padronizados e rasos é que eles podem ser traduzidos em inscrições. Em seus estudos de prática científica, Latour (i.e., LATOUR, 1987; LATOUR; WOOLGAR, 1979), depara-se com a dependência dos cientistas em relação às inscrições. Ele comenta o quão rapidamente ratos de laboratórios gritando e ensanguentados são abandonados por causa de tecidos em lâminas nos microscópios, para depois tornarem-se leituras em uma mesa.

Da mesma forma, para os cientistas do PISA, é um grande alívio transformar os alunos de 15 anos, as complexidades da escola e as políticas nacionais, a diversidade de salas de aula e estilos de ensino, os valores e as questões que mediam a performance dos alunos em inscrições que substituem tudo isso. Uma vez que essas traduções acontecem, a multidão de estudantes e suas complexidades pode ser trocada por números digitalmente gravados que podem, facilmente, ser transportados dos cantos distantes do mundo para um seguro "centro de cálculo" em Paris, onde todas as manipulações podem ser realizadas sem as distrações do "mundo real". Há várias vantagens em sair de objetos 3D em direção a inscrições:

Os cientistas começam a ver algo uma vez que param de observar a natureza e olham exclusiva e obcecadamente para impressões e inscrições rasas. Nos debates sobre percepção, o que se esquece é a simples transição entre assistir objetos confusos e tridimensionais e inspecionar imagens bidimensionais que se tornaram menos confusas.... Lynch, como todos os observadores de laboratório, impressionou-se com a extraordinária obsessão dos cientistas com papéis, impressões, diagramas, arquivos, resumos e curvas no papel. Não importa do que estejam falando, mas começam a falar com algum nível de confiança, sendo acreditados por seus colegas, quando apontam para formas bidimensionais e geométricas. Os "objetos" são descartados, ou inexistentes, nos laboratórios. Ratos ensanguentados são descartados rapidamente. Extraem-se deles pequenos conjuntos de figuras. Esta extração ... é tudo o que conta. (LATOUR, 1986, p.15-16)

As inscrições promovem maneiras para que os cientistas do PISA falem a mesma língua. Como o PISA é praticamente global, não há pequenas vantagens. Inscrições numéricas, em especial, tem a capacidade de "ultrapassar limites linguísticos e deslocar conhecimento local e informantes nativos" com facilidade (CULLATHER, 2007, p.337). Os números também mantêm os vários atores estáveis no espaço e no tempo. Os vários atores complexos - estudantes, sistemas educacionais, diretores, professores, pais e a sociedade em si - podem passar por grandes mudanças na vida real - mas, uma vez traduzidos, tornam-se estáveis como inscrições em uma base de dados. Isso também "domestica" os cientistas que estudam esses atores: como Latour explica, confrontado pelas inscrições os pesquisadores não podem mais falar sobre assuntos de forma variada ou subjetiva - estão todos sujeitos à força das inscrições.

Os atores da base de dados do PISA estão estáveis e móveis - de acordo com Latour, tornaram-se "móveis imutáveis". Livres de suas correntes, viajam no espaço e no tempo com relativamente pouca distorção, a custo zero ou muito baixo. Como cada rodada do PISA reúne esses dados de pesquisa, a base de dados aumenta com cada vez mais entidades abstratas, medidas por métricas facilmente traduzíveis e combináveis de múltiplas maneiras com outras entidades, também abstratas.

É importante dizer que os números, figuras, gráficos e tabelas que compõem a base de dados do PISA não são meras representações do mundo - também são uma apresentação da visão de mundo no qual essas representações fazem sentido. Como Latour (1986; 2009) diz, eles não só nos dizem o que ver, mas também como ver. Os instrumentos usados para gerar dados dão a eles visibilidade de maneiras específicas, tornando-os sensíveis em alguns cenários. Algumas inscrições encapsulam o mundo no qual essas entidades se tornam sensíveis e, ao mesmo tempo, descrevem as entidades que forma este mundo. Analistas secundários que pensam estar simplesmente usando algum tipo de dado neutro e sem intermediários estariam errados - os dados estão se unindo a Trojans na forma de metodologia, modelos, suposições e visões de mundo.

Relações promíscuas

A abstração e mobilidade dos objetos da base de dados do PISA os torna desinibidos, então eles podem promiscuamente se relacionar e se combinar com outros objetos que, em sua forma menos empobrecida e mais luxuriante, podem não se engajar são prontamente. Estudantes, escolas e sistemas de governo no Azerbaijão e na Austrália, por exemplo, podem ser reunidos em relações de comparação em seu formato ontologicamente empobrecido, enquanto em suas formas "reais" luxuriantes esta comparação pode parecer absurda, ou requerer uma lista de qualificadores e advertências. Quando desnudos dos contextos de sua produção, esses objetos podem ser reunidos de diversas maneiras, combinando-se e recombinando-se em análises secundárias para descrever relações, promover explicações, articular problemas políticas e soluções, identificar as "melhores práticas", projetar futuros, desenhar utopias e detectar ameaças. A base de dados do PISA aproxima objetos distantes - sentado no meu escritório, hoje, posso acessar dados do mundo inteiro em questão de segundos. Se eu quisesse, poderia comparar as correlações de aspectos da escola particular com a performance de alunos na Austrália, em correlação com o Japão, Canadá, Médico e Suécia, tudo na tela do computador. Ao mesmo tempo, esta base de dados também distancia o que está próximo - é tão fácil usar esses objetos empobrecidos e alterá-los como eu quiser para criar meus relatos e explicações, e esses dados são tão agradáveis aos meus cálculos matemáticos, que eu não preciso de fato sair de casa para observar escolas, professores e alunos reais, em sua complexidade e teimosia ontológica, nem mesmo para aprender sobre as escolas do meu próprio bairro.

Esses três atributos - raso, mobilidade e promiscuidade - tornam a base de dados do PISA adequada à análise secundária, mas esses mesmos aspectos são os que podem levar os analistas ao erro.

Inspecionando dados: fazendo descrições finas

Em cada questionário a base de dados do PISA acumula cada vez mais entidades abstratas e padronizadas que podem ser combinadas de diferentes maneiras, como peças de Lego, com outras entidades abstratas. Mais importante, a base de dados do PISA criou "consistência ótica" (LATOUR, 1986). Sejam instituições, sociedades ou indivíduos, todos os atores da base de dados do PISA, traduzidos em inscrições bidimensionais, ganharam a mesma forma e podem ser vistos da mesma maneira, não importa de onde sejam observadas. Em outras palavras, se um pesquisador em Paris estiver observando dados sobre estudantes franceses ou estudantes indígenas na Austrália, a perspectiva não muda. Para o analista secundário, isso gera possibilidades infinitas, assim como a consistência ótica dá ao artista um grande número de possibilidades:

[O]bjetos reais podem ser desenhados em pedaços separados, ou em diagramas, ou podem ser adicionados ao mesmo papel em escalas, ângulos e perspectivas diferentes. Não importa, já que a "consistência ótica" permite que todos os pedaços se misturem. (LATOUR, 1986, p.8)

É exatamente esta liberdade de exagerar nas partes, de mudar os ângulos e perspectivas e combinar indiscriminadamente que torna a análise secundária um processo tão perigoso.

Combinações e misturas indiscriminadas

Um investimento imenso é feito para criar a "consistência ótica" para que os sistemas com culturas sociais e políticas, práticas de ensino, escolas, crianças e vida familiar discrepantes pareçam equivalentes. Esta domesticação da diversidade, assim como o fácil acesso à abundância de dados, levou à criação de vários estudos nos quais um fenômeno é investigado pelo uso de dados de diversos países.

Paradoxalmente, em vez de prever que comparações entre países muito diferentes podem diminuir a validade dos dados, na análise secundária aparentemente há mais confiabilidade nos cálculos envolvendo dados provenientes de mais países. Um desses estudos é o Cross-country efficiency of secondary education provision: A semi-parametric analysis with non-discretionary inputs (AFONSO; AUBYN, 2006), publicado no Journal Economic Modelling . O estudo é descrito a seguir:

Avaliamos a eficiência dos gastos com educação ao comparar o output (resultados to PISA) do sistema educacional de 25 países, a maioria membros da OCDE, com recursos investidos (alunos por estudante, tempo gasto na escola). Estimamos um modelo semiparamétrico do processo da produção educacional usando um procedimento de dois passos. Ao regredir os escores de produção pela análise por envoltória de dados em variáveis não-discricionárias, usando o modelo de Tobit e o procedimento de bootstrap, mostramos que a ineficiência tem forte relação com o PIB por cabeça e realização na educação de adultos. (AFONSO; AUBYN, 2006, p. 476)

Do uso de dados de países tão diferentes quanto Finlândia, Coreia e Indonésia, com base na "produção" (performance, no PISA) e "recursos utilizados" ("número de professores por aluno" e "tempo gasto na escola", primeiramente "derivou-se uma teórica fronteira de produção para a educação". Os escores de eficiência dos países foram calculados como a distância de sua performance a essa fronteira. A primeira parte do estudo "determina o escore de eficiência de produção para cada país, usando a abordagem de programação matemática conhecida como DEA [Análise por Envoltória de Dados], relacionando inputs e outputs " e avaliando a nação como uma "unidade de tomada de decisão" (DMU) (AFONSO; AUBYN, 2006, p. 478). Depois, dois "fatores ambientais" - educação dos pais e riqueza dos estudantes (usando o PIB do país para verificar a riqueza) - são inseridos para amenizar os cálculos de eficiência. Os autores tomam todos os passos necessários para defender seu modelo e para tornar os cálculos transparentes. Os autores relatam:

Os resultados da primeira fase implicam que as ineficiências podem ser altas. Em média, e como uma estimativa conservadora, países poderiam ter aumentado seus resultados em 11,6% usando os mesmos recursos, sendo que um país como a Indonésia mostra um desperdício de 44,7%. (AFONSO; AUBYN, 2006, p. 489)

Eles concluem, porém, que quando os efeitos dos "fatores ambientais" da riqueza e da educação dos pais são incluídos, os escores de eficiência e rankings das nações mudam substancialmente.

O que eu considero surpreendente nesses estudos é o cuidado para explicar, tornar transparente e defender cada movimento matemático, enquanto pouco esforço se faz para olhar para fora desse "mundo de números" para explorar se as "inserções" como gastos nacionais per capita em educação e o número de professores eram, de fato, os fatores certos ou suficientes, e se foi correto considerá-los em nível nacional. Modelar os cálculos dos recursos com base no "número de professores por aluno" faz pouco sentido se não considerarmos a estrutura das escolas. Na maioria dos países, a distribuição de professores não é igual - pode haver uma concentração maior de professores em áreas urbanas e em escolas particulares. As médias nacionais mascaram essas diferenças, que são bem consequenciais. Sejam professores assistentes ou pais que são voluntários nas escolas, sejam as escolas inclusivas ou exclusivas, e seja qual for o tipo de pedagogia utilizada, todos esses fatores teriam diferentes resultados para a mesma razão professor-aluno. A cultura tem um papel importante - escolas asiáticas normalmente tem salas de aula grandes, mas o comportamento disciplinado dos alunos e o respeito pelos professores significam que o tempo utilizado para manter a disciplina é muito menor do que em uma escola em uma grande cidade norte-americana.

Comparar o investimento per capita em estudantes é igualmente frágil quando analisado em conjunto. Na Austrália, por exemplo, onde aproximadamente 40% dos alunos estudam em escolas particulares, e há uma complexa mistura de financiamento federal, do estado, da igreja e da iniciativa privada, o investimento per capita em alunos consegue capturar tal complexidade? E o investimento dos pais em aulas particulares e coaching, como acontece, por exemplo, na Coreia? No mundo simplificado da base de dados do PISA, essas questões são dissolvidas. Usar o PIB para demonstrar a riqueza dos alunos também é confuso, já que a riqueza é, quase que invariavelmente, mal distribuída nos países.

Analistas que utilizam objetos empobrecidos da base de dados do PISA como ponto de partida para sua pesquisa podem estar vendo seus objetos de estudo - os dados da base do PISA - a centímetros de distância, em suas telas de computador. Porém, podem estar tão distantes quanto os observadores de estrelas de Latour, devido à toda a diferença em sua capacidade de absorver a realidade. Ignorar as diferenças entre os países e utilizar os valores agregados, assim como usar dados que sejam cegos à dinâmica de relacionamento entre os atores para gerar cálculos mais precisos e sofisticados, pode até levar a metodologias matemáticas mais plausíveis, mas as conclusões podem ser ontologicamente sem sentido.

Ruptura na cadeia de referência

Uma das dificuldades da análise secundária é resultado de uma quebra na "cadeia de referência" (LATOUR, 1999), por exemplo, objetos na base de dados do PISA nem sempre podem ser traçados de volta ao seu original, antes de tradução. Isso se dá por várias razões. A maioria dos dados na base do PISA vem de questionários. Cada questionário é baseado em um grupo de suposições que nem sempre estão corretas, ou não estão corretas em todos os contextos. Isso cria uma separação entre o objeto de interesse na vida real e o objeto que o representa nos dados. Enquanto essas suposições podem ser contestadas no debate da metodologia do PISA, os analistas secundários lidam com objetos que são mediados pelas suposições que nem sempre estão visíveis, como no exemplo a seguir.

Na era da transferência de responsabilidades e da governança baseada na lógica de mercado, uma política promovida pela OCDE é a autonomia com base na escola. Este tópico tem sido amplamente estudado pela análise secundária, e há tentativas de relacionar a autonomia escolar com a performance do estudante. Um desses estudos é o The Effect of School Autonomy and School Internal Decentralization on Students' Reading Literacy, de Maslowski, Schreerens, and Luyten (2007). Em sua revisão da literatura, eles examinam as diferentes teorias que sustentam diferentes análises examinando esta questão, e descobrem que alguns estudos são contraditórios. Eles sugerem que algumas das associações fortes e positivas encontradas em estudos anteriores, que levaram à defesa de mais autonomia nas escolas, podem estar erradas. Eles atribuem essas falhas ao modelo que foi base para seus cálculos. Sua própria pesquisa incluía dados sobre estudantes e escolas do PISA 2000, de 28 sistemas OCDE, envolvendo 5.269 escolas e 137.526 alunos. Concluíram que:

... escolas com autonomia em termos de administração de pessoal, em média, têm médias mais altas de literacia do que escolas com menos autonomia neste domínio. Para autonomia em recursos financeiros, políticas estudantis e currículo, não foram encontrados efeitos significativos na literacia da leitura dos alunos. (MASLOWSKI; SCHREERENS; LUYTEN, 2007, p. 314)

Mas a grande variação nos resultados dos estudos sobre os efeitos da autonomia escolar pode também ser resultado de uma falha mais profunda, envolvendo os objetos na própria base de dados, como explanado por um entrevistado:

Bem, a base da autonomia escolar é a resposta dos diretores ao questionário que pergunta quem tem mais ou menos influência sobre coisas diferentes. Nossa estrutura [nos Estados Unidos], que são as escolas, depois os distritos escolares, depois os estados - não está representada nessas questões. Então, o que se parece com controle local escolar é, na realidade, controle a nível distrital. Então, não temos o que eles falam. Os diretores das escolas, eu não acho que eles têm muita autonomia sobre as coisas, como o orçamento, nem em relação a quem contratar e demitir, e eu acho que isso muda muito de país para país, por causa da forma como os distritos se relacionam com a escola, e o tamanho dos distritos e número de escolas em um distrito. Então, não achamos que isso reflete bem os EUA, e provavelmente também outros países - que a questão não se enquadra. (Especialista em política, governo dos EUA, transcrição de entrevista, 2013)

Na tradução do mundo para o questionário, há uma distorção. Cada tradução subsequente simplesmente aumenta a distância entre o mundo e o objeto pelo qual é representado na base de dados do PISA.

Qualquer problema que houver com os dados quantitativos em larga escala necessariamente se transfere para a análise secundária. Há um problema de transferência, que é quando você usa questões não adequadas para o seu objetivo - você está forçando... para chamar de "autonomia" quando, na verdade, está medindo algo diferente. Então, esta transferência - forçar um constructo para se tornar outra coisa - esta negociação - pode ser um problema (político, governo dos EUA, transcrição de entrevista, 2013)

Pode haver distorções causadas pelas metodologias do PISA também:

Há uma coisa que me deixa um pouco preocupado, talvez - que forçamos a distribuição dos índices para que haja uma média de zero e um desvio padrão de 1 em países da OCDE - esta é meio que a nossa prática. Mas, ao fazer isso, talvez o constructo latente tenha pouquíssima variabilidade, assim [gesticulando para mostrar um pequeno espaço entre o dedão e o indicador], mas forçamos para atingir o desvio padrão de 1 em países da OCDE, na média. Então, pode haver um índice muito, muito pequeno, que não diz nada especial, mas forçamos para que diga algo - torna-se uma coisa. Uma delas é a liderança escolar, por exemplo. Pessoalmente, não acho que este índice seja muito útil, mas porque estamos forçando para que tenha variabilidade, quando não há nenhuma - não há variabilidade significativa neste constructo... Então uma preocupação que eu tenho é que as pessoas não sabem que estamos forçando para haver variabilidade quando, na verdade, possivelmente não há. (especialista do PISA na OCDE, transcrição de entrevista, 2013)

Para garantir a boa ciência, deve existir a possibilidade de viajar para frente e para trás na cadeia de referência, e não simplesmente utilizar traduções e simplificações:

[s]e você for minimamente responsável [como analista secundário], então pode dizer que sim, liderança escolar é algo que queremos, eles acham bom, vamos relacionar isso à performance ou à literacia ou outra coisa. Depois você não descobre nada, então tudo bem, pensamos mais um pouco, colocamos o valor no índice e pode dar problema, mas então se você fizer o próprio pequeno passo, está praticamente tudo bem - você está resguardado da possibilidade de ser imprudente. (especialista do PISA na OCDE, transcrição de entrevista, 2013)

A OCDE pode delegar a falta de precisão ao analista secundário, mas isso é um pouco injusto, porque a OCDE tem promovido muito o foco na liderança e na autonomia escolar.

Distorções espaciais e temporais

A "consistência ótica" da base de dados do PISA facilita a colagem de dados sem a necessidade da meticulosidade em relação à escala, perspectiva ou tempo. Uma das questões que meus entrevistados identificaram tinha a ver com os deslocamentos temporais. O PISA coleta dados sobre alunos de 15 anos, que costumam estar no ensino fundamental ou médio nos Estados Unidos. Também coleta dados sobre as escolas frequentadas por esses alunos por meio do questionário aos diretores. A parte ligada ao aprendizado do estudante ocorreria em uma estrutura escolar diferente - uma escola básica P-6 ou P-8, por exemplo. Ainda assim, o PISA relaciona a performance de alunos de 15 anos à instituição que eles frequentaram somente por um pequeno período de suas vidas escolares para inferir sobre os tipos de sistemas e estruturas que podem melhorar o aprendizado, como explicado por um entrevistado:

...PISA é uma análise de tudo o que você aprendeu nos primeiros 15 anos da sua vida, certo? E você aprendeu isso dentro e fora da escola. Então, se quisesse ter variáveis independentes que afetaram sua performance, seria importante medi-las ao longo desses 15 anos - não somente neste ano, e o PISA mede somente o ano. E nos Estados Unidos, isso significa - porque os dados do PISA são coletados em outubro - que estamos coletando esta informação sobre sua escola em outubro (a escola começa em setembro), como se isso pudesse explicar todos os 15 anos de aprendizado... (transcrição de entrevista, político, governo dos EUA, 2013)

É muito tentador para os analistas secundários juntar as coisas em padrões e figuras, porque toda peça parece se encaixar com outra peça. Não há destaques ou itens que possam alertar os analistas sobre possíveis erros.

Presos no mundo dos dados

Um dos achados mais impactantes do PISA está ligado à qualidade do professor e seu impacto no desenvolvimento do aluno. Os efeitos do professor são deduzidos com base no isolamento de outros fatores estatisticamente, usando a análise da regressão. Porém, este tipo de "isolamento" das "variáveis" só é possível estatisticamente - em salas de aula reais, as variáveis estão presente ao mesmo tempo e interagem umas com as outras de maneiras complexas:

Então dizemos, tudo bem, os professores importam muito [todo o resto sendo igual] - depois de controlar ou verificar o status socioeconômico - mas isso acontece mesmo - existe alguma escola onde todos os alunos sejam iguais, ou é possível comparar um público de baixa performance em uma escola pública, que atende uma população carente, com uma escola particular atendendo a comunidade rica, e dizer que SE elas tivessem crianças com a mesma condição socioeconômica, teriam resultados passíveis de comparação...(especialista do PISA na OCDE, transcrição de entrevista, 2013)

O banco de dados do PISA aparentemente oferece um mundo tão completo e atraente que, por vezes, incentiva os pesquisadores a ignorar o que não está na base de dados:

[P]ara mim... o maior problema é que há tanta coisa para medir nos países, que importa para a realização das crianças... há muita informação que não existe, que não é medida, sobre países que realmente importam. Por exemplo, o tempo - você entra aqui e vê que a Coreia não investe tanto tempo em educação, ou percebe que a Coreia tem salas de aula muito grandes.... Eles dirão 'olhem esses países e quanto investem em educação, então vamos olhar o que compram com seus gastos'. Andreas costuma comparar Luxemburgo com a Coreia... e ele diz 'eles gastam tanto por aluno, - ambos gastam a mesma coisa, mas o que Luxemburgo gasta é direcionado a pequenas salas. E a forma como eles conseguem pagar por pequenas salas de aula por este preço se deve ao fato de que não pagam tanto aos professores, que passam muito tempo ensinando. Então, ele olha para a Coreia e diz que eles gastam quase a mesma coisa por aluno, mas eles investem mais em seus professores - professores de mais qualidade e mais tempo de preparação. Eles podem pagar por isso com salas de aula bem maiores. Então, você chega à conclusão: 'Quero ser como a Coreia!', e assim aumentar o tamanho das minhas salas de aula, mas não sei - você é como a Coreia, pode atender 40 alunos em uma sala? - Eu não sei... isso não se mede. Então, se você olhar essas análises e considerar que os países são iguais, com exceção de tudo o que é medido nessa base de dados, então tudo bem! Mas sabemos que há muito ainda a ser medido culturalmente e de outras maneiras. (transcrição de entrevista, político, governo dos EUA, 2013)

Curiosamente, parece que o mundo descrito pelos números do PISA é tão atraente e convincente que os analistas ignoram o que sabem do mundo real. A maioria das pessoas já ouviram falar dos cursinhos na Coreia, nos quais os alunos passam quase tanto tempo quanto na escola regular. As pessoas que já moraram ou visitaram o país falam sobre o estatuto de culto de alguns professores famosos nessas escolas. Com certeza, Andreas Schleicher, responsável pelo PISA na OCDE, sabia sobre esses cursinhos. Ainda assim, os números se apresentam como um mundo completo, ignorando as realidades que já existiam no mundo real.

Matematicamente defensável, mas ontologicamente absurdo?

As bases de dados construídas a partir de objetos ontologicamente empobrecidos fornecem um tipo de infraestrutura superficial (diferentemente de uma base forte), sobre a qual os pesquisadores passam rapidamente e com eficiência, e criam uma ciência aparentemente sólida por meio de cálculos defensáveis. Esta infraestrutura fornece o cenário no qual a lógica desses estudos funciona -mas a mesma lógica pode não funcionar, e normalmente não funciona - quando traduzida para as políticas e introduzida ao mundo.

Descrições finas e sua aparente objetividade podem também podem afastar a confiança e os recursos de outros tipos de pesquisa, para que seja mais difícil desafiá-las. Como sugerido por Porter (1995, p. 168), "Este tipo de objetividade, quando a razão é reduzida a um algoritmo, pode ser um obstáculo para o conhecimento verdadeiro". Não só os números ganham mais confiança, mas mais números ganham mais confiança - por exemplo, análises de larga escala, apesar de todas as limitações, são mais valorizadas:

[O] termo "larga escala" sugere plenitude, enquanto a facilidade da coleção e da análise sugere que há pouco a se fazer. Ambos tendem a reduzir outras interpretações; então, entender seus limites deveria ser a principal preocupação. (BUSCH, 2014, p.1727)

É importante dizer que, como já mencionei (GORUR, 2015a; 2015b; 2016), contestar essas descrições finas é importante porque elas também são formas de intervenção:

O fato de os testes serem rasos não é o aspecto mais perturbador. O que importa, acima de tudo, é sua capacidade de tornar rasos os programas de instrução e aprendizado, de secar o oceano. (PORTER, 2012b, p. 225)

Passamos a acreditar tanto nos objetos empobrecidos do PISA que, em vez de reanimá-los para validar suas afirmações, estamos empobrecendo os objetos da vida real, recriando-os na imagem dos objetos do PISA (GORUR, 2016; cf. SCOTT, 1998). Esses objetos na base de dados do PISA não se satisfazem mais em representar seus correspondentes reais - eles os estão dominando e substituindo.

As sociedades, como já mencionado, estão sendo criadas por estatísticas; mas, em vez de usar este conhecimento para moldar estatísticas e criar os tipos de sociedade que produziriam sociedades sensíveis e igualitárias, parece que queremos permitir que as estatísticas ditem que tipos de sociedade criar.

Como cientistas, aparentemente estamos perdendo nossa capacidade de desafiar os analistas secundários e, de modo geral, os produtores de grandes números, a não ser com base em suas decisões de certeza e precisão matemática. Também não conseguimos criar alternativas mais adequadas:

Especialistas em escolas estão cada vez mais sinceros quanto aos problemas dos indicadores finos, e podem até demonstrar quantitativamente algumas de suas falhas. Quase ninguém discute que os números não têm um papel importante para o entendimento dos problemas da escola. Desenhar um regime de mensuração satisfatório, porém, é um trabalho de Sísifo, especialmente quando as autoridades responsáveis podem encontrar alguma vantagem na superficialidade. (PORTER, 2012b, p. 226)

Ao trazer essas questões para fora do reino da exclusividade técnica, espero que mais pesquisadores se interessem em se juntar à crítica a partir de várias perspectivas disciplinares e, ainda mais importante, em trabalharem juntos no papel de Sísifo, mencionado por Porter acima.

Referências

• AFONSO, A.; AUBYN, M.S. Cross-Country Efficiency of Secondary Education Provision: A semi-parametric analysis with non-discriminatory inputs. Economic Modelling v. 23, p. 476-491, 2006.
• AMERICAN EDUCATIONAL RESEARCH ASSOCIATION - AERA. Professional Opportunities and Funding . 2012. Available from: <Available from: http://www.aera.net/ProfessionalOpportunitiesFunding/FundingOpportunities/AERAGrantsProgram/MORE/tabid/10900/Default.aspx >. Cited: May 30, 2012.
  » http://www.aera.net/ProfessionalOpportunitiesFunding/FundingOpportunities/AERAGrantsProgram/MORE/tabid/10900/Default.aspx
• BUSCH, L. A Dozen ways to get lost in translation: inherent challenges in large-scale data sets. International Journal of Communication , n. 8, p. 1727-1744, 2014.
• CULLATHER, N. The Foreign Policy of the Calorie. American Historical Review (April), v. 112, n. 2, p. 337-364, 2007.
• ESRC - ECONOMIC AND SOCIAL RESEARCH COUNCIL. Delivery Plan 2011-2015 . ESRC, 2011.
• GLASS, G.V. Primary, Secondary and Meta-Analysis of Research. Educational Researcher v.5, n. 10, p. 3-8, 1976.
• GORUR, R. ANT on the PISA Trail: Following the statistical pursuit of certainty. Educational Philosophy and Theory v. 43, S1, p. 76-93, 2011.
• GORUR, R. Assembling a sociology of numbers. In: HAMILTON, M.; MADDOX, B.; ADDEY, C. (Orgs.). Literacy as Numbers - Researching the Politics and Practices of International Literacy Assessment London: Cambridge University Press, 2015a. p. 1-16.
• GORUR, R. The Performative Politics of NAPLAN and My School. In: THOMPSON, G.; SELLAR, S.; LINGARD, R. (Orgs). National Testing and its Effects: Evidence from Australia . London: Routledge, 2015b. p. 30-43.
• GORUR, R. Seeing like PISA: A Cautionary Tale about the Performativity of International Assessments. European Educational Research Journal Online First, 2016.
• LATOUR, B. Visualisation and Cognition: Drawing Things Together. In: KUKLICK, H. & LONG, E. (Org.) Knowledge and Society - Studies in the Sociology of Culture Past and Present: A Research Anual . V. 6. Greenwich: Jai Press, 1986. p. 1-40.
• LATOUR, B. Science in Action - How to Follow Scientists and Engineers through Society . Cambridge: Harvard University Press, 1987.
• LATOUR, B. Padora's Hope - Essays on the Reality of Science Studies . Cambridge: Harvard University Press , 1999.
• LATOUR, B. Tarde's Idea of Quantification. In: CANDEA, M. (Org.) The Social After Gabriel Tarde: Debates and Assessments . London: Routledge , 2009. p. 145-162.
• LATOUR, B.; WOOLGAR, S. Laboratory Life - The Construction of Scientific Facts . Princeton: Princeton University Press, 1979.
• MASLOWSKI, R.; SCHEERENS, J.; LUYTEN, H. The Effect of School Autonomy and School Internal Decentralization on Students' Reading literacy. School Effectiveness and School Improvement v. 18, n. 3, p. 303-334, 2007.
• PORTER, T.M. Trust in numbers: the pursuit of objectivity in science and public life . Princeton: Princeton University Press , 1995.
• PORTER, T.M. Measuring What? Measurement: Interdisciplinary Research and Perspectives v. 10, n. 3, p. 167-169, 2012a.
• PORTER, T.M. Thin Description: Surface and Depth in Science and Science Studies. Osiris v. 27, p. 209-226, 2012b.
• RUTKOWSKI, L.et al International Large-Scale Assessment Data: Issues in Secondary Analysis and Reporting. Educational Researcher , v. 39, n. 2, p. 142-151, 2010.
• SCOTT, J.C. Seeing like a state: how some schemes to improve the human condition have failed. New Haven and London: Yale University Press, 1998.
• SMITH, E. Using Secondary Data in Educational and Social Research. Maidenhead, Berkshire, and New York: Open University Press - McGraw Hill Education, 2006.

• 1
  http://www.oecd.org/edu/thomasjalexanderfellowship.htm
• 2
  Alguns países escolhem componentes adicionais, como questionário para os pais.
• 3
  O sistema de amostragem de dois passos usado no PISA é complexo e traz um problema para analistas secundários que não são especialistas, porque é fácil gerar extrapolações erradas das amostras do PISA, a menos que se conheça bem o sistema. Não enfatizei esses aspectos neste estudo, já que meu interesse é se distanciar da crítica "técnica", que é longa entre estatísticos e psicométricos.
• 4
  http://www.oecd.org/edu/thomasjalexanderfellowship.htm
• 5
  Some countries choose some additional optional components, such as a parent survey.
• 6
  The two-step sampling system used in PISA is complex and presents a problem for the less-expert secondary analyst, because it is easy to make erroneous extrapolations from PISA samples unless one is really well-versed in this system. I have not emphasized these aspects in this paper since my interest is to move away from the "technical" critique which is quite extensive among statisticians and psychometricians.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2016

Histórico

• Recebido
  05 Jul 2016
• Aceito
  29 Ago 2016