Fatores influenciadores dos resultados de matemática de estudantes portugueses e brasileiros no PISA: revisão integrativa

Influencing factors on the mathematics results of Portuguese and Brazilian students in PISA: integrative review

Resumo:

A presente revisão integrativa tem como objetivo conhecer os principais fatores influenciadores dos resultados de estudantes portugueses e brasileiros nas edições do PISA, de 2000 a 2012, de acordo com a literatura publicada. Identificaram-se cinco fatores e dez subfatores. Os fatores mais determinantes nos estudos considerados são o sistema educativo, o contexto socioeconômico dos estudantes e as características das escolas. Esta revisão integrativa evidencia que há uma multiplicidade de fatores que afetam o desempenho de estudantes no PISA, tanto em Portugal como no Brasil. Ressalta também a lacuna significativa de estudos na literatura, havendo fatores que são pouco ou mesmo nada estudados em ambos os países. Existe, assim, uma necessidade de maior investimento em investigação na área, aproveitando o manancial de dados gerados pelo PISA.

Palavras-chave:
PISA; Letramento em matemática; Desempenho; Sistema educativo; Brasil; Portugal

Abstract:

The present integrative review has the goal of knowing the main factors influencing the results of Portuguese and Brazilian students in the editions of PISA, from 2000 to 2012, according to the published literature. Five factors and ten sub-factors have been identified. The more determinant factors in the considered studies were the educational system, the socioeconomic context of the students and the characteristics of schools. This integrative review gives evidence of the multiplicity of factors that affect the performance of students in PISA, in Portugal as in Brazil. There also exists a significant gap in studies in the literature, as there are factors that are scarcely or not at all analysed in both countries. There is in consequence a need of a bigger investment in research in this area, taking advantage of the huge set of data generated by PISA.

Keywords:
PISA; Mathematical literacy; Achievement; Educational system; Brazil; Portugal

Introdução

O Programme for Internacional Student Assessment (PISA) é um estudo estatístico, realizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), de três em três anos. Abrange atualmente 65 países e economias, tendo começado com 43, sendo que 32 realizaram o Programa em 2000 e 11 em 2002 (OECD, 2003a, 2003b). O primeiro deles foi realizado em 2000, tendo os resultados sido publicados em Portugal a partir de 2001 (PORTUGAL, 2001, 2002, 2003, 2004). Seguiram-se as edições de 2003, 2006, 2009 e a última foi realizada em 2012, com os seus primeiros resultados vindo a público em dezembro de 2013 (OECD, 2013a, 2013b, 2013c, 2014; PORTUGAL, 2013).

Este Programa "[...] visa avaliar a capacidade que os alunos de 15 anos de diferentes países/economias têm para mobilizar conhecimentos nos domínios da matemática, da leitura e das ciências e responder a situações comuns da vida quotidiana" (PORTUGAL, 2013, p. 1). O seu foco não é saber se os estudantes dominam os conteúdos e conhecimentos adquiridos na escola, mas sim saber o que é que eles são capazes de fazer com o que sabem (OECD, 2014). O PISA preconiza o conceito de letramento nos domínios da Matemática, da Ciência e da Leitura.

O PISA é fortemente influenciado pelas perspectivas da OCDE, centradas nas competências associadas às necessidades da economia e do mercado de trabalho (FERNANDES, 2008). Este Programa pretende fornecer pontos de referência internacionalmente comparáveis e periodicamente atualizados do desempenho dos estudantes de cada país (CARVALHO E SILVA, 2004). Estes pontos de referência visam dotar os Governos de cada país com: (i) dados fiáveis sobre o funcionamento dos seus sistemas educativos, apresentando um perfil dos conhecimentos e capacidades dos estudantes com 15 anos; (ii) indicadores contextuais, que relacionam o desempenho dos estudantes com as características das suas escolas; (iii) estimativas da evolução dos conhecimentos e competências dos estudantes, ao longo do tempo; e (iv) uma base de dados a explorar na investigação e análise das políticas educativas (OECD, 2000).

Dentre as áreas de conhecimento avaliadas pelo PISA, elegemos como foco o Letramento em Matemática, que é definido como:

A capacidade que os indivíduos têm para formularem, aplicarem e interpretarem a matemática em contextos variados. Implica raciocinar matematicamente e usar conceitos matemáticos, processos, factos e ferramentas para descrever, explicar e prever fenómenos. Contribui para que os indivíduos reconheçam o papel que a matemática desempenha no mundo e para que cidadãos empenhados e reflexivos possam fazer julgamentos bem fundamentados. (PORTUGAL, 2013, p. 1).

Ao termos como contexto deste estudo Portugal e Brasil, apresentamos, sumariamente, alguns dos resultados destes países no PISA 2012, ano em que o domínio principal de avaliação foi o Letramento em Matemática, tal como tinha sucedido em 2003. Nos domínios de letramentos avaliados pelo PISA, Portugal, em 2012, obteve 487 pontos na escala da Matemática, com uma progressão de 21 pontos relativamente aos resultados de 2003 (a escala do PISA é feita de modo que a média seja 500 e o desvio padrão 100). Portugal colocou-se pela primeira vez, desde 2000, na média da OCDE (PORTUGAL, 2013), isto é, sem diferença estatisticamente significativa em relação à média. O Brasil, por sua vez, obteve 391 pontos, em 2012, revelando uma notável subida de 67 pontos desde 2000, obtendo 324 pontos (INEP, 2014; OECD, 2003a), mas continuando ainda abaixo da média da OCDE.

Os resultados de Portugal e do Brasil no PISA têm apontado para uma evolução positiva de ambos os países, no período de 2000 a 2012. Estes dados são apoiados pelo Relatório PISA 2012: Portugal primeiros resultados, quando refere que:

[...] os desempenhos médios de Portugal têm aumentado progressivamente desde a primeira participação portuguesa em 2000. O aumento mais acentuado é sobretudo evidente entre os ciclos de 2006 e 2009, em todos os domínios. O ciclo de 2012 regista resultados médios semelhantes aos verificados em 2009 - com exceção do domínio de ciências que decresce ligeiramente (-4 pontos). Os resultados médios alcançados em 2012 corroboram os obtidos em 2009, apontando para uma estabilidade e confluência de scores nos três domínios. (PORTUGAL, 2013, p. 14)

São também destacados no Relatório nacional PISA 2012: resultados brasileiros que:

A edição 2012 do PISA destaca que o Brasil é o país que teve o maior avanço absoluto na proficiência em Matemática quando feita a comparação entre os dois últimos exames nessa área do conhecimento (2003 e 2012). A essa boa notícia soma-se o fato de o Brasil ter sido o país com a terceira maior evolução no desempenho global do exame até 2009.

Vale ressaltar que esse progresso foi observado inclusive no ensino médio - nível educacional em que se registram historicamente os índices mais elevados de evasão e para o qual a meta do IDEB foi alcançada, mas não superada. Além disso, é importante destacar que o desempenho brasileiro no PISA melhorou ao mesmo tempo em que o país promoveu uma inclusão massiva, como indicam os dados de fluxo escolar: o número de jovens de 15 a 20 anos no sistema educacional quase triplicou entre 1991 e 2010. (INEP, 2014, p. 7)

Apesar do PISA ser ainda recente, há uma enorme quantidade de dados disponíveis, que são livremente acessíveis. Contudo, existe uma lacuna significativa de estudos no Brasil e em Portugal, principalmente no que se refere a uma revisão integrativa da literatura científica que nos apontem os fatores influenciadores do desempenho de estudantes desses países no PISA.

Objetivo

O principal objetivo deste estudo é fazer uma revisão integrativa para conhecer de forma global o estado atual da literatura publicada sobre os fatores que influenciam o desempenho de estudantes portugueses e brasileiros em letramento matemático no PISA, tomando como referência os resultados das edições de 2000 a 2012.

Metodologia

O método de revisão integrativa, proposto por Whittemore e Knafl (2005), foi utilizado para guiar este estudo, por ser considerado o mais apropriado para atingir o objetivo proposto, a partir de uma variedade de fontes científicas. Este método possibilita determinar o estado atual do conhecimento sobre uma determinada temática, através da investigação da literatura. "O método da revisão integrativa é uma abordagem que permite a inclusão de diversas metodologias (i.e. pesquisa experimental e não experimental) e tem potencial para oferecer uma grande contribuição na prática baseada em evidências" (WHITTEMORE; KNAFL, 2005, p. 547).

Para assegurar o rigor metodológico deste estudo, as autoras propõem quatro etapas: identificação do problema (realizado previamente), procura da literatura, avaliação dos dados e análise dos dados, apresentadas a seguir.

Procura da literatura

A procura de literatura foi realizada recorrendo às bases de dados Scopus, Scielo, RCAAP, Web of Science, ScienceDirect, Elsevier, Sage, ERIC, SpringerLink e EBSCO. Essa procura decorreu durante o período de janeiro a junho de 2015 e foi atualizada em julho. Pesquisas publicadas em português, inglês, francês e espanhol, sem limites de ano de publicação, foram incluídas, usando como palavra-chave "Programme for Internacional Student Assessment". As pesquisas científicas usando métodos quantitativos, qualitativos e mistos também foram incluídas.

Para assegurar o rigor científico deste estudo, elegemos os seguintes critérios de inclusão: focar os fatores influenciadores dos resultados de estudantes portugueses e/ou brasileiros em letramento matemático em, pelo menos, uma edição do PISA; tratar-se de um estudo científico; e utilizar fontes de dados primários. Deste modo, foram excluídas as pesquisas que não focavam diretamente o tema em estudo, a literatura cinzenta (estudos não publicados), bem como os artigos de caráter reflexivo.

Avaliação dos dados

Começamos por analisar os resumos que satisfaziam os critérios de inclusão estabelecidos. Foram selecionados 383 documentos, tendo sido rejeitados 208, porque não focavam os fatores influenciadores dos resultados de estudantes no PISA, nos países selecionados, ou porque não consideravam o letramento matemático. Os artigos foram, posteriormente, obtidos na íntegra e analisados. Dos 175 artigos restantes, foram rejeitados 163 por não satisfazerem o objetivo do estudo e por não serem de natureza investigativa, mas sim reflexiva. Deste processo avaliativo, resultaram oito estudos que abordavam os fatores influenciadores dos resultados, em letramento matemático, de estudantes portugueses e/ou brasileiros, em, pelo menos, uma edição do PISA. Esses estudos foram organizados em dois subconjuntos: Portugal e Brasil. Considerando o reduzido número de estudos encontrados na literatura, optamos por não fazer uma avaliação da qualidade metodológica dos mesmos.

Análise dos dados

Seguindo o método de Whittemore e Knafl (2005), a análise dos dados incluiu quatro etapas: redução, exposição, comparação, conclusão e verificação. Na primeira etapa da análise, as fontes primárias foram cuidadosamente examinadas nos dois subconjuntos, Portugal e Brasil, e em cada um deles divididas em três subgrupos, por tipos de evidência (estudos quantitativos, qualitativos e mistos), sendo analisados sequencialmente. Dados relevantes de cada subgrupo foram extraídos de todas as fontes primárias e compilados em uma tabela de acordo com as seguintes entradas: autor/es, ano e país; objetivo do estudo; tipo de estudo (quantitativo, qualitativo e misto); descrição da amostra; resultados/fatores; e conclusões. Na segunda etapa, exposição, os dados foram convertidos numa tabela, permitindo-nos visualizar os padrões e relações entre as fontes primárias, o que consistiu no ponto de partida para a sua interpretação. A etapa da comparação dos dados envolveu um processo interativo de exame dos dados das fontes primárias, de modo a agrupar os fatores influenciadores do desempenho de estudantes portugueses e, posteriormente, dos estudantes brasileiros. A seguir, análise semelhante incidiu entre os dois países. A etapa final, conclusão e verificação, requereu uma análise interpretativa a partir dos padrões e relações em direção a um nível mais elevado de abstração. Neste processo de análise, não usamos uma matriz conceitual previamente elaborada, tendo as categorias (fatores) e subcategorias (subfatores) sido obtidas a partir de uma análise indutiva.

Resultados

Descrição dos dados

Esta revisão integrativa incluiu na análise dos dados oito estudos, sendo quatro quantitativos (AGUIAR; ORTIGÃO, 2012; DEL PORTO; FERREIRA, 2007; KLEIN, 2011; PEREIRA, 2010); três estudos mistos (CARVALHO E SILVA, 2004; CRAHAY; BAYE, 2013; SOARES; NASCIMENTO, 2012); e um qualitativo (AFONSO; COSTA, 2009). Cinco estudos analisaram o desempenho de estudantes brasileiros, tendo sido publicados no Brasil (AGUIAR; ORTIGÃO, 2012; CRAHAY; BAYE, 2013; DEL PORTO; FERREIRA, 2007; KLEIN, 2011; SOARES; NASCIMENTO, 2012), e três estudos abordaram o desempenho de estudantes portugueses, e foram publicados em Portugal (AFONSO; COSTA, 2009; CARVALHO E SILVA, 2004; PEREIRA, 2010). Atendendo ao número reduzido de estudos considerados no final, não foi feita uma distinção específica entre os estudos quantitativos, qualitativos e mistos.

Fatores influenciadores do desempenho de estudantes portugueses e/ou brasileiros no PISA

A leitura e análise crítica dos artigos selecionados permitiu-nos destacar, de forma indutiva, os seguintes fatores influenciadores do desempenho de estudantes portugueses e/ou brasileiros no PISA: (i) sistema educativo; (ii) contexto socioeconômico familiar; (iii) características das escolas; (iv) uso de tecnologias da informação e comunicação (TIC); (v) características do estudante, os quais são apresentados abaixo.

(i) sistema educativo

Este fator destacou-se dos demais, tendo sido abordado em seis estudos, três em Portugal (AFONSO; COSTA, 2009; CARVALHO E SILVA, 2004; PEREIRA, 2010) e três no Brasil (AGUIAR; ORTIGÃO, 2012; CRAHAY; BAYE, 2013; SOARES; NASCIMENTO, 2012). Nesse fator destacaram-se cinco subfatores: a retenção em seis estudos; a equidade/desigualdade educacional em quatro estudos; as políticas educativas também em quatro estudos; a autonomia da escola; e o abandono escolar, em dois estudos cada.

A retenção foi considerada em todos os seis estudos. Relativamente a Portugal, os estudos revelaram que há um grave problema de retenção no sistema educativo. Segundo o autor português, Carvalho e Silva (2004), no PISA 2000, Portugal apresentou uma grande dispersão de estudantes da faixa etária dos 15 anos, distribuídos desde o 5.º até ao 11.º ano, sendo que o normal seria estarem entre o 9.º e o 10.º. Para este autor, esta variável está intimamente ligada aos maus resultados apresentados por Portugal, dado que a retenção, por si só, não resolve o deficit de aprendizagem manifestado pelos estudantes. O autor, ao manipular esta variável, concluiu que Portugal estaria acima da média da OCDE se apenas os resultados dos estudantes que estão entre o 9.º e o 10.º ano fossem considerados, ou seja, se não fossem tidos em conta os que ficaram retidos (CARVALHO E SILVA, 2004). Nesta mesma linha de raciocínio, o estudo de Afonso e Costa (2009) destacou que, segundo o PISA, Portugal é um dos países em que os maus resultados obtidos derivam diretamente das elevadas taxas de retenção, evidenciando que os estudantes portugueses que se encontram no ano de escolaridade certo obtêm bons resultados, frequentemente superiores à média da OCDE. O estudo de Pereira (2010) reforçou que um número elevado de estudantes ainda está no 7.º ou 8.º ano de escolaridade, devido à elevada taxa de retenção existente em Portugal, e que assim são expostos a programas curriculares desadequados para a idade de 15 anos, o que se reflete negativamente nos resultados.

No que concerne ao Brasil, Soares e Nascimento (2012) também concluíram que a retenção revela uma grande falta de preparação da escola para lidar com o insucesso. Os autores salientaram que a retenção faz com que a amostra tenha muitos estudantes nos anos de escolaridade mais baixos. Crahay e Baye (2013) evidenciaram que os estudantes de extratos socioeconômicos mais baixos, além de tenderem a ficar mais vezes retidos do que os de extratos superiores, têm também desempenhos inferiores. Afirmaram que a retenção é uma prática ineficaz e prejudicial para os estudantes, sendo essa prática tida como legítima em alguns países e inadequada em outros, pois afeta principal e significativamente os estudantes de origem social mais desfavorecida. Os autores consideraram ainda que, para competências iguais, os estudantes socialmente desfavorecidos não ficam retidos mais vezes que os estudantes socialmente favorecidos. No entanto, os estudantes socialmente desfavorecidos são mais afetados pela tendência de serem mais fracos. Reforçaram que os estudantes menos favorecidos são duplamente penalizados, levantando-se, deste modo, um problema de justiça social (CRAHAY; BAYE, 2013). Como podemos constatar, a retenção é comum aos sistemas educativos português e brasileiro.

O segundo subfator, equidade/desigualdade educacional, foi referido por três estudos brasileiros e um português. Crahay e Baye (2013) detectaram que, para aumentar a média geral de um sistema educativo no PISA, é necessário reduzir a diferença social de desempenho dos mais desfavorecidos e, ao mesmo tempo, elevar o desempenho dos mais favorecidos. Estes autores terminaram o estudo referindo que o determinismo social é gerador de desigualdades e que não existe em nenhum lado uma escola justa e eficaz. Soares e Nascimento (2012) afirmaram que um sistema educativo tem que considerar todos os estudantes na sua diversidade, sejam eles de que proveniência forem. Em Portugal, o estudo de Afonso e Costa (2009) destacou o papel que o PISA teve para justificar diversas políticas educativas, introduzidas no sistema educativo, na área da qualidade e equidade escolar.

O terceiro subfator, políticas educativas, emergiu em dois estudos portugueses. O autor português, Carvalho e Silva (2004, p. 78), concluiu que "[...] estudos como o PISA são instrumentos extremamente úteis tanto para a definição de políticas educacionais gerais eficazes como para a definição de estratégias que permitam melhorar o ensino da Matemática em Portugal". Afonso e Costa (2009) reforçaram a ideia de que o PISA influencia o modo de fazer política educativa, permitindo substituir o debate mais ideológico, dando lugar à criação de processos de decisão política, baseados em informação técnica, em dados e números.

A autonomia da escola, quarto subfator, foi também abordado por dois estudos em Portugal. Carvalho e Silva (2004) afirmou que é preciso dar maior autonomia às escolas, para que possam melhorar o clima escolar e a qualificação dos professores. Pereira (2010) salientou que a autonomia da escola é determinante para aumentar os resultados e que as escolas portuguesas têm pouca autonomia na gestão dos recursos, gestão dos programas e nos métodos de avaliação.

O último subfator, abandono escolar, foi destacado por um estudo português e por um estudo brasileiro. Carvalho e Silva (2004) observou que quando um sistema educativo não fornece meios de recuperação aos estudantes mais desfavorecidos e com piores resultados, esses acabam por ficar com baixos níveis de escolaridade e frequentemente abandonam o sistema educativo. Deste modo, eles saem com "[...] um nível de formação muito baixo, que prejudica tanto esses estudantes como o próprio país" (CARVALHO E SILVA, 2004, p. 77). Soares e Nascimento (2012, p. 85) detectaram que um sistema não pode ser bom se os seus piores estudantes não aprenderem, evitando assim que os menos favorecidos tenham de abandonar a escola. Os autores salientaram que "[...] o objetivo do sistema educacional de um país não pode ser a melhoria das habilidades cognitivas daqueles que conseguem chegar ao final do ensino médio e sim a melhoria das habilida des cognitivas de todas as crianças". Constataram ainda, de forma animadora, que uma "[...] parcela cada vez maior do avanço brasileiro pode ser atribuída, desde a segunda edição do Pisa, aos/às estudantes situados/as na camada inferior da distribuição das notas - uma sinalização de que nosso sistema educa cional vem paulatinamente reduzindo suas históricas desigualdades." (SOARES; NASCIMENTO, 2012, p. 86).

(ii) contexto socioeconômico e cultural familiar

Este fator destacou-se em cinco estudos, três no Brasil (AGUIAR; ORTIGÃO, 2012; CRAHAY; BAYE, 2013; DEL PORTO; FERREIRA, 2007) e dois em Portugal (CARVALHO E SILVA, 2004; PEREIRA, 2010). O estudo de Del Porto e Ferreira (2007) verificou que as possibilidades de ação dos indivíduos dentro do campo escolar são perpassadas pela desigual distribuição de capitais, a saber: de capital econômico (em razão dos bens e serviços a que ele dá acesso); capital social (que abrange os relacionamentos sociais influentes mantidos pela família; diálogo familiar; o status ocupacional; e os recursos educacionais familiares) e de capital cultural (que compreende as competências culturais e linguísticas socialmente herdadas pelo estudante, através da escolaridade e habilitações literárias dos pais). Del Porto e Ferreira (2007) detectaram também que: (a) os estudantes de famílias com alto poder econômico, mas com uma baixa posse de recursos educacionais têm um desempenho abaixo da média; e (b) os estudantes de famílias com baixo poder econômico, mas com alta posse de bens educacionais têm, geralmente, um desempenho superior à média, concluindo que há um forte impacto das características socioeconômicas e culturais do estudante sobre o seu desempenho escolar. O estudo de Aguiar e Ortigão (2012) considerou que os estudantes são influenciados pelos seus modos de pensar, pelos seus valores culturais e sociais, e que existe uma forte relação entre as características socioculturais e econômicas dos estudantes e das suas famílias, e os resultados escolares por eles obtidos. Os autores salientaram que a escola é um local onde se estabelecem relações de poder e, também, relações interpessoais, sendo por excelência, um espaço institucional privilegiado, em que os saberes e símbolos da sociedade moderna circulam. Concluíram que diferentes escolas podem fazer diferentes tipos de seleção no interior da cultura (AGUIAR; ORTIGÃO, 2012). Crahay (2013), no seu estudo, observou que os estudantes com uma condição socioeconômica modesta têm, frequentemente, desempenhos inferiores relativamente aos estudantes com melhores condições socioeconômicas. O autor destacou que

As crianças de categorias socioeconômicas inferiores, isto é, de famílias com menores rendimentos, que se caracterizam geralmente pelo trabalho manual do pai e por um nível baixo de escolaridade dos pais, chegam com menos frequência aos níveis mais elevados da trajetória escolar do que aqueles cujos pais têm uma boa renda e exercem uma profissão liberal ou de tipo intelectual. (CRAHAY; BAYE, 2013, p. 860).

Em Portugal, Carvalho e Silva (2004) apontou que uma das conclusões do PISA é que o ambiente familiar e o estatuto socioeconômico das famílias influenciam o sucesso educativo. As características e o contexto familiar foram alvo do estudo de Pereira (2010), o qual concluiu que os estudantes portugueses estão na metade inferior do ranking dos países participantes no PISA 2006. Considerou o contexto familiar desfavorável como a principal causa de tal classificação, referindo que "[...] o hiato entre Portugal e os países com melhor desempenho é particularmente grande para as habilitações literárias e a profissão dos pais" (PEREIRA, 2010, p. 29). Este estudo salientou, também, que o contexto socioeconômico tem um forte impacto no desempenho dos estudantes portugueses. Constatou, assim, que o ambiente familiar e a existência de recursos educacionais em casa, bem como o acompanhamento dos filhos na realização das tarefas escolares em casa são determinantes no sucesso dos estudantes.

(iii) características das escolas

Este fator foi abordado em três estudos, dois em Portugal (CARVALHO E SILVA, 2004; PEREIRA, 2010) e um no Brasil (AGUIAR; ORTIGÃO, 2012). Nesse fator destacaram-se três subfatores: a cultura da escola; o desempenho dos professores; e o tipo de escola (pública ou privada).

O primeiro subfator, cultura da escola, emergiu em dois estudos portugueses e um brasileiro. O estudo de Pereira (2010) detectou que a utilização dos recursos pelas escolas, tais como, dimensão das turmas e carga horária, tem influência no desempenho dos estudantes, em particular se estas horas forem usadas para apoiar os estudantes com insucesso escolar. A dimensão das turmas foi referida por dois estudos portugueses. Carvalho e Silva (2004) salientou que é necessário reduzir o número de estudantes por turma e acompanhar, mais de perto, os estudantes com dificuldades. No mesmo sentido, Pereira (2010) apontou que o número de estudantes por professor dentro da sala de aula tem influência nos resultados.

O autor Carvalho e Silva (2004) verificou que o uso dos recursos da escola, pelos estudantes, está mais estreitamente associado ao sucesso dos estudantes do que propriamente à infraestrutura física da escola. O estudo de Aguiar e Ortigão (2012) constatou que há escolas com as mesmas características que são melhores que outras a ajudar os seus estudantes. O entendimento do que se passa nas escolas abre um campo de intervenção para melhorar os resultados dos estudantes. Este entendimento é resultado da compreensão do próprio contexto escolar, dos processos escolares e, também, dos resultados dos seus estudantes.

O segundo subfator, desempenho dos professores, foi referido por dois estudos portugueses. O estudo de Carvalho e Silva (2004) detectou que o sucesso dos estudantes está relacionado com as expectativas que os professores têm em relação a eles, assim como com a moral e o empenho dos professores em desenvolver o seu trabalho. Acerca do ambiente em sala de aula, o autor referiu que "[...] alguns aspectos das práticas da sala de aula tendem a estar associados com o sucesso dos estudantes: as relações professor-estudante, o clima disciplinar na sala de aula, a ênfase que os professores dão ao desempenho escolar e o nível de exigência aos estudantes" (CARVALHO E SILVA, 2004, p. 78). Pereira (2010) afirmou que o número de estudantes por professor tem influência nos resultados, ressaltando que o desempenho dos professores tem um forte impacto no sucesso das aprendizagens dos seus estudantes.

O último subfator, tipo de escola, foi verificado em um estudo português. Pereira (2010) verificou que os estudantes de escolas privadas têm melhores resultados e provêm de famílias mais favorecidas em relação aos seus colegas de escolas públicas. Este fator está relacionado com a riqueza e com os escalões superiores de habilitações e profissões dos pais.

(iv) características dos estudantes

Este fator foi abordado em três estudos, dois no Brasil (DEL PORTO; FERREIRA, 2007; KLEIN, 2011) e um em Portugal (PEREIRA, 2010), nos quais emergiram dois subfatores: o gênero; e a idade.

O subfator gênero foi referido por um estudo português e por um estudo brasileiro. O estudo de Pereira (2010) demonstrou que o gênero tem influência no desempenho da matemática. Os estudantes do gênero masculino têm, regra geral, melhores resultados que os do gênero feminino. O mesmo é salientado pelo estudo de Del Porto e Ferreira (2007, p. 11), quando afirmou que "[...] os alunos vão melhor em matemática do que as alunas, com cerca de 14 pontos a mais na média".

O subfator idade foi detectado num estudo brasileiro que focou a comparabilidade de resultados dos estudantes no PISA. Klein (2011) identificou dois problemas relacionados com a idade dos estudantes: (a) a altura em que o teste é aplicado (uma vez que ser no início, no meio ou no fim do ano letivo pode influenciar os resultados dos estudantes); e (b) a idade com que os estudantes começam a sua escolaridade (há países em que é com 6 anos e outros com 7 anos). No entanto, o autor ressaltou que os problemas de comparabilidade, apontados neste estudo, não interferem na interpretação qualitativa de como estão os países, mas sim na comparação entre anos para o mesmo país com mudança da definição de idade, e também entre países. Concluindo, Klein (2011) sugeriu que o mais apropriado seria selecionar os estudantes pela idade escolar de 15 anos e realizar a aplicação em um número fixo de meses após o início do ano letivo. Essa regra deveria valer para todos os países e para todos os anos.

(v) uso das tecnologias da informação e comunicação (TIC)

Este fator foi abordado apenas em dois estudos, um em Portugal (PEREIRA, 2010) e outro no Brasil (DEL PORTO; FERREIRA, 2007), e sem muitos detalhes. O estudo de Pereira (2010) concluiu que o uso do computador para aceder à Internet ou para entretenimento está negativamente relacionado com o desempenho dos estudantes. No entanto, o uso de computadores associado à autoconfiança na realização de tarefas de alto nível pode ter um impacto positivo no desempenho dos estudantes. O estudo de Del Porto e Ferreira (2007) verificou que o acesso a recursos computacionais e educacionais domésticos (recurso à Internet e facilidades computacionais) tem um efeito notável sobre o desempenho dos estudantes brasileiros, mas que se o uso for só para entretenimento a sua influência já não se fará sentir.

Discussão

O presente estudo teve como objetivo obter uma visão global dos fatores influenciadores dos resultados de estudantes portugueses e brasileiros nas edições do PISA, de 2000 a 2012, através da literatura de investigação publicada. Com base na análise dos estudos selecionados, emergiram de forma indutiva cinco fatores e dez subfatores: (i) o sistema educativo, que englobou cinco subfatores: (a) a retenção; (b) a equidade/desigualdade educacional; (c) as políticas educativas; (d) a autonomia da escola; e (e) o abandono escolar; (ii) o contexto socioeconômico familiar; (iii) as características das escolas, que englobou três subfatores: (a) a cultura da escola; (b) o desempenho dos professores; e (c) o tipo de escola (pública ou privada); (iv) características do estudante, que englobou dois subfatores (a) o gênero; e (b) a idade; e (v) o uso de tecnologias da informação e comunicação.

A partir da análise comparativa dos dados dos dois países, podemos concluir que há uma multiplicidade de fatores que afetam o desempenho de estudantes no PISA, tanto em Portugal como no Brasil. Foi também possível verificar que dentre esses fatores, prevaleceram, o sistema educativo e o contexto socioeconômico dos estudantes.

No sistema educativo, o subfator retenção destacou-se, pois uma grande percentagem de estudantes, aos quais é aplicado o Programa, encontra-se num nível de escolaridade abaixo do que deveria estar, o que traz consequências negativas nos resultados do PISA. Os resultados salientam que esta medida "pedagógica" não resolve os problemas de aprendizagem dos estudantes. Estes dados são apoiados pelo relatório do PISA 2012 (OECD, 2014) e também por outros estudos mais gerais (BELOT; VANDENBERGHE, 2011; CONBOY, 2011; CORDERO FERRERA; CRESPO CEBADA; PEDRAJA CHAPARRO, 2013; CORDERO FERRERA et al., 2011; FISCHBACH et al., 2013; GARCÍA-PÉREZ; HIDALGO-HIDALGO; ROBLES-ZURITA, 2014).

O subfator equidade/desigualdade educacional também foi considerado muito importante em quatro estudos, pois a qualidade educacional está muito dependente do fraco desempenho dos estudantes mais desfavorecidos em escolas que são incapazes de compensar as desigualdades. Este é um tema referenciado noutros estudos internacionais (CORDERO FERRERA; CRESPO CEBADA; SANTÍN GONZÁLEZ, 2010; FERRER; VALIENTE; CASTEL, 2010; GILLEECE; COSGROVE; SOFRONIOU, 2010).

O subfator políticas educativas foi referenciado por somente dois estudos portugueses. Contudo, os resultados e relatórios do PISA legitimaram a tomada de medidas políticas sobre os sistemas educativos, que foram consideradas por alguns governos, como por exemplo, os governos português, alemão e sueco. Esse subfator foi alvo de outros estudos na literatura internacional (DOBBINS; MARTENS, 2012; DOLIN; KROGH, 2010; EIJKELHOF; KORDES; SAVELSBERGH, 2013; KNODEL; MARTENS; NIEMANN, 2013; LUNDGREN, 2011; PONS, 2011).

No sistema educativo, o subfator abandono escolar emergiu em somente um estudo português e um brasileiro. Este é um problema complexo em que intervêm múltiplos fatores e condições sociais, políticas, econômicas e, também, escolares (GONZÁLEZ GONZÁLEZ, 2006), os quais requerem reflexão e intervenção urgentes. Esse subfator foi também referenciado na literatura (AREEPATTAMANNIL, 2014; FERNANDES, 2008; GARCÍA-PÉREZ; HIDALGO-HIDALGO; ROBLES-ZURITA, 2014; GILLEECE; COSGROVE; SOFRONIOU, 2010).

O fator contexto socioeconômico e cultural familiar, considerado em cinco estudos, evidenciou que os estudantes provenientes de famílias com um nível socioeconômico mais elevado apresentam melhores resultados em letramento matemático, no PISA. Deste modo, como apontou o estudo de Del Porto e Ferreira (2007), é preciso uma maior atenção às questões que se prendem com as desigualdades no capital econômico, capital social e capital cultural das famílias, uma vez que a escola, não sendo um instrumento de mobilidade social, tenderá a perpetuar a desigual distribuição desses capitais nas futuras gerações. O fator mencionado influencia os resultados do PISA, sejam eles bons ou maus. Isto verifica-se não só em Portugal e no Brasil, mas também noutros países. A OCDE, ao ter desenvolvido o índice de Estatuto Econômico, Social e Cultural (IEESC), permitiu monitorizar o desempenho dos sistemas educativos de cada país ou economia participante, tendo em conta o grau de escolaridade, a ocupação, ou os recursos econômicos das famílias dos estudantes (OECD, 2013a). Estudos realizados em outros países dão destaque a este fator (ANDERSON et al., 2007; CORDERO FERRERA; CRESPO CEBADA; PEDRAJA CHAPARRO, 2013; CORDERO FERRERA; CRESPO CEBADA; SANTÍN GONZÁLEZ, 2010; DEMIR; KILIÇ; ÜNAL, 2010; MARTINO; REZAI-RASHTI, 2013).

Um subfator também ressaltado neste estudo foi o da cultura da escola, relativo ao fator características das escolas. Nesse subfator ficou evidente a importância que a autonomia, a gestão dos recursos, o número de estudantes por turma, o ambiente em sala de aula e as próprias motivações dos professores pode ter no sucesso da aprendizagem. Esse subfator foi também alvo da literatura internacional (ANDERSON et al., 2007; CHEEMA; KITSANTAS, 2014; CRESPO-CEBADA; PEDRAJA-CHAPARRO; SANTÍN, 2014; DEMIR; KILIÇ; ÜNAL, 2010; DENNY; OPPEDISANO, 2013; GÜZEL; BERBEROĞLU, 2005; LEE, 2012; VANDENBERGHE; ROBIN, 2004).

Uma menor visibilidade ocorreu com os subfatores gênero e idade dos estudantes, o que é corroborado por outros estudos (ANDERSON et al., 2007; DEMIR; KILIÇ; ÜNAL, 2010; FORGASZ; HILL, 2012; MARTINO; REZAI-RASHTI, 2013; MATĚJŮ; SMITH, 2015; REILLY, 2012; STOET; GEARY, 2013).

O uso das tecnologias da informação e comunicação foi o fator menos destacado nos estudos realizados em Portugal e no Brasil. No entanto, como atesta o estudo brasileiro, esse fator pode influenciar tanto positiva (realização de tarefas de alto nível) como negativamente (aceder à Internet ou para entretenimento) os resultados dos estudantes. Este fator também foi mencionado em dois outros estudos na literatura (DEMIR; KILIÇ; ÜNAL, 2010; GÜZEL; BERBEROĞLU, 2005). Tem também sido recentemente objeto de pesquisas mais detalhadas (OECD, 2015, p. 15, tradução nossa), cujas conclusões apontaram que "[...] os resultados do PISA mostram que não há melhorias apreciáveis no desempenho dos estudantes na leitura, matemática e ciências nos países que investiram fortemente em TIC na educação". Contudo, este relatório salientou que "[...] a tecnologia pode amplificar o bom ensino, mas a boa tecnologia não pode substituir o ensino fraco" (OECD, 2015, p. 17, tradução nossa).

Estes resultados apontam para uma lacuna significativa de estudos na literatura, em Portugal e no Brasil, pelo que se torna necessário um maior investimento em pesquisas nesta área. Investigar, divulgar e discutir os fatores que influenciam a aprendizagem dos estudantes é fundamental para que medidas efetivas e eficazes possam ser tomadas pelos países envolvidos no PISA, sobretudo porque a quantidade de dados disponíveis é enorme, mas a sua análise revela dificuldades tremendas.

É importante referir que os fatores que emergiram, neste estudo, são complexos e estão intimamente interligados. Destacaram-se os fatores sistema educativo (retenção, equidade/desigualdade educacional), contexto socioeconômico e cultural familiar, e características das escolas (cultura da escola). Esta conclusão não é surpreendente, mas significa que, em termos gerais, a vida na escola não pode ignorar a da sociedade na qual está inserida.

Contudo, outros fatores menos trabalhados podem ter também uma influência considerável em Portugal e no Brasil. Seria importante conhecer melhor o efeito das políticas educativas, da autonomia da escola, do abandono escolar, do desempenho dos professores, do gênero e do uso das tecnologias da informação e comunicação (que foram todos referidos apenas em dois dos oito estudos considerados). Outros fatores não emergentes neste estudo, como a educação sombra (PINTO; COSTA; CARVALHO E SILVA, 2014), e os recursos escolares (manuais escolares, livros didáticos e paradidáticos) deveriam também merecer a atenção dos pesquisadores.

As mudanças na educação requerem o comprometimento de todos os setores da sociedade, com destaque para os governos e responsáveis pelas políticas econômicas, sociais, culturais e educativas, assim como de todos os parceiros, incluindo pais e professores. Isto só é possível tendo como suporte dados concretos e estudos que os interpretam de forma clara, contribuindo, deste modo, para que o consenso seja mais sólido e o comprometimento de todos tenha um impacto prático mais eficaz no sucesso dos estudantes. Assim, os dados do PISA podem se constituir numa oportunidade excelente de fundamentar melhor as decisões e os planos políticos.

Referências

• AFONSO, N.; COSTA, E. A influência do Programme for International Student Assessment (PISA) na decisão política em Portugal: o caso das políticas educativas do XVII Governo Constitucional Português. Sísifo: revista de ciências da educação, Lisboa, n. 10, p. 53-63, 2009. Disponível em: <http://hdl.handle.net/10451/5667>. Acesso em: 10 out. 2016.
  » http://hdl.handle.net/10451/5667
• AGUIAR, G. S.; ORTIGÃO, M. I. R. Letramento em matemática: um estudo a partir dos dados do PISA 2003. Bolema: boletim de educação matemática, Rio Claro, v. 26, n. 42a, p. 1-22, 2012. Disponível em: <http://dx.doi.org/10.1590/S0103-636X2012000100002>. Acesso em: 10 out. 2016.
  » http://dx.doi.org/10.1590/S0103-636X2012000100002
• ANDERSON, J. O. et al. Using large-scale assessment datasets for research in science and mathematics education: Programme for International Student Assessment (PISA). International Journal of Science and Mathematics Education, Dordrecht, v. 5, n. 4, p. 591-614, 2007.
• AREEPATTAMANNIL, S. Are learning strategies linked to academic performance among adolescents in two states in India?: a tobit regression analysis. The Journal of General Psychology, Philadelphia, v. 141, n. 4, p. 408-24, 2014.
• BELOT, M.; VANDENBERGHE, V. Evaluating the "threat" effects of grade repetition: exploiting the 2001 reform by the French-speaking community of Belgium. Education Economics, Abingdon, v. 22, n. 1, p. 73-89, 2011.
• CARVALHO E SILVA, J. A importância do estudo internacional PISA. Boletim da Sociedade Portuguesa de Matemática, Lisboa, v. 51, p. 67-80, 2004.
• CHEEMA, J. R.; KITSANTAS, A. Influences of disciplinary classroom climate on high school student self-efficacy and mathematics achievement: a look at gender and racial-ethnic differences. International Journal of Science and Mathematics Education, Dordrecht, v. 12, n. 5, p. 1261-1279, 2014.
• CONBOY, J. Retention and science performance in Portugal as evidenced by PISA. Procedia: social and behavioral sciences, Amsterdam, v. 12, p. 311-321, 2011. Disponível em: <http://www.sciencedirect.com/science/article/pii/S1877042811001303>. Acesso em: 10 out. 2016.
  » http://www.sciencedirect.com/science/article/pii/S1877042811001303
• CORDERO FERRERA, J.; CRESPO CEBADA, E.; PEDRAJA CHAPARRO, F. Rendimiento educativo y determinantes según PISA: una revisión de la literatura en España. Revista de Educación, Madrid, n. 362, p. 273-297, 2013. Disponível em: <http://www.mecd.gob.es/dctm/revista-de-educacion/articulosre362/re36210.pdf?documentId=0901e72b816fbab8>. Acesso em: 10 out. 2016.
  » http://www.mecd.gob.es/dctm/revista-de-educacion/articulosre362/re36210.pdf?documentId=0901e72b816fbab8
• CORDERO FERRERA, J.; CRESPO CEBADA, E.; SANTÍN GONZÁLEZ, D. Factors affecting educational attainment: evidence from Spanish PISA 2006 results. Regional and Sectoral Economics Studies, Santiago de Compostela, v. 10, n. 3, p. 55-76, 2010. Disponível em: <http://www.usc.es/economet/reviews/eers1034.pdf>. Acesso em: 10 out. 2016.
  » http://www.usc.es/economet/reviews/eers1034.pdf
• CORDERO FERRERA, J. et al. Exploring educational efficiency divergences across Spanish regions in PISA 2006. Revista de Economía Aplicada, Zaragoza, v. 19, n. 57, p. 117-145, 2011. Disponível em: <http://www.redalyc.org/pdf/969/96922243005.pdf>. Acesso em: 10 out. 2016.
  » http://www.redalyc.org/pdf/969/96922243005.pdf
• CRAHAY, M.; BAYE, A. Existem escolas justas e eficazes?: esboço de resposta baseado no PISA 2009. Cadernos de Pesquisa, São Paulo, v. 43, n. 150, p. 858-883, 2013. Disponível em: <http://dx.doi.org/10.1590/S0100-15742013000300007>. Acesso em: 10 out. 2016.
  » http://dx.doi.org/10.1590/S0100-15742013000300007
• CRESPO-CEBADA, E.; PEDRAJA-CHAPARRO, F.; SANTÍN, D. Does school ownership matter?: an unbiased efficiency comparison for regions of Spain. Journal of Productivity Analysis, New York, v. 41, n. 1, p. 153-172, 2014.
• DEL PORTO, F. B.; FERREIRA, C. S. Os fatores socioeconômicos e culturais associados ao desempenho dos alunos no PISA 2003 (Brasil, México, Espanha e Portugal). In: CONGRESSO BRASILEIRO DE SOCIOLOGIA, 13., 2007, Recife. Anais... Disponível em: <http://www.sbsociologia.com.br/portal/index.php?option=com_docman&task=doc_download&gid=441&Itemid=170>. Acesso em: 10 out. 2016.
  » http://www.sbsociologia.com.br/portal/index.php?option=com_docman&task=doc_download&gid=441&Itemid=170
• DEMIR, İ.; KILIÇ, S.; ÜNAL, H. Effects of students' and schools' characteristics on mathematics achievement: findings from PISA 2006. Procedia: social and behavioral sciences, Amsterdam, v. 2, n. 2, p. 3099-3103, 2010. Disponível em: <http://www.sciencedirect.com/science/article/pii/S1877042810005124>. Acesso em: 10 out. 2016.
  » http://www.sciencedirect.com/science/article/pii/S1877042810005124
• DENNY, K.; OPPEDISANO, V. The surprising effect of larger class sizes: evidence using two identification strategies. Labour Economics, Amsterdam, v. 23, p. 57-65, 2013.
• DOBBINS, M.; MARTENS, K. Towards an education approach à la finlandaise?: French education policy after PISA. Journal of Education Policy, Abingdon, v. 27, n. 1, p. 23-43, 2012.
• DOLIN, J.; KROGH, L. B. The relevance and consequences of PISA science in a Danish context. International Journal of Science and Mathematics Education, Dordrecht, v. 8, n. 3, p. 565-592, 2010.
• EIJKELHOF, H. M. C.; KORDES, J. H.; SAVELSBERGH, E. R. Implications of PISA outcomes for science curriculum reform in the Netherlands. In: PRENZEL, M. et al. (Ed.). Research on PISA: research outcomes of the PISA Research Conference 2009. Dordrecht: Springer, 2013. p. 7-21.
• FERNANDES, D. Algumas reflexões acerca dos saberes dos alunos em Portugal. Educação & Sociedade, Campinas, v. 29, n. 102, p. 275-296, 2008. Disponível em: <http://www.redalyc.org/articulo.oa?id=87314211014>. Acesso em: 10 out. 2016.
  » http://www.redalyc.org/articulo.oa?id=87314211014
• FERRER, F.; VALIENTE, Ó.; CASTEL, J. L. Los resultados PISA-2006 desde la perspectiva de las desigualdades educativas: la comparación entre comunidades autónomas en España. Revista Española de Pedagogia, Madrid, v. 68, n. 245, p. 23-48, 2010. Disponível em: <https://dialnet.unirioja.es/servlet/articulo?codigo=3099321>. Acesso em: 10 out. 2016.
  » https://dialnet.unirioja.es/servlet/articulo?codigo=3099321
• FISCHBACH, A. et al. PISA proficiency scores predict educational outcomes. Learning and Individual Differences, Kidlington, v. 24, p. 63-72, 2013. Disponível em: <http://dx.doi.org/10.1016/j.lindif.2012.10.012>. Acesso em: 11 out. 2016.
  » http://dx.doi.org/10.1016/j.lindif.2012.10.012
• FORGASZ, H. J.; HILL, J. C. Factors implicated in high mathematics achievement. International Journal of Science and Mathematics Education, Dordrecht, v. 11, n. 2, p. 481-499, 2012.
• GARCÍA-PÉREZ, J. I.; HIDALGO-HIDALGO, M.; ROBLES-ZURITA, J. A. Does grade retention affect students' achievement?: some evidence from Spain. Applied Economics, Abingdon, v. 46, n. 12, p. 1373-1392, 2014.
• GILLEECE, L.; COSGROVE, J.; SOFRONIOU, N. Equity in mathematics and science outcomes: characteristics associated with high and low achievement on PISA 2006 in Ireland. International Journal of Science and Mathematics Education, Dordrecht, v. 8, n. 3, p. 475-496, 2010.
• GONZÁLEZ GONZÁLEZ, M. T. Absentismo y abandono escolar: una situación singular de la exclusión educativa. REICE: revista eletrónica iberoamericana sobre calidad, eficacia y cambio en educación, Madrid, v. 4, n. 1, p. 1-15, 2006. Disponível em: <http://www.redalyc.org/articulo.oa?id=55140102>. Acesso em: 10 out. 2016.
  » http://www.redalyc.org/articulo.oa?id=55140102
• GÜZEL, Ç. I.; BERBEROĞLU, G. An analysis of the Programme for International Student Assessment 2000 (PISA 2000): mathematical literacy data for Brazilian, Japanese and Norwegian students. Studies in Educational Evaluation, Kidlington, v. 31, n. 4, p. 283-314, 2005.
• INEP. Relatório nacional PISA 2012: resultados brasileiros. [Brasília], 2014. Disponível em: <http://download.inep.gov.br/acoes_internacionais/pisa/resultados/2014/relatorio_nacional_pisa_2012_resultados_brasileiros.pdf>. Acesso em: 7 out. 2016.
  » http://download.inep.gov.br/acoes_internacionais/pisa/resultados/2014/relatorio_nacional_pisa_2012_resultados_brasileiros.pdf
• KLEIN, R. Uma re-análise dos resultados do PISA: problemas de comparabilidade. Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 19, n. 73, p. 717-768, 2011. Disponível em: <http://dx.doi.org/10.1590/S0104-40362011000500002>. Acesso em: 11 out. 2016.
  » http://dx.doi.org/10.1590/S0104-40362011000500002
• KNODEL, P.; MARTENS, K.; NIEMANN, D. PISA as an ideational roadmap for policy change: exploring Germany and England in a comparative perspective. Globalisation, Societies and Education, Abingdon, v. 11, n. 3, p. 421-441, 2013.
• LEE, J.-S. The effects of the teacher-student relationship and academic press on student engagement and academic performance. International Journal of Educational Research, Kidlington, v. 53, p. 330-340, 2012. Disponível em: <http://dx.doi.org/10.1016/j.ijer.2012.04.006>. Acesso em: 11 out. 2016.
  » http://dx.doi.org/10.1016/j.ijer.2012.04.006
• LUNDGREN, U. P. PISA as a political instrument: one history behind the formulating of the PISA programme. In: PEREYRA, M. A.; KOTTHOFF, H. G.; COWEN, R. (Ed.). PISA under examination: changing knowledge, changing tests, and changing schools. Rotterdam: Sense Publishers, 2011. p. 17-30.
• MARTINO, W.; REZAI-RASHTI, G. 'Gap talk' and the global rescaling of educational accountability in Canada. Journal of Education Policy, Abingdon, v. 28, n. 5, p. 589-611, 2013.
• MATĚJŮ, P.; SMITH, M. L. Are boys that bad?: gender gaps in measured skills, grades and aspirations in Czech elementary schools. British Journal of Sociology of Education, Abingdon, v. 36, n. 6, p. 871-895, 2015. Disponível em: <http://dx.doi.org/10.1080/01425692.2013.874278>. Acesso em: 11 out. 2016.
  » http://dx.doi.org/10.1080/01425692.2013.874278
• OECD. Literacy skills for the world of tomorrow: further results from PISA 2000. [Paris]: OECD Publishing, 2003a. Disponível em: <http://www.uis.unesco.org/Library/Documents/pisa03-en.pdf>. Acesso em: 7 out. 2016.
  » http://www.uis.unesco.org/Library/Documents/pisa03-en.pdf
• OECD. Literacy skills for the world of tomorrow: further results from PISA 2000 : executive summary. [Paris]: OECD Publishing, 2003b. Disponível em: <https://www.oecd.org/edu/school/2960581.pdf>. Acesso em: 7 out. 2016.
  » https://www.oecd.org/edu/school/2960581.pdf
• ______. Measuring student knowledge and skills: the PISA 2000 assessment of reading, mathematical and scientific literacy. Paris: OECD, 2000. Disponível em: <http://files.eric.ed.gov/fulltext/ED451203.pdf>. Acesso em: 6 out. 2016.
  » http://files.eric.ed.gov/fulltext/ED451203.pdf
• ______. PISA 2012 results: excellence through equity: giving every student the chance to succeed. [Paris]: OECD Publishing, 2013a. v. 2. Disponível em: <https://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-II.pdf>. Acesso em: 7 out. 2016.
  » https://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-II.pdf
• _______. PISA 2012 results: ready to learn: students' engagement, drive and self-beliefs. [Paris]: OECD Publishing, 2013b. v. 3. Disponível em: <https://www.oecd.org/pisa/keyfindings/PISA-2012-results-volume-III.pdf>. Acesso em: 7 out. 2016.
  » https://www.oecd.org/pisa/keyfindings/PISA-2012-results-volume-III.pdf
• ______. PISA 2012 results: what makes schools successful? - resources, policies and practices. [Paris]: OECD Publishing, 2013c. v. 4. Disponível em: <https://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-IV.pdf>. Acesso em: 7 out. 2016.
  » https://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-IV.pdf
• ______. PISA 2012 results: what students know and can do - student performance in mathematics, reading and science. [Paris]: OECD Publishing, 2014. v. 1. Disponível em: <https://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-I.pdf>. Acesso em: 7 out. 2016.
  » https://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-I.pdf
• _______. PISA: students, computers and learning: making the connection. [Paris]: OECD Publishing, 2015.
• PEREIRA, M. C. Desempenho educativo e igualdade de oportunidades em Portugal e na Europa: o papel da escola e a influência da família. Boletim Económico, Lisboa, v. 16, n. 4, p. 25-48, 2010. Disponível em: <http://www.bportugal.pt/pt-PT/EstudosEconomicos/Publicacoes/BoletimEconomico/BEAnteriores/Documents/bol_inverno10_p.pdf>. Acesso em: 7 out. 2016.
  » http://www.bportugal.pt/pt-PT/EstudosEconomicos/Publicacoes/BoletimEconomico/BEAnteriores/Documents/bol_inverno10_p.pdf
• PINTO, J.; COSTA, J. A.; CARVALHO E SILVA, J. Explicações, escolas e sucesso educativo: reflexão em torno da educação sombra. Indagatio Didactica, Aveiro, v. 6, n. 4, p. 24-36, 2014. Disponível em: <http://revistas.ua.pt/index.php/ID/article/view/3021>. Acesso em: 7 out. 2016.
  » http://revistas.ua.pt/index.php/ID/article/view/3021
• PONS, X. What do we really learn from PISA?: the sociology of its reception in three european countries (2001-2008). European Journal of Education, Chichester, v. 46, n. 4, p. 540-548, 2011.
• PORTUGAL. Ministério da Educação. PISA 2000: conceitos fundamentais em jogo na avaliação de literacia matemática e competências dos alunos portugueses. Lisboa, 2002. Disponível em: <http://www.esenviseu.net/principal/noticias/URL/Matematica/Pisa2000.pdf>. Acesso em: 7 out. 2016.
  » http://www.esenviseu.net/principal/noticias/URL/Matematica/Pisa2000.pdf
• PORTUGAL. Ministério da Educação. PISA 2000: conceitos fundamentais em jogo na avaliação de literacia científica e competências dos alunos portugueses. Lisboa, 2003. Disponível em: <http://biblioteca.esec.pt/cdi/ebooks/docs/conceitos_literacia_cientifica%5b1%5dPisa2000.pdf>. Acesso em: 7 out. 2016.
  » http://biblioteca.esec.pt/cdi/ebooks/docs/conceitos_literacia_cientifica%5b1%5dPisa2000.pdf
• ______. PISA 2003: conceitos fundamentais em jogo na avaliação de literacia matemática. Lisboa, 2004. Disponível em: <http://biblioteca.esec.pt/cdi/ebooks/docs/Literacia_matematica_pisa2003.pdf>. Acesso em: 7 out. 2016.
  » http://biblioteca.esec.pt/cdi/ebooks/docs/Literacia_matematica_pisa2003.pdf
• ______. PISA 2012: Portugal, primeiros resultados. Lisboa, 2013. Disponível em: <http://www.dgeec.mec.pt/np4/246/%7B$clientServletPath%7D/?newsId=371&fileName=PISA_Primeiros_Resultados_PORTUGAL.pdf>. Acesso em: 7 out. 2016.
  » http://www.dgeec.mec.pt/np4/246/%7B$clientServletPath%7D/?newsId=371&fileName=PISA_Primeiros_Resultados_PORTUGAL.pdf
• ______. Resultados do estudo internacional PISA 2000 Lisboa, 2001. Disponível em: <https://www.oecd.org/portugal/33685403.pdf>. Acesso em: 7 out. 2016.
  » https://www.oecd.org/portugal/33685403.pdf
• REILLY, D. Gender, culture, and sex-typed cognitive abilities. PLOS One, San Francisco, v. 7, n. 7, p. 1-16, 2012. Disponível em: <http://dx.doi.org/10.1371/journal.pone.0039904>. Acesso em: 7 out. 2016.
  » http://dx.doi.org/10.1371/journal.pone.0039904
• SOARES, S. S. D.; NASCIMENTO, P. A. M. M. Evolução do desempenho cognitivo dos jovens brasileiros no PISA. Cadernos de Pesquisa, São Paulo, v. 42, n. 145, p. 68-87, 2012. Disponível em: <http://dx.doi.org/10.1590/S0100-15742012000100006>. Acesso em: 7 out. 2016.
  » http://dx.doi.org/10.1590/S0100-15742012000100006
• STOET, G.; GEARY, D. C. Sex differences in mathematics and reading achievement are inversely related: within - and across - nation assessment of 10 years of PISA data. PLOS One, San Francisco, v. 8, n. 3, p. 1-10, 2013. Disponível em: <http://dx.doi.org/10.1371/journal.pone.0057988>. Acesso em: 7 out. 2016.
  » http://dx.doi.org/10.1371/journal.pone.0057988
• VANDENBERGHE, V.; ROBIN, S. Evaluating the effectiveness of private education across countries: a comparison of methods. Labour Economics, Amsterdam, v. 11, n. 4, p. 487-506, 2004. Disponível em: <http://dx.doi.org/10.1016/j.labeco.2004.02.007>. Acesso em: 7 out. 2016.
  » http://dx.doi.org/10.1016/j.labeco.2004.02.007
• WHITTEMORE, R.; KNAFL, K. The integrative review: updated methodology. Journal of Advanced Nursing, Chichester, v. 52, n. 5, p. 546-553, 2005.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2016

Histórico

• Recebido
  26 Nov 2015
• Aceito
  20 Mar 2016