Resolução colaborativa de problemas: resultados brasileiros no Pisa ^*

Collaborative problem-solving: brazilian results in PISA

Resolución colaborativa de problemas: resultados brasileños en Pisa

Resumo

A resolução colaborativa de problemas (RCP) é uma competência de extrema relevância na sociedade moderna e uma das mais valorizadas neste século. O Programa Internacional de Avaliação de Alunos (Pisa) foi a primeira avaliação em larga escala a incluir a resolução de problemas em sua matriz de referência. Esse estudo preliminar se restringe aos resultados publicados nos relatórios oficiais do Programa. Aqui, especificamente, discutimos esses resultados à luz da literatura de referência, bem como descrevemos o conceito de RCP no Pisa 2015. O Brasil, dentre os 52 países participantes, ocupou a 51ª posição nas habilidades relacionadas à RCP, ficando no Nível 1 da escala de desempenho. O status socioeconômico, a variação nas escolas e o gênero relacionam-se, positivamente, com o desempenho brasileiro em RCP.

Resolução Colaborativa de Problemas; Avaliação em Larga-Escala; Pisa; Brasil; Estudo Comparativo

Abstract

Collaborative problem-solving (CPS) is an extremely important competition in modern society and one of the most valued in this century . The Programme for International Student Assessment (Pisa) was the first educational large-scale assessment to include problem-solving to its framework. In this preliminary study, the results presented are limited to what has been published in the official reports. Here, we discuss these results in the light of specialized literature and describe Pisa’s 2015 CPS framework. Brazil was the 51th country in CPS skills among the 52 participants in Pisa 2015 and is placed in Level 1 of the performance scale. The socio-economic status, the variation within schools and the gender relate positively to the Brazilian performance in problem-solving.

Collaborative Problem-Solving; Large-scale Assessment; Pisa; Brazil; Comparative Study

Resumen

La resolución colaborativa de problemas (RCP) es una habilidad extremadamente importante en la sociedad moderna y una de las más valoradas en este siglo. El Programa Internacional de Evaluación de Alumnos (Pisa) fue la primera evaluación a gran escala que incluyó la resolución de problemas en su matriz de referencia. Este estudio preliminar se limita a los resultados publicados en los informes oficiales del Programa. Aquí, específicamente, discutimos estos resultados a la luz de la literatura de referencia, así como también describimos el concepto de RCP en Pisa 2015. Brasil, entre 52 países participantes, ocupó el puesto 51 en las habilidades relacionadas con la RCP, ubicándose en el Nivel 1 del escala de desempeño. El estatus socioeconómico, la variación escolar y el género se relacionan positivamente con el desempeño brasileño en RCP.

Resolución Colaborativa de Problemas; Evaluación a Gran escala; Pisa; Brasil; Estudio Comparativo

1 Introdução

A resolução colaborativa de problemas (RCP) é uma competência de extrema relevância na sociedade moderna e uma das mais valorizadas neste século (GRAESSER et al ., 2017; GRAESSER; KUO; LIAO, 2017; GREIFF; HOLT; FUNKE, 2013; GRIFFIN; CARE, 2015 ; GRIFFIN; MCGAW; CARE, 2011; HEESE et al ., 2015; SOTTILARE et al ., 2018). É uma habilidade crítica e necessária em ambientes educacionais e na força de trabalho (HE et al ., 2017), porque muitas partes do planejamento, da solução de problemas e da tomada de decisão, na contemporaneidade, são realizados em equipe (GRAESSER; KUO; LIAO, 2017).

Conforme He et al . (2017), lidar de forma hábil com novos problemas em diversas configurações e contextos como parte de uma equipe, e não individualmente, é o cerne do conceito da RCP. Para esses autores, a RCP reflete um conjunto de habilidades que combina aspectos cognitivos e sociais relevantes para a solução bem-sucedida de problemas entre domínios, independentemente da configuração contextual específica.

Devido a essas características, a RCP tem sido motivo de interesse das avaliações nacionais e internacionais. O Programa Internacional de Avaliação de Alunos (Pisa), desenvolvido e organizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), que, a cada 3 anos testa alunos de 15 anos de idade de todas as partes do mundo quanto às habilidades de leitura, matemática e ciências, foi a primeira avaliação educacional em larga escala a incluir o teste de habilidades de resolução de problemas na sua matriz de referência. O referido programa começou com a solução de problemas analíticos, por meio de testes impressos, em 2003; focou na solução interativa de problemas em computador, em 2012; e, por fim, na avaliação da capacidade cooperativa de solução de problemas, na edição de 2015.

O Brasil é um país convidado no Pisa e tem participado de todas as edições desde a primeira, no ano 2000. A sétima e última rodada da avaliação trienal do Pisa, até o momento da submissão desse artigo, foi a de 2018¹ . Nessa edição, além dos temas centrais (Leitura, Ciências e Matemática), o programa inovou ao incluir os domínios de Letramento Financeiro e Competência Global. A RCP não voltou a ser avaliada pelo programa em 2018 e, por isso, aqui, o foco é a edição de 2015. Muito tem sido produzido a respeito dos resultados brasileiros no programa nos temas centrais por ele avaliados desde então, no entanto, não há muitas publicações sobre os resultados do país em RCP. Na ocasião dos dados coletados em 2015, o Ministério da Educação do Brasil (MEC) publicou um informe geral de quatro páginas (BRASIL, 2017) e o Instituto Interdisciplinaridade e Evidências no Debate Educacional (Iede), um panorama sobre o assunto, explorando estes dados de forma mais analítica ( PORTAL IEDE, 2018 ).

O foco desse trabalho consiste na importância de se explorar os resultados brasileiros relacionados à RCP no Pisa 2015. Concordamos com He et al. (2017) que o foi um passo arrojado do programa incorporar os aspectos social e cognitivo na avaliação e que a inovação introduz um outro ponto de vista para a compreensão do desempenho da proficiência dos alunos, indo além do domínio específico de competências e mera construção de habilidades cognitivas, tais como o raciocínio e a memória operacional (GREIFF et al ., 2014).

Esse é um estudo preliminar e os resultados restringem-se ao que tem sido publicado pelos relatórios da OCDE. Nossa intenção é discutir tais resultados a partir do aporte teórico da área e descrever o conceito de RCP no Pisa 2015. Desse modo, por meio dessa reflexão, objetivamos verificar como os relatórios existentes podem responder aos seguintes questionamentos: a) como os alunos brasileiros foram ranqueados no contexto internacional, acerca da RCP no Pisa, e o que tal classificação implicou?; b) o resultado nas três áreas principais do Pisa estava relacionado ao desempenho do país em RCP? e c) quais foram os dados demográficos dos alunos capazes de ajudar a explicar o resultado brasileiro em RCP?

2 A RCP no Pisa 2015

A competência de RCP foi definida na estrutura do Pisa 2015 como “[...] a capacidade de um indivíduo engajar-se em um processo no qual dois ou mais agentes buscam resolver um problema, compartilhando entendimentos e esforços, usando seus conhecimentos e habilidades para chegar a uma solução” ( BRASIL, 2017 ; OCDE, 2017a).

Na avaliação do Pisa, um agente era o aluno cujo desempenho estava sendo avaliado e todos os outros agentes eram simulações computadorizadas. Segundo o programa (OCDE, 2017a), isso permitiu que a avaliação controlasse o comportamento dos outros agentes para isolar a capacidade de RCP do aluno que estava sendo avaliado. Em outras palavras, se o aluno estivesse em um grupo com outros colegas, seu desempenho dependeria da capacidade desses outros e das relações preexistentes entre eles.

O programa fez essa defesa porque o desenvolvimento de uma avaliação psicométrica rigorosa para a RCP encontra muitos desafios. De acordo com Greiff, Holt e Funke (2013), uma delas alude à questão de saber se os solucionadores de problemas devem interagir com agentes artificialmente simulados (agente-humano) ou alunos reais localizados em outro computador (humano-humano). O argumento dos autores de que, embora um amplo espectro de agentes possa ser incorporado à avaliação de uma perspectiva técnica, de modo a permitir um controle padronizado sobre a situação da avaliação, a validade externa dessa abordagem ainda não foi verificada. As interações humano-humano, por outro lado, têm alta validade facial, mas são difíceis de controlar e de combinar em um ambiente de avaliação em larga escala. A prioridade no desenvolvimento de testes para o Pisa 2015 foi colocada, portanto, na padronização para obter pontuações comparáveis entre alunos de uma ampla variedade de países (HE et al ., 2017).

Conforme He et al . (2017), para garantir que os alunos experimentassem padrões de comunicação e de comportamentos colaborativos com colegas, de modo comparável, os itens de RCP do Pisa foram projetados à medida que os alunos interagiam com agentes simulados por computador e se comunicavam com os agentes por meio de mensagens de bate-papo predefinidas. “Por meio desse processo, todos os alunos encontraram, praticamente, os mesmos estímulos e tiveram as mesmas oportunidades de reagir enquanto trabalhavam para resolver a situação de solução de problemas” (HE et al ., 2017, p. 99, tradução nossa)² .

Outro desafio para os avaliadores é garantir que a abordagem da avaliação possa capturar e avaliar, com precisão, a atividade do grupo e as contribuições individuais para o esforço colaborativo ( ROSEN; FOLTZ, 2014 ). Normalmente, a ênfase da avaliação é feita no nível de cada aluno. Isso representa um desafio para a avaliação apropriada da colaboração, porque é difícil identificar as contribuições dos indivíduos para o esforço do grupo e isolar essas contribuições do “ruído” criado pelas diferentes composições do grupo ( SHAW; CHILD, 2017 ). Esse desafio também foi superado no Pisa pelo uso de parceiros colaborativos simulados por computador, uma vez que “o agente do computador iniciava o comportamento colaborativo, mas ocasionalmente ‘testava’ o participante, exibindo alguns mal-entendidos ou sugerindo estratégias enganosas” ( SHAW; CHILD, 2017 , p. 17, tradução nossa)³ .

Todos os itens da avaliação foram de múltipla escolha ou envolveram a movimentação de ícones no slot apropriado⁴ ; não houve itens de resposta livre. Como se tratava de uma avaliação interativa, os alunos tinham, necessariamente, que responder cada questão antes de passar para a próxima e não podiam pular ou omitir perguntas. A colaboração foi avaliada por meio das respostas dos alunos em suas interações com agentes baseados em computador (OCDE, 2017a).

A dimensão de resolução de problemas na RCP do Pisa 2015 incorporou a mesma estrutura de resolução de problemas da matriz de referência do Pisa 2012, que visava a solução individual de problemas ( FUNKE, 2010 ; GRAESSER et al ., 2017; GREIFF et al ., 2014; OCDE, 2010). Os três principais processos de colaboração foram: (1) estabelecer e manter entendimento compartilhado; (2) tomar medidas adequadas para resolver o problema e (3) estabelecer e manter a organização da equipe (GRAESSER; KUO; LIAO, 2017). Os quatro processos de solução de problemas foram: (A) explorar e entender o problema; (B) representar e formular o problema; (C) planejar e executar estratégias e (D) monitorar e refletir sobre as atividades de solução de problemas (OCDE, 2017a, 2017b).

Quando os 4 processos de resolução de problemas foram cruzados com os 3 processos de colaboração, 12 habilidades resultaram na matriz de avaliação de RCP do Pisa 2015 ( Tabela 1 ). Uma avaliação satisfatória da RCP avaliaria os níveis de habilidade dos alunos para cada uma dessas 12 células e isso contribuiria para a medida de proficiência geral em RCP (GRAESSER et al ., 2017).

Tabela 1
Pisa 2015: Resolução Colaborativa de Problemas

Processos de Resolução de Problemas	Processos de colaboração
	(1) Estabelecer e manter entendimento compartilhado	(2) Tomar medidas adequadas para resolver o problema	(3) Estabelecer e manter a organização da equipe
(A) Explorar e entender	(A1) Descobrir perspectivas e habilidades dos membros da equipe	(A2) Descobrir o tipo de interação colaborativa para a resolução do problema, assim como os objetivos	A3) Entender o papel de cada membro da equipe para a resolução do problema
(B) Representar e formular	(B1) Construir uma representação compartilhada e negociar o significado do problema (interesse comum)	(B2) Identificar e descrever as tarefas a serem completadas	(B3) Descrever os papéis e a organização da equipe (protocolo de comunicação/regras de comprometimento)
(C) Planejar e executar	(C1) Comunicar-se com os membros da equipe sobre as ações realizadas	(C2) Estabelecer planos	(C3) Seguir as regras de comprometimento (ex.: motivar outros membros da equipe a realizar suas tarefas)
(D) Monitorar e refletir	(D1) Monitorar e restabelecer o entendimento compartilhado	D2) Monitorar os resultados das ações e avaliar o sucesso da resolução do problema	(D3) Monitorar, fornecer feedback e adaptar a organização e os papéis da equipe

Fonte: Adaptado de OECD (2017b)

O Pisa 2015 forneceu uma escala geral de proficiência em RCP, baseando-se em todos os itens da avaliação (OCDE, 2017a). O programa argumenta que a escala de RCP foi construída para ter uma pontuação média de 500 entre os países da OCDE, com cerca de 2/3 dos alunos nos países da OCDE pontuando entre 400 e 600.

Para ajudar a interpretar o que as médias dos alunos implicavam, em termos substantivos, a escala foi dividida em cinco níveis de proficiência. Quatro deles (níveis 1 a 4) foram descritos com base nas habilidades necessárias para concluir os itens neles ancorados; o último (abaixo do nível 1) foi definido com base na ausência dessas habilidades. O nível 1 é o mais baixo descrito e corresponde a um nível elementar de habilidades em RCP; o nível 4 corresponde ao nível mais alto de habilidades em RCP. Esperava-se que os alunos com uma pontuação dentro do intervalo do nível 1 concluíssem a maioria dos itens desse nível com êxito, mas era improvável que conseguissem concluir, com sucesso, itens nos níveis mais altos. Por outro lado, era provável que os alunos no nível 4 pudessem concluir com êxito qualquer item de RCP incluído no teste.

E o Brasil? Nas próximas três seções, exploraremos os principais resultados do país em RCP, mas antes de fazê-lo, cabe ressaltar que esse estudo é uma reflexão preliminar que busca verificar como os relatórios da OCDE podem colaborar para inferir sobre os resultados brasileiros em RCP no Pisa 2015. Todas as comparações feitas aqui são, portanto, limitadas às conclusões do Volume V dos Resultados do Pisa 2015 (OCDE, 2017a).

3 Os resultados brasileiros no Pisa 2015

O Pisa resumiu o desempenho de jovens de 15 anos em RCP em uma única escala. Como a RCP era um novo domínio no Pisa 2015, o desempenho médio da OCDE foi estabelecido em 500 pontos e o desvio padrão em 100 pontos. Isso definiu a referência com a qual o desempenho em RCP de cada país foi comparado (OCDE, 2017a). Mais de 50 países participaram da avaliação e têm dados comparáveis (32 países da OCDE e 20 países e economias parceiros).

O teste de RCP do Pisa 2015 foi aplicado em computador, durou 30 minutos e os alunos responderam a diferentes combinações de itens. Como já mencionado, esses itens incluíam tarefas baseadas em conversas ou bate-papos, nas quais os alunos interagiam com um ou mais membros de um grupo para resolver um problema em uma situação da vida real.

A população alvo do Pisa em cada país consiste em alunos de 15 anos de idade matriculados a partir do sétimo ano escolar. A amostra brasileira foi composta por 23.141 alunos e eles representavam 97% da população nacional desejada. O país tinha 27 estratos explícitos usando estados/territórios. Assim, todos os estados brasileiros foram incluídos na amostra.

3.1 Desempenho dos alunos em RCP

Em geral, os dados do Pisa 2015 demonstraram que os alunos em Cingapura obtiveram uma média mais alta em RCP do que os alunos de todos os outros países e economias participantes, seguidos pelos alunos no Japão (OCDE, 2018); as médias desses países foram de 561 e 552 pontos, respectivamente, mais da metade de um desvio padrão, em média, acima daquela da OCDE (500). Outros 16 países (Hong Kong/China, Coréia, Canadá, Estônia, Finlândia, Macau/China, Nova Zelândia, Austrália, Taiwan, Alemanha, Estados Unidos, Dinamarca, Reino Unido, Holanda, Suécia e Áustria) também ficaram acima da média da OCDE na escala de RCP. Noruega, Eslovênia, Bélgica, Islândia, República Tcheca, Portugal, Espanha e Pequim/China apresentaram um desempenho médio não significativamente diferente da média da OCDE.

O Brasil, juntamente com França, Luxemburgo, Letônia, Itália, Rússia, Croácia, Hungria, Israel, Lituânia, República Eslovaca, Grécia, Chile, Chipre, Bulgária, Uruguai, Costa Rica, Tailândia, Emirados Árabes Unidos, México, Colômbia, Turquia, Peru, Montenegro e Tunísia, formou o grupo dos países e economias com desempenho relativo abaixo da média da OCDE. O Brasil, porém, com 412 pontos, ficou na penúltima posição, à frente da Tunísia, apenas. Uma diferença de 149 pontos separou o país com maior média em RCP, Cingapura, e o Brasil. Isso representa uma diferença de 1,5 desvio padrão ou dois níveis de proficiência. Esses achados estão mais bem apresentados na Tabela 2 .

Tabela 2
Desempenho relativo dos países e economias em RCP no Pisa 2015

Intervalo de médias	Países cujo desempenho médio é significativamente mais alto do que o da OCDE	Países cujo desempenho médio não é significativamente diferente da média da OCDE	Países cujo desempenho médio é significativamente mais baixo do que o da OCDE
561 - 509	Cingapura, Japão, Hong Kong/China, Coreia, Canadá, Estônia, Finlândia, Macau/China, Nova Zelândia, Austrália, Taipei, Alemanha, USA, Dinamarca, Reino Unido, Holanda, Suécia, Áustria
502 - 496		Noruega, Eslovênia, Bélgica, Irlanda, República Tcheca, Portugal, Espanha, Pequim/China
494 - 382			França, Luxemburgo, Letônia, Itália, Rússia, Croácia, Hungria, Israel, Lituânia, Eslováquia, Grécia, Chile, Chipre, Bulgária, Uruguai, Costa Rica, Tailândia, Emirados Árabes, México, Colômbia, Turquia, Peru, Montenegro, Brasil, Tunísia

Fonte: Adaptado de OCDE (2017a)

O Brasil é um país extremamente desigual do ponto de vista econômico, social e educacional, que já são aspectos que merecem grande atenção. Mas, de acordo com o Iede ( PORTAL IEDE, 2018 ), também é muito preocupante que mesmo os estados mais favorecidos economica e socialmente no país tenham resultados educacionais tão negativos, mais especificamente, em RCP. O referido instituto concluiu que todos os estados brasileiros, se fossem países, estariam entre os 10 últimos na competência de RCP avaliada pelo Pisa: nem mesmo o estado brasileiro que apresentou o melhor desempenho, o Espírito Santo, que obteve uma pontuação de 441,2, chegou perto da média dos 32 países da OCDE (500 pontos).

Como mencionado acima, o Pisa 2015 forneceu uma escala geral de proficiência em RCP dividida em cinco níveis de proficiência. O Brasil ficou alocado no Nível 1, o mais baixo da escala de desempenho, no qual, de acordo com o Programa (OCDE, 2017a, 2018), os alunos são capazes de resolver apenas problemas de baixa complexidade e limitada colaboração e, embora tendam a focar no seu papel individual, quando apoiados por outros membros do grupo, podem ajudar a encontrar soluções para problemas simples. Nos países da OCDE, 94% dos alunos atingiram (ou superaram) esse nível de proficiência em RCP. Mais de um em cada cinco alunos no Brasil (21%), no entanto, não era proficiente no Nível 1, o que significa que ficaram abaixo dele na escala da RCP ( Tabela 3 ).

Tabela 3
Porcentagem de alunos do Brasil e da OCDE no nível de proficiência em RCP do Pisa 2015 e descrição de habilidades esperadas

Níveis de proficiência	Brasil	OCDE	Capacidades esperadas dos alunos
Abaixo do Nível 1	21,2	5,7	-
Nível 1	43,0	22,4	Os alunos são capazes de resolver apenas problemas de baixa complexidade e limitada colaboração e, embora tendam a focar no seu papel individual, quando apoiados por outros membros do grupo, podem ajudar a encontrar soluções para problemas simples.
Nível 2	27,7	36,2	Os alunos podem contribuir para um esforço colaborativo em resolver um problema de dificuldade média. Eles podem ajudar a resolver um problema, comunicando-se com os membros da equipe sobre as ações a serem executadas. Eles podem oferecer informações não solicitadas especificamente por outro membro da equipe. Os alunos do Nível 2 entendem que nem todos os membros da equipe têm as mesmas informações e podem considerar diferentes perspectivas em suas interações. Eles podem ajudar a equipe a estabelecer um entendimento compartilhado das etapas necessárias para resolver um problema. Esses alunos podem solicitar informações adicionais necessárias para resolver um problema e solicitar acordo ou confirmação dos membros da equipe sobre a abordagem a ser adotada. Os alunos próximos ao Nível 2 podem tomar a iniciativa de sugerir um próximo passo lógico ou propor uma nova abordagem para resolver um problema.
Nível 3	7,5	27,8	Os alunos podem concluir tarefas com requisitos complexos de solução de problemas ou demandas complexas de colaboração. Podem executar tarefas em várias etapas que exigem a integração de diversas informações, geralmente em problemas complexos e dinâmicos. Eles orquestram as funções dentro da equipe e identificam as informações necessárias para determinados membros da equipe resolverem o problema. Os alunos do Nível 3 podem reconhecer as informações necessárias para resolver um problema, solicitá-las ao membro da equipe apropriado e identificar quando as informações fornecidas estão incorretas. Quando surgem conflitos, eles podem ajudar os membros da equipe a negociar uma solução.
Nível 4	0,6	7,9	Os alunos podem realizar tarefas complicadas de solução de problemas com alta complexidade de colaboração com êxito. Podem resolver problemas complexos com várias restrições, mantendo em mente as informações relevantes. Esses alunos mantêm uma consciência da dinâmica do grupo e tomam ações para garantir que os membros da equipe ajam de acordo com as funções acordadas. Ao mesmo tempo, eles podem monitorar o progresso em direção a uma solução e identificar obstáculos a serem superados ou lacunas a serem preenchidas. Os alunos do Nível 4 tomam iniciativa e realizam ações ou fazem solicitações para superar obstáculos e resolver desacordos e conflitos. Eles podem equilibrar os aspectos de colaboração e solução de problemas de uma tarefa apresentada, identificar caminhos eficientes para uma solução e tomar ações para resolver o problema em questão.

Fonte: Adaptado de OCDE (2017a)

Nos países da OCDE, 72% dos alunos ficaram alocados no Nível 2 ou superior. Segundo a OCDE (2017a), nesse nível, os alunos podiam contribuir para um esforço colaborativo para resolver um problema de dificuldade média; ajudar a resolver um problema, comunicando-se com os membros da equipe sobre as ações a serem executadas; prestar informações voluntárias não solicitadas especificamente por outro membro do grupo. Esse é o nível de proficiência mais comum em 28 dos 52 países e economias com dados comparáveis (OCDE, 2017a); também é o nível esperado de alunos na escala de RCP, pois exige um esforço colaborativo para resolver problemas de dificuldade média. Não se espera, então, que a maioria dos alunos participantes da avaliação atinja os níveis mais altos. Nos países da OCDE, 8% dos alunos atingiram o nível mais alto da escala (Nível 4). A taxa foi de mais de 1 em cada 5 alunos com melhor desempenho (21%) em Cingapura e, em contraste, menos de 1 em cada 100 alunos no Brasil (0,6%).

A média dos jovens alunos brasileiros nas habilidades avaliadas pelo Pisa 2015 foi mais baixa do que a média dos alunos dos países membros e parceiros da OCDE. Isso se perpetua desde a primeira edição do programa, no ano de 2000, e apesar dos avanços feitos no Brasil pelas políticas públicas de Educação – principalmente em termos da universalização do Ensino Fundamental e do acesso ao Ensino Médio e à Educação Infantil, como mostram tanto o Pisa quanto as avaliações nacionais em larga escala realizadas pelo Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) do MEC, notadamente, o Sistema de Avaliação da Educação Básica (Saeb) e a Prova Brasil – o país tem graves problemas relacionados à qualidade da Educação e ao desempenho dos alunos na Educação Básica.

A OCDE (2017a, 2018) argumenta que o desempenho em RCP está fortemente relacionado ao desempenho nos temas centrais do Pisa (Leitura, Matemática e Ciências) e que os melhores desempenhos nesses temas tendem também a ser os melhores em RCP, bem como acontece com os piores desempenhos e vice-versa.

3.2 RCP versus temas centrais no Pisa

A correlação entre o desempenho em RCP e o desempenho em Ciências, Leitura e Matemática dos alunos brasileiros não se afastou muito da realidade observada nos países da OCDE, nos quais as médias nos 4 domínios se mostraram altamente correlacionadas ( Tabela 4 ).

Tabela 4
Correlação entre o desempenho em RCP e os temas centrais do PISA: média do Brasil e dos países da OCDE

	Temas Centrais
	Ciências	Leitura	Matemática
Brasil	0,75	0,73	0,65
OCDE	0,77	0,74	0,73

Fonte: Adaptada de OCDE (2017a)

Em média, nos países da OCDE, o desempenho em RCP mostrou uma correlação de 0,77 com o desempenho em Ciências; 0,74 com o desempenho em Leitura e 0,70 com o desempenho em Matemática (OCDE, 2017a, 2018). O vínculo entre as médias dos alunos em RCP, Ciências, Leitura e Matemática, no Brasil, foi de 0,75, 0,73 e 0,65, respectivamente.

Verificar até que ponto o desempenho superior ou inferior nos três domínios principais do PISA prevê o desempenho em RCP é outra maneira de analisar esses dados. De acordo com a OCDE (2017a), em Ciências, Leitura e Matemática, os melhores desempenhos são definidos como daqueles alunos alocados no Nível 5 ou 6, enquanto os de baixo desempenho são dos que apresentam resultado abaixo do Nível 2.

Cerca de 44% dos melhores desempenhos em Ciências, 39% dos melhores em Leitura e 34% dos melhores em Matemática também foram os melhores em RCP, em média, nos países da OCDE; bem como cerca de 55% dos alunos nos melhores desempenhos em todos os três principais temas do Pisa também foram os de melhor desempenho em RCP (OCDE, 2018). Por outro lado, de acordo com o programa, no Brasil, menos de um em cada três dos melhores desempenhos gerais obtiveram a pontuação mais alta em RCP. Isso pode implicar que essas habilidades sejam desenvolvidas independentemente das habilidades nas três áreas principais do Pisa.

No entanto, é preciso considerar que o percentual de alunos brasileiros no nível mais alto do Pisa foi muito pequeno, apenas 0,6%. Relações semelhantes foram observadas entre alunos com baixo desempenho e podem sugerir que um certo nível de alfabetização funcional nos três domínios principais tenha sido um pré-requisito para o desempenho em RCP. Infelizmente, o Pisa 2018 também revelou um baixo desempenho escolar dos estudantes brasileiros em Leitura, Matemática e Ciências ( INEP, 2019 ). Como mencionamos anteriormente, nessa última rodada avaliativa do Programa, o domínio inovador não foi a RCP, mas o Letramento Financeiro e a Competência Global. De qualquer forma, os resultados gerais do programa mostram que o letramento nos três domínios principais continua sendo um requisito importante para o desempenho dos estudantes nos domínios inovadores e na preparação para a vida em sociedade (OCDE, 2020).

3.3 Características demográficas dos alunos e RCP

O Volume V dos resultados do Pisa 2015 possui um capítulo inteiro dedicado à demografia e ao desempenho dos alunos em RCP. Mais especificamente, ele aborda aspectos gerais da variação no desempenho dos alunos em RCP, as diferenças relacionadas ao gênero, a relação entre o desempenho e o status socioeconômico, a origem imigrante e a diversidade nas escolas. Entre esses aspectos, de acordo com o documento acima mencionado (OCDE, 2017a), a relação entre o desempenho em RCP e o status socioeconômico, as variações no desempenho dos alunos dentro e entre as escolas e as diferenças de desempenho em RCP relacionados ao gênero foram os mais relevantes para explicar os resultados do Brasil no Pisa.

3.4 A relação entre performance na RCP e status socioeconômico

Sem maiores surpresas, o status socioeconômico, medido no Pisa pelo índice de status econômico, social e cultural (ESCS), se relacionou positivamente com o desempenho em RCP, assim como com o desempenho em todos os domínios avaliados (OCDE, 2017a). O desempenho em RCP estava positivamente relacionado ao perfil socioeconômico dos alunos e das escolas, embora essa relação tenha sido mais fraca do que a relação entre o perfil socioeconômico e o desempenho nos 3 principais temas do Pisa (OCDE, 2018). A Tabela 5 mostra a porcentagem de variação no desempenho em RCP, Ciências, Leitura e Matemática explicada pelo perfil socioeconômico de alunos e de escolas no Brasil e nos países da OCDE.

Tabela 5
Porcentagem de variação na performance explicada pelo perfil socioeconômico dos alunos e escolas no Brasil e nos países da OCDE

	Resolução Colaborativa de Problemas	Ciências	Leitura	Matemática
Brasil	17,1%	23,3%	18,7%	23,8%
OCDE	15,2%	22,8%	21,9%	22,6%

Fonte: Adaptado de OCDE (2017a).

Em média, para os países da OCDE, a porcentagem da variação no desempenho explicada pelas disparidades socioeconômicas nos níveis estudantil e escolar foi semelhante para Ciências (22,8%), Leitura (21,9%) e Matemática (22, 6%), entretanto, essa relação foi mais fraca na RCP (15,2%). Segundo a OCDE (2017), uma posição mais alta no índice de status econômico, social e cultural poderia estar associada a maiores oportunidades de enriquecimento acadêmico, levando a disparidades no desempenho nos domínios cognitivos. Porém, oportunidades em colaborar e cooperar surgem em todos os contextos sociais e econômicos, o que poderia reduzir a extensão em que o status socioeconômico está relacionado ao desempenho em RCP.

A OCDE adota 0 para designar o nível socioeconômico médio dos países da organização. Assim, os alunos com status socioeconômico acima da média da OCDE recebem uma pontuação maior que 0 e os alunos que estão abaixo da média da OCDE obtêm uma pontuação negativa. O Brasil obteve uma pontuação de -0,96, quase um desvio padrão abaixo da média da OCDE, e o percentual da variação no desempenho explicado pelas disparidades socioeconômicas nos níveis estudantil e escolar foi de 23,3% em Ciências, 23,8% em Matemática, 18,7% em Leitura e 17,1% em RCP. Todos eles, não surpreendentemente, um pouco mais altos do que os da OCDE. Esses resultados reforçam a literatura na qual o Brasil é sempre descrito como um país com maior correlação entre o índice socioeconômico e cultural e as condições de efetividade da escola do aluno (FRANCO et al ., 2007; PATTO, 1996 ; SOARES, 2004 ).

Há uma variação considerável no desempenho em RCP em cada país/economia, sendo a maior parte dessa variação observada dentro das escolas (OCDE, 2017a). Em média, nos países da OCDE, a variação no desempenho dos alunos observada nas escolas equivale a 75,3% da variação média do desempenho dos alunos da OCDE. No Brasil, isso não representa muito, mas a variação ainda foi superior a 50% (exatamente 57,9%). A variação restante (24,2% nos países da OCDE e 27,2% no Brasil) deveu-se a diferenças no desempenho dos alunos entre as escolas. De acordo com a OCDE (2017a), a variação no desempenho em RCP entre escolas pode ser parcialmente atribuída a diferenças na composição delas e nas políticas e práticas escolares que podem desenvolver ou promover o desempenho do aluno em RCP.

As meninas, por exemplo, tiveram um desempenho significativamente melhor do que os meninos em RCP em todos os países e economias que participaram da edição em análise. Em média, nos países da OCDE, as meninas tiveram 29 pontos a mais do que os meninos. Segundo o programa, as maiores lacunas, de mais de 40 pontos, foram observadas na Austrália, na Finlândia, na Letônia, na Nova Zelândia e na Suécia; as menores lacunas, de menos de 10 pontos, foram observadas na Colômbia, na Costa Rica e no Peru (OCDE, 2017a, 2018). No Brasil, a diferença foi de 18 pontos e esse número deve ser analisado com cautela, para evitar estereótipos de gênero. Apesar de ser uma diferença estatisticamente significativa, uma análise mais aprofundada, por meio de medidas de efeito, como aquela conduzida pelo Iede ( PORTAL IEDE, 2018 ), mostrou que a diferença é pequena.

Embora as meninas tenham sido melhores, em média, isso não significa que não haja meninos com alta capacidade de RCP. Especialistas apontam que não há evidências de que as meninas tenham mais habilidade natural do que os meninos para resolver problemas de grupo e que os resultados, provavelmente, refletem construções sociais, tais como o fato de que as mulheres são mais colaborativas e mais incentivadas em casa, não apenas na escola, para serem mais receptivas em negociações e em trabalho em equipe ( PORTAL IEDE, 2018 ).

Sabe-se que variáveis como a repetência e as atitudes dos alunos em relação à colaboração estão relacionadas à variação de seu desempenho. Não os consideramos aqui, porque nosso objetivo era descrever a estrutura da RCP no Pisa 2015 e explorar os principais resultados brasileiros, comparando-os com outros países participantes. Entretanto, seria de grande relevância investigá-los em um escopo maior e por meio de um estudo mais analítico como fizeram Fontanive et al. (2021), por exemplo, ao analisarem a experiência brasileira realizada em 2019, mediante a aplicação computadorizada do Pisa para escolas. Além de descrever as etapas e os processos envolvidos para a implementação do projeto, assim como discutir os principais resultados encontrados, nas proficiências nas três áreas de conhecimento avaliadas no Pisa, e os fatores socioeconômicos e culturais associados ao desempenho dos alunos, os autores apresentaram algumas variáveis de interesse, entre as quais a repetência, o clima disciplinar, o bullying e as características da prática docente nas escolas participantes do projeto (FONTANIVE et al. , 2021).

Não há na literatura nacional, tampouco na internacional, muitos estudos que, analiticamente, tratem os resultados dos países nas habilidades de RCP avaliadas pelo Pisa. Identificamos algumas iniciativas de pesquisadores sul-coreanos, mas não conseguimos acessar muito mais do que consta em seus resumos, dado que os textos estão integralmente publicados no idioma de origem de seus autores e idealizadores ( KIM; HAM, 2019 ; KIM; LIM; JUNG, 2018; LIM; LEE, 2018 ). Em linhas bem gerais, esses estudos consideram as características do aluno e da escola numa perspectiva multinível. Não resta dúvida de que o tema da RCP ainda carece de maior aprofundamento e de discussões na área. Trabalhos como esses de iniciativa sul-coreana podem ser o ponto de partida para incursões nos dados do Brasil que ajudem a dinamizar ainda mais os resultados produzidos pelo Pisa.

4 Considerações finais

Esse estudo teve como objetivo descrever o conceito de RCP do Pisa 2015 e explorar os resultados brasileiros, comparando-os com outros países participantes. Pretendíamos levantar algumas questões e refletir sobre os resultados que, em nosso ponto de vista, podem fornecer um uso valioso dos dados de testes internacionais como um instrumento útil para identificar maneiras de melhorar a Educação em países de baixo desempenho, como o Brasil. Defendemos que os resultados em RCP podem gerar indicadores importantes sobre onde focar, objetivamente, em futuras reformas curriculares.

De maneira geral, os resultados reproduzem os achados usuais da literatura que afirmam que o desenvolvimento social, científico e tecnológico do Brasil exige uma grande reforma da estrutura educacional no país ( BARROS; FERREIRA, 2009 ; CARNOY; GOVE; MARSHALL, 2007; SCHWARTZMAN, 2004 ). O desempenho brasileiro em RCP coloca o país em uma posição desvantajosa em comparação a quase todos os países participantes do Pisa, incluindo outros países da América Latina com realidades socioeconômicas análogas às nossas. O Brasil foi o 51º país em RCP entre os 52 participantes do Pisa 2015 e ficou no Nível 1 da escala de desempenho, mas ainda houve uma margem significativa de alunos brasileiros que não atingiram esse nível, que é o mais baixo considerado pelo Programa. A comparação das pontuações médias brasileiras em RCP e sua correlação com Ciências, Leitura e Matemática não ficou longe da média dos países da OCDE, onde as notas nesses domínios ficaram altamente correlacionadas. O problema é que continuamos reproduzindo os resultados. O Brasil apresenta baixo desempenho nos principais assuntos de Ciências, de Leitura e de Matemática do Pisa e baixo desempenho em RCP. Mesmo nossos alunos com melhor desempenho nas disciplinas principais, menos de 1% da nossa amostra, não atingem o nível mais alto na escala de RCP.

O status socioeconômico está relacionado positivamente ao desempenho em RCP, assim como ao desempenho em todos os domínios avaliados no Pisa, não apenas em 2015, mas em todas as outras edições. Uma posição mais alta no índice de status econômico, social e cultural do Pisa está relacionada a maiores oportunidades de enriquecimento acadêmico. O status socioeconômico do Brasil é quase um desvio padrão menor que a média da OCDE e, portanto, os resultados do país devem ser observados com mais cautela. Novamente, os resultados brasileiros em RCP no Pisa 2015 corroboram a literatura ao reforçar que os índices socioeconômico e cultural têm um grande impacto nas condições e na eficácia das escolas do país. A maior parte da variação considerável em cada país/economia é observada nas escolas. Esse aspecto, sozinho, representa mais de 50% da variação no desempenho do Brasil.

O gênero também ajuda a entender a variação no desempenho brasileiro em RCP. As meninas tiveram um desempenho significativamente melhor do que os meninos, situação recorrente em todos os países e economias que participaram da edição de 2015. Embora seja verdade, também para o Brasil, a diferença média de pontuação entre meninos e meninas é estatisticamente significativa.

Concluindo, o desempenho médio dos alunos no Brasil está consideravelmente abaixo da média da OCDE em todos os domínios avaliados e não tivemos melhorias estatisticamente expressivas desde 2003, quando o Pisa avaliou pela primeira vez questões de solução de problemas, sendo necessário e possível promover o desenvolvimento de habilidades colaborativas nos alunos. De acordo com a OCDE (2018), as habilidades de colaboração podem ser ensinadas e praticadas em disciplinas cognitivas, como Ciências, Leitura e Matemática: os alunos podem trabalhar e se apresentar em grupos e podem se ajudar a aprender os conteúdos. No entanto, grande parte do esforço para dominar o material ensinado é normalmente feito de forma individual pelo aluno.

Os especialistas em Educação⁵ consultados pelo Iede

foram unânimes em afirmar que, atualmente, as escolas brasileiras, principalmente aquelas de ensino médio, buscam muito o acesso ao ensino Superior e, em geral, não dão a devida importância ao desenvolvimento de habilidades socioemocionais. Segundo eles, a escola deve assumir esse papel na formação integral do ser humano ( PORTAL IEDE, 2018 , p. 20).

Para tornar isso possível, no entanto, Anita Abed enfatiza que as escolas precisam analisar essas competências dentro do currículo, de maneira sistematizada e estruturada, investindo na formação de professores ( PORTAL IEDE, 2018 ).

Como uma competência relevante na atualidade e uma das habilidades mais importantes do século XXI, a RCP é uma habilidade crítica e necessária em contextos educacionais e lida com a habilidade de manejar novos problemas em diversos contextos, como parte de uma equipe, em vez de individualmente. É, em grande medida, crucial para a juventude de hoje ter sucesso num mundo mais interconectado, digital e imprevisível do que nunca.

Muitas implicações políticas podem ser obtidas a partir dos resultados da avaliação em RCP do Pisa 2015, dado que, segundo o Programa ( BRASIL, 2017 ), há uma tendência crescente nos sistemas educativos nacionais de construção de projetos de aprendizagem orientados para a investigação, ou seja, moldados em torno de pensamento crítico, resolução de problemas, auto-gestão e habilidades de colaboração. Os dados podem fornecer indicadores importantes sobre onde as capacitações, estudos e pesquisas podem focar em futuras reformas curriculares e políticas de melhoria da qualidade da Educação. Uma análise mais aprofundada desses dados certamente ajudaria a entender melhor o fenômeno. O nível de alfabetização funcional nos três domínios principais como pré-requisito para o desempenho em RCP é um exemplo, bem como sua relação com outras características demográficas e sociais de alunos e escolas.

Referências

• BARROS, R.; FERREIRA, F. Measuring inequality of opportunities in Latin America and the Caribbean. Washington, DC: World Bank, 2009.
• BRASIL. Ministério da Educação. Resultados do Brasil na Avaliação de Resolução Colaborativa de Problemas (RCP) , Brasília, DF, 2017. Disponível em: http://download.inep.gov.br/acoes_internacionais/PISA/resultados/2015/PISA_resolucao_de_problemas.pdf Acesso em: 18 set. 2019.
  » http://download.inep.gov.br/acoes_internacionais/PISA/resultados/2015/PISA_resolucao_de_problemas.pdf
• CARNOY, M.; GOVE, A. K; MARSHALL, J. H. Cuba’s academic advantage: why students in Cuba do better in school. Stanford: Stanford University Press, 2007.
• FRANCO, C. et al. Eficácia escolar en Brasil: investigando prácticas y políticas escolares moderadoras de desigualdades educacionales. In:CUETO, S . Educación y brechas de equidad en América Latina , Santiago: Fondo de Investigaciones Educativas, 2007. p. 223-249.
• FONTANIVE, N., et al. O que o PISA para Escolas revela sobre uma Rede de Ensino no Brasil? A experiência da Fundação Cesgranrio em 2019. Ensaio: Avaliação e Políticas Públicas em Educação, v. 29, n. 110, p. 6-34, jan./mar. 2021. https://doi.org/10.1590/S0104-40362020002900001
  » https://doi.org/10.1590/S0104-40362020002900001
• FUNKE, J. Complex problem solving: a case for complex cognition? a case for complex cognition?. Cognitive Processing , [s. l.], v. 11, n. 2, p. 133-142, nov. 2010. https://doi.org/10.1007/s10339-009-0345-0
  » https://doi.org/10.1007/s10339-009-0345-0
• GRAESSER, A.C., et al. Assessment of collaborative problem-solving. In: SOTILLARE, R. A., et al. (orgs.). Design recommendations for intelligent tutoring systems. . Orlando: U.S. Army Research Laboratory Human Research and Engineering Directorate, 2017. (Assessment Methods, vol. 5).
• GRAESSER, A.; KUO, B.; LIAO, C. Complex problem solving in assessments of collaborative problem solving. Journal of Intelligence , [s. l.], v. 5, n. 2, 10, mar. 2017. https://doi.org/10.3390/jintelligence5020010
  » https://doi.org/10.3390/jintelligence5020010
• GREIFF, S. et al. The computer-based assessment of complex problem-solving and how it is influenced by students’ information and communication technology literacy. Journal of Educational Psychology , [s. l.], v. 106, n. 3, p. 666-680, 2014.
• GREIFF, S.; HOLT, D. V.; FUNKE, J. Perspectives on problem- solving in educational assessment: analytical, interactive, and collaborative problem-solving . The Journal of Problem-Solving , West Lafayette, v. 5, n. 2, p.71-91, Spring 2013. https://doi.org/10.7771/1932-6246-1153
  » https://doi.org/10.7771/1932-6246-1153
• GRIFFIN, P.; CARE, E. ATC21S method. In: GRIFFIN, P.; CARE, E. (org.). Assessment and teaching of 21st century skills: methods and approach. Dordrecht: Springer, 2015.
• GRIFFIN, P.; MCGAW, B.; CARE, E. (org.). Assessment and teaching of 21st century skills . New York: Springer, 2011.
• HE, Q. et at. Collaborative problem-solving measures in the Programme for International Student Assessment (PISA). rinceton: Springer, 2017.
• HESSE, F. et al. A framework for teachable collaborative problem-solving skills. In: GRIFFIN, P.; CARE, E. (org.). Assessment and teaching of 21st century skills . Heidelberg: Springer, 2015.
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Exemplos de itens liberados de Resolução Colaborativa de Problemas . Brasília, DF, 2018. Disponível em: http://download.inep.gov.br/acoes_internacionais/PISA/itens/2015/itens_liberados_rcp_PISA_2015.pdf Acesso em: 18 set. 2019.
  » http://download.inep.gov.br/acoes_internacionais/PISA/itens/2015/itens_liberados_rcp_PISA_2015.pdf
• INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Relatório Brasil no PISA 2018: versão preliminar. Brasília, DF, 2019. Disponível em: https://download.inep.gov.br/acoes_internacionais/Pisa/documentos/2019/relatorio_PISA_2018_preliminar.pdf Acesso em: 26 jul. 2021.
  » https://download.inep.gov.br/acoes_internacionais/Pisa/documentos/2019/relatorio_PISA_2018_preliminar.pdf
• KIM, H. S.; HAM, E. H. Student and school characteristics affecting Students’ Collaborative Problem Solving in PISA 2015. The Journal of Curriculum and Evaluation , [s. l.], v. 22, n. 3, p. 199-224, 2019. https://doi.org/10.29221/jce.2019.22.3.199
  » https://doi.org/10.29221/jce.2019.22.3.199
• KIM, S.; LIM, H. Y.; JUNG, H. The relationship between Collaborative Problem-solving and attitudes towards collaboration for Korean students in PISA 2015. The Journal of Curriculum and Evaluation , [s. l.], v. 21, n. 3, p. 155-179, 2018. https://doi.org/10.29221/jce.2018.21.3.155
  » https://doi.org/10.29221/jce.2018.21.3.155
• LIM, H. J.; LEE, S. Y. Student-, school-, and ICT-factors predicting computer-based Collaborative Problem Solving: focusing on analyses of multi-level models. Journal of the Korean Association of Information Education , [s. l.], v. 22, n. 4, p. 457-471, 2018.
• OECD. PISA 2012 assessment and analytical framework: mathematics, reading, science, problem-solving and financial literacy. Paris: OECD, 2010.
• OECD. PISA 2015 collaborative problem-solving framework . Paris, 2017b. Disponível em: http://www.oecd.org/PISA/PISAproducts/Draft%20PISA%202015%20Collaborative%20problem%20Solving%20Framework%20.pdf Acesso em: 15 abr. 2020.
  » http://www.oecd.org/PISA/PISAproducts/Draft%20PISA%202015%20Collaborative%20problem%20Solving%20Framework%20.pdf
• OECD. PISA 2015 results: collaborative problem-solving. Paris, 2017a. Vol. 5.
• OECD. PISA 2015 results in focus . Paris, 2018.
• OECD. PISA 2018 results: are Students Smart about Money? Paris, 2020. Vol. 4. Disponível em: https://read.oecd-ilibrary.org/education/Pisa-2018-results-volume-iv_48ebd1ba-en#page46 Acesso em: 26 jul. 2021.
  » https://read.oecd-ilibrary.org/education/Pisa-2018-results-volume-iv_48ebd1ba-en#page46
• PATTO, M. H. A produção do fracasso escolar: histórias de submissão e rebeldia. 2. ed. São Paulo; Casa do Psicólogo, 1996.
• PORTAL INTERDISCIPLINARIDADE E EVIDÊNCIAS NO DEBATE EDUCACIONAL – PORTAL IEDE. Um panorama sobre resolução colaborativa de problemas no Brasil . São Paulo, 2018. Disponível em: http://www.portaliede.com.br/wp-content/uploads/2018/02/Um-Panorama-sobre-Resolu%C3%A7%C3%A3o-Colaborativa-de-Problemas-no-Brasil_Portal_Iede.pdf Acesso em: 1 abr. 2020.
  » http://www.portaliede.com.br/wp-content/uploads/2018/02/Um-Panorama-sobre-Resolu%C3%A7%C3%A3o-Colaborativa-de-Problemas-no-Brasil_Portal_Iede.pdf
• ROSEN, Y.; FOLTZ, P. W. Assessing collaborative problem-solving through automated technologies. Research and Practice in Technology Enhanced Learning , [s. l.], v. 9, n. 3, p. 389-410, 2014. Disponível em: http://meyda.education.gov.il/files/Scientist/RosenFoltz2014.pdf Acesso em: 1 abr. 2020.
  » http://meyda.education.gov.il/files/Scientist/RosenFoltz2014.pdf
• SHAW, S.; CHILD, S. Utilizing technology in the assessment of collaboration: a critique of PISA’s collaborative problem-solving tasks. Cambridge: Research Matters, 2017.
• SOARES, J. F. Quality and equity in Brazilian basic education: facts and possibilities. In: BROCK, C.; SCHWARTZMAN, S. The challenges of education in Brazil . Cambridge: Symposium Books, 2004. p. 69-88.
• SOTTILARE, R. A. et at. Designing adaptive instruction for teams: a meta-analysis. International Journal of Artificial Intelligence in Education , [s. l.], v. 28, n. 2, p. 225-264, jun. 2018. https://doi.org/10.1007/s40593-017-0146-z
  » https://doi.org/10.1007/s40593-017-0146-z
• SCHWARTZMAN, S. The challenges of education in Brazil. In: BROCK, C.; SCHWARTZMAN, S. The challenges of education in Brazil . Cambridge: Symposium Books, 2004.

• 1
  Como reflexo das dificuldades enfrentadas em virtude da pandemia de Covid-19, os países-membros e associados da OCDE decidiram adiar a avaliação do Pisa 2021 para 2022 e do Pisa 2024 para 2025.
• 2
  Excerto original: “Through this process, all students encountered largely the same stimuli and had the same opportunities to react as they worked to solve the problem-solving situation”.
• 3
  Excerto original: “The computer agent initiates collaborative behavior, but occasionally ‘tests’ the test-taker by displaying some misunderstandings or by suggesting misleading strategies”.
• 4
  Exemplos de itens liberados de RCP estão disponíveis em Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2018) .
• 5
  Os especialistas mencionados no texto são: Raquel Guimaraes, professora da Universidade Federal do Paraná (UFPR), mestra em Educação Internacional Comparada e doutora em Demografia; Tadeu da Ponte, professor do Insper e pesquisador do comitê técnico do Iede; Regina Madalozzo, pesquisadora de Economia do Gênero, professora do Insper e integrante do comitê técnico do Iede; Anita Lilian Abed, psicopedagoga na Mind Lab do Brasil e consultora da Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco) e o diretor e fundador do Iede, Ernesto Martins Faria.

• *
  Pesquisa realizada com auxílio financeiro da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior.

Datas de Publicação

• Publicação nesta coleção
  29 Out 2021
• Data do Fascículo
  Jan-Mar 2022

Histórico

• Recebido
  20 Maio 2020
• Aceito
  22 Set 2021