Resumo
O PISA para Escolas, uma avaliação de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasiões distintas, 2017 e 2019. A edição de 2019 do PISA para Escolas foi administrada somente via computador a uma população de 11.484 alunos pertencentes a 229 escolas públicas e privadas. O PISA para Escolas avalia três áreas de conhecimento com itens de teste calcados nas matrizes de referência do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, públicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a análise comparativa do desempenho dos alunos entre as Redes e com variáveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas características socioeconômicas e culturais, práticas de ensino e clima disciplinar. Investigaram-se, também, três aspectos que vêm sendo tratados na literatura mais atual e, entre eles, a prática do bullying , o fenômeno da repetência e a importância das habilidades socioemocionais no contexto escolar.
PISA para Escolas; Avaliação de desempenho; Variáveis explicativas do desempenho
Abstract
PISA for Schools, a student assessment promoted by the OECD, was applied in Brazil in two separate years, 2017 and 2019. The 2019 edition of PISA for Schools was administered, only by computer, to a population of 11,484 students from 229 public and private schools. PISA for Schools assesses three areas of knowledge with items based on the PISA frameworks. The results obtained by the schools of five education networks, public and private, were aggregated in a set of tables that allowed the comparative analysis of the students’ performance between the networks and with variables selected in the study. As a result, there was a variability in the performance of students in the Networks, explained largely by their socioeconomic and cultural characteristics, teaching practices and disciplinary climate. We also investigated three aspects that have been dealt with in the most current literature, and among them, the practice of bullying, the phenomenon of repetition and the importance of socioemotional skills in the school context.
PISA for Schools; performance assessment; explanatory performance variables
Resumen
El PISA para Escuelas, una evaluación de estudiantes promovida por la OCDE, se aplicó en Brasil en dos ocasiones distintas, 2017 y 2019. La edición 2019 de PISA para Escuelas se administró solo por computadora a una población de 11.484 estudiantes pertenecientes a 229 escuelas públicas y privadas. PISA para Escuelas evalúa tres áreas de conocimiento con elementos de prueba basados en las matrices de referencia de PISA. Los resultados obtenidos por las escuelas de cinco redes educativas, públicas y privadas, fueron agregados en un conjunto de tablas que permitieron los análisis comparativos del desempeño de los estudiantes entre las redes y con las variables seleccionadas en el estudio. Como resultado, hubo una variabilidad en el desempeño de los estudiantes en las Redes, explicada en gran parte por sus características socioeconómicas y culturales, prácticas docentes y atmosfera disciplinaria. También se investigaron tres aspectos que han sido abordados en la literatura más actual, entre ellos la práctica del bullying, el fenómeno de la repetición y la importancia de las habilidades socioemocionales en el contexto escolar.
PISA para Escuelas; evaluación del desempeño; variables explicativas del desempeño
1 Apresentação
Esse artigo vai trazer e discutir as informações sobre a experiência brasileira de aplicação do Programa de Avaliação Internacional de Alunos (PISA), para Escolas no ano de 2019. O PISA para Escolas é uma avaliação que se origina no Programa de Avaliação Internacional promovido pela Organização para Cooperação do Desenvolvimento Econômico (OCDE).
A aplicação das provas e questionários foi integralmente realizada via computador e envolveu uma equipe de campo que incluiu, além dos coordenadores responsáveis por toda a logística de uma avaliação desse porte e com essas características, colaboradores que exerceram diversos papéis. Dentre esses colaboradores, destacam-se técnicos de informática que acompanharam as aplicações in loco e foram responsáveis por instalação e monitoramento dos equipamentos tecnológicos. Outro colaborador essencial foi o aplicador, responsável por acompanhar, junto aos alunos, toda a dinâmica de aplicação, tirando dúvidas quanto ao modelo adotado e controlando os tempos das sessões de teste.
Ao longo desse artigo, os autores descreverão as etapas e processos envolvidos para a implementação do projeto, assim como discutirão os principais resultados encontrados, como as proficiências nas três áreas de conhecimento avaliadas e os fatores socioeconômicos e culturais associados ao desempenho dos alunos. Serão também apresentadas algumas variáveis de interesse, entre as quais a repetência, o clima disciplinar, o bullying e características da prática docente nas escolas participantes do projeto.
2 Introdução
A partir do ano de 1983, as avaliações de alunos com o objetivo de estudar a evolução do desempenho acadêmico, mediante a utilização de escalas, surgem nos Estados Unidos e nos países europeus, como a França, a Inglaterra, a Holanda e a Suécia. No Brasil, o Sistema de Avaliação da Educação Básica (Saeb) surge com esse mesmo objetivo em 1995, quando pela primeira vez, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) utiliza a Teoria da Resposta ao Item (TRI) para obter escalas de desempenho em leitura e matemática, em amostras de alunos brasileiros ( KLEIN; FONTANIVE, 1995KLEIN, R.; FONTANIVE, N. S. Avaliação em larga escala: uma proposta inovadora. Em Aberto, Brasília, DF, v. 15, n. 66, p. 28-32, abr./jun. 1995. https://doi.org/10.24109/2176-6673.emaberto.15i66.%25p
https://doi.org/10.24109/2176-6673.emabe...
).
A partir de então, as avaliações, ditas de larga escala, passam a ter uma importância cada vez maior para os sistemas educacionais, em função da comparabilidade de resultados ao longo dos anos, incentivando estudos diagnósticos e promoção de políticas públicas voltadas para a melhoria da qualidade e da equidade da Educação oferecida por um País, ou rede de ensino, nas suas escolas.
A partir da década de 1960, os artigos do Coleman et al. (1966) revelaram que as diferenças de desempenho encontradas entre as escolas eram muito mais ligadas às características individuais dos alunos do que propriamente à instrução e metodologias utilizadas pelos professores na sala de aula. Sua contribuição mais importante foi estabelecer uma discussão sobre o papel da Educação para combater as desigualdades sociais e raciais dos alunos. O conceito que surgiu a partir dos estudos de Coleman é o de que a escola não fazia diferença, pois a desigualdade de aprendizagem dos alunos não se devia predominantemente a fatores didáticos-pedagógicos ou às características dos professores quanto à qualidade da instrução.
Embora, as pesquisas citadas sejam do século XX, hoje, no século XXI, além da escola se empenhar para garantir a qualidade e a equidade da Educação oferecida a todos os alunos, novos desafios se impõem, visto que as escolas têm de prover as demandas que os alunos enfrentarão ao longo da vida, além de aspirar a uma vida longa e saudável, contribuir positivamente como integrantes ativos de suas comunidades, participar econômica e politicamente de instituições globais e locais e relacionarem-se com o meio ambiente de modo sustentável. Essas tarefas são bem diferentes do desafio técnico de buscar meios para aprimorar o funcionamento das escolas, de modo a ajudá-las a atingir mais facilmente os objetivos visados ( REIMERS; CHUNG, 2016REIMERS, F. M.; CHUNG, C. K (orgs.). Ensinar e aprender no século XXI: metas, políticas educacionais e currículos de seis nações. São Paulo: Edições SM, 2016. ).
No início do século XXI, a OCDE empreendeu iniciativas para redefinir as principais competências que a escola deveria desenvolver no novo século e, também, um exercício periódico para avaliação do conhecimento e das habilidades de alunos de 15 anos nas áreas de leitura, matemática e ciências – o PISA ( REIMERS; CHUNG, 2016REIMERS, F. M.; CHUNG, C. K (orgs.). Ensinar e aprender no século XXI: metas, políticas educacionais e currículos de seis nações. São Paulo: Edições SM, 2016. ).
O PISA pode ser considerado a avaliação de alunos mais importante realizada no mundo, não só pela sua abrangência, já que na última edição foi aplicada a 79 países, sendo 37 deles membros da OCDE e 42 países/economias parceiras, mas, sobretudo, por apresentar itens de prova que abordam questões do mundo real que exigem habilidades mais complexas para a sua resolução.
Segundo a OCDE, as matrizes de referência de avaliação do PISA definem a competência como muito mais do que a capacidade de reproduzir os conhecimentos acumulados. De acordo com o PISA, a competência é a capacidade de satisfazer com sucesso exigências complexas em contextos variados através da mobilização de recursos psicossociais, incluindo conhecimentos e competências, motivação, atitudes, emoções e outras componentes sociais e comportamentais (OCDE, 2019).
3 O que é o PISA para Escolas?
Segundo Andreas Schleicher, Diretor da OCDE para Educação e Competências,
Enquanto a avaliação internacional PISA fornece resultados nacionais agregados para comparações internacionais e ajuda a informar debates políticos entre os ministros da Educação, o PISA para Escolas foi concebido para fornecer resultados a nível escolar aos educadores e dirigentes escolares que trabalham na linha de frente para melhorar os resultados de aprendizagem e o bem-estar dos alunos ( OCDE, 2020OCDE. Reader’s guide to the school report: how your school compares internationally. Paris, 2020. Disponível em: http://www.oecd.org/pisa/pisa-for-schools/Pisa%20for%20Schools%20-%20Reader’s%20Guide.pdf. Acesso em: 20 out. 2020.
http://www.oecd.org/pisa/pisa-for-school... , p. 3).
O PISA para Escolas é aplicado a alunos de 15 anos e 3 meses a 16 anos e 2 meses, independentemente da série escolar em que os alunos estejam, desde que matriculados a partir do 7º ano do Ensino Fundamental. Nos países mais desenvolvidos, em que não há repetência ou ela é apenas residual, os alunos elegíveis para o PISA para Escolas devem estar cursando o equivalente no Brasil ao que seria a 1ª ou 2ª série do Ensino Médio.
Essa informação é importante, pois a mídia vem apontando para o grande público em geral que o desempenho dos alunos brasileiros no PISA é insatisfatório nas três áreas avaliadas, ocupando a parte inferior do ranking dos países participantes, ao longo das edições realizadas. Uma das explicações para esse resultado pode ser também atribuída ao atraso escolar, além de falhas no sistema de ensino, fruto sobretudo das desigualdades socioeconômicas e culturais que o País vivencia.
O PISA para Escolas utiliza as matrizes de referência e os itens de teste oriundos do PISA, cujos parâmetros foram estimados segundo a TRI nas três escalas de proficiência obtidas. Ou seja, o PISA para Escolas é totalmente comparável com os resultados do PISA.
O PISA para Escolas é uma avaliação que, a partir de 2019, passou a utilizar somente o computador para aplicar as provas e questionários contextuais para os alunos, substituindo, portanto, o modelo de testes baseado em lápis e papel. Entretanto, o modelo adotado não é o de teste adaptativo, ou seja, a resposta do aluno a um determinado item não interfere na sequência de itens que é apresentada a ele. As provas são compostas por três blocos de questões e cada um desses conjuntos é chamado de caderno de prova ( booklet ). Assim, cada modelo de caderno de prova obedece à mesma sequência de apresentação de itens aos alunos, independentemente de seus acertos e erros ao longo da prova. No conjunto, os alunos têm 2 horas para fazer o teste cognitivo e aproximadamente 30 minutos para concluírem o questionário contextual.
Em 2019, o Brasil foi o primeiro país da América Latina a aplicar o PISA para Escolas na versão computadorizada. A Fundação Cesgranrio, responsável pela aplicação da primeira edição do PISA para Escolas no país, em 2017, ainda baseada em lápis e papel, foi escolhida em 2019 pela OCDE para ser a única instituição autorizada a realizar o PISA para Escolas no Brasil no período de dois anos. O PISA para Escolas 2017 foi aplicado em 46 escolas, públicas e privadas, em seis Unidades da Federação e foi promovida pela Fundação Lemman (2020).
4 O PISA para Escolas 2019 e os participantes do Brasil
A aplicação do PISA para Escolas no Brasil ocorreu no período de 22 de novembro a 09 de dezembro de 2019, em 229 escolas públicas e privadas distribuídas pelo Brasil. Dessas, 221 escolas pertenciam à cinco redes e as demais eram escolas independentes.
O projeto tem dois objetivos principais:
-
Recolher dados sobre as capacidades dos alunos em leitura, matemática e ciências; relações professor-aluno; clima disciplinar na escola; atitudes dos alunos, envolvimento na aprendizagem e competências socioemocionais.
-
Desenvolver oportunidades de aprendizagem global entre pares, sobre a melhoria dos resultados da aprendizagem, o que é conseguido através da concepção de uma série de atividades de pós-avaliação com o objetivo de apoiar os educadores na implementação de medidas de melhoria, baseadas em dados concretos na escola. As atividades incluem um fórum on-line dedicado aos participantes do PISA para Escolas, a Comunidade PISA para Escolas1 1 Disponível em https://oecdpisaforschools.org , e uma rede de embaixadores internacionais que prestam apoio à realização de planos de melhoria.
O instrumento utilizado pelo projeto PISA para Escolas da OCDE fornece às escolas uma avaliação comparativa internacional com base numa escala comum ao PISA. Os alunos elegíveis das escolas participantes são amostrados e, depois, submetidos a uma avaliação por computador. Nessa modalidade, em 2019, foram avaliados alunos do Brasil, da Espanha, dos Estados Unidos e da Rússia. Na avaliação, são apresentados aos alunos estímulos, tais como: textos, diagramas, tabelas e/ou gráficos seguidos de perguntas sobre os mesmos. As perguntas são construídas de forma que as tarefas oferecidas se assemelhem ao que os alunos podem encontrar na vida cotidiana.
No total, a prova é composta por 141 itens: 47 perguntas de leitura, 40 de matemática e 54 de ciências. As perguntas são agrupadas em sete cadernos de prova, de modo que diferentes alunos respondam a grupos sobrepostos de perguntas. Cada aluno dispôs de 120 minutos de tempo de prova para completar um dos sete cadernos que lhe foi atribuído de forma aleatória. Assim, os alunos de cada escola são testados numa vasta gama de tópicos, limitada ao tempo de teste, e cada caderno de prova proporciona aos alunos uma experiência de teste semelhante à do PISA.
Para além dos itens do teste cognitivo, a avaliação inclui dois questionários contextuais, nos quais cada aluno preencheu um questionário sobre a família e a sua casa, as suas estratégias de aprendizagem, atitudes e disposições em relação à aprendizagem e ao clima da escola. Um outro questionário foi preenchido pelo diretor, ou seu substituto, e procurava recolher informação sobre a estrutura e organização da escola, a demografia dos alunos e os recursos da escola.
A OCDE criou a avaliação original PISA em resposta às exigências dos seus países membros no sentido de obter dados regulares e confiáveis sobre os conhecimentos e competências dos seus estudantes e o desempenho dos seus sistemas educacionais num contexto internacional. Embora a avaliação PISA se destine a fornecer resultados nacionais agregados para comparações internacionais e a informar os debates políticos, o PISA para Escolas foi concebido para fornecer resultados a nível escolar para fins de avaliação comparativa e de melhoria das escolas.
Visando a atender o interesse das redes de ensino, públicas e privadas, que participaram do ciclo de avaliações de 2019, a Fundação Cesgranrio concebeu um relatório consolidando os resultados das suas escolas. Esse relatório não faz parte do Projeto PISA para Escolas promovido pela OCDE e, assim, a Fundação Cesgranrio obteve autorização para reunir os dados das avaliações e realizar as análises das informações referentes a cada rede de ensino, no seu conjunto, participante da avaliação.
As próximas seções desse artigo apresentam as médias de desempenho e algumas comparações de interesse, a distribuição dos alunos nos níveis da escala de desempenho do PISA, as relações entre o desempenho e o nível socioeconômico. Além disso, apresentarão algumas análises baseadas nas respostas dos alunos ao questionário contextual sobre as práticas de ensino, o clima escolar e a experiência dos alunos com o bullying .
5 Discussão dos resultados
As cinco redes cujos resultados serão discutidos nessa seção, são classificadas por sua dependência administrativa. As Redes 1 e 5 são redes privadas, entretanto, a Rede 1 atende alunos com nível socioeconômico e cultural mais baixo, enquanto a Rede 5, a alunos de classe média alta e alta. O número de escolas participantes do projeto nessas duas redes foi de: 36 na Rede 1, e de 10 na Rede 5. As Redes 2, 3 e 4 são redes públicas de ensino, sendo que a Rede 4 reúne 34 escolas técnicas. Na Rede 2 foram avaliadas 17 escolas, enquanto esse quantitativo foi de 127 na Rede 3. Nas cinco Redes o total de alunos avaliados foi de 11.484.
Na apreciação dos resultados a serem mostrados nas tabelas, o leitor deve levar em consideração que o número de escolas que participaram do PISA para Escolas não representa necessariamente o desempenho da rede como um todo, já que a participação no projeto foi voluntária.
5.1 Médias de desempenho e comparação com os resultados de países selecionados no PISA 2018
A seguir serão apresentadas as tabelas, comparando os resultados das cinco redes com países que participaram do PISA 2018. Foram selecionados três países da América Latina (Chile, Colômbia e México), os Estados Unidos, três países europeus (Portugal, França e Reino Unido) e, finalmente, dois países asiáticos (Coréia do Sul e Japão). A seleção desses países não se apoiou em critérios técnicos, mas, sim, por suas características geográficas, demográficas e sociais. Por exemplo, o Chile e a Colômbia por serem países da América do Sul. O México por ser um país bem populoso, com mais de 126 milhões de habitantes no ano de 2018 e, por apresentar nível socioeconômico próximo ao do Brasil. Os Estados Unidos, pelo seu desenvolvimento social e econômico, e por ser considerado o país mais rico do mundo, apesar da desigualdade na distribuição de riquezas.
Na Europa, optou-se por Portugal graças à identidade linguística e sua recente melhoria de desempenho nas últimas edições do PISA e, finalmente, França e Reino Unido por sua importância na Comunidade Europeia. Na Ásia, foram escolhidos dois países: Coréia do Sul e Japão, por sua comprovada superioridade educacional em relação aos países europeus e os do terceiro mundo.
Assim, com as médias obtidas por esses nove países, oferece-se um bom quadro para a análise comparativa com as cinco redes brasileiras participantes do PISA para Escolas em 2019. As tabelas apresentarão a média e o erro padrão 2 2 O erro padrão é uma medida estatística que informa a variabilidade associada à média amostral em relação à média da população. das redes no PISA para Escolas 2019, a média do Brasil Total e dos nove países selecionados no PISA 2018. Os percentis 5, 10, 25, 50 (mediana), 75 e 95 da distribuição de proficiência evidenciam a dispersão da população de alunos avaliada. Com esse dado, o leitor poderá apreciar um maior ou menor espalhamento do desempenho dos alunos de cada rede participante.
Por exemplo, a média da Rede 1 é 451,20, e a mediana é 453,90 (percentil 50), em leitura. Os 5% de pior desempenho têm proficiência abaixo do percentil 5 (285,63) e os 5% de melhor desempenho têm proficiência acima do percentil 95 (605,10 pontos). Esse dado é importante por mostrar que, além de haver uma variação muito grande de aprendizagem entre os alunos avaliados, medidas pedagógicas de superação de dificuldades precisam ser implementadas para garantir maior equidade entre os alunos, e menor variabilidade de desempenho.
As Tabelas 1 , 2 e 3 revelam uma superioridade de desempenho dos alunos dos países asiáticos, bem acima da média dos países da OCDE. Observando-se essas tabelas, vê-se que em todas as três áreas de conhecimento, as Redes 4 e 5 apresentam um desempenho muito superior ao alcançado pelos países da OCDE, países latino-americanos, incluindo o Brasil, e às Redes 1, 2 e 3. Entretanto, na área de matemática e de ciências, as Redes 4 e 5 apresentam resultados muito próximos dos exibidos por Coréia do Sul e Japão, considerando o erro padrão.
– Comparação com as médias obtidas pelas redes no PISA para Escolas 2019 e por Brasil e Países da OCDE no PISA 20183 - Leitura
– Comparação com as médias obtidas pelas redes no PISA para Escolas 2019 e por Brasil e Países da OCDE no PISA 2018 - Matemática
– Comparação com as médias obtidas pelas redes no PISA para Escolas 2019 e por Brasil e Países da OCDE no PISA 2018 - Ciências
A Rede 1 apresenta desempenho superior às Redes 2 e 3, públicas, no PISA para Escolas 2019 e, também, é maior do que média do Brasil no PISA 2018, nas três áreas de conhecimento, entretanto, as médias de proficiências dessa Rede estão abaixo das obtidas pelos países da OCDE.
Por outro lado, as redes públicas de ensino, 2 e 3, exibem resultados muito próximos aos obtidos pelo Brasil 2018, dado o erro padrão, sendo importante frisar que a mostra brasileira de escolas incluiu escolas da rede pública e privada.
É importante buscar o significado das médias comentadas nas escalas de proficiências colocadas no anexo deste artigo para avaliar as competências e habilidades dos alunos correspondentes a cada resultado.
5.2 Níveis de desempenho nas escalas do PISA
A aprendizagem dos alunos no PISA, como no Saeb brasileiro, é avaliada mediante a utilização de uma escala invariante (exceto pela escolha da origem e da unidade de medida) que posiciona os desempenhos dos alunos em níveis crescentes nessa escala. Para facilitar o entendimento do conceito de escala no PISA, como também no Saeb, foi utilizado pela primeira vez o exemplo de um termômetro que mede a temperatura corporal ( FONTANIVE, 2013FONTANIVE, N. S. A divulgação dos resultados das avaliações dos sistemas escolares: limitações e perspectivas. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013. https://doi.org/10.1590/S0104-40362013005000005.
https://doi.org/10.1590/S0104-4036201300...
). Assim, um valor medido de 37 graus ou acima, indica que a pessoa está com febre e essa analogia visava facilitar a compreensão dos professores, utilizando como recurso as suas próprias experiências com o termômetro corporal.
A métrica para a escala de leitura do PISA foi estabelecida em 2000 e baseou-se em uma média dos países da OCDE de 500 pontos, com desvio padrão de 100 pontos. Para matemática e ciências, foram usados os mesmos critérios, tendo como base os resultados do PISA nos anos de 2003 e 2006, respectivamente ( INEP, 2019INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Relatório Brasil no Pisa 2018: versão preliminar. Brasília, DF, 2019. ).
Essas três escalas distintas são interpretadas em pontos selecionados para descrever o que os alunos sabem e dominam em cada um dos níveis das escalas. Essa interpretação costuma ser feita por um painel de especialistas que dispõem dos itens de teste a que os alunos responderam no ano em questão, já classificados nos níveis da escala. Maiores informações sobre a forma de interpretação das escalas podem ser obtidas na literatura especializada sobre o PISA, consultando o site do Inep ou diretamente no site da OCDE.
As tabelas apresentadas a seguir especificam a distribuição dos alunos nos diferentes níveis das três escalas: leitura, matemática e ciências. A OCDE classifica os níveis das escalas em superiores (níveis 5 e 6), intermediários (níveis 2, 3 e 4) e, por fim, abaixo do nível 2, que abrangem desempenhos considerados insatisfatórios.
É importante ressaltar que, para analisar o desempenho dos alunos das Redes, distribuídos nos níveis das escalas, o leitor deve consultar quais aprendizagens, habilidades e competências os alunos demonstram ter adquirido em uma área de conhecimento, quando seus desempenhos estão situados naquele nível. Os valores numéricos de cada uma das três escalas não têm o mesmo significado. Somente pela apreciação das aprendizagens descritas no nível em que os alunos se situam, em cada área de conhecimento, será possível julgar a qualidade do desempenho dos alunos ( OCDE, 2020OCDE. Reader’s guide to the school report: how your school compares internationally. Paris, 2020. Disponível em: http://www.oecd.org/pisa/pisa-for-schools/Pisa%20for%20Schools%20-%20Reader’s%20Guide.pdf. Acesso em: 20 out. 2020.
http://www.oecd.org/pisa/pisa-for-school...
).
As Tabelas 4 , 5 e 6 apresentam a distribuição percentual dos alunos que se situam em cada nível de desempenho definido pela OCDE ou acima dele. Para o desempenho de uma Rede ser considerado satisfatório, ela deve apresentar a maioria dos seus alunos situados no nível 2 ou acima dele. Um desempenho considerado muito bom, seria um percentual alto de alunos concentrados nos níveis 5 e 6 das escalas.
Para melhor entender as escalas, é bom lembrar que a OCDE subdivide o nível 1 em 1a, 1b e 1c para leitura e 1a e 1b para ciências. Em matemática não existe essa subdivisão do nível 1.
Em leitura é interessante observar o percentual de alunos situados no nível 2 ou acima dele, considerado intermediário pela OCDE. Vê-se na Tabela 4 , que, enquanto o Brasil e as Redes 2 e 3 têm metade dos seus alunos situados nesse nível ou acima, a OCDE tem 75% e as Redes 4 e 5 têm mais de 90% dos seus alunos aí situados. Nos níveis superiores da escala, 5 e 6, considerando as populações de referência, apenas a Rede 5 tem cerca de 16% de seus alunos nesses níveis.
Em matemática, o Brasil apresenta um desempenho com um menor percentual e alunos nos níveis intermediários ou superiores, cerca de 32%. As Redes 2 e 3 estão próximas desse percentual, cerca de 37% e de 32%, respectivamente. No nível 5 ou acima dele, somente a Rede 5 merece um destaque, pois apresenta cerca de 17% de seus alunos aí situados, enquanto, para os países da OCDE, esse percentual é de cerca de 9%.
Assim como em leitura e matemática, as Redes 4 e 5 apresentam maiores percentuais de alunos no nível 2, ou acima dele em ciências. Da mesma forma, as Redes 2 e 3 apresentam percentuais menores de alunos concentrados nesse nível ou acima dele, embora essa distribuição percentual de alunos seja próxima da apresentada pelo Brasil no PISA 2018. Mais uma vez nos níveis superiores da escala, os percentuais de alunos são pequenos, não alcançando a 1% dos alunos nas Redes 2 e 3.
5.3 Correlações entre desempenho com a repetência e com o nível socioeconômico e cultural dos alunos no PISA para Escolas 2019
Nessa seção do artigo, serão discutidos os desempenhos dos alunos avaliados das cinco Redes no PISA para Escolas 2019, associados à repetência e ao status socioeconômico e cultural dos alunos.
Há mais de meio século a literatura internacional vêm mostrando correlações entre o desempenho e o sucesso escolar ( HANUSHEK; KAIN, 1972HANUSHEK, E. A.; KAIN, J. F. On the value of equality of educational opportunity as a guide to public policy. In: MOSTELLER, F.; MOYNIHAN, D. P. (eds.). On equality of educational opportunity. New York: Vintage, 1972. p. 116-145. ). Klein (2006)KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.14, n. 51, p. 139-171, abr./jun. 2006. https://doi.org/10.1590/S0104-40362006000200002
https://doi.org/10.1590/S0104-4036200600...
, por exemplo, após analisar a Educação brasileira em termos de atendimento, fluxo escolar e qualidade de ensino, aponta que:
Um atraso maior está relacionado à repetência. Medidas diretas da repetência mostram o mesmo quadro. O desempenho cai com o número de repetências. Essa constatação mostra, que ao contrário do que o sistema educacional acredita, a repetência não ajuda. Pelo contrário, só prejudica. Isso é verdade, também, quando se controla pelo nível socioeconômico (p. 156).
Nos sistemas escolares onde não há repetência ou ela é marginal, os alunos participantes do PISA estão, na sua maioria, cursando a 1ª série do Ensino Médio no Brasil ou a etapa escolar correspondente nos demais países, pois para ser elegível na amostra o aluno tem de ter entre 15 anos e 3 meses e 16 anos e 2 meses.
Entretanto, nos sistemas escolares onde a repetência é mais expressiva, podem-se encontrar alunos elegíveis para o PISA a partir do 7º ano do Ensino Fundamental. Esse é um primeiro ponto explicativo da variabilidade do desempenho nesses sistemas, pois alunos ainda no Ensino Fundamental não desenvolveram as habilidades mais complexas exigidas para responder às questões das provas de leitura, matemática e ciências do PISA.
Diante disso, cabe ressaltar que nas Redes 1, 3 e 4 havia alunos do Ensino Fundamental dentre os elegíveis, mais precisamente 13% da população avaliada nessas Redes estavam situados entre o 7º e o 9º ano. As Redes 2 e 4 não oferecem esse segmento de ensino e, portanto, somente foram avaliados alunos matriculados na 1ª ou 2ª série do Ensino Médio.
Os dados da repetência nas Redes são mostrados nas Tabelas 7, 8 e 9 que apresentam se houve ou não repetência e as médias obtidas pelos respectivos alunos, de acordo com sua situação e área de conhecimento. Chama a atenção que nessa tabela também se apresenta a ausência de informação, lembrando-se que esse dado é fornecido pelo próprio aluno no questionário contextual.
Na Tabela 7 , pode ser verificado que a diferença de médias entre os alunos que repetiram ao menos uma vez comparada com aqueles que não repetiram é grande, variando de 100 (Rede 1) a 48 pontos (Rede 4) em leitura. Em matemática ( Tabela 8 ), essa mesma comparação revela que as Redes 1, 2 e 5 apresentam maior diferença de médias, variando de cerca de 75 a 72 pontos. Em Ciências ( Tabela 9 ), novamente as Redes 1, 2 e 5 têm menores médias para os alunos repetentes, como visto nas outras duas áreas de conhecimento, variando de 85 pontos (Rede 1) a cerca de 50 pontos (Redes 2 e 5).
Esse dado é importante para mostrar aos leitores que a repetência não contribui para o aumento da aprendizagem e que seria importante, para os alunos com dificuldade de acompanhar o ritmo das aulas, adotar estratégias pedagógicas de recuperação simultânea ou no contraturno ou com o engajamento em atividades realizadas em plataformas on-line .
Numerosas pesquisas sobre fatores associados ao desempenho realizadas nas últimas décadas ( GRAY; WILCOX, 1995GRAY, J.; WILCOX, B. Good school, bad school: evaluating performance and encouraging improvement. Buckingham: Open University Press, 1995. ; LEE, 2000LEE, V. E. Using hierarchical linear modeling to study social contexts: the case of school effects. Educational Psychologist, [s. l.], v. 35, n. 2, p.125-141, 2000. ; REYNOLDS; TEDDLIE; 2008REYNOLDS, D.; TEDDLIE, C. Os processos da eficácia escolar. In: BROOKE, N.; SOARES, J. F. (orgs.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008. p. 297-328. ), quer no Brasil ou no exterior, apontam para uma correlação positiva entre níveis socioeconômicos e desempenho escolar. Uma revisão da literatura, investigando se aumentos significativos de proficiência dos alunos, encontram sempre correlações positivas entre desempenho e mudanças da composição socioeconômica e cultural dos alunos de uma rede. Esse achado é encontrado tanto em países mais desenvolvidos quanto em países mais pobres e desiguais. É importante ressaltar, ainda, que a desigualdade socioeconômica e cultural dos alunos se associam a outras variáveis demográficas, tais como gênero e cor.
No PISA para Escolas o status econômico, social e cultural (ESCS)4 4 Do inglês, Index of Economic, Social and Cultural Status. é um conceito amplo que resume muitos aspectos diferentes de um aluno, escola ou sistema escolar. No PISA e no PISA para Escolas esse índice é derivado de algumas variáveis relacionadas com o percurso familiar dos estudantes: a Educação e a ocupação dos pais, um conjunto de bens domésticos que podem ser considerados como substitutos da riqueza material, e o número de livros e outros recursos educacionais disponíveis na sua casa. As pontuações do índice são escalonadas de tal forma que a média da OCDE é de 0,0. O valor 1 (um) representa um desvio padrão em relação à média. A seguir será apresentada uma tabela, contendo a média e o erro padrão das cinco Redes, do Brasil e dos países da OCDE.
Considerando o nível socioeconômico e cultural das cinco Redes, a Tabela 10 mostra que a Rede 2 tem o índice ESCS mais baixo do que as outras quatro Redes no PISA para escolas 2019 e dos países da OCDE no PISA 2018, entretanto bastante próximo ao do Brasil.
– Médias de proficiências, erro padrão e ESCS das Redes no PISA para Escolas 2019 e do Brasil e dos países da OCDE no PISA 2018
O desempenho dessa Rede, confirmando resultados das pesquisas que estabelecem relação entre desempenho e nível socioeconômico, é de uma maneira geral mais baixo (COLEMAN et al ., 1966; HANUSHEK; KAIN 1972HANUSHEK, E. A.; KAIN, J. F. On the value of equality of educational opportunity as a guide to public policy. In: MOSTELLER, F.; MOYNIHAN, D. P. (eds.). On equality of educational opportunity. New York: Vintage, 1972. p. 116-145. ; KLEIN, 2006KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.14, n. 51, p. 139-171, abr./jun. 2006. https://doi.org/10.1590/S0104-40362006000200002
https://doi.org/10.1590/S0104-4036200600...
). No entanto, em matemática, a Rede 2 tem um desempenho mais próximo ao do Brasil e da Rede 3, considerando o erro padrão. Essa afirmação não é verdadeira, quando considerada a área de ciências, na qual a Rede 2 tem o pior desempenho dentre as populações de referência.
5.4 A percepção dos alunos das cinco Redes sobre as práticas docentes, o clima disciplinar e o bullying
Os alunos puderam manifestar suas opiniões, crenças e motivações para aprender mediante resposta ao Questionário do Aluno. Das respostas oferecidas pelos alunos, foram selecionadas três variáveis para serem discutidas nessa seção do trabalho: prática de ensino, o clima disciplinar da sala de aula e a existência de bullying entre os alunos. Na variável clima disciplinar foi construído o índice que correlacionou disciplina e o desempenho e disciplina e o nível socioeconômico. Nas demais variáveis foram apurados apenas os percentuais de frequência.
Quanto à prática de ensino, os professores costumam decidir quais práticas instrucionais eles vão utilizar em suas aulas e quanto tempo será gasto com cada uma delas. Para tomar essas decisões, os professores consideram a quantidade de tempo que vão dedicar ao estabelecimento de metas, explicações e perguntas, como também quanto tempo vão usar para apoiar alunos em suas dificuldades e fornecer feedbacks . Além disso, faz parte da prática de ensino decisões quanto à combinação de diferentes abordagens e estratégias de ensino que serão utilizadas no ano letivo.
A Tabela 11 mostra a percentagem de alunos que relataram com que frequência práticas de ensino específicas ocorreram em cada aula ou em muitas aulas. A tabela também reúne as práticas em dois grupos, um que caracteriza a instrução adaptativa, e outro que caracteriza a instrução dirigida pelo professor. Para contextualizar os resultados das cinco Redes, a tabela também mostra como os alunos do Brasil e dos países da OCDE responderam às mesmas perguntas no PISA 2018.
– Práticas de Ensino que ocorreram em cada aula ou em muitas aulas, segundo os alunos das Redes no PISA para Escolas 2019 e os alunos do Brasil e da OCDE no PISA 2018
De uma maneira geral, observa-se que, nas cinco Redes, os percentuais de respostas dos alunos sobre a instrução adaptativa são muito baixos quando comparados com os do Brasil e dos países da OCDE no PISA 2018. Por exemplo, dentre as Redes, o percentual de alunos que responderam que “O professor fornece ajuda individual quando um aluno tem dificuldade para entender um tópico ou tarefa” foi de 18,78% na Rede 1 e 27,29% na Rede 5, quando esse percentual é de 48,22% do Brasil e de 45,33% dos países da OCDE, revelando que os professores das cinco Redes consideradas são menos flexíveis que seus colegas do Brasil e dos países da OCDE.
Entretanto, nas outras quatro afirmações, quanto às práticas de instrução dirigida pelo professor, as respostas obtidas nas cinco Redes mostram percentuais de concordância bem próximos daqueles alcançados pelo Brasil e países da OCDE no PISA 2018. Quanto à afirmação “O professor faz perguntas para verificar se entendemos o que foi ensinado”, o percentual de repostas de alunos das Redes 3, 4 e 5 estão bem abaixo daqueles observados nas Redes 1 e 2, assim como no Brasil e países da OCDE.
O índice PISA de clima disciplinar é um índice baseado nas respostas dos alunos a perguntas sobre a frequência com que as seguintes coisas acontecem durante as aulas: “Os alunos não ouvem o que o professor diz”; “Há ruído e desordem”; “O professor tem de esperar muito tempo para que os alunos se acalmem”; “Os alunos não podem trabalhar bem”; e “Os alunos não começam a trabalhar durante muito tempo depois do início da aula”. Estas afirmações são combinadas para criar o índice de clima disciplinar, cuja média é zero e cujo desvio padrão é 1 (um) em todos os países da OCDE. As notas do índice são escalonadas de forma a que a média da OCDE seja de 0,0. O valor de 1 (um) representa um desvio padrão em relação à média.
A Tabela 12 mostra o índice do clima disciplinar das cinco Redes. Constata-se que as Redes públicas de ensino 2 e 3 apresentam um pior clima disciplinar quando comparado com a OCDE e mesmo com o Brasil. Essas duas Redes, também, são as que têm pior desempenho dentre as demais Redes. Ao mesmo tempo, a Rede 5, que apresenta o melhor desempenho nas três áreas de conhecimento, também é a que possui o melhor índice de clima disciplinar, próximo inclusive ao dos países da OCDE.
– Índice PISA de clima disciplinar para as cinco Redes no PISA para Escolas 2019 e para o Brasil e os países da OCDE no PISA 2018
Segundo a OCDE (2020)OCDE. Reader’s guide to the school report: how your school compares internationally. Paris, 2020. Disponível em: http://www.oecd.org/pisa/pisa-for-schools/Pisa%20for%20Schools%20-%20Reader’s%20Guide.pdf. Acesso em: 20 out. 2020.
http://www.oecd.org/pisa/pisa-for-school...
, os adolescentes envolvidos em bullying como perpetradores, vítimas ou ambos são mais propensos a faltar às aulas, abandonar a escola e ter pior desempenho acadêmico do que os colegas de escola que não têm relações conflituosas com seus pares. Além disso, eles também são mais propensos a mostrar sintomas de depressão e ansiedade, têm baixa autoestima, sentem-se solitários, mudam seus padrões alimentares e perdem o interesse nas atividades. Para os alunos que participaram do PISA para Escolas 2019 foram feitas várias perguntas sobre o seu ambiente escolar e um conjunto de itens coletou informações sobre diferentes tipos de bullying que eles podem ter experimentado na escola. O bullying pode assumir diferentes formas: o físico (bater, dar murros ou pontapés) e o verbal (insultar ou zombar). Ambos se referem a formas diretas de abuso.
O bullying relacional diz respeito ao fenômeno da exclusão social, onde alguns alunos são ignorados, excluídos de jogos ou festas, rejeitados pelos colegas, ou são vítimas de fofocas e outras formas de humilhação e vergonha pública. Como os adolescentes usam cada vez mais as comunicações eletrônicas, o cyberbullying tornou-se uma nova forma de agressão expressa através de ferramentas on-line , particularmente por telefones celulares: mensagens instantâneas, redes sociais e e-mails .
Estes diferentes tipos de bullying tendem a ocorrer concomitantemente. No PISA, os episódios de bullying são definidos como “frequentes”, se ocorrerem pelo menos algumas vezes por mês.
A Tabela 13 apresenta os resultados das opiniões dos alunos, quanto à ocorrência de bullying nas Redes no PISA para Escolas 2019 e no Brasil e nos países da OCDE no PISA 2018. Chama a atenção que mais do que 40% dos alunos da Rede 1 informaram que sofreram algum tipo de bullying , enquanto esse percentual é de cerca de 30% nas outras quatro Redes. Dentre eles, os tipos de bullying com maior ocorrência é o comportamento de os alunos “zombarem” ou “espalharem rumores” entre eles e de se sentirem “deixados de fora das atividades de propósito”, exibindo padrão de frequência de respostas semelhante ao dos países da OCDE.
– Tipos de bullying que ocorreram algumas vezes por mês ou uma vez por semana ou mais, segundo os alunos das Redes no PISA para Escolas 2019 e os alunos do Brasil e da OCDE no PISA 2018
5.5 As habilidades socioemocionais no PISA para Escolas 2019
Muitas pesquisas indicam que tanto as competências cognitivas quanto as socioemocionais melhoram as condições futuras da vida no nível social e individual das pessoas ( REIMERS; CHUNG, 2016REIMERS, F. M.; CHUNG, C. K (orgs.). Ensinar e aprender no século XXI: metas, políticas educacionais e currículos de seis nações. São Paulo: Edições SM, 2016. ; SANTOS; PRIMI, 2014SANTOS, D.; PRIMI, R. Desenvolvimento socioemocional e aprendizado escolar: uma proposta de mensuração para apoiar políticas públicas. São Paulo: Instituto Ayrton Senna, 2014. ). A partir de 2016, a OCDE lançou o seu Estudo sobre Competências Socioemocionais, que visava a avaliar estas competências, recorrendo a uma matriz de referência bem conhecida - o modelo do Big Five. O Estudo avalia um conjunto amplo e equilibrado de 15 competências em cinco domínios: desempenho de tarefas, estabilidade emocional, colaboração, abertura ao novo e envolvimento com os outros (OCDE, 2020).
É a primeira vez que a OCDE utiliza uma investigação sobre as habilidades socioemocionais, a partir das respostas dos alunos ao questionário contextual e, por essa razão, não serão feitas comparações com o Brasil e os países da OCDE no PISA 2018.
As pesquisas que estão sendo realizadas no mundo e no Brasil vêm buscando estabelecer relações entre as competências socioemocionais e o comportamento e atitudes do aluno no cotidiano da escola em função do seu bem-estar e felicidade.
A fim de manter o questionário dos alunos tão curto quanto possível, o PISA para Escolas incluiu uma competência para cada um dos cinco subdomínios, num total de 40 itens. A figura a seguir reúne os gráficos que mostram as cinco habilidades socioemocionais medidas pelo PISA para Escolas 2019 em função da percepção do aluno, em relação à sua satisfação com a vida em geral. Essa variável foi selecionada para ser apresentada e discutida nesse artigo por ter sido a única que mostrou correlações consistentes nas análises.
A interpretação de cada gráfico deve ser feita considerando a reta de regressão que mostra a tendência de correlação entre as duas variáveis para cada uma das cinco Redes. Ou seja, se a reta for crescente, isto significa que há forte correlação entre a habilidade socioemocional considerada e a percepção dos alunos daquela Rede com a satisfação com a vida. Quanto mais inclinada, maior a correlação.
A análise dos gráficos exibidos a seguir revela que, nas cinco Redes, apenas o otimismo tem correlação forte com a percepção dos alunos com a satisfação com a vida em geral. Vê-se também alguma correlação, mas não tão forte, com a empatia nas Redes 1, 2, 3 e 4. Destaca-se, também, a correlação de intensidade média para forte, entre a satisfação com a vida e a curiosidade observada na Rede 4.
– Gráficos com as correlações entre a variável satisfação com a vida e as cinco habilidades socioemocionais analisadas
6 Conclusões
Esse artigo procurou apresentar e discutir uma experiência brasileira de avaliação de alunos brasileiros realizada em 2019, mediante a aplicação computadorizada do PISA para Escolas. O projeto é inovador, não só no Brasil como nos outros três países que realizaram a mesma avaliação.
Deu-se destaque nesse trabalho às comparações possíveis de serem realizadas com o PISA dado que as duas avaliações obedecem à mesma métrica, ou seja, estão em uma mesma escala para cada uma das três áreas curriculares avaliadas. A comparabilidade com o PISA, proporciona às escolas e redes de ensino verem seus resultados frente a um panorama internacional, confrontando-os com os de outros países, sejam eles por apresentarem características socioeconômicas e culturais semelhantes ou por terem comprovada excelência acadêmica.
As cinco Redes de Ensino participantes do PISA para Escolas 2019 possuem características diferenciadas, seja por serem públicas ou privadas ou por seus critérios de admissão para a matrícula dos alunos nas escolas, fazendo com que atendam a populações de alunos com perfis socioeconômicos e culturais distintos. As diferenças entre as Redes ficam claras nas comparações do desempenho acadêmico e na análise dos fatores sociais e econômicos que são apontados pela literatura especializada, como aqueles que apresentam impactos nas habilidades e competências adquiridas pelos alunos na sua trajetória escolar.
Referências
- COLEMAN, J. S. et al. Equality of educational opportunity. Washington: Office of Education/US Department of Health, Education and Welfare, 1966.
- FONTANIVE, N. S. A divulgação dos resultados das avaliações dos sistemas escolares: limitações e perspectivas. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013. https://doi.org/10.1590/S0104-40362013005000005
» https://doi.org/10.1590/S0104-40362013005000005 - FUNDAÇÃO LEMMAN/FUNDAÇÃO CESGRANRIO/OCDE. Como o grupo de escolas no Brasil se compara internacionalmente: Pisa para escolas 2017. Síntese Geral do Projeto. 2020. Disponível em: https://fundacaolemann.org.br/noticias/pisa-para-escolas Acesso em: 23 out. 2020.
» https://fundacaolemann.org.br/noticias/pisa-para-escolas - GRAY, J.; WILCOX, B. Good school, bad school: evaluating performance and encouraging improvement. Buckingham: Open University Press, 1995.
- HANUSHEK, E. A.; KAIN, J. F. On the value of equality of educational opportunity as a guide to public policy. In: MOSTELLER, F.; MOYNIHAN, D. P. (eds.). On equality of educational opportunity. New York: Vintage, 1972. p. 116-145.
- INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Relatório Brasil no Pisa 2018: versão preliminar. Brasília, DF, 2019.
- KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.14, n. 51, p. 139-171, abr./jun. 2006. https://doi.org/10.1590/S0104-40362006000200002
» https://doi.org/10.1590/S0104-40362006000200002 - KLEIN, R.; FONTANIVE, N. S. Avaliação em larga escala: uma proposta inovadora. Em Aberto, Brasília, DF, v. 15, n. 66, p. 28-32, abr./jun. 1995. https://doi.org/10.24109/2176-6673.emaberto.15i66.%25p
» https://doi.org/10.24109/2176-6673.emaberto.15i66.%25p - LEE, V. E. Using hierarchical linear modeling to study social contexts: the case of school effects. Educational Psychologist, [s. l.], v. 35, n. 2, p.125-141, 2000.
- OCDE. Pisa 2018 assessment and analytical framework. Paris, 2019. Disponível em: https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en Acesso em: 20 out. 2020.
» https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en - OCDE. Reader’s guide to the school report: how your school compares internationally. Paris, 2020. Disponível em: http://www.oecd.org/pisa/pisa-for-schools/Pisa%20for%20Schools%20-%20Reader’s%20Guide.pdf Acesso em: 20 out. 2020.
» http://www.oecd.org/pisa/pisa-for-schools/Pisa%20for%20Schools%20-%20Reader’s%20Guide.pdf - REIMERS, F. M.; CHUNG, C. K (orgs.). Ensinar e aprender no século XXI: metas, políticas educacionais e currículos de seis nações. São Paulo: Edições SM, 2016.
- REYNOLDS, D.; TEDDLIE, C. Os processos da eficácia escolar. In: BROOKE, N.; SOARES, J. F. (orgs.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008. p. 297-328.
- SANTOS, D.; PRIMI, R. Desenvolvimento socioemocional e aprendizado escolar: uma proposta de mensuração para apoiar políticas públicas. São Paulo: Instituto Ayrton Senna, 2014.
-
1
Disponível em https://oecdpisaforschools.org
-
2
O erro padrão é uma medida estatística que informa a variabilidade associada à média amostral em relação à média da população.
-
3
No PISA 2018, a média da OCDE se baseia nos resultados obtidos pelos seguintes países membros: Alemanha, Austrália, Áustria, Bélgica, Canadá, Chile, Colômbia, Coreia, Dinamarca, Eslovênia, Espanha, Estados Unidos, Estônia, Finlândia, França, Grécia, Hungria, Irlanda, Islândia, Israel, Itália, Japão, Letônia, Lituânia, Luxemburgo, México, Noruega, Nova Zelândia, Países Baixos, Polônia, Portugal, Reino Unido, República Tcheca, República Eslovaca, Suécia, Suíça e Turquia.
-
4
Do inglês, Index of Economic, Social and Cultural Status.
Datas de Publicação
-
Publicação nesta coleção
18 Jan 2021 -
Data do Fascículo
Jan-Mar 2021
Histórico
-
Recebido
29 Out 2020 -
Aceito
03 Nov 2020
Fonte: Elaborada pelos autores, 2020