SciELO - Scientific Electronic Library Online

 
vol.29 número110Tempos diferentesFormação de professores e currículo: questões em debate índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

Compartilhar


Ensaio: Avaliação e Políticas Públicas em Educação

versão impressa ISSN 0104-4036versão On-line ISSN 1809-4465

Ensaio: aval.pol.públ.Educ. vol.29 no.110 Rio de Janeiro jan./mar. 2021  Epub 18-Jan-2021

http://dx.doi.org/10.1590/s0104-40362020002900001 

ARTIGO

O que o PISA para Escolas revela sobre uma Rede de Ensino no Brasil? A experiência da Fundação Cesgranrio em 2019 *

What does PISA for Schools reveal about an education network in Brazil? The experience of the Fundação Cesgranrio in 2019

¿Qué revela PISA para Escuelas sobre una Red de Enseñanza en Brasil? La experiencia de la Fundação Cesgranrio en 2019

a Fundação Cesgranrio, Rio de Janeiro, RJ, Brasil.

b Fundação Cesgranrio, Rio de Janeiro, RJ, Brasil.

c Fundação Cesgranrio, Rio de Janeiro, RJ, Brasil.

d Fundação Cesgranrio, Rio de Janeiro, RJ, Brasil.


Resumo

O PISA para Escolas, uma avaliação de alunos promovida pela OCDE, foi aplicada no Brasil em duas ocasiões distintas, 2017 e 2019. A edição de 2019 do PISA para Escolas foi administrada somente via computador a uma população de 11.484 alunos pertencentes a 229 escolas públicas e privadas. O PISA para Escolas avalia três áreas de conhecimento com itens de teste calcados nas matrizes de referência do PISA. Os resultados obtidos pelas escolas de cinco Redes de ensino, públicas e particulares, foram agregados em um conjunto de tabelas que possibilitaram a análise comparativa do desempenho dos alunos entre as Redes e com variáveis selecionadas no estudo. Como resultado, observou-se uma variabilidade de desempenho dos alunos das Redes, explicadas em grande parte por suas características socioeconômicas e culturais, práticas de ensino e clima disciplinar. Investigaram-se, também, três aspectos que vêm sendo tratados na literatura mais atual e, entre eles, a prática do bullying , o fenômeno da repetência e a importância das habilidades socioemocionais no contexto escolar.

Palavras-Chave: PISA para Escolas; Avaliação de desempenho; Variáveis explicativas do desempenho

Abstract

PISA for Schools, a student assessment promoted by the OECD, was applied in Brazil in two separate years, 2017 and 2019. The 2019 edition of PISA for Schools was administered, only by computer, to a population of 11,484 students from 229 public and private schools. PISA for Schools assesses three areas of knowledge with items based on the PISA frameworks. The results obtained by the schools of five education networks, public and private, were aggregated in a set of tables that allowed the comparative analysis of the students’ performance between the networks and with variables selected in the study. As a result, there was a variability in the performance of students in the Networks, explained largely by their socioeconomic and cultural characteristics, teaching practices and disciplinary climate. We also investigated three aspects that have been dealt with in the most current literature, and among them, the practice of bullying, the phenomenon of repetition and the importance of socioemotional skills in the school context.

Key words: PISA for Schools; performance assessment; explanatory performance variables

Resumen

El PISA para Escuelas, una evaluación de estudiantes promovida por la OCDE, se aplicó en Brasil en dos ocasiones distintas, 2017 y 2019. La edición 2019 de PISA para Escuelas se administró solo por computadora a una población de 11.484 estudiantes pertenecientes a 229 escuelas públicas y privadas. PISA para Escuelas evalúa tres áreas de conocimiento con elementos de prueba basados en las matrices de referencia de PISA. Los resultados obtenidos por las escuelas de cinco redes educativas, públicas y privadas, fueron agregados en un conjunto de tablas que permitieron los análisis comparativos del desempeño de los estudiantes entre las redes y con las variables seleccionadas en el estudio. Como resultado, hubo una variabilidad en el desempeño de los estudiantes en las Redes, explicada en gran parte por sus características socioeconómicas y culturales, prácticas docentes y atmosfera disciplinaria. También se investigaron tres aspectos que han sido abordados en la literatura más actual, entre ellos la práctica del bullying, el fenómeno de la repetición y la importancia de las habilidades socioemocionales en el contexto escolar.

Palabras-clave: PISA para Escuelas; evaluación del desempeño; variables explicativas del desempeño

1 Apresentação

Esse artigo vai trazer e discutir as informações sobre a experiência brasileira de aplicação do Programa de Avaliação Internacional de Alunos (PISA), para Escolas no ano de 2019. O PISA para Escolas é uma avaliação que se origina no Programa de Avaliação Internacional promovido pela Organização para Cooperação do Desenvolvimento Econômico (OCDE).

A aplicação das provas e questionários foi integralmente realizada via computador e envolveu uma equipe de campo que incluiu, além dos coordenadores responsáveis por toda a logística de uma avaliação desse porte e com essas características, colaboradores que exerceram diversos papéis. Dentre esses colaboradores, destacam-se técnicos de informática que acompanharam as aplicações in loco e foram responsáveis por instalação e monitoramento dos equipamentos tecnológicos. Outro colaborador essencial foi o aplicador, responsável por acompanhar, junto aos alunos, toda a dinâmica de aplicação, tirando dúvidas quanto ao modelo adotado e controlando os tempos das sessões de teste.

Ao longo desse artigo, os autores descreverão as etapas e processos envolvidos para a implementação do projeto, assim como discutirão os principais resultados encontrados, como as proficiências nas três áreas de conhecimento avaliadas e os fatores socioeconômicos e culturais associados ao desempenho dos alunos. Serão também apresentadas algumas variáveis de interesse, entre as quais a repetência, o clima disciplinar, o bullying e características da prática docente nas escolas participantes do projeto.

2 Introdução

A partir do ano de 1983, as avaliações de alunos com o objetivo de estudar a evolução do desempenho acadêmico, mediante a utilização de escalas, surgem nos Estados Unidos e nos países europeus, como a França, a Inglaterra, a Holanda e a Suécia. No Brasil, o Sistema de Avaliação da Educação Básica (Saeb) surge com esse mesmo objetivo em 1995, quando pela primeira vez, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) utiliza a Teoria da Resposta ao Item (TRI) para obter escalas de desempenho em leitura e matemática, em amostras de alunos brasileiros ( KLEIN; FONTANIVE, 1995 ).

A partir de então, as avaliações, ditas de larga escala, passam a ter uma importância cada vez maior para os sistemas educacionais, em função da comparabilidade de resultados ao longo dos anos, incentivando estudos diagnósticos e promoção de políticas públicas voltadas para a melhoria da qualidade e da equidade da Educação oferecida por um País, ou rede de ensino, nas suas escolas.

A partir da década de 1960, os artigos do Coleman et al. (1966) revelaram que as diferenças de desempenho encontradas entre as escolas eram muito mais ligadas às características individuais dos alunos do que propriamente à instrução e metodologias utilizadas pelos professores na sala de aula. Sua contribuição mais importante foi estabelecer uma discussão sobre o papel da Educação para combater as desigualdades sociais e raciais dos alunos. O conceito que surgiu a partir dos estudos de Coleman é o de que a escola não fazia diferença, pois a desigualdade de aprendizagem dos alunos não se devia predominantemente a fatores didáticos-pedagógicos ou às características dos professores quanto à qualidade da instrução.

Embora, as pesquisas citadas sejam do século XX, hoje, no século XXI, além da escola se empenhar para garantir a qualidade e a equidade da Educação oferecida a todos os alunos, novos desafios se impõem, visto que as escolas têm de prover as demandas que os alunos enfrentarão ao longo da vida, além de aspirar a uma vida longa e saudável, contribuir positivamente como integrantes ativos de suas comunidades, participar econômica e politicamente de instituições globais e locais e relacionarem-se com o meio ambiente de modo sustentável. Essas tarefas são bem diferentes do desafio técnico de buscar meios para aprimorar o funcionamento das escolas, de modo a ajudá-las a atingir mais facilmente os objetivos visados ( REIMERS; CHUNG, 2016 ).

No início do século XXI, a OCDE empreendeu iniciativas para redefinir as principais competências que a escola deveria desenvolver no novo século e, também, um exercício periódico para avaliação do conhecimento e das habilidades de alunos de 15 anos nas áreas de leitura, matemática e ciências – o PISA ( REIMERS; CHUNG, 2016 ).

O PISA pode ser considerado a avaliação de alunos mais importante realizada no mundo, não só pela sua abrangência, já que na última edição foi aplicada a 79 países, sendo 37 deles membros da OCDE e 42 países/economias parceiras, mas, sobretudo, por apresentar itens de prova que abordam questões do mundo real que exigem habilidades mais complexas para a sua resolução.

Segundo a OCDE, as matrizes de referência de avaliação do PISA definem a competência como muito mais do que a capacidade de reproduzir os conhecimentos acumulados. De acordo com o PISA, a competência é a capacidade de satisfazer com sucesso exigências complexas em contextos variados através da mobilização de recursos psicossociais, incluindo conhecimentos e competências, motivação, atitudes, emoções e outras componentes sociais e comportamentais (OCDE, 2019).

3 O que é o PISA para Escolas?

Segundo Andreas Schleicher, Diretor da OCDE para Educação e Competências,

Enquanto a avaliação internacional PISA fornece resultados nacionais agregados para comparações internacionais e ajuda a informar debates políticos entre os ministros da Educação, o PISA para Escolas foi concebido para fornecer resultados a nível escolar aos educadores e dirigentes escolares que trabalham na linha de frente para melhorar os resultados de aprendizagem e o bem-estar dos alunos ( OCDE, 2020 , p. 3).

O PISA para Escolas é aplicado a alunos de 15 anos e 3 meses a 16 anos e 2 meses, independentemente da série escolar em que os alunos estejam, desde que matriculados a partir do 7º ano do Ensino Fundamental. Nos países mais desenvolvidos, em que não há repetência ou ela é apenas residual, os alunos elegíveis para o PISA para Escolas devem estar cursando o equivalente no Brasil ao que seria a 1ª ou 2ª série do Ensino Médio.

Essa informação é importante, pois a mídia vem apontando para o grande público em geral que o desempenho dos alunos brasileiros no PISA é insatisfatório nas três áreas avaliadas, ocupando a parte inferior do ranking dos países participantes, ao longo das edições realizadas. Uma das explicações para esse resultado pode ser também atribuída ao atraso escolar, além de falhas no sistema de ensino, fruto sobretudo das desigualdades socioeconômicas e culturais que o País vivencia.

O PISA para Escolas utiliza as matrizes de referência e os itens de teste oriundos do PISA, cujos parâmetros foram estimados segundo a TRI nas três escalas de proficiência obtidas. Ou seja, o PISA para Escolas é totalmente comparável com os resultados do PISA.

O PISA para Escolas é uma avaliação que, a partir de 2019, passou a utilizar somente o computador para aplicar as provas e questionários contextuais para os alunos, substituindo, portanto, o modelo de testes baseado em lápis e papel. Entretanto, o modelo adotado não é o de teste adaptativo, ou seja, a resposta do aluno a um determinado item não interfere na sequência de itens que é apresentada a ele. As provas são compostas por três blocos de questões e cada um desses conjuntos é chamado de caderno de prova ( booklet ). Assim, cada modelo de caderno de prova obedece à mesma sequência de apresentação de itens aos alunos, independentemente de seus acertos e erros ao longo da prova. No conjunto, os alunos têm 2 horas para fazer o teste cognitivo e aproximadamente 30 minutos para concluírem o questionário contextual.

Em 2019, o Brasil foi o primeiro país da América Latina a aplicar o PISA para Escolas na versão computadorizada. A Fundação Cesgranrio, responsável pela aplicação da primeira edição do PISA para Escolas no país, em 2017, ainda baseada em lápis e papel, foi escolhida em 2019 pela OCDE para ser a única instituição autorizada a realizar o PISA para Escolas no Brasil no período de dois anos. O PISA para Escolas 2017 foi aplicado em 46 escolas, públicas e privadas, em seis Unidades da Federação e foi promovida pela Fundação Lemman (2020).

4 O PISA para Escolas 2019 e os participantes do Brasil

A aplicação do PISA para Escolas no Brasil ocorreu no período de 22 de novembro a 09 de dezembro de 2019, em 229 escolas públicas e privadas distribuídas pelo Brasil. Dessas, 221 escolas pertenciam à cinco redes e as demais eram escolas independentes.

O projeto tem dois objetivos principais:

  • Recolher dados sobre as capacidades dos alunos em leitura, matemática e ciências; relações professor-aluno; clima disciplinar na escola; atitudes dos alunos, envolvimento na aprendizagem e competências socioemocionais.

  • Desenvolver oportunidades de aprendizagem global entre pares, sobre a melhoria dos resultados da aprendizagem, o que é conseguido através da concepção de uma série de atividades de pós-avaliação com o objetivo de apoiar os educadores na implementação de medidas de melhoria, baseadas em dados concretos na escola. As atividades incluem um fórum on-line dedicado aos participantes do PISA para Escolas, a Comunidade PISA para Escolas1 , e uma rede de embaixadores internacionais que prestam apoio à realização de planos de melhoria.

O instrumento utilizado pelo projeto PISA para Escolas da OCDE fornece às escolas uma avaliação comparativa internacional com base numa escala comum ao PISA. Os alunos elegíveis das escolas participantes são amostrados e, depois, submetidos a uma avaliação por computador. Nessa modalidade, em 2019, foram avaliados alunos do Brasil, da Espanha, dos Estados Unidos e da Rússia. Na avaliação, são apresentados aos alunos estímulos, tais como: textos, diagramas, tabelas e/ou gráficos seguidos de perguntas sobre os mesmos. As perguntas são construídas de forma que as tarefas oferecidas se assemelhem ao que os alunos podem encontrar na vida cotidiana.

No total, a prova é composta por 141 itens: 47 perguntas de leitura, 40 de matemática e 54 de ciências. As perguntas são agrupadas em sete cadernos de prova, de modo que diferentes alunos respondam a grupos sobrepostos de perguntas. Cada aluno dispôs de 120 minutos de tempo de prova para completar um dos sete cadernos que lhe foi atribuído de forma aleatória. Assim, os alunos de cada escola são testados numa vasta gama de tópicos, limitada ao tempo de teste, e cada caderno de prova proporciona aos alunos uma experiência de teste semelhante à do PISA.

Para além dos itens do teste cognitivo, a avaliação inclui dois questionários contextuais, nos quais cada aluno preencheu um questionário sobre a família e a sua casa, as suas estratégias de aprendizagem, atitudes e disposições em relação à aprendizagem e ao clima da escola. Um outro questionário foi preenchido pelo diretor, ou seu substituto, e procurava recolher informação sobre a estrutura e organização da escola, a demografia dos alunos e os recursos da escola.

A OCDE criou a avaliação original PISA em resposta às exigências dos seus países membros no sentido de obter dados regulares e confiáveis sobre os conhecimentos e competências dos seus estudantes e o desempenho dos seus sistemas educacionais num contexto internacional. Embora a avaliação PISA se destine a fornecer resultados nacionais agregados para comparações internacionais e a informar os debates políticos, o PISA para Escolas foi concebido para fornecer resultados a nível escolar para fins de avaliação comparativa e de melhoria das escolas.

Visando a atender o interesse das redes de ensino, públicas e privadas, que participaram do ciclo de avaliações de 2019, a Fundação Cesgranrio concebeu um relatório consolidando os resultados das suas escolas. Esse relatório não faz parte do Projeto PISA para Escolas promovido pela OCDE e, assim, a Fundação Cesgranrio obteve autorização para reunir os dados das avaliações e realizar as análises das informações referentes a cada rede de ensino, no seu conjunto, participante da avaliação.

As próximas seções desse artigo apresentam as médias de desempenho e algumas comparações de interesse, a distribuição dos alunos nos níveis da escala de desempenho do PISA, as relações entre o desempenho e o nível socioeconômico. Além disso, apresentarão algumas análises baseadas nas respostas dos alunos ao questionário contextual sobre as práticas de ensino, o clima escolar e a experiência dos alunos com o bullying .

5 Discussão dos resultados

As cinco redes cujos resultados serão discutidos nessa seção, são classificadas por sua dependência administrativa. As Redes 1 e 5 são redes privadas, entretanto, a Rede 1 atende alunos com nível socioeconômico e cultural mais baixo, enquanto a Rede 5, a alunos de classe média alta e alta. O número de escolas participantes do projeto nessas duas redes foi de: 36 na Rede 1, e de 10 na Rede 5. As Redes 2, 3 e 4 são redes públicas de ensino, sendo que a Rede 4 reúne 34 escolas técnicas. Na Rede 2 foram avaliadas 17 escolas, enquanto esse quantitativo foi de 127 na Rede 3. Nas cinco Redes o total de alunos avaliados foi de 11.484.

Na apreciação dos resultados a serem mostrados nas tabelas, o leitor deve levar em consideração que o número de escolas que participaram do PISA para Escolas não representa necessariamente o desempenho da rede como um todo, já que a participação no projeto foi voluntária.

5.1 Médias de desempenho e comparação com os resultados de países selecionados no PISA 2018

A seguir serão apresentadas as tabelas, comparando os resultados das cinco redes com países que participaram do PISA 2018. Foram selecionados três países da América Latina (Chile, Colômbia e México), os Estados Unidos, três países europeus (Portugal, França e Reino Unido) e, finalmente, dois países asiáticos (Coréia do Sul e Japão). A seleção desses países não se apoiou em critérios técnicos, mas, sim, por suas características geográficas, demográficas e sociais. Por exemplo, o Chile e a Colômbia por serem países da América do Sul. O México por ser um país bem populoso, com mais de 126 milhões de habitantes no ano de 2018 e, por apresentar nível socioeconômico próximo ao do Brasil. Os Estados Unidos, pelo seu desenvolvimento social e econômico, e por ser considerado o país mais rico do mundo, apesar da desigualdade na distribuição de riquezas.

Na Europa, optou-se por Portugal graças à identidade linguística e sua recente melhoria de desempenho nas últimas edições do PISA e, finalmente, França e Reino Unido por sua importância na Comunidade Europeia. Na Ásia, foram escolhidos dois países: Coréia do Sul e Japão, por sua comprovada superioridade educacional em relação aos países europeus e os do terceiro mundo.

Assim, com as médias obtidas por esses nove países, oferece-se um bom quadro para a análise comparativa com as cinco redes brasileiras participantes do PISA para Escolas em 2019. As tabelas apresentarão a média e o erro padrão 2 das redes no PISA para Escolas 2019, a média do Brasil Total e dos nove países selecionados no PISA 2018. Os percentis 5, 10, 25, 50 (mediana), 75 e 95 da distribuição de proficiência evidenciam a dispersão da população de alunos avaliada. Com esse dado, o leitor poderá apreciar um maior ou menor espalhamento do desempenho dos alunos de cada rede participante.

Por exemplo, a média da Rede 1 é 451,20, e a mediana é 453,90 (percentil 50), em leitura. Os 5% de pior desempenho têm proficiência abaixo do percentil 5 (285,63) e os 5% de melhor desempenho têm proficiência acima do percentil 95 (605,10 pontos). Esse dado é importante por mostrar que, além de haver uma variação muito grande de aprendizagem entre os alunos avaliados, medidas pedagógicas de superação de dificuldades precisam ser implementadas para garantir maior equidade entre os alunos, e menor variabilidade de desempenho.

As Tabelas 1 , 2 e 3 revelam uma superioridade de desempenho dos alunos dos países asiáticos, bem acima da média dos países da OCDE. Observando-se essas tabelas, vê-se que em todas as três áreas de conhecimento, as Redes 4 e 5 apresentam um desempenho muito superior ao alcançado pelos países da OCDE, países latino-americanos, incluindo o Brasil, e às Redes 1, 2 e 3. Entretanto, na área de matemática e de ciências, as Redes 4 e 5 apresentam resultados muito próximos dos exibidos por Coréia do Sul e Japão, considerando o erro padrão.

Tabela 1 – Comparação com as médias obtidas pelas redes no PISA para Escolas 2019 e por Brasil e Países da OCDE no PISA 20183 - Leitura 

População Média Erro Padrão Percentil
5 10 25 50 75 95
Brasil PISA 2018 412,87 2,05 257,82 285,73 340,16 407,78 482,48 584,07
OCDE PISA 2018 484,96 1,20 311,83 346,75 410,81 485,76 559,76 653,77
Chile PISA 2018 452,47 2,62 298,84 331,81 389,04 453,07 517,57 602,35
Colômbia PISA 2018 412,28 3,24 272,08 299,71 349,45 407,44 472,72 565,67
México PISA 2018 420,52 2,73 285,99 313,87 362,40 418,59 476,85 561,90
EUA PISA 2018 505,39 3,60 321,71 359,91 429,26 509,82 584,06 675,93
Portugal PISA 2018 491,60 2,41 327,00 362,79 425,13 497,08 561,81 638,32
França PISA 2018 492,94 2,29 319,79 355,35 422,67 497,43 567,29 651,11
Reino Unido PISA 2018 504,11 2,55 334,78 372,73 435,20 506,44 574,73 664,78
Japão PISA 2018 503,96 2,71 336,67 374,56 438,56 508,12 572,43 656,84
Coréia do Sul PISA 2018 513,98 2,95 329,58 377,68 448,61 521,79 585,30 669,87
Rede 1 PFS 2019 451,20 1,92 285,63 327,74 389,86 453,90 515,34 605,10
Rede 2 PFS 2019 400,85 2,86 249,18 283,08 334,36 401,14 463,25 555,71
Rede 3 PFS 2019 410,65 1,26 251,79 286,38 345,35 411,69 477,80 566,32
Rede 4 PFS 2019 520,18 2,09 365,29 408,62 469,03 525,20 578,62 655,61
Rede 5 PFS 2019 532,91 4,62 374,52 424,06 477,56 538,50 595,91 672,21

Fonte: Elaborada pelos autores, 2020

Tabela 2 – Comparação com as médias obtidas pelas redes no PISA para Escolas 2019 e por Brasil e Países da OCDE no PISA 2018 - Matemática 

População Média Erro Padrão Percentil
5 10 25 50 75 95
Brasil PISA 2018 383,57 1,97 250,74 275,84 321,00 376,28 440,04 538,74
OCDE PISA 2018 477,61 1,02 317,15 350,11 408,69 478,34 547,26 635,61
Chile PISA 2018 417,65 2,39 283,82 311,47 359,21 416,59 475,02 558,47
Colômbia PISA 2018 390,94 2,97 262,65 289,95 334,39 387,32 445,13 530,45
México PISA 2018 408,33 2,47 282,71 309,65 354,96 407,35 460,88 539,14
EUA PISA 2018 478,39 3,20 325,41 358,21 414,18 479,83 543,70 628,04
Portugal PISA 2018 492,85 2,66 327,61 361,52 426,75 497,66 562,36 642,75
França PISA 2018 494,92 2,35 333,29 369,61 432,73 501,06 561,27 637,40
Reino Unido PISA 2018 501,94 2,50 345,90 381,80 439,29 503,81 566,56 651,00
Japão PISA 2018 527,02 2,56 379,84 412,17 468,73 530,70 588,95 663,28
Coréia do Sul PISA 2018 525,62 3,12 352,81 393,27 459,75 529,90 595,24 683,12
Rede 1 PFS 2019 438,35 1,47 305,05 335,43 384,52 440,05 492,75 566,37
Rede 2 PFS 2019 395,57 2,33 265,29 293,12 338,73 393,22 448,63 537,88
Rede 3 PFS 2019 385,59 0,98 257,02 286,13 333,21 385,92 437,63 512,26
Rede 4 PFS 2019 504,05 1,48 381,43 409,01 455,28 505,35 551,67 626,20
Rede 5 PFS 2019 531,39 3,90 401,79 433,60 478,21 530,88 584,79 662,88

Fonte: Elaborada pelos autores, 2020

Tabela 3 – Comparação com as médias obtidas pelas redes no PISA para Escolas 2019 e por Brasil e Países da OCDE no PISA 2018 - Ciências 

População Média Erro Padrão Percentil
5 10 25 50 75 95
Brasil PISA 2018 403,62 2,01 268,50 292,50 338,13 396,33 463,56 563,41
OCDE PISA 2018 486,41 1,07 325,27 356,60 414,68 486,00 557,80 648,37
Chile PISA 2018 443,86 2,44 310,14 336,10 385,34 442,37 501,91 582,77
Colômbia PISA 2018 413,31 3,07 287,36 310,79 354,17 408,97 468,74 555,14
México PISA 2018 419,04 2,62 300,19 324,74 366,22 415,77 468,80 548,54
EUA PISA 2018 502,22 3,29 335,98 370,57 432,85 504,20 573,79 659,39
Portugal PISA 2018 491,77 2,80 336,88 368,42 427,83 493,65 558,23 638,20
França PISA 2018 492,94 2,30 330,13 363,59 424,83 497,06 562,87 644,14
Reino Unido PISA 2018 504,83 2,52 340,69 374,58 436,37 506,70 574,83 663,49
Japão PISA 2018 528,91 2,64 370,47 404,21 465,66 533,67 595,33 672,69
Coréia do Sul PISA 2018 518,84 2,80 351,38 386,54 452,48 524,18 588,67 671,96
Rede 1 PFS 2019 447,25 1,78 309,44 338,61 389,03 447,00 504,58 588,90
Rede 2 PFS 2019 382,64 2,34 258,37 284,43 327,40 378,53 434,56 522,63
Rede 3 PFS 2019 400,74 1,06 271,84 300,50 346,58 399,27 454,82 531,94
Rede 4 PFS 2019 512,70 1,58 381,20 412,09 462,78 515,26 567,43 633,59
Rede 5 PFS 2019 527,65 3,79 377,27 420,67 481,48 534,25 582,60 651,85

Fonte: Elaborada pelos autores, 2020

A Rede 1 apresenta desempenho superior às Redes 2 e 3, públicas, no PISA para Escolas 2019 e, também, é maior do que média do Brasil no PISA 2018, nas três áreas de conhecimento, entretanto, as médias de proficiências dessa Rede estão abaixo das obtidas pelos países da OCDE.

Por outro lado, as redes públicas de ensino, 2 e 3, exibem resultados muito próximos aos obtidos pelo Brasil 2018, dado o erro padrão, sendo importante frisar que a mostra brasileira de escolas incluiu escolas da rede pública e privada.

É importante buscar o significado das médias comentadas nas escalas de proficiências colocadas no anexo deste artigo para avaliar as competências e habilidades dos alunos correspondentes a cada resultado.

5.2 Níveis de desempenho nas escalas do PISA

A aprendizagem dos alunos no PISA, como no Saeb brasileiro, é avaliada mediante a utilização de uma escala invariante (exceto pela escolha da origem e da unidade de medida) que posiciona os desempenhos dos alunos em níveis crescentes nessa escala. Para facilitar o entendimento do conceito de escala no PISA, como também no Saeb, foi utilizado pela primeira vez o exemplo de um termômetro que mede a temperatura corporal ( FONTANIVE, 2013 ). Assim, um valor medido de 37 graus ou acima, indica que a pessoa está com febre e essa analogia visava facilitar a compreensão dos professores, utilizando como recurso as suas próprias experiências com o termômetro corporal.

A métrica para a escala de leitura do PISA foi estabelecida em 2000 e baseou-se em uma média dos países da OCDE de 500 pontos, com desvio padrão de 100 pontos. Para matemática e ciências, foram usados os mesmos critérios, tendo como base os resultados do PISA nos anos de 2003 e 2006, respectivamente ( INEP, 2019 ).

Essas três escalas distintas são interpretadas em pontos selecionados para descrever o que os alunos sabem e dominam em cada um dos níveis das escalas. Essa interpretação costuma ser feita por um painel de especialistas que dispõem dos itens de teste a que os alunos responderam no ano em questão, já classificados nos níveis da escala. Maiores informações sobre a forma de interpretação das escalas podem ser obtidas na literatura especializada sobre o PISA, consultando o site do Inep ou diretamente no site da OCDE.

As tabelas apresentadas a seguir especificam a distribuição dos alunos nos diferentes níveis das três escalas: leitura, matemática e ciências. A OCDE classifica os níveis das escalas em superiores (níveis 5 e 6), intermediários (níveis 2, 3 e 4) e, por fim, abaixo do nível 2, que abrangem desempenhos considerados insatisfatórios.

É importante ressaltar que, para analisar o desempenho dos alunos das Redes, distribuídos nos níveis das escalas, o leitor deve consultar quais aprendizagens, habilidades e competências os alunos demonstram ter adquirido em uma área de conhecimento, quando seus desempenhos estão situados naquele nível. Os valores numéricos de cada uma das três escalas não têm o mesmo significado. Somente pela apreciação das aprendizagens descritas no nível em que os alunos se situam, em cada área de conhecimento, será possível julgar a qualidade do desempenho dos alunos ( OCDE, 2020 ).

As Tabelas 4 , 5 e 6 apresentam a distribuição percentual dos alunos que se situam em cada nível de desempenho definido pela OCDE ou acima dele. Para o desempenho de uma Rede ser considerado satisfatório, ela deve apresentar a maioria dos seus alunos situados no nível 2 ou acima dele. Um desempenho considerado muito bom, seria um percentual alto de alunos concentrados nos níveis 5 e 6 das escalas.

Tabela 4 – Distribuição dos alunos acima dos níveis da escala do PISA-Leitura 

Rede Acima do Nível
1C EP 1C 1B EP 1B 1A EP 1A 2 EP 2 3 EP 3 4 EP 4 5 EP 5 6 EP 6
Brasil Total 2018 99,62 0,12 94,32 0,44 76,74 0,77 50,12 0,90 25,66 0,85 9,21 0,61 1,86 0,25 0,17 0,05
OCDE PISA 2018 99,92 0,02 98,60 0,09 91,95 0,21 75,96 0,38 51,96 0,47 27,05 0,42 9,03 0,27 1,58 0,09
Rede 1 PFS 2019 99,56 0,16 96,87 0,36 88,86 0,69 68,84 0,97 38,74 1,05 13,67 0,76 3,15 0,39 0,33 0,15
Rede 2 PFS 2019 99,00 0,55 93,57 0,97 74,78 1,71 47,05 1,70 20,40 1,55 5,36 0,81 0,90 0,33 0,08 0,12
Rede 3 PFS 2019 98,88 0,19 93,78 0,41 78,45 0,63 51,62 0,68 24,24 0,60 6,63 0,35 0,93 0,18 0,05 0,04
Rede 4 PFS 2019 99,94 0,08 99,35 0,19 96,84 0,47 90,18 0,85 70,80 1,09 36,08 1,26 10,11 0,82 1,34 0,36
Rede 5 PFS 2019 99,83 0,28 98,90 0,76 97,65 0,82 92,03 1,41 74,05 2,40 43,68 2,67 15,72 2,16 2,24 0,99

Fonte: Elaborada pelos autores, 2020

Tabela 5 – Distribuição dos alunos acima dos níveis da escala do PISA- Matemática 

Rede Acima do Nível
1 EP 1 2 EP 2 3 EP 3 4 EP 4 5 EP 5 6 EP 6
Brasil Total 2018 58,79 1,03 31,83 1,01 13,68 0,78 4,40 0,47 0,93 0,20 0,13 0,05
OCDE PISA 2018 88,46 0,27 71,33 0,42 48,50 0,47 25,81 0,37 9,43 0,23 2,02 0,09
Rede 1 PFS 2019 84,35 0,74 59,98 0,89 29,46 1,05 8,84 0,81 1,34 0,26 0,26 0,13
Rede 2 PFS 2019 66,63 1,53 36,91 1,59 14,21 1,03 4,19 0,74 0,71 0,38 0,13 0,14
Rede 3 PFS 2019 63,90 0,69 32,87 0,68 10,61 0,47 1,93 0,21 0,20 0,09 0,01 0,03
Rede 4 PFS 2019 97,44 0,37 87,20 0,76 61,98 1,25 28,39 1,19 8,34 0,71 1,31 0,29
Rede 5 PFS 2019 97,79 0,94 92,45 1,71 73,31 2,36 44,18 2,62 16,75 2,31 4,36 1,27

Fonte: Elaborada pelos autores, 2020

Tabela 6 – Distribuição dos alunos acima dos níveis da escala do PISA- Ciências 

Rede Acima do Nível
1B EP 1B 1A EP 1A 2 EP 2 3 EP 3 4 EP 4 5 EP 5 6 EP 6
Brasil Total 2018 96,09 0,40 76,26 0,73 44,56 0,98 19,21 0,87 5,52 0,48 0,77 0,15 0,03 0,03
OCDE PISA 2018 99,31 0,05 93,72 0,26 76,62 0,40 50,70 0,46 24,72 0,42 7,04 0,24 0,91 0,07
Rede 1 PFS 2019 98,65 0,23 90,70 0,73 67,02 1,03 33,26 1,05 9,32 0,64 1,62 0,30 0,04 0,07
Rede 2 PFS 2019 94,62 0,95 71,13 1,97 35,37 1,71 10,61 1,04 2,36 0,52 0,26 0,19 0,00 0,00
Rede 3 PFS 2019 96,19 0,27 79,59 0,65 45,29 0,70 14,99 0,51 2,50 0,25 0,19 0,09 0,00 0,02
Rede 4 PFS 2019 99,82 0,12 98,41 0,36 90,53 0,76 65,20 1,34 28,48 1,15 5,02 0,51 0,49 0,21
Rede 5 PFS 2019 99,37 0,51 97,21 0,96 91,45 1,49 73,63 2,56 37,15 2,38 8,56 1,85 1,00 0,70

Fonte: Elaborada pelos autores, 2020

Para melhor entender as escalas, é bom lembrar que a OCDE subdivide o nível 1 em 1a, 1b e 1c para leitura e 1a e 1b para ciências. Em matemática não existe essa subdivisão do nível 1.

Em leitura é interessante observar o percentual de alunos situados no nível 2 ou acima dele, considerado intermediário pela OCDE. Vê-se na Tabela 4 , que, enquanto o Brasil e as Redes 2 e 3 têm metade dos seus alunos situados nesse nível ou acima, a OCDE tem 75% e as Redes 4 e 5 têm mais de 90% dos seus alunos aí situados. Nos níveis superiores da escala, 5 e 6, considerando as populações de referência, apenas a Rede 5 tem cerca de 16% de seus alunos nesses níveis.

Em matemática, o Brasil apresenta um desempenho com um menor percentual e alunos nos níveis intermediários ou superiores, cerca de 32%. As Redes 2 e 3 estão próximas desse percentual, cerca de 37% e de 32%, respectivamente. No nível 5 ou acima dele, somente a Rede 5 merece um destaque, pois apresenta cerca de 17% de seus alunos aí situados, enquanto, para os países da OCDE, esse percentual é de cerca de 9%.

Assim como em leitura e matemática, as Redes 4 e 5 apresentam maiores percentuais de alunos no nível 2, ou acima dele em ciências. Da mesma forma, as Redes 2 e 3 apresentam percentuais menores de alunos concentrados nesse nível ou acima dele, embora essa distribuição percentual de alunos seja próxima da apresentada pelo Brasil no PISA 2018. Mais uma vez nos níveis superiores da escala, os percentuais de alunos são pequenos, não alcançando a 1% dos alunos nas Redes 2 e 3.

5.3 Correlações entre desempenho com a repetência e com o nível socioeconômico e cultural dos alunos no PISA para Escolas 2019

Nessa seção do artigo, serão discutidos os desempenhos dos alunos avaliados das cinco Redes no PISA para Escolas 2019, associados à repetência e ao status socioeconômico e cultural dos alunos.

Há mais de meio século a literatura internacional vêm mostrando correlações entre o desempenho e o sucesso escolar ( HANUSHEK; KAIN, 1972 ). Klein (2006) , por exemplo, após analisar a Educação brasileira em termos de atendimento, fluxo escolar e qualidade de ensino, aponta que:

Um atraso maior está relacionado à repetência. Medidas diretas da repetência mostram o mesmo quadro. O desempenho cai com o número de repetências. Essa constatação mostra, que ao contrário do que o sistema educacional acredita, a repetência não ajuda. Pelo contrário, só prejudica. Isso é verdade, também, quando se controla pelo nível socioeconômico (p. 156).

Nos sistemas escolares onde não há repetência ou ela é marginal, os alunos participantes do PISA estão, na sua maioria, cursando a 1ª série do Ensino Médio no Brasil ou a etapa escolar correspondente nos demais países, pois para ser elegível na amostra o aluno tem de ter entre 15 anos e 3 meses e 16 anos e 2 meses.

Entretanto, nos sistemas escolares onde a repetência é mais expressiva, podem-se encontrar alunos elegíveis para o PISA a partir do 7º ano do Ensino Fundamental. Esse é um primeiro ponto explicativo da variabilidade do desempenho nesses sistemas, pois alunos ainda no Ensino Fundamental não desenvolveram as habilidades mais complexas exigidas para responder às questões das provas de leitura, matemática e ciências do PISA.

Diante disso, cabe ressaltar que nas Redes 1, 3 e 4 havia alunos do Ensino Fundamental dentre os elegíveis, mais precisamente 13% da população avaliada nessas Redes estavam situados entre o 7º e o 9º ano. As Redes 2 e 4 não oferecem esse segmento de ensino e, portanto, somente foram avaliados alunos matriculados na 1ª ou 2ª série do Ensino Médio.

Os dados da repetência nas Redes são mostrados nas Tabelas 7, 8 e 9 que apresentam se houve ou não repetência e as médias obtidas pelos respectivos alunos, de acordo com sua situação e área de conhecimento. Chama a atenção que nessa tabela também se apresenta a ausência de informação, lembrando-se que esse dado é fornecido pelo próprio aluno no questionário contextual.

Na Tabela 7 , pode ser verificado que a diferença de médias entre os alunos que repetiram ao menos uma vez comparada com aqueles que não repetiram é grande, variando de 100 (Rede 1) a 48 pontos (Rede 4) em leitura. Em matemática ( Tabela 8 ), essa mesma comparação revela que as Redes 1, 2 e 5 apresentam maior diferença de médias, variando de cerca de 75 a 72 pontos. Em Ciências ( Tabela 9 ), novamente as Redes 1, 2 e 5 têm menores médias para os alunos repetentes, como visto nas outras duas áreas de conhecimento, variando de 85 pontos (Rede 1) a cerca de 50 pontos (Redes 2 e 5).

Tabela 7 – Situação de repetência - Leitura 

Rede Repetência Frequência Média E.P.
Rede 1 PFS 2019 Não repetiu 2354 462,40 2,01
Repetiu pelo menos uma vez 286 362,15 5,32
Sem Informação 47 434,04 14,19
Rede 2 PFS 2019 Não repetiu 1012 403,38 2,88
Repetiu pelo menos uma vez 32 330,92 16,11
Sem Informação 10 356,86 24,08
Rede 3 PFS 2019 Não repetiu 4634 419,69 1,39
Repetiu pelo menos uma vez 591 348,59 3,77
Sem Informação 107 370,92 10,18
Rede 4 PFS 2019 Não repetiu 1999 520,93 2,13
Repetiu pelo menos uma vez 36 472,97 15,92
Sem Informação 17 530,37 15,53
Rede 5 PFS 2019 Não repetiu 389 536,46 4,80
Repetiu pelo menos uma vez 23 460,69 19,07
Sem Informação 6 479,16 36,10

Fonte: Elaborada pelos autores, 2020

Tabela 8 – Situação de repetência - Matemática 

Rede Repetência Frequência Média E.P.
Rede 1 PFS 2019 Não repetiu 2354 446,97 1,74
Repetiu pelo menos uma vez 286 371,65 4,40
Sem Informação 47 413,42 11,10
Rede 2 PFS 2019 Não repetiu 1012 398,22 2,35
Repetiu pelo menos uma vez 32 326,06 13,97
Sem Informação 10 337,36 27,90
Rede 3 PFS 2019 Não repetiu 4634 392,84 1,10
Repetiu pelo menos uma vez 591 338,29 3,38
Sem Informação 107 341,36 7,36
Rede 4 PFS 2019 Não repetiu 1999 504,51 1,48
Repetiu pelo menos uma vez 36 483,06 16,52
Sem Informação 17 494,11 14,99
Rede 5 PFS 2019 Não repetiu 389 534,28 3,96
Repetiu pelo menos uma vez 23 461,63 15,22
Sem Informação 6 513,65 36,28

Fonte: Elaborada pelos autores, 2020

Tabela 9 – Situação de repetência – Ciências 

Rede Repetência Frequência Média E.P.
Rede 1 PFS 2019 Não repetiu 2354 456,81 1,81
Repetiu pelo menos uma vez 286 374,31 4,99
Sem Informação 47 413,22 13,67
Rede 2 PFS 2019 Não repetiu 1012 384,21 2,40
Repetiu pelo menos uma vez 32 333,86 12,11
Sem Informação 10 372,01 21,27
Rede 3 PFS 2019 Não repetiu 4634 407,74 1,20
Repetiu pelo menos uma vez 591 352,31 3,11
Sem Informação 107 372,35 7,05
Rede 4 PFS 2019 Não repetiu 1999 513,28 1,53
Repetiu pelo menos uma vez 36 485,50 17,80
Sem Informação 17 500,81 16,93
Rede 5 PFS 2019 Não repetiu 389 529,99 3,98
Repetiu pelo menos uma vez 23 475,66 17,62
Sem Informação 6 502,35 36,64

Fonte: Elaborada pelos autores, 2020

Esse dado é importante para mostrar aos leitores que a repetência não contribui para o aumento da aprendizagem e que seria importante, para os alunos com dificuldade de acompanhar o ritmo das aulas, adotar estratégias pedagógicas de recuperação simultânea ou no contraturno ou com o engajamento em atividades realizadas em plataformas on-line .

Numerosas pesquisas sobre fatores associados ao desempenho realizadas nas últimas décadas ( GRAY; WILCOX, 1995 ; LEE, 2000 ; REYNOLDS; TEDDLIE; 2008 ), quer no Brasil ou no exterior, apontam para uma correlação positiva entre níveis socioeconômicos e desempenho escolar. Uma revisão da literatura, investigando se aumentos significativos de proficiência dos alunos, encontram sempre correlações positivas entre desempenho e mudanças da composição socioeconômica e cultural dos alunos de uma rede. Esse achado é encontrado tanto em países mais desenvolvidos quanto em países mais pobres e desiguais. É importante ressaltar, ainda, que a desigualdade socioeconômica e cultural dos alunos se associam a outras variáveis demográficas, tais como gênero e cor.

No PISA para Escolas o status econômico, social e cultural (ESCS)4 é um conceito amplo que resume muitos aspectos diferentes de um aluno, escola ou sistema escolar. No PISA e no PISA para Escolas esse índice é derivado de algumas variáveis relacionadas com o percurso familiar dos estudantes: a Educação e a ocupação dos pais, um conjunto de bens domésticos que podem ser considerados como substitutos da riqueza material, e o número de livros e outros recursos educacionais disponíveis na sua casa. As pontuações do índice são escalonadas de tal forma que a média da OCDE é de 0,0. O valor 1 (um) representa um desvio padrão em relação à média. A seguir será apresentada uma tabela, contendo a média e o erro padrão das cinco Redes, do Brasil e dos países da OCDE.

Considerando o nível socioeconômico e cultural das cinco Redes, a Tabela 10 mostra que a Rede 2 tem o índice ESCS mais baixo do que as outras quatro Redes no PISA para escolas 2019 e dos países da OCDE no PISA 2018, entretanto bastante próximo ao do Brasil.

Tabela 10 – Médias de proficiências, erro padrão e ESCS das Redes no PISA para Escolas 2019 e do Brasil e dos países da OCDE no PISA 2018 

População Índice PISA de Status Econômico, Social E Cultural (ESCS) Proficiências
LEITURA EP MATEMÁTICA EP CIÊNCIAS EP
Brasil PISA 2018 -1,10 412,87 2,11 383,57 2,03 403,62 2,06
OCDE PISA 2018 -0,03 484,96 1,20 477,61 1,02 486,41 1,07
Rede 1 PFS 2019 -0,52 451,20 1,92 438,35 1,47 447,25 1,78
Rede 2 PFS 2019 -1,13 400,85 2,86 395,57 2,33 382,64 2,34
Rede 3 PFS 2019 -0,70 410,65 1,26 385,59 0,98 400,74 1,06
Rede 4 PFS 2019 -0,17 520,18 2,09 504,05 1,48 512,70 1,58
Rede 5 PFS 2019 0,56 532,91 4,62 531,39 3,90 527,65 3,79

Fonte: Elaborada pelos autores, 2020

O desempenho dessa Rede, confirmando resultados das pesquisas que estabelecem relação entre desempenho e nível socioeconômico, é de uma maneira geral mais baixo (COLEMAN et al ., 1966; HANUSHEK; KAIN 1972 ; KLEIN, 2006 ). No entanto, em matemática, a Rede 2 tem um desempenho mais próximo ao do Brasil e da Rede 3, considerando o erro padrão. Essa afirmação não é verdadeira, quando considerada a área de ciências, na qual a Rede 2 tem o pior desempenho dentre as populações de referência.

5.4 A percepção dos alunos das cinco Redes sobre as práticas docentes, o clima disciplinar e o bullying

Os alunos puderam manifestar suas opiniões, crenças e motivações para aprender mediante resposta ao Questionário do Aluno. Das respostas oferecidas pelos alunos, foram selecionadas três variáveis para serem discutidas nessa seção do trabalho: prática de ensino, o clima disciplinar da sala de aula e a existência de bullying entre os alunos. Na variável clima disciplinar foi construído o índice que correlacionou disciplina e o desempenho e disciplina e o nível socioeconômico. Nas demais variáveis foram apurados apenas os percentuais de frequência.

Quanto à prática de ensino, os professores costumam decidir quais práticas instrucionais eles vão utilizar em suas aulas e quanto tempo será gasto com cada uma delas. Para tomar essas decisões, os professores consideram a quantidade de tempo que vão dedicar ao estabelecimento de metas, explicações e perguntas, como também quanto tempo vão usar para apoiar alunos em suas dificuldades e fornecer feedbacks . Além disso, faz parte da prática de ensino decisões quanto à combinação de diferentes abordagens e estratégias de ensino que serão utilizadas no ano letivo.

A Tabela 11 mostra a percentagem de alunos que relataram com que frequência práticas de ensino específicas ocorreram em cada aula ou em muitas aulas. A tabela também reúne as práticas em dois grupos, um que caracteriza a instrução adaptativa, e outro que caracteriza a instrução dirigida pelo professor. Para contextualizar os resultados das cinco Redes, a tabela também mostra como os alunos do Brasil e dos países da OCDE responderam às mesmas perguntas no PISA 2018.

Tabela 11 – Práticas de Ensino que ocorreram em cada aula ou em muitas aulas, segundo os alunos das Redes no PISA para Escolas 2019 e os alunos do Brasil e da OCDE no PISA 2018 

Modelo Práticas de Ensino Percentual Médio
BRASIL OCDE BRASIL REDE 2 BRASIL REDE 4 BRASIL
Instrução adaptativa O professor muda a estrutura da lição em um tópico que a maioria dos alunos acha difícil de entender 52,96 43,79 25,45 43,73 49,68 43,33 27,00
O professor fornece ajuda individual quando um aluno tem dificuldade para entender um tópico ou tarefa 48,22 45.330 18,78 36,00 37,67 39,40 27,29
O professor adapta a lição às necessidades e conhecimentos da minha turma 59,06 55,85 33,36 51,76 56,34 50,68 35,90
Instrução dirigida pelo professor O professor nos diz o que precisamos aprender 83,84 75,41 74,59 70,47 65,31 64,99 77,97
No início de uma lição, o professor apresenta um breve resumo da lição anterior 82,57 76,61 74,86 76,47 67,26 66,35 79,88
O professor faz perguntas para verificar se entendemos o que foi ensinado 49,82 49,23 43,36 51,22 35,62 28,36 37,99
O professor estabelece metas claras para o nosso aprendizado 82,45 76,97 76,79 76,99 67,19 67,44 81,61

Fonte: Elaborada pelos autores, 2020

De uma maneira geral, observa-se que, nas cinco Redes, os percentuais de respostas dos alunos sobre a instrução adaptativa são muito baixos quando comparados com os do Brasil e dos países da OCDE no PISA 2018. Por exemplo, dentre as Redes, o percentual de alunos que responderam que “O professor fornece ajuda individual quando um aluno tem dificuldade para entender um tópico ou tarefa” foi de 18,78% na Rede 1 e 27,29% na Rede 5, quando esse percentual é de 48,22% do Brasil e de 45,33% dos países da OCDE, revelando que os professores das cinco Redes consideradas são menos flexíveis que seus colegas do Brasil e dos países da OCDE.

Entretanto, nas outras quatro afirmações, quanto às práticas de instrução dirigida pelo professor, as respostas obtidas nas cinco Redes mostram percentuais de concordância bem próximos daqueles alcançados pelo Brasil e países da OCDE no PISA 2018. Quanto à afirmação “O professor faz perguntas para verificar se entendemos o que foi ensinado”, o percentual de repostas de alunos das Redes 3, 4 e 5 estão bem abaixo daqueles observados nas Redes 1 e 2, assim como no Brasil e países da OCDE.

O índice PISA de clima disciplinar é um índice baseado nas respostas dos alunos a perguntas sobre a frequência com que as seguintes coisas acontecem durante as aulas: “Os alunos não ouvem o que o professor diz”; “Há ruído e desordem”; “O professor tem de esperar muito tempo para que os alunos se acalmem”; “Os alunos não podem trabalhar bem”; e “Os alunos não começam a trabalhar durante muito tempo depois do início da aula”. Estas afirmações são combinadas para criar o índice de clima disciplinar, cuja média é zero e cujo desvio padrão é 1 (um) em todos os países da OCDE. As notas do índice são escalonadas de forma a que a média da OCDE seja de 0,0. O valor de 1 (um) representa um desvio padrão em relação à média.

A Tabela 12 mostra o índice do clima disciplinar das cinco Redes. Constata-se que as Redes públicas de ensino 2 e 3 apresentam um pior clima disciplinar quando comparado com a OCDE e mesmo com o Brasil. Essas duas Redes, também, são as que têm pior desempenho dentre as demais Redes. Ao mesmo tempo, a Rede 5, que apresenta o melhor desempenho nas três áreas de conhecimento, também é a que possui o melhor índice de clima disciplinar, próximo inclusive ao dos países da OCDE.

Tabela 12 – Índice PISA de clima disciplinar para as cinco Redes no PISA para Escolas 2019 e para o Brasil e os países da OCDE no PISA 2018 

População Índice Clima Disciplinar Proficiências
LEITURA EP MATEMÁTICA LEITURA CIÊNCIAS EP
Brasil PISA 2018 -0,37 412,87 2,11 383,57 2,03 403,62 2,06
OCDE PISA 2018 0,10 484,96 1,20 477,61 1,02 486,41 1,07
Rede 1 PFS 2019 -0,94 451,20 1,92 438,35 1,47 447,25 1,78
Rede 2 PFS 2019 -1,32 400,85 2,86 395,57 2,33 382,64 2,34
Rede 3 PFS 2019 -2,03 410,65 1,26 385,59 0,98 400,74 1,06
Rede 4 PFS 2019 -0,70 520,18 2,09 504,05 1,48 512,70 1,58
Rede 5 PFS 2019 -0,18 532,91 4,62 531,39 3,90 527,65 3,79

Fonte: Elaborada pelos autores, 2020

Segundo a OCDE (2020) , os adolescentes envolvidos em bullying como perpetradores, vítimas ou ambos são mais propensos a faltar às aulas, abandonar a escola e ter pior desempenho acadêmico do que os colegas de escola que não têm relações conflituosas com seus pares. Além disso, eles também são mais propensos a mostrar sintomas de depressão e ansiedade, têm baixa autoestima, sentem-se solitários, mudam seus padrões alimentares e perdem o interesse nas atividades. Para os alunos que participaram do PISA para Escolas 2019 foram feitas várias perguntas sobre o seu ambiente escolar e um conjunto de itens coletou informações sobre diferentes tipos de bullying que eles podem ter experimentado na escola. O bullying pode assumir diferentes formas: o físico (bater, dar murros ou pontapés) e o verbal (insultar ou zombar). Ambos se referem a formas diretas de abuso.

O bullying relacional diz respeito ao fenômeno da exclusão social, onde alguns alunos são ignorados, excluídos de jogos ou festas, rejeitados pelos colegas, ou são vítimas de fofocas e outras formas de humilhação e vergonha pública. Como os adolescentes usam cada vez mais as comunicações eletrônicas, o cyberbullying tornou-se uma nova forma de agressão expressa através de ferramentas on-line , particularmente por telefones celulares: mensagens instantâneas, redes sociais e e-mails .

Estes diferentes tipos de bullying tendem a ocorrer concomitantemente. No PISA, os episódios de bullying são definidos como “frequentes”, se ocorrerem pelo menos algumas vezes por mês.

A Tabela 13 apresenta os resultados das opiniões dos alunos, quanto à ocorrência de bullying nas Redes no PISA para Escolas 2019 e no Brasil e nos países da OCDE no PISA 2018. Chama a atenção que mais do que 40% dos alunos da Rede 1 informaram que sofreram algum tipo de bullying , enquanto esse percentual é de cerca de 30% nas outras quatro Redes. Dentre eles, os tipos de bullying com maior ocorrência é o comportamento de os alunos “zombarem” ou “espalharem rumores” entre eles e de se sentirem “deixados de fora das atividades de propósito”, exibindo padrão de frequência de respostas semelhante ao dos países da OCDE.

Tabela 13 – Tipos de bullying que ocorreram algumas vezes por mês ou uma vez por semana ou mais, segundo os alunos das Redes no PISA para Escolas 2019 e os alunos do Brasil e da OCDE no PISA 2018 

Bullying Percentual Médio
BRASIL OCDE REDE 1 REDE 2 REDE 3 REDE 4 REDE 5
Qualquer tipo de bullying 30,11 23,52 40,81 32,47 33,04 27,23 26,88
Outros alunos me deixaram de fora das atividades de propósito 13,63 9,64 16,18 12,91 13,29 11,67 10,62
Outros alunos zombaram de mim 16,46 14,72 20,85 18,05 18,19 14,68 13,19
Fui ameaçado por outros alunos 10,10 6,10 7,09 4,98 6,12 2,63 1,88
Outros alunos tomaram ou destruíram coisas que me pertenciam 11,70 5,82 15,84 10,79 12,66 6,60 5,91
Fui atingido ou empurrado por outros alunos 9,03 6,36 5,95 4,34 5,19 2,22 1,65
Outros alunos espalharam rumores desagradáveis sobre mim 14,50 10,21 18,83 13,23 13,64 9,92 10,73

Fonte: Elaborada pelos autores, 2020

5.5 As habilidades socioemocionais no PISA para Escolas 2019

Muitas pesquisas indicam que tanto as competências cognitivas quanto as socioemocionais melhoram as condições futuras da vida no nível social e individual das pessoas ( REIMERS; CHUNG, 2016 ; SANTOS; PRIMI, 2014 ). A partir de 2016, a OCDE lançou o seu Estudo sobre Competências Socioemocionais, que visava a avaliar estas competências, recorrendo a uma matriz de referência bem conhecida - o modelo do Big Five. O Estudo avalia um conjunto amplo e equilibrado de 15 competências em cinco domínios: desempenho de tarefas, estabilidade emocional, colaboração, abertura ao novo e envolvimento com os outros (OCDE, 2020).

É a primeira vez que a OCDE utiliza uma investigação sobre as habilidades socioemocionais, a partir das respostas dos alunos ao questionário contextual e, por essa razão, não serão feitas comparações com o Brasil e os países da OCDE no PISA 2018.

As pesquisas que estão sendo realizadas no mundo e no Brasil vêm buscando estabelecer relações entre as competências socioemocionais e o comportamento e atitudes do aluno no cotidiano da escola em função do seu bem-estar e felicidade.

A fim de manter o questionário dos alunos tão curto quanto possível, o PISA para Escolas incluiu uma competência para cada um dos cinco subdomínios, num total de 40 itens. A figura a seguir reúne os gráficos que mostram as cinco habilidades socioemocionais medidas pelo PISA para Escolas 2019 em função da percepção do aluno, em relação à sua satisfação com a vida em geral. Essa variável foi selecionada para ser apresentada e discutida nesse artigo por ter sido a única que mostrou correlações consistentes nas análises.

A interpretação de cada gráfico deve ser feita considerando a reta de regressão que mostra a tendência de correlação entre as duas variáveis para cada uma das cinco Redes. Ou seja, se a reta for crescente, isto significa que há forte correlação entre a habilidade socioemocional considerada e a percepção dos alunos daquela Rede com a satisfação com a vida. Quanto mais inclinada, maior a correlação.

A análise dos gráficos exibidos a seguir revela que, nas cinco Redes, apenas o otimismo tem correlação forte com a percepção dos alunos com a satisfação com a vida em geral. Vê-se também alguma correlação, mas não tão forte, com a empatia nas Redes 1, 2, 3 e 4. Destaca-se, também, a correlação de intensidade média para forte, entre a satisfação com a vida e a curiosidade observada na Rede 4.

Fonte: Elaborada pelos autores, 2020

Figura 1 – Gráficos com as correlações entre a variável satisfação com a vida e as cinco habilidades socioemocionais analisadas 

6 Conclusões

Esse artigo procurou apresentar e discutir uma experiência brasileira de avaliação de alunos brasileiros realizada em 2019, mediante a aplicação computadorizada do PISA para Escolas. O projeto é inovador, não só no Brasil como nos outros três países que realizaram a mesma avaliação.

Deu-se destaque nesse trabalho às comparações possíveis de serem realizadas com o PISA dado que as duas avaliações obedecem à mesma métrica, ou seja, estão em uma mesma escala para cada uma das três áreas curriculares avaliadas. A comparabilidade com o PISA, proporciona às escolas e redes de ensino verem seus resultados frente a um panorama internacional, confrontando-os com os de outros países, sejam eles por apresentarem características socioeconômicas e culturais semelhantes ou por terem comprovada excelência acadêmica.

As cinco Redes de Ensino participantes do PISA para Escolas 2019 possuem características diferenciadas, seja por serem públicas ou privadas ou por seus critérios de admissão para a matrícula dos alunos nas escolas, fazendo com que atendam a populações de alunos com perfis socioeconômicos e culturais distintos. As diferenças entre as Redes ficam claras nas comparações do desempenho acadêmico e na análise dos fatores sociais e econômicos que são apontados pela literatura especializada, como aqueles que apresentam impactos nas habilidades e competências adquiridas pelos alunos na sua trajetória escolar.

Referências

COLEMAN, J. S. et al. Equality of educational opportunity. Washington: Office of Education/US Department of Health, Education and Welfare, 1966. [ Links ]

FONTANIVE, N. S. A divulgação dos resultados das avaliações dos sistemas escolares: limitações e perspectivas. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 21, n. 78, p. 83-100, jan./mar. 2013. https://doi.org/10.1590/S0104-40362013005000005. [ Links ]

FUNDAÇÃO LEMMAN/FUNDAÇÃO CESGRANRIO/OCDE. Como o grupo de escolas no Brasil se compara internacionalmente: Pisa para escolas 2017. Síntese Geral do Projeto. 2020. Disponível em: https://fundacaolemann.org.br/noticias/pisa-para-escolas. Acesso em: 23 out. 2020. [ Links ]

GRAY, J.; WILCOX, B. Good school, bad school: evaluating performance and encouraging improvement. Buckingham: Open University Press, 1995. [ Links ]

HANUSHEK, E. A.; KAIN, J. F. On the value of equality of educational opportunity as a guide to public policy. In: MOSTELLER, F.; MOYNIHAN, D. P. (eds.). On equality of educational opportunity. New York: Vintage, 1972. p. 116-145. [ Links ]

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – INEP. Relatório Brasil no Pisa 2018: versão preliminar. Brasília, DF, 2019. [ Links ]

KLEIN, R. Como está a educação no Brasil? O que fazer? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v.14, n. 51, p. 139-171, abr./jun. 2006. https://doi.org/10.1590/S0104-40362006000200002Links ]

KLEIN, R.; FONTANIVE, N. S. Avaliação em larga escala: uma proposta inovadora. Em Aberto, Brasília, DF, v. 15, n. 66, p. 28-32, abr./jun. 1995. https://doi.org/10.24109/2176-6673.emaberto.15i66.%25pLinks ]

LEE, V. E. Using hierarchical linear modeling to study social contexts: the case of school effects. Educational Psychologist, [s. l.], v. 35, n. 2, p.125-141, 2000. [ Links ]

OCDE. Pisa 2018 assessment and analytical framework. Paris, 2019. Disponível em: https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en. Acesso em: 20 out. 2020. [ Links ]

OCDE. Reader’s guide to the school report: how your school compares internationally. Paris, 2020. Disponível em: http://www.oecd.org/pisa/pisa-for-schools/Pisa%20for%20Schools%20-%20Reader’s%20Guide.pdf. Acesso em: 20 out. 2020. [ Links ]

REIMERS, F. M.; CHUNG, C. K (orgs.). Ensinar e aprender no século XXI: metas, políticas educacionais e currículos de seis nações. São Paulo: Edições SM, 2016. [ Links ]

REYNOLDS, D.; TEDDLIE, C. Os processos da eficácia escolar. In: BROOKE, N.; SOARES, J. F. (orgs.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008. p. 297-328. [ Links ]

SANTOS, D.; PRIMI, R. Desenvolvimento socioemocional e aprendizado escolar: uma proposta de mensuração para apoiar políticas públicas. São Paulo: Instituto Ayrton Senna, 2014. [ Links ]

2O erro padrão é uma medida estatística que informa a variabilidade associada à média amostral em relação à média da população.

3No PISA 2018, a média da OCDE se baseia nos resultados obtidos pelos seguintes países membros: Alemanha, Austrália, Áustria, Bélgica, Canadá, Chile, Colômbia, Coreia, Dinamarca, Eslovênia, Espanha, Estados Unidos, Estônia, Finlândia, França, Grécia, Hungria, Irlanda, Islândia, Israel, Itália, Japão, Letônia, Lituânia, Luxemburgo, México, Noruega, Nova Zelândia, Países Baixos, Polônia, Portugal, Reino Unido, República Tcheca, República Eslovaca, Suécia, Suíça e Turquia.

4Do inglês, Index of Economic, Social and Cultural Status.

Recebido: 29 de Outubro de 2020; Aceito: 03 de Novembro de 2020

Informações sobre o autor

Nilma Santos Fontanive: Doutora em Educação pela Pontifícia Universidade Católica do Rio de Janeiro. Membro do Conselho Nacional de Educação de 2016 a 2020, e vice-presidente da Câmara de Educação Básica do Conselho Nacional de Educação de 2018 a 2020. Coordenadora do Centro de Avaliação da Fundação Cesgranrio. Professora do Mestrado Profissional em Avaliação da Faculdade Cesgranrio. Contato: nilmaf@cesgranrio.org.br

Ruben Klein: Ph.D. em Matemática pelo Massachusetts Institute of Technology - EUA. Pesquisador da Fundação Cesgranrio. Professor Colaborador do Mestrado Profissional em Avaliação da Faculdade Cesgranrio. Contato: ruben@cesgranrio.org.br

Suely da Silva Rodrigues: Doutora em Educação pela Pontifícia Universidade Católica do Rio de Janeiro. Pesquisadora da Fundação Cesgranrio. Professora do Mestrado Profissional em Avaliação da Faculdade Cesgranrio. Contato: suely@cesgranrio.org.br

Alice Nabiça Moraes: Mestrado em Matemática e Estatística pela Universidade Federal do Pará, Pará. Estatística da Fundação Cesgranrio. Contato: alicemoraes@cesgranrio.org.br

*

Colaboradores: Amanda Glasser Natal, Ana Luiza Castro Gervazoni, Erica Silva Guillin, Leandro Lins Marino, Marcela Soares de Oliveira, Patrícia Bandeira Pelissari e Wagner Braz Beloto (Fundação Cesgranrio, RJ, Rio de Janeiro).

Creative Commons License  This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License, which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.