Autonomia curricular como fator associado ao desempenho de ciência no PISA

Curricular autonomy as a factor associated with science performance in PISA

Resumo:

Uma das questões atuais no ensino de ciências refere-se às mudanças curriculares e à centralidade e descentralização da gestão escolar. Particularmente, a autonomia curricular vem ganhando atenção dos educadores e pesquisadores, por ser considerada elemento fundamental para mudanças nas práticas pedagógicas. A recente aprovação da Base Nacional Comum Curricular (BNCC) tem gerado discussões que colocam em questão o engessamento curricular em âmbito nacional. Este estudo objetiva analisar as relações entre o grau de autonomia curricular nas escolas e o desempenho dos estudantes no PISA 2015. Utilizamos o método de regressão multinível aplicado nos microdados referentes ao Brasil. Os resultados indicam não haver evidências claras de que a autonomia curricular está associada ao desempenho dos estudantes no PISA. Como expressado pelos resultados, devem existir aspectos mais relevantes para compreender o desempenho dos estudantes, como as desigualdades de gênero e as condições socioeconômicas. Este estudo contribui para discussões sobre controle e autonomia curricular presentes no ensino de ciências.

Palavras-chave:
Flexibilidade curricular; Programa Internacional de Avaliação de Estudantes; Alfabetização científica; Avaliação do aluno; Avaliação externa dos alunos

Abstract:

One of the current issues in science education refers to curriculum changes and the centrality and decentralization of school management. In particular, curricular autonomy has been gaining attention from educators and researchers, as it is considered a fundamental element for changes in pedagogical practices. The recent approval of the Common Basic National Curriculum (CBNC) has generated discussions that call into question the curricular immobilization at the national level. This study aims to analyze the relationship between the degree of curricular autonomy in schools and student performance in PISA 2015. We used the multilevel regression method applied to microdata for Brazil. The results indicate that there is no clear evidence that curricular autonomy is associated with student performance in PISA. As expressed by the results, there must be aspects that are more relevant to understanding student performance, such as gender and socioeconomic inequalities. This study contributes to discussions about curricular control and autonomy present in science education.

Keywords:
Curriculum flexibility; Programme for International Student Assessment; Scientific literacy; Student evaluation; External student evaluation

Introdução

O Programa Internacional de Avaliação dos Estudantes (Programme for International Student Assessment, PISA) pode ser considerado uma das maiores e mais influentes avaliações em larga escala da atualidade. Ele consolida um compromisso dos governos dos países participantes em monitorar os resultados dos sistemas educacionais pela mensuração do desempenho dos estudantes no final da Educação Básica. O PISA é desenvolvido e aplicado de forma periódica e dentro de um quadro comum acordado internacionalmente (OCDE, 2017a). Além disso, ele tem sido utilizado como instrumento para o desenvolvimento de políticas educacionais. A disponibilidade dos dados e relatórios técnicos da Organização para Cooperação e Desenvolvimento Econômico (OCDE) tem possibilitado um amplo número de pesquisas e debates em torno do programa (DOMÍNGUEZ; VIEIRA; VIDAL, 2012). O Brasil vem participando sistematicamente do programa desde a sua criação e cada vez mais atores educacionais utilizam os resultados para tomar decisões educacionais, incorporando o PISA, por exemplo, na criação de metas educacionais (INEP, 2016).

De acordo com a literatura, há um aumento expressivo da importância do PISA para as pesquisas educacionais. Em uma revisão sistemática da literatura, Hopfenbeck et al. (2018) destacam o número crescente de estudos que utilizam os dados do PISA para investigar questões educacionais diversas, principalmente voltadas às desigualdades socioeconômicas. Os autores também apontam para um crescimento no número de estudos voltados para o impacto do PISA em políticas públicas e estudos críticos ao programa. Pinto, Silva e Bixirão Neto (2016), em uma revisão da literatura, agruparam os principais fatores que influenciam o desempenho dos estudantes portugueses e brasileiros, no domínio de matemática, nas edições da prova de 2000 até 2012. Seus achados apontam como principais fatores o sistema educativo, as características das escolas e o contexto socioeconômico dos estudantes.

De acordo com Dominguez, Vieira e Vidal (2012), com a disponibilidade dos dados, houve um aumento das pesquisas acadêmicas relacionadas ao PISA, sendo a maioria desses estudos realizados por autores ligados às universidades e publicados em periódicos de Educação e Ciências Sociais. Nesse sentido, apesar de o PISA ter cada vez mais impacto nos currículos e políticas públicas (SJØBERG, 2015), a reflexão sobre os dados e resultados permanece concentrada no âmbito acadêmico. Vilela-Ribeiro e Benite (2017), analisando os dados do PISA de 2009 e com foco no questionário socioeconômico respondido pelos estudantes, buscaram elucidar a chamada “crise de eficiência das escolas” (VILELA-RIBEIRO; BENITE, 2017, p. 404). A partir do referencial de Bourdieu (2011), relacionaram os capitais cultural, social e econômico ao desempenho dos estudantes. Os resultados indicam que esses fatores estão associados ao desempenho e essa crise educacional pode ser interpretada como um reflexo da crise da sociedade capitalista de modo mais amplo.

Somado a isso, o Brasil vem travando uma discussão sobre a implementação da Base Nacional Comum Curricular (BNCC). Algumas associações e agentes educacionais colocam em questão o engessamento curricular e o fechamento do currículo em âmbito nacional. Um dos exemplos é o caso da ANPEd (2017), que divulgou um posicionamento crítico à proposição da BNCC nos moldes em que essa vinha sendo apresentada. Para Arroyo (2013, p. 13), o currículo é o “núcleo e o espaço central mais estruturante da função da escola”.

Ainda segundo o autor, o campo do currículo é uma arena de disputa entre diversos atores sociais. Por um lado, alguns dos sistemas educacionais que implementaram um currículo nacional optam por uma matriz disciplinar igual para todos os estudantes, com pouco espaço para que os professores contextualizem o currículo. Assim, argumentam que os estudantes têm as mesmas condições para adquirir conhecimento. Por outro lado, os sistemas educacionais exigem que práticas curriculares dos professores deem conta da diversidade de contextos sociais e culturais presentes na escola, a fim de atender a todos os estudantes e situações (LEITE; FERNANDES; FIGUEIREDO, 2020).

É sob essa tensão que se desenvolvem as atuais discussões sobre a centralização e descentralização da administração escolar e, sobretudo, as questões ligadas à autonomia curricular (FILHA; COSTA, 2020; HANUSHEK; LINK; WOESSMANN, 2013; SANTOS; FERREIRA, 2019). Contudo, ainda é preciso conhecer com mais profundidade os impactos que o aumento ou a diminuição da autonomia curricular tem sobre as escolas e o aprendizado dos estudantes. Dada essa problemática acerca da autonomia curricular, esse estudo tem como objetivo analisar as relações entre o grau de autonomia curricular nas escolas e o desempenho dos estudantes no PISA 2015. Com isso buscamos responder à seguinte questão: Existe uma associação entre o grau de autonomia curricular nas escolas e o desempenho dos estudantes no teste de Ciências do PISA?

Autonomia curricular e desempenho

Domínio em ciência avaliado no PISA

O PISA foi criado em 2000 pela OCDE e tem aplicado o teste trienalmente. A última edição realizada em 2018 contou com a participação de 80 países e economias parceiras. Ele propõe avaliar estudantes de 15 anos de idade, quando os jovens estão no final da educação obrigatória para a maioria dos países, permitindo assim a produção de um quadro informativo sobre os respectivos sistemas educacionais. Apesar de não ser país-membro da OCDE, o Brasil, por meio do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), mantém uma parceria desde a criação do exame, tendo assim participado de todas as sete edições da prova até hoje – 2000, 2003, 2006, 2009, 2012, 2015 e 2018.

O PISA busca produzir medidas em três domínios: Leitura, Matemática e Ciências. A cada edição, um desses domínios ganha maior destaque. Nas edições de 2006 e 2015, o foco foi Ciências. Procurou-se avaliar a alfabetização científica, isto é, o uso do conhecimento científico para identificar questões, adquirir novos conhecimentos, explicar fenômenos científicos e tirar conclusões baseadas em evidências sobre questões relacionadas à Ciência (OECD, 2017b; MILLAR, 2006). Nesse contexto, o processo de mensuração do nível de alfabetização científica tenta identificar competências em diferentes contextos, na qual dependem de conhecimentos e atitudes em relação à ciência.

De acordo com a matriz proposta no PISA, um sujeito alfabetizado cientificamente precisa dominar os conceitos, teorias da ciência e o pensamento científico e tecnológico. Além disso, o sujeito deve ser capaz de compreender como esse conhecimento surgiu, os procedimentos e práticas ligados à investigação científica. Também deve levar em consideração os riscos para à população, sabendo pesar benefícios e malefícios potenciais da utilização do conhecimento científico. O PISA ainda enfatiza que os sujeitos precisam dominar e usar esse conhecimento científico para explicar e tirar conclusões sobre questões que estejam relacionadas à ciência, compreendê-la como forma de conhecimento e investigação humana. Também deve ter consciência de que tanto a ciência como a tecnologia moldam nosso mundo, seja em questões materiais, culturais ou intelectuais, além de estar disposto a se envolver em questões relacionadas à ciência (OECD, 2017b).

O currículo no ensino de ciências: BNCC e a autonomia curricular

Para Silva (2011), a construção de um currículo parte da pergunta sobre quais conhecimentos devem ser ensinados. Nessa perspectiva, a teoria curricular tem dois aspectos importantes: o currículo oficial, o documento com os conteúdos que devem ser ensinados nas escolas, e o currículo oculto, que representa a intenção de formação dos estudantes. Gimeno Sacristán (2000) destaca ainda um terceiro elemento importante, a materialização do currículo. Assim, o currículo se reflete nas práticas escolares, tendo cunho didático, político, administrativo, econômico, a ponto de encobrir muitos pressupostos, teorias parciais, esquemas de racionalidade, crenças e valores. O currículo é uma dinâmica de apropriações e práticas escolares e não está restrito ao documento oficial (ARROYO, 2013). Nesse sentido, entendemos que o currículo é uma arena de disputa entre diversos atores sociais.

Um dos pontos candentes dessa discussão está na centralização e descentralização da gestão escolar como um todo, e do currículo, em particular. A autonomia escolar e, principalmente, a autonomia curricular, vem ganhando a atenção dos educadores e propositores de políticas educacionais. Esse ponto é reconhecido como elemento relevante para promover mudanças nas práticas pedagógicas e consolidar a aproximação dos conteúdos escolares à vida cotidiana dos estudantes, a fim de potencializar o pleno desenvolvimento e a aprendizagem (MORGADO, 2009). De acordo com Louzano (2014), países com maior indicador de autonomia escolar tendem a focar na competência e julgamento dos professores em atender as necessidades dos estudantes e comunidades locais, além de terem diferenças nos recursos materiais e humanos disponíveis nas escolas. Por outro lado, países com maior taxa de centralização focam na equidade do ensino, capacidade de levar às escolas inovações pedagógicas e a capacidade de alinhar com políticas públicas. A questão da centralização e descentralização curricular e seu efeito sobre os sistemas de ensino para a melhora na qualidade da educação ainda está em aberto. Alguns países optaram pela descentralização em áreas como a contratação de professores e escolha de elementos curriculares, transferindo responsabilidades nacionais para diferentes níveis e localidades. Isso possibilita às escolas melhores tomadas de decisão frente ao contexto e demandas impostas pelas diferentes populações. Por outro lado, outros países buscaram maior centralização, devido à baixa confiança na capacidade de tomada de decisão desses agentes locais (HANUSHEK; LINK; WOESSMANN, 2013).

Recentemente, em âmbito nacional, houve um intenso debate sobre a necessidade de uma BNCC. Algumas associações e agentes acadêmicos colocaram em questão o engessamento curricular e o fechamento do currículo em âmbito nacional, como o caso da Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd), que vem divulgando notas críticas à BNCC (ANPED, 2017). Por mais que o documento contemple a importância da autonomia dos agentes locais no ensino, nos moldes atuais, é esperado que haja uma centralidade nas decisões curriculares. Para Arroyo (2013), a quantidade de diretrizes curriculares presentes na educação e a ênfase nas políticas de avaliação são dois indicadores da centralidade política do currículo. Assim, a aprovação e implementação da BNCC e consolidação das políticas de avaliação do sistema educacional – que incluem o PISA – podem ser compreendidos como um processo de centralização curricular. Como contraponto, Martins (2018), que participou da elaboração da 1ª e 2ª versões da BNCC, questiona se não seria melhor ter um documento nacional como a BNCC (BRASIL, 2016) que oriente e conduza os sistemas de ensino e os professores. Segundo o autor, os currículos construídos na própria escola, através de um diálogo constante entre estudantes, professores e comunidade local, podem não funcionar da maneira desejada devido à desvalorização da carreira dos professores, a falta de estrutura da maioria das escolas e a baixa qualidade dos cursos de formação de professores.

De acordo com Morgado (2009), a autonomia curricular vem sendo entendida como imprescindível, já que possibilita a aproximação dos estudantes das decisões no âmbito curricular, sendo concebido como relevante para a mudança de práticas dos professores e na qualidade do ensino. Embora haja uma crescente defesa em relação à autonomia curricular, o autor defende que só faz sentido essa defesa se a escola sofrer uma transformação, passar do que temos atualmente, uma escola que se limita a organizar e distribuir conhecimentos, para uma escola aprendente. Segundo a referida autora, é preciso que a escola possa estar continuamente em um “processo de aprendizagem organizativa e curricular” (MORGADO, 2009, p. 3592), com projetos e ações que envolvam os atores educacionais, principalmente os professores, que passem de meros transmissores de conteúdo para atores no processo de ensino-aprendizagem, fazendo com que a escola consiga conciliar as propostas de nível nacional com a realidade à qual ela se situa, ou seja, tornando-se “organizações curricularmente inteligentes” (MORGADO, 2009, p. 3592).

Por fim, a autonomia curricular pode ser vista como uma possibilidade concreta para que os professores, atores no processo de ensino-aprendizagem, tomem decisões no processo de desenvolvimento do currículo. Isso abre a possibilidade para a produção de adaptações do currículo proposto nacionalmente, buscando atender as particularidades das comunidades locais (MORGADO, 2011). Mais especificamente no ensino de ciências, a flexibilização é vista como uma forma de aumentar o interesse dos estudantes em conteúdos relacionados às ciências (MELLANDER; LIND, 2021). Uma parte significativa da literatura trata a autonomia curricular com base na prática dos professores, colocando centralidade no papel ativo do professor (BARROSO, 1996; ERSS, 2018; MORGADO, 2011). Em geral, a literatura aponta a necessidade de o professor desempenhar papel ativo no desenvolvimento curricular na escola e na sala de aula. Contudo, é preciso levar em conta que as práticas docentes são interdependentes de diversas outras práticas e contingências escolares, como a decisão sobre o conteúdo, sobre a produção e utilização de material didático, alocação de recursos, formas de utilização do espaço e do tempo escolar, etc.

Metodologia de pesquisa

Autonomia curricular no PISA

Além do teste, o programa tem questionários contextuais. O questionário contextual respondido pelos estudantes representa uma oportunidade de contextualizar os resultados obtidos nas avaliações e investigar fatores que possam estar associados ao nível socioeconômico do indivíduo. Além disso, há o questionário contextual referente às escolas, respondido por diretores, com a finalidade de obter informações sobre as práticas institucionais. O PISA ainda fornece quatro questionários opcionais caso os países decidam aplicá-los, sendo: questionário sobre familiaridade com tecnologias da informação para os estudantes, questionário sobre a carreira educacional dos estudantes, questionário para os pais e para os professores (INEP, 2016). Um ponto crítico está na medida da autonomia curricular, que certamente é um problema complexo, com múltiplos atores e diferentes níveis de interpretação. No entanto, o PISA apresenta a possibilidade de redução dessa complexidade na criação de um índice intitulado: Responsabilidade escolar em questões relacionadas ao currículo e avaliação (RESPCUR).

Esse índice é derivado do questionário contextual respondido pelos diretores das escolas participantes, com a intenção de verificar o grau de responsabilidade dos atores locais na decisão de questões relacionadas à avaliação e ao currículo, como a escolha de disciplinas, materiais didáticos e conteúdo a ser ministrado. Em trabalho anterior encontramos, utilizando regressão multivariada, uma relação de associação entre o índice RESPCUR e o nível socioeconômico. Esse resultado indica que, quanto maior o nível socioeconômico, maior a autonomia curricular (β = 0,09 ± 0,02, t= 4,26, R² = 0,02) (SILVA; GUALBERTO; RODRIGUES, 2018).

Modelo de regressão multinível

Nas ciências sociais, frequentemente os dados têm estruturas hierárquicas. Assim, as investigações tratam de problemas que relacionam os indivíduos e o contexto social em que estão inseridos, sendo a educação um exemplo (HOX, 2002). Neste artigo, utilizamos o método de regressão linear multinível, que permite construir um modelo levando em consideração dados com estruturas hierárquicas (HOX, 2002; LAROS; MARCIANO, 2008). Trabalhamos com dois níveis, em que estudamos o desempenho no teste em ciências de 2015 com base nas variáveis associadas ao estudante (nível 1), identificadas pelo índice i na equação do modelo teórico e variáveis associadas à escola (nível 2), identificados pelo índice j. A modelagem multinível está representada na equação 1, em que Y_ij representa a variável resposta do aluno i, pertencente à instituição j, para p variáveis.

Equação 1 – Modelo teórico regressão multinível (HOX, 2002):

${\text{Y}}_{\text{ij}}={\text{Y}}_{00}+{\text{Y}}_{\text{p}0}{\text{X}}_{\text{pij}}+{\text{Y}}_{\text{p}0}{\text{Z}}_{\text{qj}}+{\text{Y}}_{\text{p}0}{\text{Z}}_{\text{qj}}{\text{X}}_{\text{pij}}+{\text{U}}_{\text{pij}}{\text{X}}_{\text{pij}}+{\text{U}}_{0\text{j}}{\text{E}}_{\text{ij}}$

Na equação demonstrada, o intercepto e o coeficiente de inclinação são representados respectivamente por γ₀₀ e γ_p0. O termo E_ij representa o resíduo do nível do indivíduo e o U_0j o residual da escola. X_pij e Z_qj representam as variáveis do nível do indivíduo e do grupo instituição, respectivamente. Por último, U_pij representa o termo randômico da equação, ou seja, os resíduos das inclinações das variáveis explicativas de nível do indivíduo (HOX, 2002).

Para esta pesquisa, utilizamos os microdados do PISA 2015, disponíveis no site da OCDE. Para o tratamento dos dados, utilizamos o software R, com a interface R studio (R PROJECT, 2021).

Variáveis do modelo

Desempenho

A avaliação criada pela OCDE tem caráter diferente das provas de seleção e vestibular, pois, o objetivo dela é, por meio da mensuração do desempenho dos estudantes, obter uma melhor informação sobre a população de interesse. Assim, avaliações como o PISA procuram reduzir o erro do nível da população em detrimento do nível individual, pois, não visam atribuir uma nota para cada estudante, como fazem, por exemplo, os vestibulares. O programa visa informar como o sistema educacional daquele país ou região se encontra com maior confiança possível. Avaliações que tentam mensurar no nível populacional reportam a performance dos estudantes por meio de valores plausíveis, que é uma estimativa a partir das habilidades que um estudante pode ter. Dessa forma, não se estima diretamente a proficiência do estudante, mas uma distribuição de probabilidade desta, gerando diferentes valores plausíveis, possibilitando ter uma representação não enviesada dos valores esperados em diferentes grupos e subgrupos, bem como a variância deles (OECD, 2017a).

Para a utilização dos valores plausíveis, é recomendado rodar o modelo de regressão para cada um dos dez valores plausíveis e, em seguida, calcular as médias dos resultados (OECD, 2017a). Para isso, usamos o pacote do R, BIFIEsurvey (ROBITZSCH; OBERWIMMER, 2019), frequentemente utilizado para análises estatísticas de avaliações educacionais. O pacote contém estatística descritiva, regressão linear, além de possibilitar que as inferências estatísticas possam ser conduzidas com métodos de imputação múltipla, isto é, adequadas para avaliações que utilizam valores plausíveis. Portanto, com esse pacote podemos rodar diretamente nossos modelos com valores plausíveis e pesos amostrais para estudantes e escolas.

Indicador de autonomia curricular – RESPCUR

O indicador RESPCUR busca medir o nível relativo de responsabilidades escolares relacionadas ao currículo e à avaliação. Esse índice é construído a partir da questão SC010 do questionário contextual respondido pelos diretores das escolas participantes. Os itens utilizados dessa pergunta para a construção do índice foram: estabelecimento de políticas de avaliação de estudantes, quais livros didáticos são usados, determinando o conteúdo do curso e decidindo quais cursos são oferecidos.

As alternativas de respostas presentes no questionário para essas questões são: autoridade educativa nacional, autoridade educativa regional/local, conselho de administração escolar, diretor e professor. O indicador foi calculado com base na razão entre (i) as respostas afirmativas para o professor, diretor e conselho de administração escolar e (ii) as respostas afirmativas para a autoridade educativa nacional e a autoridade educativa regional/local. Valores mais altos indicam que as escolas têm níveis mais altos de responsabilidade curricular. Por fim, o índice foi padronizado para ter uma média da OCDE igual a 0 e um desvio padrão de 1 para os dados agrupados com amostras de país igualmente ponderadas.

Demais variáveis de controle do modelo

Indicador socioeconômico do PISA – ESCS

É possível encontrar na literatura diversos trabalhos que apontam para a correlação entre o desempenho em testes e o indicador socioeconômico (FRANCO, 2009). Na literatura especializada sobre o PISA, diversos trabalhos apontam para uma associação positiva entre o nível socioeconômico dos estudantes e o nível de alfabetização científica aferido (ALIVERNINI; MANGANELLI, 2015; GILLEECE; COSGROVE; SOFRONIOU, 2010; LAM; LAU, 2014; SUN; BRADLEY; AKERS, 2012; TOMUL; ÇELIK, 2009). O índice socioeconômico no PISA, intitulado índice do estado econômico, social e cultural (ESCS), é uma composição do escore de outros três índices, sendo eles: o maior nível educacional dos pais (PARED), o maior status ocupacional dos pais (HISEI) e os bens domésticos (HOMEPOS). O indicador ESCS foi padronizado para ter uma média da OCDE igual a 0 e um desvio padrão de 1 para os dados agrupados com amostras de país igualmente ponderadas (OECD, 2017a).

Gênero dos estudantes

Na literatura sobre o PISA, é possível encontrar estudos que apontam a existência de uma associação entre o gênero dos estudantes e seu desempenho no teste de ciências (ALIVERNINI; MANGANELLI, 2015; CHI et al., 2018, p. 20; LAM; LAU, 2014; LAU; LAM, 2017; SUN; BRADLEY; AKERS, 2012). A questão ST004 corresponde ao gênero do estudante, na qual 1 corresponde ao feminino e 2 ao masculino.

Tipo de escola – SCHLTYPE

O índice SCHLTYPE é derivado a partir de duas questões. A primeira indaga (SC013 - SC013Q01TA) se a escola é do tipo pública – governada diretamente ou indiretamente por autoridade educacional pública, agência governamental ou algum conselho administrativo nomeado pelo governo ou eleito por uma franquia pública; ou privada – gerenciada direta ou indiretamente por uma organização não governamental, como, por exemplo, uma igreja, sindicato, empresa ou outra instituição privada. A segunda pergunta (SC016) é referente à fonte de recursos da escola. A resposta é dada em porcentagem para cada uma das alternativas, sendo elas: governo (inclui departamentos, local, regional, estadual e nacional); taxas de estudante ou taxas escolares pagas pelos pais; benfeitores, doações, legados, patrocínios, arrecadação de fundos para pais e outros. O índice adota três categorias para escolas, sendo elas consideradas privada independente, privada com dependência do governo e pública. Na literatura, estudos indicam a diferenciação entre escolas públicas e privadas como aspecto crítico para a compreensão do desempenho dos estudantes (CRESPO-CEBADA; PEDRAJA-CHAPARRO; SANTÍN, 2014; MORAES; BELLUZZO, 2014).

Modelo empírico

O modelo empírico adotado neste artigo, utilizando regressão linear multinível proposto por Hox (2002), é apresentado a seguir, no qual Scie se refere ao desempenho em ciências do estudante i na escola j:

Equação 2 – Modelo empírico regressão multinível (HOX, 2002):

$\text{Scie\hspace{0.17em}ij}={\text{Y}}_{0\text{j}}+{\text{Y}}_{1\text{j}}\left(\text{gênero\_masculino}\right)+{\text{Y}}_{2\text{j}}\left(\text{índice\hspace{0.17em}socioeconômico-ESCS}\right)+{\text{Y}}_{\text{i}1}\left(\text{escola\hspace{0.17em}privada\hspace{0.17em}com\hspace{0.17em}dependência\hspace{0.17em}do\hspace{0.17em}governo}\right)+{\text{Y}}_{\text{i}2}+\left(\text{escola\hspace{0.17em}pública}\right)+{\text{Y}}_{\text{i}3}\left(\text{RESPCUR}\right)+{\text{U}}_{0\text{j}}+{\text{e}}_{\text{ij}}.$

Análise

Análise descritiva

Em 2015, cada país participante no PISA teve uma amostra entre 5 mil e 10 mil estudantes, com exceção de alguns países como o Brasil, Itália e Espanha. Em geral, são escolhidas 150 escolas de onde são selecionados aleatoriamente 45 discentes de cada uma. O Brasil optou por ter um número maior de estudantes avaliados a fim de obter uma amostra significativa para cada Estado do país. Ao todo no Brasil, 23.141 estudantes de 841 escolas fizeram parte dessa prova (INEP, 2016).

No quadro 1, identificamos que a proporção de alunos e alunas é bem parecida, com leve predominância de mulheres (51,5%). Outro dado interessante presente nesta tabela é o fato de que a maioria das escolas selecionadas no Brasil serem públicas (88,8%), enquanto 11,1% são escolas privadas independentes e apenas 0,1% são privadas com dependência do governo.

Quadro 1
Descrição das variáveis presentes no modelo

Variável	N	%
Amostra	23.141	100
Gênero feminino	12.073	51,5
Gênero masculino	11.068	48,5
Escola privada independente	1708	11,1
Escola privada com dependência do governo	75	0,1
Escola pública	15087	88,8
	M	SE	SD
ESCS	-0,96	0,03	1,16
RESPCUR	-0,53	0,03	0,74

• Fonte: elaborado pelos autores a partir dos microdados do PISA 2015.

No quadro 1, é possível identificar que o Brasil tem uma pontuação negativa no indicador socioeconômico do PISA, com uma média (M) de aproximadamente -0,96 ± 0,03, um desvio padrão quase abaixo, quando comparado com a média dos países membros da OCDE. Em relação à autonomia curricular, o Brasil tem média negativa de -0,53 ± 0,03. Isso significa que os agentes no âmbito escolar têm menor responsabilidade em relação ao currículo e avaliação quando comparados com a média dos países membros da OCDE.

Modelo de regressão multinível

A correlação intraclasse (ICC) corresponde ao quanto da variância da proficiência é devido ao fator escola. Na nossa amostra, vemos que ele é de 0,294, ou seja, 29,4% da variância é devido às variáveis relacionadas à escola.

Quadro 2
Resultado do modelo de regressão multinível

Preditores	B	SE	t-value
Intercepto	475,52***	9,65	49,27
nível 1
Sexo (masculino)	5,17***	1,42	3,65
ESCS	14,30***	1,27	11,24
nível 2
Escola privada com dependência do governo	-83,08***	14,47	-5,74
Escola pública	-62,23***	10,94	-5,69
RESPCUR	3,55	2,95	1,20
Efeito Randômico
Variância Nível 1 (σ²)	1973,8777	375,2398	5,26
Variância Nível 2 (τ00)	4742,3416	58,7875	80,67

• *p-value ≤ 0,05 | **p-value ≤ 0,01 | ***p-value ≤ 0,001
  Fonte: elaborado pelos autores a partir dos microdados PISA 2015.

O intercepto (475,52 ± 9,65) representa a média de um estudante do sexo feminino, com baixo nível socioeconômico e de escola privada independente.

No nosso modelo de regressão multinível, o indicador ESCS apresenta uma associação alta com desempenho dos estudantes, sendo responsável pelo acréscimo de 14,30 ± 1,27 pontos no desempenho para cada desvio padrão do ESCS. Em relação ao gênero dos estudantes, nossos dados mostram que, no Brasil, o desempenho dos estudantes homens está em média 5,17 ± 1,42 pontos acima do desempenho das mulheres. Referente ao nível da escola, a variável tipo de escola é, em nosso modelo, a que apresenta maior associação com o desempenho dos estudantes. Os estudantes de escola privada independente têm médias superiores à escola privada com ajuda governamental e pública, com pontuação superior de 83,08 ± 14,47 e 62,23 ± 10,94, respectivamente. Nos dados, podemos verificar que o indicador de autonomia curricular e avaliação RESPCUR não têm associação significativa com o desempenho dos estudantes (3,55 ± 2,95, t = 1,20).

Discussão

Como já apontado anteriormente, há uma literatura extensa sobre o PISA que aponta uma associação positiva entre o status socioeconômico dos estudantes e o nível de alfabetização científica aferido, isto é, desempenho no teste (ALIVERNINI; MANGANELLI, 2015). Nossos resultados reforçam esse aspecto, evidenciando que fatores externos à escola estão associados à performance dos estudantes no teste de ciências. O status socioeconômico é um dos principais componentes associados ao desempenho dos estudantes e, consequentemente, influencia a que tipo de escola o estudante terá acesso e, consequentemente, o tipo de ensino. Nossos dados apontam que existe uma grande disparidade entre os estudantes de escolas públicas e privadas, sendo esta última a que apresenta o maior desempenho. Essa informação já é reconhecida tanto no senso comum como na literatura (MORAES; BELLUZZO, 2014). Na literatura, já é conhecido que os estudantes do sexo masculino têm melhor desempenho em domínios científicos quando comparado com estudantes do sexo feminino (ALIVERNINI; MANGANELLI, 2015; CHI et al., 2018). Os resultados do modelo corroboram esses achados. Ainda nos dias atuais, o acesso à ciência tem sido dificultoso para as mulheres, devido às desigualdades de gênero que perpassam o campo científico, mesmo para aquelas que buscam seguir carreira científica (SILVA; RIBEIRO, 2014).

Referente à autonomia curricular, como mostra o resultado do modelo, não temos uma associação significativa para que possamos afirmar algo a respeito. Também é importante lembrar que a autonomia curricular não se reduz somente a um indicador como o RESPCUR, certamente ela é um problema complexo, com múltiplos atores e diferentes níveis de interpretação. Alguns aspectos merecem destaque; o Brasil apresenta uma média consideravelmente inferior de autonomia curricular (-0,53 ± 0,03) quando comparado à média dos países-membros da OCDE. A partir dos dados agregados ao longo do tempo, seremos capazes de compreender os impactos das políticas públicas, em particular, a implementação da BNCC, na autonomia curricular, possivelmente reduzindo-a ainda mais. O segundo ponto que merece destaque diz respeito justamente à não significância da associação entre autonomia curricular e desempenho dos estudantes. Isso indica que as querelas entorno da centralização e descentralização da administração escolar precisam ser examinadas com mais vagar. Os resultados apresentados aqui não refletem as certezas apresentadas na literatura, nem para um lado, nem para o outro (BARROSO, 1996; HANUSHEK; LINK; WOESSMANN, 2013; MORGADO, 2011). Assim, ainda falta uma compreensão mais detalhada a respeito dos impactos da autonomia curricular sobre os processos de ensino-aprendizagem.

Além disso, os resultados do nosso modelo, para o Brasil, no domínio de Ciências, corroboram apenas parcialmente a associação entre autonomia escolar e desempenho encontrada para Portugal nos domínios de Matemática e Leitura (PEREIRA, 2010). Segundo Pereira (2010, p. 37, grifo nosso), a

[...] autonomia na afetação de recursos tem uma contribuição positiva para o desempenho (em Portugal isto acontece apenas para as pontuações em leitura) e a autonomia na escolha das matérias e na avaliação uma contribuição negativa, embora nem sempre significativas.

Hanushek, Link e Woessmann (2013) apontam o surgimento de aspectos críticos quando à medida do efeito relacionado à autonomia curricular. Muitas decisões locais são estabelecidas indiretamente em âmbito nacional. Segundo esses autores, “[...] muitos países estabelecem padrões educacionais nacionais, avaliações nacionais e regimes de responsabilidade, e várias regras sobre as quais decisões são permitidas a nível local” (HANUSHEK; LINK; WOESSMANN, 2013, p. 213, tradução nossa). Por fim, isso deixa poucas possibilidades para a tomada de decisões das autoridades locais. Com a aprovação e implementação da BNCC, que em seu texto indica a autonomia local como relevante para a melhora da qualidade da educação (BRASIL, 2016, p. 16), é possível que tais ganhos em autonomia estejam associados a uma dose de responsabilização.

Considerações finais

Como apontado por Pinto, Silva e Bixirão Neto (2016), atualmente há poucos estudos que buscam investigar os efeitos da autonomia curricular sobre a aprendizagem dos estudantes. Além disso, uma parte da literatura encontrada sobre autonomia curricular se concentra em estudos de legislação e estudos qualitativos nas escolas. Isso nos indica um espaço de possibilidades e contribuições das análises quantitativas para a discussão sobre autonomia curricular. Apesar de todas as limitações que possamos indicar (MARCHIONNI; VAZQUEZ, 2019; SJØBERG, 2015) o PISA propõe, por meio da redução da complexidade, um indicador que visa aferir a responsabilidade escolar em questões relacionadas ao currículo e à avaliação – RESPCUR.

Este estudo procura avançar na discussão sobre a autonomia curricular investigando sua associação com desempenho dos estudantes no teste de Ciências. Sobre a questão inicialmente colocada para esse estudo, é possível concluir que não há evidências de que o indicador RESPCUR esteja associado ao desempenho dos estudantes no PISA 2015. Embora seja prematuro afirmar que a autonomia curricular não impacta a aprendizagem dos estudantes em Ciências, acreditamos que mais estudos são necessários nesse campo. Como indicado pelos nossos resultados do modelo de regressão multinível, devem existir aspectos mais relevantes para compreender o desempenho dos estudantes no teste de Ciências, como as desigualdades de gênero e as socioeconômicas. Além disso, acreditamos que este estudo possa contribuir com as questões atuais e históricas relacionadas às reformas curriculares, implementação da BNCC, processos de centralização e descentralização da administração escolar, responsabilização, dentre outras questões candentes.

Agradecimentos

A presente pesquisa foi realizada com o apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), Código de Financiamento 001.

Referências

• ALIVERNINI, F.; MANGANELLI, S. Country, school and students factors associated with extreme levels of science literacy across 25 countries. International Journal of Science Education, Dordrecht, v. 37, n. 12, p. 1992-2012, 2015. DOI: https://doi.org/gxrs
  » https://doi.org/gxrs
• ANPED. A Associação Nacional de Pós-Graduação e Pesquisa em Educação (ANPEd) e a Base Nacional Comum Curricular (BNCC) [S. l.]: ANPEd, [2017]. Disponível em: https://cutt.ly/xEUcVjA Acesso em: 18 jan. 2020.
  » https://cutt.ly/xEUcVjA.
• ARROYO, M. G. Currículo, território em disputa 5. ed. Petrópolis: Vozes, 2013.
• BARROSO, J. O estudo da autonomia da escola: da autonomia decretada à autonomia construída. In: BARROSO, J. O estudo da escola Porto: Porto Editora, 1996. p. 167-189.
• BOURDIEU, P. The forms of capital. In: SZEMAN, I.; KAPOSY, T. Cultural theory: an anthology. Oxford: Wiley-Blackwell, 2011. p. 81-93.
• BRASIL. Ministério da Educação. Secretaria da Educação Básica. Base nacional comum curricular 2. versão revista. Brasília, DF, 2016. Disponível em: https://cutt.ly/hEUvZPr Acesso em: 10 jun. 2021.
  » https://cutt.ly/hEUvZPr
• CHI, S.; LIU, C.; WANG, Z.; HAN, S. W. Moderation of the effects of scientific inquiry activities on low SES students’ PISA 2015 science achievement by school teacher support and disciplinary climate in science classroom across gender. International Journal of Science Education, London, v. 40, n. 11, p. 1284-1304, 2018. DOI: https://doi.org/gdj7bh
  » https://doi.org/gdj7bh
• CRESPO-CEBADA, E.; PEDRAJA-CHAPARRO, F.; SANTÍN, D. Does school ownership matter?: an unbiased efficiency comparison for regions of Spain. Journal of Productivity Analysis, Dordrecht, v. 41, n. 1, p. 153-172, 2014. DOI: https://doi.org/gxrt
  » https://doi.org/gxrt
• DOMÍNGUEZ, M.; VIEIRA, M.-J.; VIDAL, J. The impact of the program for international student assessment on academic journals. Assessment in Education: principles, policy & practice, London, v. 19, n. 4, p. 393-409, 2012. DOI: https://doi.org/gjskrd
  » https://doi.org/gjskrd
• ERSS, M. Complete freedom to choose within limits: teachers’ views of curricular autonomy, agency and control in Estonia, Finland and Germany. The Curriculum Journal, UK, v. 29, n. 2, p. 238-256, 2018. DOI: https://doi.org/gh2fx4
  » https://doi.org/gh2fx4
• FILHA, T. M. S. P. ; COSTA, D. M. A BNCC e sua provocação para a autonomia da escola e para a (re) significação do currículo. Textura: revista de educação e letras, Canoas, v. 22, n. 50, 2020. DOI: https://doi.org/gxrz
  » https://doi.org/gxrz
• FRANCO, A. M. P. Os determinantes da qualidade da educação no Brasil 2009. Tese (Doutorado em Teoria Econômica) – Faculdade de Economia, Administração e Contabilidade, Universidade de São Paulo, São Paulo, 2009. DOI: https://doi.org/gxr2
  » https://doi.org/gxr2
• GILLEECE, L.; COSGROVE, J.; SOFRONIOU, N. Equity in mathematics and science outcomes: characteristics associated with high and low achievement on Pisa 2006 in Ireland. International Journal of Science and Mathematics Education, Dordrecht, v. 8, n. 3, p. 475-496, 2010. DOI: https://doi.org/b5923x
  » https://doi.org/b5923x
• GIMENO SACRISTÁN, J. G. O currículo: uma reflexão sobre a prática. 3. ed. Porto Alegre: Artmed, 2000.
• HANUSHEK, E. A.; LINK, S.; WOESSMANN, L. Does school autonomy make sense everywhere? Panel estimates from PISA. Journal of Development Economics, Amsterdam, v. 104, p. 212-232, 2013. DOI: https://doi.org/gftrsn
  » https://doi.org/gftrsn
• HOPFENBECK, T. N. ; LENKEIT, J. ; EL MASRI, Y. ; CANTRELL, K. ; RYAN, C. ; BAIRD, J.-A. Lessons learned from PISA: a systematic review of peer-reviewed articles on the Program for International Student Assessment. Scandinavian Journal of Educational Research, Abingdon, v. 62, n. 3, p. 333-353, 2018. DOI: https://doi.org/gdccvb
  » https://doi.org/gdccvb
• HOX, J. Multilevel analysis: techniques and applications. Mahwah, NJ: Lawrence Erlbaum, 2002.
• INEP. Brasil no PISA 2015: análises e reflexões sobre o desempenho dos estudantes brasileiros, 2016.
• LAM, T. Y. P.; LAU, K. C. Examining factors affecting science achievement of Hong Kong in PISA 2006: using hierarchical linear modeling. International Journal of Science Education, Dordrecht, v. 36, n. 15, p. 2463-2480, 2014. DOI: https://doi.org/gxr3
  » https://doi.org/gxr3
• LAROS, J. A.; MARCIANO, J. L. Análise multinível aplicada aos dados do NELS:88. Estudos em Avaliação Educacional, São Paulo, v. 19, n. 40, p. 263-278, 2008. DOI: https://doi.org/ggmnhh
  » https://doi.org/ggmnhh
• LAU, K.; LAM, T. Y. Instructional practices and science performance of 10 top-performing regions in PISA 2015. International Journal of Science Education, Dordrecht, v. 39, n. 15, p. 2128-2149, 2017. DOI: https://doi.org/gxr4
  » https://doi.org/gxr4
• LEITE, C.; FERNANDES, P. ; FIGUEIREDO, C. National curriculum vs curricular contextualization: teachers’ perspectives. Educational Studies, Philadelphia, USA, v. 46, n. 3, p. 259-272, 2020. DOI: https://doi.org/gxr5
  » https://doi.org/gxr5
• LOUZANO, P. Análise internacional comparada de políticas curriculares [Brasília, DF: Câmara dos Deputados, 2014]. Disponível em: https://cutt.ly/fEUPnm5 Acesso em: 10 jan. 2020.
  » https://cutt.ly/fEUPnm5
• MARCHIONNI, M.; VAZQUEZ, E. The causal effect of an extra year of schooling on skills and knowledge in Latin America. Evidence from PISA. Assessment in Education: principles, policy & practice, Abingdon, v. 26, n. 4, p. 489-515, 2019. DOI: https://doi.org/gxsm
  » https://doi.org/gxsm
• MARTINS, A. F. P. Sem carroça e sem bois: breves reflexões sobre o processo de elaboração de ‘uma’ BNCC. Caderno Brasileiro de Ensino de Física, Florianópolis, v. 35, n. 3, p. 689-701, 2018. DOI: https://doi.org/gxsp
  » https://doi.org/gxsp
• MELLANDER, E.; LIND, P. Recruitment to STEM studies: the roles of curriculum reforms, flexibility of choice, and attitudes. Review of Education, Chichester, v. 9, n. 2, p. 357-398, 2021. DOI: https://doi.org/10.1002/rev3.3262
  » https://doi.org/10.1002/rev3.3262
• MILLAR, R. Twenty first century science: insights from the design and implementation of a scientific literacy approach in school science. International Journal of Science Education, Dordrecht , v. 28, n. 13, p. 1499-1521, 2006. DOI: https://doi.org/10.1080/09500690600718344
  » https://doi.org/10.1080/09500690600718344
• MORAES, A. G. E.; BELLUZZO, W. O diferencial de desempenho escolar entre escolas públicas e privadas no Brasil. Nova Economia, Belo Horizonte, v. 24, n. 2, p. 409-430, 2014. DOI: https://doi.org/gxsq
  » https://doi.org/gxsq
• MORGADO, J. Avaliação e autonomia curricular: dos discursos emancipadores à (des)regulação das práticas. In: SILVA, B. D.; ALMEIDA, L.; LOZANO, A. B.; UZQUIANO, M. P. (org.). CONGRESSO INTERNACIONAL GALEGO-PORTUGUÊS DE PSICOPEDAGOGIA, 10., 2009, Braga. Livro de Actas [...] Braga: Universidade do Minho, 2009. p. 3590-3602.
• MORGADO, J. C. Projecto curricular e autonomia da escola: das intenções às práticas. Revista Brasileira de Política e Administração da Educação, Brasília, DF, v. 27, n. 3, 2011. Disponível em: https://cutt.ly/YEUMuYa Acesso em: 29 set. 2021.
  » https://cutt.ly/YEUMuYa
• OECD. PISA 2015 technical report Paris: OECD, 2017a.
• OECD. PISA 2015 science framework. In: OECD (ed.). PISA 2015 assessment and analytical framework Paris: OECD, 2017b.
• PEREIRA, M. C. Desempenho educativo e igualdade de oportunidades em Portugal e na Europa: o papel da escola e a influência da família. Boletim Económico, Portugal, v. 16, n. 4, p. 24, 2010. Disponível em: https://cutt.ly/7EU1a0c Acesso em: 9 jan. 2020.
  » https://cutt.ly/7EU1a0c
• PINTO, J.; SILVA, J. C. E; BIXIRÃO NETO, T. Fatores influenciadores dos resultados de matemática de estudantes portugueses e brasileiros no PISA: revisão integrativa. Ciência & Educação, Bauru, v. 22, n. 4, p. 837-853, 2016. DOI: https://doi.org/gxsv
  » https://doi.org/gxsv
• (The) R PROJECT for statistical computing. Vienna: R Foundation for Statistical Computing, [2021]. Disponível em: https://www.r-project.org/ Acesso em: 29 set. 2021.
  » https://www.r-project.org/
• ROBITZSCH A.; OBERWIMMER, K. BIFIEsurvey: tools for survey statistics in educational assessment. R package version 3.4-3, 2019. Disponível em: https://CRAN.R-project.org/package=BIFIEsurvey Acesso em: 10 jan. 2020.
  » https://CRAN.R-project.org/package=BIFIEsurvey
• SANTOS, A. V.; FERREIRA, M. BNCC: múltiplas posições e olhares para pensar a qualidade da educação e a autonomia docente. Em Aberto, Brasília, DF, v. 33, n. 107, 2019. DOI: https://doi.org/gxsx
  » https://doi.org/gxsx
• SILVA, F. A.; GUALBERTO, L.; RODRIGUES, A. M. Relação da autonomia curricular e o socioeconômico no desempenho em ciências na prova PISA na América Latina. In: CONGRESSO NACIONAL DE AVALIAÇÃO EM EDUCAÇÃO, 5., 2018, São Paulo. Anais [...] Bauru: UNESP, 2018. p. 1-14.
• SILVA, T. T. Documentos de identidade: uma introdução às teorias do currículo. 3. ed. Belo Horizonte: Autêntica Editora, 2011.
• SILVA, F. F.; RIBEIRO, P. R. C. Trajetórias de mulheres na ciência: “ser cientista” e “ser mulher”. Ciência & Educação, Bauru, v. 20, n. 2, p. 449-466, 2014. DOI: https://doi.org/gxsz
  » https://doi.org/gxsz
• SJØBERG, S. PISA and global educational governance: a critique of the project, its uses and implications. Eurasia Journal of Mathematics, Science & Technology Education, UK, v. 11, n. 1, p. 111-127, 2015.
• SUN, L.; BRADLEY, K. D.; AKERS, K. A multilevel modelling approach to investigating factors impacting science achievement for secondary school students: PISA Hong Kong sample. International Journal of Science Education, Dordrecht, v. 34, n. 14, p. 2107-2125, 2012. DOI: https://doi.org/ghxjtc
  » https://doi.org/ghxjtc
• TOMUL, E.; ÇELIK, K. The relationship between the students’ academic achievement and their socioeconomic level: cross regional comparison. Procedia: social and behavioral sciences, Netherlands, v. 1, n. 1, p. 1199-1204, 2009. DOI: https://doi.org/dt9n24
  » https://doi.org/dt9n24
• VILELA-RIBEIRO, E. B; BENITE, A. M. C. A crise de eficiência da escola para além de seus muros: a influência dos capitais social, cultural e econômico no desempenho escolar em ciências. Ciência & Educação, Bauru, v. 23, n. 2, p. 403-418, 2017. DOI: https://doi.org/gg2sg4
  » https://doi.org/gg2sg4

Datas de Publicação

• Publicação nesta coleção
  29 Nov 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  31 Ago 2020
• Aceito
  16 Ago 2021