Accessibility / Report Error

ASSOCIAÇÃO DO ÍNDICE DE ATITUDES E PRÁTICAS PEDAGÓGICAS AO DESEMPENHO DOS ESTUDANTES NA AVALIAÇÃO EM LARGA ESCALA DO ESTADO DO ESPÍRITO SANTO

RESUMO:

O presente estudo alinha-se ao campo de investigação da eficácia escolar na medida em que tem como objetivo principal investigar a associação entre o desempenho dos estudantes em uma avaliação em larga escala e o índice Atitudes e Práticas Pedagógicas (IPP) - definido como um dos fatores de eficácia escolar e que se refere, de forma mais direta, à atuação do professor. Por meio de uma abordagem quantitativa, o estudo fez uso de uma modelagem estatística denominada HLM para observar a associação entre o IPP e o desempenho médio em Língua Portuguesa e Matemática dos estudantes do 9º ano do Ensino Fundamental avaliados pelo PAEBES - avaliação em larga escala do estado do Espírito Santo. Os principais resultados corroboram outros achados de pesquisa e dizem respeito ao efeito negativo da reprovação e do efeito positivo do IPP sobre o desempenho de ambas as disciplinas.

Palavras-chave:
Práticas Pedagógicas; Eficácia Escolar; Desempenho Escolar; HLM.

ABSTRACT:

The present study is in line with the field of investigation of school effectiveness, because the main objective is to investigate the association between student performance in a large-scale evaluation and the scale of Attitudes and Teaching Practices (IPP) - defined as one of the factors of school effectiveness and that refers more directly to the teacher’s performance. Through a quantitative approach, the study made use of a statistical model called HLM to observe the association between IPP and the performance in Portuguese Language and Mathematics of the 9th grade students, evaluated by PAEBES - a large-scale evaluation of the state of Espírito Santo. The main results corroborate other research findings and relate to the negative effect of the reprobation and the positive effect of IPP on the performance of both disciplines.

Keywords:
Teaching Practices; School Effectiveness; School performance; HLM.

INTRODUÇÃO

Em todo o processo educativo escolar, a figura do professor tem um papel central, pois interage diretamente com os estudantes, coordenando as atividades educacionais diárias e intermediando os processos de ensino e aprendizagem. Sua atuação possui um grande poder discricionário em relação à execução de políticas educacionais, pois é ele que decide como vai realizar o gerenciamento da classe, quais métodos vai utilizar para apresentar ideias e desenvolver as habilidades e competências, as formas de se comunicar com os estudantes e outras decisões que tomam cotidianamente e que afetam direta e indiretamente a qualidade da educação (HANUSHEK, 1986HANUSHEK, E.A. The economics of schooling: production and efficiency in public schools. Journal of Economic Literature, v.24, n.3, pp. 1141-1177, 1986.). É principalmente na sala de aula e na interação professor-estudante que o aprendizado acontece. Não é de se estranhar, portanto, a grande atenção que gestores públicos e pesquisadores em educação dedicam à atuação dos professores e às práticas pedagógicas conduzidas por eles.

Com a expansão das avaliações em larga escala e os resultados produzidos a partir delas, ampliou-se o debate acerca do efeito-escola e do efeito-professor - isto é, a capacidade que as ações escolares (efeito-escola) e a atuação dos professores (efeito-professor) têm em produzir resultados em termos de aprendizagem ou desempenho. Essas ações escolares e, mais especificamente, as ações realizadas pelos professores são definidas pelo campo de estudo da eficácia escolar como fatores que podem, ou não, estar associados ao desempenho. Ao se conhecer esses fatores e verificar o efeito que eles exercem sobre o desempenho, é possível propor políticas que visem melhorar a eficácia das ações escolares e, principalmente, da atuação dos professores, o que pode gerar impactos positivos nos resultados de desempenho das avaliações em larga escala (MORICONI, 2012MORICONI, G.M. Medindo a eficácia dos professores: o uso de modelos agregados para estimar o efeito do professor. Tese de Doutorado, Escola de Administração de Empresasde São Paulo da Fundação Getúlio Vargas, 2012. Disponível em: <Disponível em: https://bibliotecadigital.fgv.br/dspace/handle/10438/9620 >. Acesso em: 29 de novembro de 2017.
https://bibliotecadigital.fgv.br/dspace/...
).

De um modo geral, as literaturas nacional e internacional sobre a eficácia do professor debruçam-se sobre aspectos referentes às características dos professores, mas que são externas à sala de aula, como, por exemplo, tempo de experiência no magistério, nível de escolaridade e desempenho nos processos seletivos de ingresso na carreira. O interesse dos estudos por esses aspectos deve-se à ampla disponibilidade de dados e, também, à importância que eles possuem na tomada de decisões relativas às políticas do magistério. Apesar de alguns estudos (RIVKIN, HANUSHEK E KAIN, 2005RIVKIN, S. G., HANUSHEK, E. A., & KAIN, J. F. Teachers, schools, and academic achievement. Econometrica, v.73, n.2, pp.417-458, 2005.; CLOTFELTER, LADD E VIGDOR, 2007CLOTFELTER, C., LADD, H., VIGDOR, J. Teacher credentials and student achievement: Longitudinal analysis with student fixed effects. Economics of Education Review, v. 26n. 6, pp. 673-682, 2007.; ROCKOFF, 2004ROCKOFF, J. E. The impact of individual teachers on student achievement: evidence from panel data. The American Economic Review, v.94, n.2, pp. 247-252, 2004.; DARLING-HAMMOND, 2005DARLING-HAMMOND, L., HOLTZMAN, D. J., GATLIN, S. J., HEILIG, J. V. Does teacher preparation matter? Evidence about Teacher Certification, Teach for America, and Teacher Effectiveness. Education Policy Analysis Archives, v.13, n.42, pp. 1-51, 2005.; BARROS et al, 2001BARROS, R. P., MENDONÇA, R., SANTOS, D. D., QUINTAES, G. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico, n.31, n.1, pp. 1-42, 2001.; ALBERNAZ, FERREIRA E FRANCO, 2002ALBERNAZ, A.; FERREIRA; F., FRANCO, C. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, v.32, n.3, pp. 453-476, 2002., SOARES, 2003SOARES, J. F. O efeito da escola no desempenho cognitivo de seus estudantes. Revista Electrónica Iberoamericana sobre Calidad, Eficácia y Cambio en Educación, 2(2), 83-104, 2004.) apontarem relações positivas entre essas características e o desempenho dos estudantes, as associações desses fatores ao aprendizado são pequenas (HANUSHEK, 1986HANUSHEK, E.A. The economics of schooling: production and efficiency in public schools. Journal of Economic Literature, v.24, n.3, pp. 1141-1177, 1986.).

Enquanto parte das investigações encontra fraca ou nenhuma associação entre as características observáveis (escolaridade, salário, experiência) dos professores e o desempenho, outros estudos focalizam o tema da eficácia da atuação do professor - conjunto de características não observáveis, denominada traço latente.

No contexto estadunidense, a revisão de literatura realizada por Nye, Konstantopoulos e Hedges (2004)NYE, B., KONSTANTOPOULOS, S., HEDGES, L. V. How large are teachers effects? Educational Evaluation and Policy Analysis, v.26, n.3, pp.237-257, 2004. apresenta uma série de estudos baseados em diferentes amostras de estudantes, que indicam que 7% a 21% da variação das notas nos testes estandardizados são associadas à variação na eficácia dos professores. Outra compilação, realizada por Hanushek e Rivkin (2004)HANUSHEK, E. A., RIVKIN, S.G. How to improve the supply of high-quality teachers. Brookings Papers on Education Policy, n. 7, p.7-25, 2004., analisa onze estudos com dados de natureza longitudinal e indicam variações de 0.08 a 0.36 desvio-padrão, em função da eficácia do professor, nos resultados dos estudantes. Outros estudos utilizando os dados longitudinais do Tennessee Value-Added Assessment System (TVASS), implementado no estado do Tennessee, mostram, segundo Wright, Sanders e Horn (1997)WRIGHT, S.P., SANDERS, W.L., HORN, S.P. Teacher and classroom context effects on student achievement: implications for teacher evaluation. Journal of personnel evaluation in education, v.11, p.57-67, 1997., que a eficácia do professor é o maior determinante do progresso acadêmico dos estudantes, superando inclusive os efeitos do nível socioeconômico.

Esses estudos baseiam-se na investigação dos efeitos dos professores, tendo em vista as diferenças no crescimento do desempenho em teses estandardizadas e partem da definição de que um bom professor é aquele que consegue obter maiores crescimentos em termos das notas dos seus estudantes, enquanto que um professor ruim é aquele que produz crescimentos menores de aprendizado (MORICONI, 2012MORICONI, G.M. Medindo a eficácia dos professores: o uso de modelos agregados para estimar o efeito do professor. Tese de Doutorado, Escola de Administração de Empresasde São Paulo da Fundação Getúlio Vargas, 2012. Disponível em: <Disponível em: https://bibliotecadigital.fgv.br/dspace/handle/10438/9620 >. Acesso em: 29 de novembro de 2017.
https://bibliotecadigital.fgv.br/dspace/...
).

Estudo realizado por Sammons (1999)SAMMONS, P. School Effectiveness: cominf of age in the twenty-first century. Lisse: Swets & Zeitlinger, 1999. identifica algumas características-chave das escolas eficazes e que são associadas a bons desempenhos escolares. Algumas dessas características referem-se diretamente ao professor. Uma delas é definida por Sammons (1999)SAMMONS, P. School Effectiveness: cominf of age in the twenty-first century. Lisse: Swets & Zeitlinger, 1999. como prática consistente e refere-se à coerência com que os professores desenvolvem suas práticas e seguem abordagens comuns, definidas coletivamente e informadas a todos os atores escolares. Em outras palavras, isso significa que quando há unidade de propósitos, a atuação dos professores se torna mais consistente e isso pode contribuir positivamente para o desempenho dos estudantes.

Outro aspecto diz respeito à clareza dos objetivos do ensino, que englobam elementos como organização eficaz (preparar/planejar com antecedência as tarefas da aula), clareza de objetivos (quando os professores explicam claramente os objetivos da lição e se referem a eles durante a lição) e prática adaptativa (percepção de que os estudantes são diferentes, possuem ritmos e formas diferenciadas de aprender e, com isso, o professor faz uso de estratégias de ensino apropriadas, o que requer flexibilidade para modificar e adaptar seus estilos de aula).

Sammons (1999)SAMMONS, P. School Effectiveness: cominf of age in the twenty-first century. Lisse: Swets & Zeitlinger, 1999. também destaca a importância de se ter altas expectativas em relação ao aprendizado, de se comunicar essas expectativas aos estudantes e de oferecer incentivos positivos quer seja em padrões de disciplina (desenvolvimento de sentimentos de pertencer e participar) ou de feedback (reconhecimento do sucesso). Ainda no que diz respeito às expectativas, Cardelli e Elliot (2012)CARDELLI, D.T., ELLIOT, L.G. Avaliação por diferentes olhares: fatores que explicam o sucesso de escola carioca em área de risco. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 20, n. 77, p. 769-798, out./dez.2012., analisando, através de pesquisa qualitativa, um caso de sucesso de uma escola em área de risco no Rio de Janeiro, apontam as expectativas dos professores em relação ao desempenho dos alunos como um dos fatores responsáveis pelos bons resultados da escola analisada.

Por fim, aulas bem estruturadas também se caracterizam como um importante elemento associado a um bom desempenho. Recorrendo a vários achados de pesquisa, Sammons (1999)SAMMONS, P. School Effectiveness: cominf of age in the twenty-first century. Lisse: Swets & Zeitlinger, 1999. define aulas bem estruturadas como práticas que conseguem manter a atenção dos estudantes. Segundo a literatura mobilizada por ela, algumas dessas práticas são: a) técnicas para fazer perguntas abertas, pertinentes e desafiadoras; b) tornar claro o que tem que ser aprendido; c) ofertar materiais diversificados; d) passar e corrigir dever de casa; e) ensinar para todos os estudantes. É evidente que existem outras características que permeiam o processo de ensino e aprendizagem e promovem aprendizagens satisfatórias. Essas são apenas algumas práticas, apontadas pela literatura, que estão associadas ao desempenho.

No Brasil, os estudos sobre efeito-escola e efeito-professor (MACHADO SOARES, 2003MACHADO SOARES, T. Influência do professor e do ambiente em sala de aula sobre a proficiência alcançada pelos estudantes avaliados pelo Simave 2002. Estudos em Avaliação Educacional, v.28, pp.103-123, 2003.; SOARES, 2004SOARES, J. F. O efeito da escola no desempenho cognitivo de seus estudantes. Revista Electrónica Iberoamericana sobre Calidad, Eficácia y Cambio en Educación, 2(2), 83-104, 2004.; SOARES e ALVES, 2007SOARES, J.F., ALVES, M.T.G. Efeito-escola e estratificação escolar: o impacto da composição de turmas por nível de habilidade dos estudantes. Educação em Revista, v.45, pp.25-58, 2007.; OLIVEIRA, 2012OLIVEIRA, L.H.G. Habilidades de leitura e práticas pedagógicas associadas ao seu aprendizado. Tese de Doutorado, Departamento de Educação da Pontifícia Universidade Católica do Rio de Janeiro, 2012. Disponível em: <Disponível em: http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=0811296_2012_Indice.html >. Acesso em: 20 de dezembro de 2017.
http://www2.dbd.puc-rio.br/pergamum/bibl...
; MORICONI, 2012)MORICONI, G.M. Medindo a eficácia dos professores: o uso de modelos agregados para estimar o efeito do professor. Tese de Doutorado, Escola de Administração de Empresasde São Paulo da Fundação Getúlio Vargas, 2012. Disponível em: <Disponível em: https://bibliotecadigital.fgv.br/dspace/handle/10438/9620 >. Acesso em: 29 de novembro de 2017.
https://bibliotecadigital.fgv.br/dspace/...
são historicamente mais recentes e foram realizados sob a influência das pesquisas estrangeiras, sobretudo aquelas realizadas no contexto estadunidense. Além disso, os questionários das avaliações em larga escala (nacionais e estaduais) aplicadas no território brasileiro foram construídos com base na literatura estrangeira. Ou seja, é a partir dessa fundamentação teórica que os constructos, ou traços latentes, mensurados pelos questionários contextuais das avaliações foram definidos e daí a importância de referenciá-los.

As principais características sobre a atuação do professor já mencionadas serviram de referência para a construção dos itens referentes ao bloco Atitudes e Práticas Pedagógicas (IPP) do questionário aplicado aos estudantes e professores participantes da avaliação educacional em larga escala do estado do Espírito Santo. A partir desses itens, foi possível construir o indicador IPP, que se configura como objeto do presente trabalho.

Assim, alinhado ao campo de investigação sobre fatores associados à aprendizagem, este estudo tem como objetivo, por meio de uma abordagem quantitativa, investigar a associação entre o desempenho em Língua Portuguesa e em Matemática dos estudantes participantes da avaliação em larga escala do estado do Espírito Santo e o constructo Atitudes e Práticas Pedagógicas (IPP) - definido como um fator que se associa positivamente ao desempenho e que se refere de forma mais direta à atuação do professor.

O trabalho está divido em 3 seções, além desta introdução. Na próxima seção, apresentamos as estratégias de análise dos dados e os procedimentos utilizados para a realização desse estudo. A terceira seção apresenta e discute os principais resultados encontrados e, por fim, são feitas as considerações finais.

ESTRATÉGIA DE ANÁLISE

A fim de verificar empiricamente a associação entre a eficaz atuação dos professores e o desempenho dos estudantes, utilizamos os dados contextuais e de desempenho do Programa de Avaliação da Educação Básica do Espírito Santo para o ano de 2015 (PAEBES 2015). Para tanto, utilizamos as medidas de proficiência1 1 As proficiências são calculadas com base na Teoria de Resposta ao Item (TRI). em Língua Portuguesa e em Matemática dos estudantes do 9º ano do ensino fundamental e o Indicador de Atitudes e Práticas Pedagógicas (IPP). Para garantir a fidedignidade e a validade dos resultados, utilizamos algumas medidas de controle socioeconômico na análise, a saber: sexo, cor/raça, reprovação do aluno e nível socioeconômico dos estudantes.

Sabemos, por inúmeras pesquisas (SOARES e ALVES, 2003SOARES, J. F., ALVES, M.T.G. Desigualdades raciais no sistema brasileiro de educação básica. Educação e Pesquisa, 29(1), 147-165, 2003.; CRAHAY, 2013CRAHAY, M. Poderá a escola ser justa e eficaz?Instituto Piaget, Lisboa, 2002.), que o sexo, a cor/raça e a trajetória escolar dos estudantes fazem diferença no seu desempenho, bem como no processo de ensino e aprendizagem, sendo um dos principais aspectos enfatizados nos estudos sobre as relações entre desigualdades sociais e desigualdades educacionais. A literatura demonstra como o sexo, a cor/raça e a trajetória, características muitas vezes consideradas “naturais” aos indivíduos, transformam-se em atributos socialmente relevantes para o desempenho em testes padronizados. Essas informações são levantadas neste estudo, portanto, com intuito de identificar a real associação das práticas pedagógicas com o desempenho estudantil. As características individuais são levantadas por meio de itens no questionário contextual dos estudantes. Um fator relacionado à trajetória escolar avaliado neste estudo se refere à reprovação. A rigor, repetência e reprovação são conceitos distintos. A repetência diz respeito à prática escolar de reter estudantes em um determinado ano escolar. Segundo Correa (2013CORREA, E. Efeito da repetência nos anos iniciais do Ensino Fundamental: um estudo longitudinal a partir do Geres. 2013, 122 fls. Dissertação (Mestrado em Educação) - Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro., p.20), o repetente “seria qualquer aluno que se matriculasse na mesma série que no ano anterior, independente do motivo que o levasse a fazer isso. ” A repetência refere-se, portanto, aos estudantes que cursam o mesmo ano letivo duas vezes, por qualquer que seja o motivo. Assim, por exemplo, o estudante que saiu da escola e no ano seguinte retornou para a mesma etapa escolar que cursou no ano anterior é considerado um repente, mas não um reprovado. Já a reprovação é a prática escolar de reter o estudante por aprendizado insatisfatório. Ou seja, o estudante não avança na sua trajetória escolar por não ter aprendido os conteúdos próprios da etapa escolar que cursou; isso o leva a fazer novamente a mesma etapa. A informação acerca da reprovação, neste estudo, foi levantada por meio de um item no questionário contextual dos estudantes.

Por outro lado, o nível socioeconômico é um constructo latente, ou seja, ele não pode ser diretamente observado por nós como o são as características individuais. Por essa razão, precisamos de uma estratégia para levantar informações sobre características observáveis que revelem algo sobre essa dimensão. No âmbito da avaliação educacional, o que podemos fazer é incluir perguntas nos questionários a ser respondidos pelos estudantes sobre os bens, serviços e características dos domicílios. Essas perguntas, ao considerar tanto os aspectos econômicos (posse de bens de consumo, acesso a serviços públicos etc.) quanto os aspectos sociais e culturais (acesso a bens culturais, escolaridade dos pais etc.), permitiram criar o Índice Socioeconômico dos Estudantes (ISE), medida utilizada para representar numericamente a situação de estudantes e de seus familiares. Trata-se de uma medida comparativa entre os estudantes avaliados naquele ano e que pode ser agregada por escola - é feita pela média do ISE - para sintetizar as condições econômicas e sociais do público que frequenta aquela unidade. O ISE foi calculado com base na Teoria de Resposta ao Item (TRI); a calibração dos itens e o cálculo do ISE foram produzidos utilizando o software Parscale (1996)MURAKI, E.; BOCK, R. D. PARSCALE: IRT based test scoring and item analysis for graded opened exercises and performance task. Version 3. Chicago: Scientific Software, (1996)., seguindo o modelo para respostas graduadas de Samejima (1969)SAMEJIMA, F. A. Estimation of latent ability using a response pattern of graded scores. Psychometric Monograph, 17, (1969).. Esse modelo parte do princípio de que as opções de resposta dos itens são ordenadas e cumulativas, isto é, a classificação em um determinado nível implica atingir o necessário ao nível anterior e cumprir algo mais. Por exemplo, se em um item em que o avaliado responde sobre o número de automóveis que sua família possui a resposta é 2, isso significa que o nível anterior (um automóvel) foi atendido e ainda há um ganho em relação a esse nível anterior (outro automóvel). Essa diferenciação entre níveis pode ter um caráter tanto quantitativo como qualitativo. A partir das respostas dos indivíduos aos itens do questionário foram calibrados os parâmetros dos itens por meio do método de Máxima Verossimilhança (ML). Esses parâmetros permitem ao modelo a definição das probabilidades dos indivíduos respondentes para cada categoria em cada item. Tomando o padrão de resposta do indivíduo e o conjunto de probabilidades para todos os itens, foi feito o cálculo do índice para cada questionário por meio do método de Média a Posteriori (EAP).

A atuação dos professores em sala de aula possui múltiplas dimensões que não são possíveis de ser captadas, de forma plena e holística, em estudos de abordagem quantitativa. Isso é devido, sobretudo, à limitação técnica do próprio instrumento de coleta de dados - os questionários. Tais instrumentos apresentam itens2 2 Os itens foram construídos com base na literatura sobre eficácia escolar e eficácia do professor e refletem definições teóricas sobre as boas práticas pedagógicas. que buscam captar informações sobre a percepção dos respondentes (estudantes e professores) acerca de algumas dimensões do constructo, aqui definido como Atitudes e Práticas Pedagógicas (IPP). Com base nas respostas aos itens do questionário, é possível construir um indicador que sintetiza o constructo ou traço latente.

Os itens referentes ao constructo IPP foram respondidos pelos estudantes (5º e 9º anos do ensino fundamental e 3º ano do ensino médio) e pelos professores. São itens de tipo Likert (DALMORO e VIEIRA, 2013DALMORO, M.; VIEIRA, K. Dilemas na construção de escalas tipo Likert: o número de itens e a disposição influenciam nos resultados? Revista Gestão Organizacional, v.6- Edição Especial, Chapecó, 2013.), com opções de respostas gradativas: concordo totalmente, concordo mais que discordo, discordo mais que concordo e discordo totalmente. Os itens foram escalonados de forma não paramétrica (FIELD, 2009FIELD, A. Descobrindo a estatística usando o SPSS. Porto Alegre: Artmed, 2009.; SIEGEL e CASTELLAN JR, 2006SIEGEL, S.; CASTELLAN Jr., J.N. Estatística não-paramétrica para ciências do comportamento. São Paulo: Artmed, 2006.), e diferencial dos itens (“DIF”); os pesquisadores devem construir assertivas que descrevam concretamente a dimensão avaliada, para que os respondentes se “posicionem” no continuum representado pelas vinhetas. Funcionamento diferencial dos itens, ou “DIF”, é a terminologia mais moderna para se referir à incomparabilidade das respostas, tendo em vista a variação na compreensão do significado dos itens (KING et al, 2004). Ainda conforme King et al (2004):

Nossa ideia-chave, além de seguir a tradição venerável de tentar escrever perguntas mais claras que sejam mais comparáveis, é um método de medir diretamente a incomparabilidade das respostas às perguntas da pesquisa e depois corrigi-las. Pedimos aos entrevistados que façam autoavaliações do conceito que está sendo medido, juntamente com avaliações, na mesma escala, de cada um dos vários indivíduos hipotéticos descritos por vinhetas curtas. Criamos medições interpessoalmente comparáveis usando respostas às avaliações de vinhetas, que têm níveis reais (mas não relatados) das variáveis que são as mesmas para cada respondente, para ajustar as autoavaliações. Nossos ajustes podem ser feitos com cálculos simples (recodificações simples) ou com um modelo estatístico mais sofisticado, que tem a vantagem de reduzir os custos de coleta de dados.3 3 Our key idea, in addition to following the venerable tradition of trying to write clearer questions that are more comparable, is a method of directly measuring the incomparability of responses to survey questions, and then correcting for it. We ask respondents for self-assessments of the concept being measured along with assessments, on the same scale, of each of several hypothetical individuals described by short vignettes. We create interpersonally comparable measurements by using answers to the vignette assessments, which have actual (but not reported) levels of the variables that are the same for every respondent, to adjust the self-assessments. Our adjustments can be made with simple calculations (straightforward recode statements) or with a more sophisticated statistical model that has the advantage of lowering data collection costs. (KING et al, 2004, p. 192, tradução nossa)

As vinhetas, portanto, funcionam como pontos de ancoragem em uma escala ordenada, onde aos itens é atribuído o valor 1, se o item é classificado abaixo da vinheta com o perfil mais baixo apresentado, com o valor 2, se o item foi classificado igual a esse, 3 se está entre esse e o perfil mediano, 4 se é igual ao mediano, 5 se está entre o mediano e o perfil alto, 6 se está classificado igual ao perfil alto e 7 se foi classificado acima do perfil alto. Essa recodificação feita em relação às vinhetas traz como resultado uma variável livre do “DIF”, com níveis ordinais facilmente interpretáveis. Há dois casos especiais em que a autoavaliação não obedece à ordem pensada para as vinhetas: “nó” e “violação”. O nó ocorre quando o respondente escolhe a mesma categoria de resposta para as vinhetas, já a violação se dá quando o respondente escolhe uma categoria de resposta mais alta para a(s) vinheta(s) que representa(m) um perfil mais baixo. Seguindo o método escolhido para a pontuação no PISA 2012 (OECD, 2013OECD, PISA 2012 Results: Ready to Learn(Volume III): Students’ Engagement, Drive and Self-Beliefs, PISA, OECD Publishing, Paris, 2013. https://doi.org/10.1787/9789264201170-en. Acesso em: 29 de novembro de 2017.
https://doi.org/10.1787/9789264201170-en...
), todas as violações foram consideradas como “nós amplos” e, dentre os valores derivados da recodificação dada por esse espectro mais amplo, a escolha foi feita pelo menor valor, ou seja, aquele no limite inferior da gama de possibilidades. A escolha do escore do limite inferior criou a maior variação e permitiu a melhor diferenciação entre os indivíduos. Exemplificando, digamos que um respondente classificou as vinhetas na seguinte ordem: perfil baixo, perfil alto, perfil mediano. Essa classificação foi considerada da seguinte maneira: perfil baixo, {perfil mediano, perfil alto}, com os colchetes indicando que a mesma classificação é atribuída às vinhetas mediana e alta. Uma ilustração gráfica do procedimento de recodificação, baseado em vinhetas para três exemplos com e sem vínculos é dada pela Figura 1. Os três estudantes hipotéticos neste exemplo forneceram exatamente as mesmas respostas aos três itens relatados, mas diferem em suas respostas às vinhetas. Como resultado, os escores nos itens ancorados também diferem. Mais detalhes sobre a abordagem de pontuação são fornecidos em King et al (2004), King e Wand (2007) e OCDE (2013)OECD, PISA 2012 Results: Ready to Learn(Volume III): Students’ Engagement, Drive and Self-Beliefs, PISA, OECD Publishing, Paris, 2013. https://doi.org/10.1787/9789264201170-en. Acesso em: 29 de novembro de 2017.
https://doi.org/10.1787/9789264201170-en...
.

FIGURA 1
Representação da ancoragem dos itens para três respondentes hipotéticos.

Abaixo, são apresentados as vinhetas e os itens presentes nos questionários aplicados aos alunos e professores participantes da avaliação do PAEBES em 2015.

Vinhetas apresentadas para os estudantes

  • A professora de Alberto utiliza diferentes recursos para ensinar: quadro, TV, música etc. Usa também o livro didático e aparece com atividades diferentes para o trabalho em sala de aula. (Vinheta Perfil Alto).

  • O professor de Cássia utiliza mais o livro didático, às vezes ele passa algum vídeo ou usa o laboratório de informática e passa atividades para a turma em sala de aula. (Vinheta Perfil Mediano).

  • A professora de Olavo trabalha o livro didático em sala de aula, de vez em quando passa atividades para seus estudantes, mas os exercícios são muito parecidos. (Vinheta Perfil Baixo).

Itens apresentados para os estudantes do 5º EF

  • Os meus professores se interessam pela aprendizagem dos estudantes.

  • Meus professores utilizam diferentes formas para apresentar a matéria (vídeo, música, programas de computador etc.).

  • Meus professores respondem às dúvidas que aparecem enquanto eles dão aula.

  • Meus professores corrigem o dever de casa em sala de aula com os estudantes.

Itens apresentados para os estudantes do 9º EF e 3º EM

  • Meus professores utilizam diferentes formas para apresentar a matéria (vídeo, música, programas de computador etc.).

  • Meus professores corrigem os exercícios que passam em sala de aula com os estudantes.

  • Meus professores respondem às dúvidas que aparecem enquanto eles dão aula.

  • Meus professores corrigem o dever de casa em sala de aula com os estudantes.

  • Meus professores devolvem os trabalhos de pesquisa se eu não faço direito.

  • Meus professores revisam a matéria para as provas.

  • Meus professores leem as provas com os estudantes e respondem às dúvidas (sobre a prova) antes de começarmos a fazê-la.

  • Meus professores têm boas práticas de ensino.

Vinhetas apresentadas para os professores

  • O professor Pedro utiliza diferentes recursos para ensinar (quadro, TV, música etc.), usa também o livro didático, e propõe atividades diferentes para o trabalho em sala de aula. (Vinheta Perfil Alto).

  • A professora Paula utiliza mais o livro didático. Às vezes, ela passa algum vídeo ou usa o laboratório de informática e passa atividades para a turma em sala de aula. (Vinheta Perfil Mediano).

  • O professor Carlos trabalha o livro didático em sala de aula, de vez em quando passa atividades para seus estudantes, mas os exercícios são muito parecidos. (Vinheta Perfil Baixo).

Itens apresentados para os professores

  • Utilizo diferentes formas para apresentar a matéria (vídeo, música, computador etc.).

  • Utilizo muito o livro didático nas aulas.

  • Corrijo os exercícios que passo em sala de aula com os estudantes.

  • Respondo às dúvidas que aparecem enquanto dou aula.

  • Corrijo o dever de casa em sala de aula com os estudantes.

  • Devolvo os trabalhos de pesquisa se os estudantes não fazem direito.

  • Deixo claro para meus estudantes que aprender é muito importante e tento sempre motivá-los.

  • Converso com os estudantes sobre a matéria das provas, antes de aplicá-las.

  • Leio as provas com os estudantes e respondo às dúvidas sobre a prova antes de começarem.

  • Utilizo os resultados das avaliações que elaboro para rever meu plano de aula.

  • Atenho-me ao que está programado, independente da turma.

  • Interesso-me pela aprendizagem dos estudantes.

A fim de constatar se as questões que tratam das atitudes e práticas pedagógicas conformam uma medida que sintetiza o constructo, avaliamos os itens através das suas correlações, do Alpha de Cronbach e da análise de componentes principais. Essas análises foram conduzidas separadamente, utilizando as bases de microdados dos estudantes de cada etapa e dos professores. Adotamos, conforme recomenda a literatura (FIELD, 2009FIELD, A. Descobrindo a estatística usando o SPSS. Porto Alegre: Artmed, 2009.), parâmetros mínimos: as correlações entre os itens superiores a 0,3, o Alpha de Cronbach superior a 0,5, a medida de adequação de Kaiser-Meyer-Olkin (KMO) superior a 0,8, o percentual da variância explicada pelo primeiro fator superior a 40%, a medida de autovalor superior a 1, e o diagrama de declividade mostrando a preponderância de um único fator. Em todos os casos, esses critérios foram satisfeitos e, portanto, extraímos o primeiro fator para representar a percepção dos atores. Posteriormente, os escores foram agregados pela média na respectiva escola. Para agregar os escores de professores e de estudantes das diferentes etapas, utilizamos a média ponderada pelo número de estudantes avaliados na escola.

Após a construção do IPP, utilizamos a modelagem linear hierárquica para estimar a influência desse índice sobre a proficiência dos estudantes. Os modelos hierárquicos são considerados os mais apropriados na literatura sobre eficácia escolar, uma vez que são capazes de distinguir, dentro de uma mesma escola e entre escolas, a diferença de desempenho dos estudantes. Dessa forma, é possível utilizar características individuais dos estudantes (ou seja, fatores externos à escola, como nível socioeconômico, cor/raça e sexo) para medir o quanto estas afetam o seu desempenho dentro da escola e, também, utilizar características das escolas (ou seja, fatores internos à escola, como atitudes e práticas pedagógicas) para medir de forma mais precisa o quanto fatores escolares impactam o desempenho desses mesmos estudantes.

Além dos fatores individuais do nível dos estudantes como sexo, cor/raça, nível socioeconômico e reprovação, o modelo permite avaliar também, ao nível da escola, o quanto a sua própria composição social influencia a proficiência esperada: percentual de meninas, percentual de brancos, percentual de reprovados e nível socioeconômico médio da escola. E, como objetivo principal, o modelo também permite verificar em qual medida a percepção que os atores escolares (estudantes e professores) possuem acerca das atitudes e práticas pedagógicas influencia na explicação da proficiência média. A partir da apresentação dos resultados, é possível dizer quais fatores têm efeito sobre o desempenho, bem como a direção (positiva ou negativa) e a força dessa influência (alta ou baixa).

RESULTADOS E DISCUSSÃO

As variáveis que compuseram o modelo podem ser divididas em três grupos segundo a sua forma de codificação. O primeiro se refere às informações de proficiência em Língua Portuguesa e Matemática, caracterizadas, do ponto de vista estatístico, como variáveis contínuas em escala natural. No PAEBES, essas escalas (uma de Língua Portuguesa e outra de Matemática) possuem média 250 e desvio padrão 50. Usualmente, as escalas de proficiência das avaliações são representadas como valor mínimo 0 e máximo 500, mas, como toda distribuição normal, ela não é limitada, e trata-se apenas de uma convenção seguida pela maioria dos sistemas de avaliação no Brasil. Como pode ser observado na Tabela 1, o valor médio da proficiência em Língua Portuguesa dos estudantes do 9º ano foi de 246,03 e em Matemática foi de 253,44 pontos.

O segundo grupo foi composto pelas variáveis dicotômicas, em que o grupo de referência assume sempre o valor de 1. As variáveis dicotômicas utilizadas neste estudo são: sexo (1 se mulher), cor (1 se branco) e reprovação (1 se o estudante afirmou já ter sido reprovado pelo menos uma vez). A média dessas variáveis indica a proporção de participação do grupo que assume valor 1. Podemos ler esses valores em percentuais: 52% dos estudantes do 9° ano são do sexo feminino, 25% são brancos(a) e 33% afirmaram já terem sido reprovados uma vez ou mais.

Por fim, o terceiro grupo de variáveis é o grupo com a distribuição padronizada em uma escala de 0 a 10, na qual os valores 0 e 10 são atribuídos conforme os limites dos índices, onde zero se refere à(s) escola(s) em que os atores escolares demonstraram ter a pior percepção ou as piores atitudes acerca das práticas pedagógicas escolares e dez se refere à(s) escola(s) em que os atores escolares demonstraram ter a melhor percepção e atitudes acerca das práticas, levando em consideração os fatores avaliados por meio dos itens dos questionário. Nas variáveis padronizadas de 0 a 10, o significado concreto de uma unidade a mais na medida é a distância de um decil entre os casos. As variáveis desse grupo são o nível socioeconômico dos estudantes e o nível socioeconômico médio da escola, o percentual de estudantes do sexo feminino na escola, o percentual de estudantes que se autodeclararam brancos na escola, o percentual de estudantes que disseram ter pelo menos uma reprovação na escola e, por fim, o índice de atitudes e práticas pedagógicas - IPP. Assim, as escolas possuem uma composição média de 52% de estudantes do sexo feminino, 25,2% de brancos e 29,4% de estudantes já reprovados.

TABELA 1
Estatísticas Descritivas das Variáveis

A análise descritiva permitiu conhecer a distribuição dos fatores e as principais características dos respondentes e de suas escolas. O passo seguinte foi identificar se, em que direção e quanto cada fator influencia a proficiência em Língua Portuguesa e Matemática. Antes, porém, estimamos o modelo plenamente incondicional ou modelo nulo, ou seja, um modelo que não especifica fatores em nenhum nível. O objetivo da estimação do modelo nulo é verificar, através do coeficiente de correlação intraclasse (Intraclass Correlation Coefficient ou ICC),4 4 Fórmula para o cálculo do ICC: ρ=τOOτOO+σ2 se existe uma variância significativamente elevada entre as escolas avaliadas. Esse coeficiente pode variar de 0 a 1 e, quanto mais próximo de zero for seu valor, maior a homogeneidade entre as escolas, sendo o desempenho escolar do estudante independente da escola na qual estuda (FERRÃO, 2003FERRÃO, M. E. Introdução aos modelos de regressão multinível em educação. Campinas: Editora Komedi, 2003.). Assim, a utilização do modelo hierárquico de regressão só é justificada caso exista certa heterogeneidade de desempenho entre as escolas estudadas. Caso não haja, o modelo de regressão linear multivariada é suficiente.

O ICC encontrado no modelo nulo para Língua Portuguesa foi de 0,10, ou seja, cerca de 10% da variância do desempenho dos estudantes está associada à variabilidade entre as escolas. Já no modelo nulo para Matemática, o ICC foi de 0,17, o que indica que 17% da variância do desempenho pode estar associada à variação entre as escolas do estudo. Embora não sejam valores altos, a literatura especializada no campo das ciências sociais os considera suficientes para a estimação de um modelo hierárquico.5 5 As esta tísticas completas dos modelos encontram-se no apêndice.

O modelo de regressão hierárquico foi realizado com variáveis6 6 Para todas as variáveis encontramos valores estatisticamente significativos, considerando um nível de confiança de 95%. no nível do estudante (primeiro nível) e com variáveis no nível da escola (segundo nível). Todas as variáveis do nível do estudante estão centralizadas na média do grupo e as do nível da escola estão centralizadas na grande média. Isso garante que os efeitos das variáveis e da composição não se misturem (RAUDENBUSH E BRYK, 2002RAUDENBUSH, S.W. & BRYK, A.S. Hierarchical Linear Models: Applications and Data Analysis Methods. Thousand Oaks: SAGE, 2002.). No modelo final, a maior parte das características avaliadas, no nível do estudante e no nível da escola, é estatisticamente significativa, ou seja, quase todas têm influência na explicação das proficiências, algumas em maior e outras em menor valor. A única variável que não foi estatisticamente significativa no modelo final foi o percentual de meninas na escola, quando associada à proficiência em Matemática.

Como destacamos acima, a direção para a qual uma característica influencia a proficiência pode ser expressa pelo sinal de seu número. Os valores positivos significam que o fator incrementa o desempenho, enquanto valores negativos indicam que o fator gera decréscimo na proficiência. Nos modelos finais do presente estudo, a reprovação gera um decréscimo na proficiência em Língua Portuguesa e Matemática e o sexo feminino gera um decréscimo no desempenho em Matemática. Embora os dados apontem que o percentual de meninas tem um efeito negativo na proficiência esperada em Matemática, esse efeito não é estatisticamente significativo, conforme já mencionado (intervalo de confiança inferior a 95%). Os demais fatores têm impacto significativo (intervalo de confiança superior a 95%) e positivo sobre ambas as proficiências.

Os primeiros resultados apresentados referem-se ao modelo linear hierárquico determinado para análise dos fatores associados à proficiência em Língua Portuguesa no 9° ano do Ensino Fundamental. Esse modelo de dois níveis foi capaz de reduzir a explicação do desempenho pela variância quando comparado ao modelo nulo, ou seja, após a inserção das variáveis no modelo, 6% do desempenho em Língua Portuguesa continuou podendo ser explicado pela variabilidade entre as escolas. O gráfico 1 mostra as nove variáveis que compuseram o modelo e o impacto de cada variável na proficiência em Língua Portuguesa.

O valor destacado na parte superior do gráfico refere-se ao intercepto, ou seja, à proficiência esperada em Língua Portuguesa quando todas as variáveis do modelo assumem o valor de zero. Esse valor é de 248 pontos. Assim como esperado, a primeira variável do primeiro nível incluída no modelo - sexo feminino - teve um efeito positivo na proficiência. Segundo os dados, a proficiência esperada para as meninas é 14 pontos maior em comparação à esperada para os meninos. Esse achado corrobora os achados de outras pesquisas educacionais que já mostraram que as meninas costumam ter proficiência maior em Língua Portuguesa do que os meninos (CITTADIN E FRANÇA, 2016CITTADIN, I., FRANÇA, M.T.A. A violência como fator de influência no desempenho de estudantes do ensino fundamental: análise utilizando modelos multiníveis. In: XIXEncontro de Economia da Região Sul, 2016. Disponível em:<Disponível em:https://www.anpec.org.br/sul/2016/submissao/files_I/i29ec27d4bf42cdc1ad3a106dd7e3dcd5f.pdf >. Acesso em: 24 de abril de 2018.
https://www.anpec.org.br/sul/2016/submis...
). Os estudantes que se autodeclararam brancos(a) apresentaram uma proficiência esperada 4 pontos maior do que os estudantes que se declararam pardos(a), pretos(a), amarelos(a) ou indígenas, resultado em consonância com os achados de Soares e Alves (2003)SOARES, J. F., ALVES, M.T.G. Desigualdades raciais no sistema brasileiro de educação básica. Educação e Pesquisa, 29(1), 147-165, 2003. e de Laros, Marciano e Andrade (2010)LAROS, J.A., MARCIANO, J.L.P., ANDRADE, J.M. Fatores que afetam o desempenho na prova de Matemática do SAEB: um estudo multinível. Avaliação Psicológica, 2010, 9(2), pp. 173-186., que demonstraram uma desigualdade na proficiência entre os estudantes de cor/raça diferente da branca. A terceira característica do modelo se refere ao nível socioeconômico dos estudantes. De acordo com os dados, quanto melhor for a condição socioeconômica, maior a proficiência esperada. Nesse sentido, o resultado informa que a cada unidade à frente na escala criada para o índice socioeconômico, a proficiência esperada aumenta em 4 pontos. Esse achado vai ao encontro da literatura, na medida em que muitos estudos encontram uma correlação positiva entre o índice socioeconômico do estudante e seu desempenho (LAROS, MARCIANO E ANDRADE 2010LAROS, J.A., MARCIANO, J.L.P., ANDRADE, J.M. Fatores que afetam o desempenho na prova de Matemática do SAEB: um estudo multinível. Avaliação Psicológica, 2010, 9(2), pp. 173-186.; SOARES, 2004)SOARES, J. F. O efeito da escola no desempenho cognitivo de seus estudantes. Revista Electrónica Iberoamericana sobre Calidad, Eficácia y Cambio en Educación, 2(2), 83-104, 2004.. No entanto, vale ressaltar que, segundo Soares (2004)SOARES, J. F. O efeito da escola no desempenho cognitivo de seus estudantes. Revista Electrónica Iberoamericana sobre Calidad, Eficácia y Cambio en Educación, 2(2), 83-104, 2004., espera-se que o nível socioeconômico médio da escola sempre tenha um efeito maior sobre o desempenho do que apenas essa variável no nível do indivíduo.

No que diz respeito à reprovação, podemos constatar que os estudantes que vivenciaram a experiência da reprovação ao menos uma vez possuem 22 pontos de desvantagem na proficiência esperada, quando os comparamos aos estudantes que nunca foram reprovados. Essa característica foi a que demonstrou maior impacto (negativo) dentre todas aquelas que compuseram o modelo, corroborando os achados de outros estudos, que apontam a reprovação como a característica mais influente para a explicação do desempenho (ALBERNAZ, FERREIRA E FRANCO, 2002ALBERNAZ, A.; FERREIRA; F., FRANCO, C. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, v.32, n.3, pp. 453-476, 2002.). A reprovação é tema bastante discutido no campo educacional e vários estudos em contexto nacional e internacional (RIBEIRO, 1991RIBEIRO, Sérgio da Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, USP, vol. 5, nº 12, mai.-ago. de 1991.; CRAHAY, 2006CRAHAY, M. É possível tirar conclusões sobre os efeitos da repetência?Cadernos de Pesquisa, v. 36, n. 127, p. 223-246, jan./abr. 2006.; JACOMINI, 2009JACOMINI, M. Educar sem reprovar: desafio de uma escola para todos. Educação e Pesquisa, São Paulo, v.35, n.3, p. 557-572, set./dez. 2009.; CORREA, 2013CORREA, E. Efeito da repetência nos anos iniciais do Ensino Fundamental: um estudo longitudinal a partir do Geres. 2013, 122 fls. Dissertação (Mestrado em Educação) - Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro.) já demonstraram que tal prática escolar pouco contribui para uma aprendizagem satisfatória. Segundo Crahay (2006CRAHAY, M. É possível tirar conclusões sobre os efeitos da repetência?Cadernos de Pesquisa, v. 36, n. 127, p. 223-246, jan./abr. 2006., p.243), “o fato de repetir um ano e de recomeçar toda a programação de um curso não ajuda os alunos em dificuldade a superar os obstáculos que os impedem de ser honrosamente bem-sucedidos na escola. ” Assim, ainda que o estudante tenha dificuldade e não tenha conseguido consolidar as aprendizagens próprias do ano escolar que cursou, sugere-se que outras estratégias sejam implantadas. Crahay (2006CRAHAY, M. É possível tirar conclusões sobre os efeitos da repetência?Cadernos de Pesquisa, v. 36, n. 127, p. 223-246, jan./abr. 2006., p. 243) destaca ainda que a reprovação não se apresenta como uma ação escolar que ajuda os estudantes em dificuldade, sendo, portanto, “necessário procurar outros meios para resolver esse importante problema. ”

No nível da escola, foi possível controlar a influência da composição escolar no desempenho. Os resultados demonstraram que o percentual de estudantes do sexo feminino na escola é responsável por aumentar em 2 pontos o valor esperado da proficiência. O percentual de brancos na escola também aumenta em 2 pontos a proficiência esperada e o nível socioeconômico médio está associado a uma proficiência esperada superior a 6 pontos, quando comparada ao nível socioeconômico mais baixo. Assim, como observado no estudo de Soares (2004)SOARES, J. F. O efeito da escola no desempenho cognitivo de seus estudantes. Revista Electrónica Iberoamericana sobre Calidad, Eficácia y Cambio en Educación, 2(2), 83-104, 2004., o nível socioeconômico médio da escola tem um efeito maior que o nível socioeconômico do estudante no desempenho. O percentual de estudantes reprovados na escola gera uma desvantagem de 2 pontos, quando comparado ao percentual de estudantes que nunca foram reprovados.

Por fim, a última variável do modelo refere-se ao Índice de Atitudes e Práticas Pedagógicas (IPP), um dos fatores de eficácia apontados pela literatura. Como já mencionado, esse índice foi formado a partir da percepção dos estudantes e professores acerca das práticas pedagógicas dos professores. A maneira como o(a) professor(a) administra a sala de aula e sua metodologia e interação com os estudantes estão diretamente relacionadas com o processo de ensino e aprendizagem e com o desempenho. Nesse sentido, como já esperado, os resultados do modelo hierárquico demonstram que o IPP influencia de forma significativa a proficiência em Língua Portuguesa, aumentando em 10 pontos o desempenho do estudante caso seus professores apresentem atitudes e práticas pedagógicas avaliadas como eficazes. Esse resultado evidencia um aspecto importante do contexto escolar, uma vez que reforça a importância do papel do professor no processo de ensino e aprendizagem. Além disso, permite uma análise crítica da forma como essas atitudes estão sendo construídas e como essas práticas estão sendo desenvolvidas no interior da escola e, mais especificamente, no interior da sala de aula, onde se dá a interação professor-estudante e onde é o locus do aprendizado.

GRÁFICO 1
Resultados do Modelo Linear Hierárquico para Língua Portuguesa

No gráfico 2, é possível verificar a influência dos mesmos fatores na proficiência esperada em Matemática. O valor do intercepto, ou seja, da proficiência esperada em Matemática quando todas as variáveis do modelo assumem o valor de zero, é de 256 pontos. O sexo feminino, como esperado, tem efeito negativo de 6 pontos sobre a proficiência esperada em Matemática. Esse dado corrobora os achados da literatura, uma vez que muitos estudiosos relatam que meninas possuem uma facilidade maior em testes cognitivos de Língua Portuguesa e meninos possuem uma facilidade maior em testes cognitivos de Matemática (CITTADIN E FRANÇA, 2016CITTADIN, I., FRANÇA, M.T.A. A violência como fator de influência no desempenho de estudantes do ensino fundamental: análise utilizando modelos multiníveis. In: XIXEncontro de Economia da Região Sul, 2016. Disponível em:<Disponível em:https://www.anpec.org.br/sul/2016/submissao/files_I/i29ec27d4bf42cdc1ad3a106dd7e3dcd5f.pdf >. Acesso em: 24 de abril de 2018.
https://www.anpec.org.br/sul/2016/submis...
). Os estudantes que se autodeclararam brancos(a) apresentaram um aumento de 4 pontos na proficiência esperada, assim como os estudantes com nível socioeconômico alto. Os estudantes que já foram reprovados pelo menos uma vez apresentam uma desvantagem em relação aos estudantes que nunca foram reprovados. Ter sido reprovado diminui em 22 pontos a proficiência esperada do estudante, fator importante de investigação, uma vez que se repete para as duas disciplinas avaliadas. Cabe enfatizar, portanto, a importância de investigação e de construção de estratégias que diminuam a cultura da reprovação (COSTA RIBEIRO, 1991COSTA RIBEIRO, S. A pedagogia da repetência. Estudos avançados, v.5, n.12., 1991.) como estratégia pedagógica e de aumento da aprendizagem.

GRÁFICO 2
Resultados do Modelo Linear Hierárquico para Matemática

O percentual de meninas na escola foi uma variável que não apresentou resultado estatisticamente significativo, o que significa dizer que o alto percentual de meninas na escola não influencia de forma significativa o desempenho em Matemática. Por outro lado, o percentual de estudantes brancos na escola e o nível socioeconômico possuem efeito positivo e significativo de 5 pontos na proficiência esperada. Assim como em Língua Portuguesa, ser reprovado tem efeito negativo de 3 pontos sobre a proficiência em Matemática. Por fim, confirmando a hipótese do estudo, as atitudes e práticas pedagógicas efetivas no interior da escola apresentaram um efeito de 11 pontos na proficiência esperada em Matemática. Esses resultados corroboram os dados encontrados na literatura que apontam a importância do papel do professor para a promoção do desenvolvimento cognitivo e a sua influência nos processos de ensino e aprendizagem (HANUSHEK, 1986HANUSHEK, E.A. The economics of schooling: production and efficiency in public schools. Journal of Economic Literature, v.24, n.3, pp. 1141-1177, 1986.; ALBERNAZ, FERREIRA E FRANCO, 2002ALBERNAZ, A.; FERREIRA; F., FRANCO, C. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, v.32, n.3, pp. 453-476, 2002.; MARCONI, 2012).

Entretanto, faz-se necessária uma ressalva acerca da limitação dos dados sobre o IPP. Os resultados encontrados se referem às práticas pedagógicas específicas (aquelas constantes no questionário contextual do PAEBES) apontadas pela literatura (SAMMONS, 1999SAMMONS, P. School Effectiveness: cominf of age in the twenty-first century. Lisse: Swets & Zeitlinger, 1999.; OLIVEIRA, 2012OLIVEIRA, L.H.G. Habilidades de leitura e práticas pedagógicas associadas ao seu aprendizado. Tese de Doutorado, Departamento de Educação da Pontifícia Universidade Católica do Rio de Janeiro, 2012. Disponível em: <Disponível em: http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=0811296_2012_Indice.html >. Acesso em: 20 de dezembro de 2017.
http://www2.dbd.puc-rio.br/pergamum/bibl...
; MORICONI, 2012MORICONI, G.M. Medindo a eficácia dos professores: o uso de modelos agregados para estimar o efeito do professor. Tese de Doutorado, Escola de Administração de Empresasde São Paulo da Fundação Getúlio Vargas, 2012. Disponível em: <Disponível em: https://bibliotecadigital.fgv.br/dspace/handle/10438/9620 >. Acesso em: 29 de novembro de 2017.
https://bibliotecadigital.fgv.br/dspace/...
) como práticas que promovem aprendizagens efetivas - exemplo: corrigir dever de casa. Nesse sentido, o índice foi formulado a partir da percepção que os atores escolares têm sobre essas práticas pedagógicas específicas. Não há dúvidas de que há muitas outras práticas sendo trabalhadas no contexto escolar, mais especificamente na sala de aula, e que por essas práticas perpassam interações múltiplas e complexas que não são captadas pelos questionários e que, portanto, não compõem o índice. Assim, considerando o recorte conceitual do que se entende por práticas pedagógicas neste estudo, identificamos que a boa percepção dos atores escolares sobre esse número restrito de práticas associa-se positivamente ao desempenho. A despeito da limitação conceitual que subjaz à construção do IPP, os resultados são confiáveis e vão ao encontro daquilo que a literatura já identificou como práticas eficazes promotoras de aprendizagem. Tal resultado reforça o uso eficiente dessas práticas nos processos de ensino e aprendizagem das escolas.

CONSIDERAÇÕES FINAIS

Os processos de ensino e aprendizagem se materializam em realidades complexas que são permeadas por inúmeros fatores que interagem e incidem direta e indiretamente sobre a aprendizagem dos estudantes.

Considerando que realidades complexas exigem modelos analíticos complexos (GOLDSTEIN, 2001GOLDSTEIN, H. Modelo de realidade: novas abordagens para a compreensão de processos educacionais. In: Franco, C Avaliação, ciclos e promoção na Educação. Porto Alegre: Artmed, 2001.), este estudo teve o objetivo de investigar o efeito do Índice de Atitudes e Práticas Pedagógicas (IPP) sobre o desempenho dos estudantes, por meio de um modelo de regressão hierárquico (HLM). A abordagem multinível se caracteriza como a mais adequada para investigar fatores escolares associados ao desempenho, uma vez que os estudantes estão, necessariamente, agrupados em unidades escolares. Ou seja, há níveis diferentes de análise - o do estudante (que envolve características próprias dos estudantes, como sexo e raça/cor) e o da escola (que envolve características próprias da escola, como percentual de meninas/meninos e fatores contextuais, dentre os quais se pode citar o IPP).

Os principais resultados corroboram outros achados de pesquisa alinhados ao campo da eficácia escolar e reiteram o efeito significativo e positivo que práticas pedagógicas consideradas eficazes pela literatura exercem sobre o desempenho, tanto em Língua Portuguesa quanto em Matemática. O efeito do IPP sobre o desempenho foi controlado pelas características socioeconômicas (sexo, raça/cor, NSE e reprovação) - aquelas apontadas como as principais para a explicação do desempenho. Ademais, o efeito do IPP foi observado de forma isolada, sem considerar outros aspectos escolares (gestão escolar, clima escolar, entre outros) que também podem ajudar a explicar o desempenho.

A despeito disso, o efeito do IPP sobre o desempenho de ambas as disciplinas se mostrou bastante significativo e evidencia a necessidade de se olhar com mais atenção para as práticas pedagógicas e as interações - sobretudos aquelas envolvendo estudante e professor - que se estabelecem no interior da escola e da sala de aula.

Os recorrentes resultados das pesquisas, evidenciando a influência positiva que boas atitudes e práticas pedagógicas têm sobre o aprendizado, devem ser considerados pelos gestores escolares e pelos formuladores e implementadores de políticas educacionais. Identificar e mapear as boas atitudes e práticas docentes, seja por meio de uma abordagem quantitativa, qualitativa ou mista, podem dar subsídios importantes para as ações de formação inicial e continuada, bem como servir de subsídio para que professores e demais agentes escolares repensem suas próprias atitudes e práticas pedagógicas, a fim de garantir a aprendizagem dos estudantes.

REFERÊNCIAS

  • ALBERNAZ, A.; FERREIRA; F., FRANCO, C. Qualidade e equidade no ensino fundamental brasileiro. Pesquisa e Planejamento Econômico, v.32, n.3, pp. 453-476, 2002.
  • BARROS, R. P., MENDONÇA, R., SANTOS, D. D., QUINTAES, G. Determinantes do desempenho educacional no Brasil. Pesquisa e Planejamento Econômico, n.31, n.1, pp. 1-42, 2001.
  • BRESSOUX, P. As pesquisas sobre efeito-escola e o efeito-professor. In: Educação em Revista, n. 38, 2003.
  • BROOKE, N., SOARES, J.F. (Orgs.). Pesquisa em eficácia escolar: origem e trajetória. Editora UFMG, 2008.
  • BROOKE, N. Eficácia escolar. In: OLIVEIRA, D.A.; DUARTE, A.M.C.; VIEIRA, L.M.F. DICIONÁRIO: trabalho, profissão e condição docente. Belo Horizonte: UFMG/Faculdade de Educação, 2010. CDROM.
  • CARDELLI, D.T., ELLIOT, L.G. Avaliação por diferentes olhares: fatores que explicam o sucesso de escola carioca em área de risco. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 20, n. 77, p. 769-798, out./dez.2012.
  • CITTADIN, I., FRANÇA, M.T.A. A violência como fator de influência no desempenho de estudantes do ensino fundamental: análise utilizando modelos multiníveis. In: XIXEncontro de Economia da Região Sul, 2016. Disponível em:<Disponível em:https://www.anpec.org.br/sul/2016/submissao/files_I/i29ec27d4bf42cdc1ad3a106dd7e3dcd5f.pdf >. Acesso em: 24 de abril de 2018.
    » https://www.anpec.org.br/sul/2016/submissao/files_I/i29ec27d4bf42cdc1ad3a106dd7e3dcd5f.pdf
  • CLOTFELTER, C., LADD, H., VIGDOR, J. Teacher credentials and student achievement: Longitudinal analysis with student fixed effects. Economics of Education Review, v. 26n. 6, pp. 673-682, 2007.
  • CORREA, E. Efeito da repetência nos anos iniciais do Ensino Fundamental: um estudo longitudinal a partir do Geres. 2013, 122 fls. Dissertação (Mestrado em Educação) - Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro.
  • COSTA RIBEIRO, S. A pedagogia da repetência. Estudos avançados, v.5, n.12., 1991.
  • CRAHAY, M. É possível tirar conclusões sobre os efeitos da repetência?Cadernos de Pesquisa, v. 36, n. 127, p. 223-246, jan./abr. 2006.
  • CRAHAY, M. Poderá a escola ser justa e eficaz?Instituto Piaget, Lisboa, 2002.
  • DALMORO, M.; VIEIRA, K. Dilemas na construção de escalas tipo Likert: o número de itens e a disposição influenciam nos resultados? Revista Gestão Organizacional, v.6- Edição Especial, Chapecó, 2013.
  • DARLING-HAMMOND, L., HOLTZMAN, D. J., GATLIN, S. J., HEILIG, J. V. Does teacher preparation matter? Evidence about Teacher Certification, Teach for America, and Teacher Effectiveness. Education Policy Analysis Archives, v.13, n.42, pp. 1-51, 2005.
  • FERRÃO, M. E. Introdução aos modelos de regressão multinível em educação. Campinas: Editora Komedi, 2003.
  • FIELD, A. Descobrindo a estatística usando o SPSS. Porto Alegre: Artmed, 2009.
  • GAUTHIER, C. MELLOUKI, M. SIMARD, D. BISSONNETTE, S. RICHARD, M. Quelles sont les pedagogies efficacies? Un état de la recherché. Fondation pour l’innvotation politique, 2005. Documento disponível em: < Documento disponível em: http://www.fondapol.org/ >. Acesso em: 12 de dezembro de 2017.
    » http://www.fondapol.org/
  • GOLDSTEIN, H. Modelo de realidade: novas abordagens para a compreensão de processos educacionais. In: Franco, C Avaliação, ciclos e promoção na Educação. Porto Alegre: Artmed, 2001.
  • HANUSHEK, E.A. The economics of schooling: production and efficiency in public schools. Journal of Economic Literature, v.24, n.3, pp. 1141-1177, 1986.
  • HANUSHEK, E. A., RIVKIN, S.G. How to improve the supply of high-quality teachers. Brookings Papers on Education Policy, n. 7, p.7-25, 2004.
  • JACOMINI, M. Educar sem reprovar: desafio de uma escola para todos. Educação e Pesquisa, São Paulo, v.35, n.3, p. 557-572, set./dez. 2009.
  • LAROS, J.A., MARCIANO, J.L.P., ANDRADE, J.M. Fatores que afetam o desempenho na prova de Matemática do SAEB: um estudo multinível. Avaliação Psicológica, 2010, 9(2), pp. 173-186.
  • MACHADO SOARES, T. Influência do professor e do ambiente em sala de aula sobre a proficiência alcançada pelos estudantes avaliados pelo Simave 2002. Estudos em Avaliação Educacional, v.28, pp.103-123, 2003.
  • MORICONI, G.M. Medindo a eficácia dos professores: o uso de modelos agregados para estimar o efeito do professor. Tese de Doutorado, Escola de Administração de Empresasde São Paulo da Fundação Getúlio Vargas, 2012. Disponível em: <Disponível em: https://bibliotecadigital.fgv.br/dspace/handle/10438/9620 >. Acesso em: 29 de novembro de 2017.
    » https://bibliotecadigital.fgv.br/dspace/handle/10438/9620
  • MORTIMORE, P. The nature and findings of school effectiveness research in the primary sector. In: RIDDELL, S.; BROWN, S. (Ed.). School effectiveness research: its messages for school improvement. London: HMSO, 1991.
  • MURAKI, E.; BOCK, R. D. PARSCALE: IRT based test scoring and item analysis for graded opened exercises and performance task. Version 3. Chicago: Scientific Software, (1996).
  • NYE, B., KONSTANTOPOULOS, S., HEDGES, L. V. How large are teachers effects? Educational Evaluation and Policy Analysis, v.26, n.3, pp.237-257, 2004.
  • OECD, PISA 2012 Results: Ready to Learn(Volume III): Students’ Engagement, Drive and Self-Beliefs, PISA, OECD Publishing, Paris, 2013. https://doi.org/10.1787/9789264201170-en. Acesso em: 29 de novembro de 2017.
    » https://doi.org/10.1787/9789264201170-en
  • OLIVEIRA, L.H.G. Habilidades de leitura e práticas pedagógicas associadas ao seu aprendizado. Tese de Doutorado, Departamento de Educação da Pontifícia Universidade Católica do Rio de Janeiro, 2012. Disponível em: <Disponível em: http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=0811296_2012_Indice.html >. Acesso em: 20 de dezembro de 2017.
    » http://www2.dbd.puc-rio.br/pergamum/biblioteca/php/mostrateses.php?open=1&arqtese=0811296_2012_Indice.html
  • RAUDENBUSH, S.W. & BRYK, A.S. Hierarchical Linear Models: Applications and Data Analysis Methods. Thousand Oaks: SAGE, 2002.
  • RIBEIRO, Sérgio da Costa. A pedagogia da repetência. Estudos Avançados, São Paulo, USP, vol. 5, nº 12, mai.-ago. de 1991.
  • RIVKIN, S. G., HANUSHEK, E. A., & KAIN, J. F. Teachers, schools, and academic achievement. Econometrica, v.73, n.2, pp.417-458, 2005.
  • ROCKOFF, J. E. The impact of individual teachers on student achievement: evidence from panel data. The American Economic Review, v.94, n.2, pp. 247-252, 2004.
  • SAMEJIMA, F. A. Estimation of latent ability using a response pattern of graded scores. Psychometric Monograph, 17, (1969).
  • SAMMONS, P. School Effectiveness: cominf of age in the twenty-first century. Lisse: Swets & Zeitlinger, 1999.
  • SIEGEL, S.; CASTELLAN Jr., J.N. Estatística não-paramétrica para ciências do comportamento. São Paulo: Artmed, 2006.
  • SOARES, J. F. O efeito da escola no desempenho cognitivo de seus estudantes. Revista Electrónica Iberoamericana sobre Calidad, Eficácia y Cambio en Educación, 2(2), 83-104, 2004.
  • SOARES, J. F. Qualidade e equidade na educação básica brasileira: fatos e possibilidades. In Brock, C., & Schwartzman, S., Os Desafios da Educação no Brasil. Nova Fronteira, pp. 91-117, 2005.
  • SOARES, J. F., ALVES, M.T.G. Desigualdades raciais no sistema brasileiro de educação básica. Educação e Pesquisa, 29(1), 147-165, 2003.
  • SOARES, J.F., ALVES, M.T.G. Efeito-escola e estratificação escolar: o impacto da composição de turmas por nível de habilidade dos estudantes. Educação em Revista, v.45, pp.25-58, 2007.
  • WRIGHT, S.P., SANDERS, W.L., HORN, S.P. Teacher and classroom context effects on student achievement: implications for teacher evaluation. Journal of personnel evaluation in education, v.11, p.57-67, 1997.
  • 1
    As proficiências são calculadas com base na Teoria de Resposta ao Item (TRI).
  • 2
    Os itens foram construídos com base na literatura sobre eficácia escolar e eficácia do professor e refletem definições teóricas sobre as boas práticas pedagógicas.
  • 3
    Our key idea, in addition to following the venerable tradition of trying to write clearer questions that are more comparable, is a method of directly measuring the incomparability of responses to survey questions, and then correcting for it. We ask respondents for self-assessments of the concept being measured along with assessments, on the same scale, of each of several hypothetical individuals described by short vignettes. We create interpersonally comparable measurements by using answers to the vignette assessments, which have actual (but not reported) levels of the variables that are the same for every respondent, to adjust the self-assessments. Our adjustments can be made with simple calculations (straightforward recode statements) or with a more sophisticated statistical model that has the advantage of lowering data collection costs.
  • 4
    Fórmula para o cálculo do ICC:
    ρ=τOOτOO+σ2
  • 5
    As esta tísticas completas dos modelos encontram-se no apêndice.
  • 6
    Para todas as variáveis encontramos valores estatisticamente significativos, considerando um nível de confiança de 95%.

APÊNDICE

TABELA 2
Estimativas de Efeitos Fixos (Língua Portuguesa) - Modelo Nulo

TABELA 3
Estimativas dos Parâmetros da Covariância (Língua Portuguesa) - Modelo Nulo

TABELA 4
Estimativas de Efeitos Fixos (Matemática) - Modelo Nulo

TABELA 5
Estimativas dos Parâmetros da Covariância (Matemática) - Modelo Nulo

TABELA 6
Estimativas de Efeitos Fixos (Língua Portuguesa) - Modelo de Dois Níveis

TABELA 7
Estimativas dos Parâmetros da Covariância (Língua Portuguesa) - Modelo de Dois Níveis

TABELA 8
Estimativas de Efeitos Fixos (Matemática) - Modelo de Dois Níveis

TABELA 9
Estimativas dos Parâmetros da Covariância (Matemática) - Modelo de Dois Níveis

Datas de Publicação

  • Publicação nesta coleção
    15 Abr 2019
  • Data do Fascículo
    2019

Histórico

  • Recebido
    07 Fev 2018
  • Aceito
    07 Set 2018
Faculdade de Educação da Universidade Federal de Minas Gerais Avenida Antonio Carlos, 6627., 31270-901 - Belo Horizonte - MG - Brasil, Tel./Fax: (55 31) 3409-5371 - Belo Horizonte - MG - Brazil
E-mail: revista@fae.ufmg.br