Accessibility / Report Error

OS IMPACTOS DO PACTO NACIONAL PELA ALFABETIZAÇÃO NA IDADE CERTA: UMA REVISÃO SISTEMÁTICA

THE IMPACTS OF THE NATIONAL PACT FOR LITERACY IN THE RIGHT AGE: A SYSTEMATIC REVIEW

RESUMO:

Este artigo apresenta os principais achados de uma revisão sistemática sobre o Pacto Nacional pela Alfabetização na Idade Certa (PNAIC), instituído pela Portaria 867, de 04 de julho de 2012, considerado o maior programa de formação de professores desenvolvido pelo Ministério da Educação. Foi realizada uma tipologia dos trabalhos coletados - total de 121 publicações - e construídas categorias de análise para avaliar a qualidade da evidência produzida nas avaliações de impacto (quatro estudos). Os resultados sugerem que: a) há um grande volume de estudos sobre o PNAIC, porém um número muito pequeno de estudos avaliativos sobre o impacto do Programa; b) boa parte dos estudos que descrevem potenciais efeitos da política são, na realidade, estudos sobre percepção de impacto; c) os estudos de impacto encontrados, além de serem escassos, apresentam baixa validade interna e externa, com limitações importantes, referentes ao desenho, metodologia e escala.

Palavras-chave:
Revisão Sistemática; PNAIC; Alfabetização; Avaliação de impacto

ABSTRACT:

The article presents the main findings of a systematic review of the National Pact for Literacy in the Right Age (PNAIC), instituted by the Portaria 867, of July 4, 2012, considered the largest teacher training program developed by the Ministry of Education. A typology of the collected works was built - a total of 121 publications - and analysis categories were constructed to evaluate the quality of the evidence produced in the impact assessments (4 studies). The results suggest that: a) there is a large volume of studies on the PNAIC, but a very small number of evaluative studies on the impact of the Program; b) many studies describing potential policy effects are actually about perception of impact; c) the impact studies found, besides being scarce, have low internal and external validity, with important limitations, referring to the design, methodology and scale.

Keywords:
Systematic Review; PNAIC; Literacy; Impact Evaluation

INTRODUÇÃO

O presente artigo tem como objetivo principal apresentar os resultados de uma revisão sistemática sobre os impactos do Pacto Nacional pela Alfabetização na Idade Certa (PNAIC), instituído pela Portaria no 867BRASIL. Ministério da Educação. Portaria nº. 867, de 04 de julho de 2012. Institui o Pacto Nacional pela Alfabetização na Idade Certa e as ações do Pacto e define suas diretrizes gerais. Diário Oficial da União: seção 1, Brasília, DF, n. 129, p. 22, 05 jul. 2012., de 04 de julho de 2012, com foco na formação continuada, eixo central do Programa, destacando algumas dimensões do desenvolvimento de suas ações nesse âmbito. Há ainda dois objetivos específicos a serem destacados: a) construir uma tipologia e apresentar uma síntese dos estudos de impacto da formação continuada do PNAIC e; b) avaliar a qualidade da evidência científica sobre os estudos de impacto do PNAIC (GORARD; SEE; SIDDIQUI, 2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.).

Para esse estudo, foram analisadas publicações (dissertações, teses, artigos, trabalhos e pôsteres) produzidas entre 2013 e 2017; e as bases de dados consultadas foram: o Banco de Teses e Dissertações da CAPES (104 resultados elegíveis), o SciELO (Scientific Electronic Library Online, 6 resultados elegíveis, considerando todos os periódicos),1 1 Os trabalhos selecionados foram publicados nos seguintes periódicos: Revista Brasileira de Educação (1 publicação); DELTA: Documentação de Estudos em Linguística Teórica e Aplicada (1); Cadernos CEDES (2); Educação em Revista (1); Revista Brasileira de Estudos Pedagógicos (1). a ANPEd (Associação de Pós-Graduação em Educação, 7 resultados elegíveis, considerando todos os Grupos de Trabalho, nas edições nacionais de 2013, 2015 e 2017),2 2 Os trabalhos selecionados pertencem aos seguintes Grupos de Trabalho: GT 8 - Formação de Professores (4 trabalhos); GT 12 - Currículo (1); GT 13 - Educação Fundamental (2). a revista eletrônica da Associação Brasileira de Alfabetização (ABAlf, com 4 resultados elegíveis) e a base ERIC (Institute of Education Sciences, nenhum resultado elegível). Dos 121 resultados elegíveis, apenas quatro estudos de impacto foram identificados. Entretanto, as 121 publicações sobre o Pacto foram analisadas, independentemente do tema e /ou qualidade. Neste trabalho os estudos de impacto são caracterizados como pesquisas que pretendem estimar se os resultados almejados em um programa ou política educacional foram alcançados (CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ).

Os índices do analfabetismo escolar, e aqui se chama a atenção para o termo, são alarmantes, no Brasil. Fala-se do analfabetismo de crianças que, apesar de frequentarem a escola e serem promovidas, mostram-se incapazes de leitura e escrita autônomas ao final do ciclo de alfabetização (CASTRO, 2016CASTRO, Carla Maria Motta Valle. Avaliação do Aprendizado no Ciclo de Alfabetização de alunos da rede municipal do Rio de Janeiro. 2016. Dissertação (Mestrado em População, Território e Estatística Pública) - Escola Nacional de Ciências Estatísticas, Rio de Janeiro, 2016.; VELOSO et al., 2009VELOSO, F. et al. Educação Básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009.). Segundo o MEC, nos primeiros três anos do ensino fundamental, a criança deve adquirir as capacidades de leitura e escrita, dominando o sistema alfabético. Os dados mostram, entretanto, que, aos oito anos, milhares de crianças brasileiras já estão numa espécie de grupo de risco, expostas a dificuldades que poderão comprometer suas histórias de vida e escolar dali em diante (SOARES, 2017SOARES, Magda. Alfabetização e letramento. 7. ed.São Paulo: Contexto, 2017.).

Segundo os resultados da Avaliação Nacional da Alfabetização, mais de 50% das crianças apresentam níveis insuficientes em leitura e Matemática e outros 34%, no fim do ciclo de alfabetização, demonstram desempenho abaixo do esperado em escrita.

TABELA 1
Resultados da Avaliação Nacional da Alfabetização - Níveis insuficientes por área de conhecimento - Brasil

O Pacto Nacional pela Alfabetização na Idade Certa (PNAIC) nasce do reconhecimento deste importante desafio: garantir a plena alfabetização dos estudantes até o fim do terceiro ano do Ensino Fundamental, objetivo considerado bastante largo, tendo em vista que as crianças de grupos sociais mais abastados o cumprem antes dessa idade.

O Pacto, instituído pela Portaria 867, de 04 de julho de 2012, é definido como um compromisso formal e solidário assumido pelos entes federados (Governos Federal, Distrito Federal, estados e municípios). O PNAIC responde à Meta 5, do Plano Nacional da Educação, que define a obrigatoriedade da alfabetização até o final do 3º ano do Ensino Fundamental.

O PNAIC é considerado o maior programa de formação de professores já desenvolvido pelo Ministério da Educação (BRASIL, 2015bBRASIL. Ministério da Educação. Prestação de contas ordinária anual relatório de gestão consolidado do exercício 2014. Brasília, DF, 2015b.), e mais de 90% das bolsas da ação orçamentária do Governo Federal foram dirigidos a ele e ao Pacto Nacional pelo Fortalecimento do Ensino Médio, em 2014 (BRASIL, 2015bBRASIL. Ministério da Educação. Prestação de contas ordinária anual relatório de gestão consolidado do exercício 2014. Brasília, DF, 2015b.). De acordo com dados do Ministério da Educação, cerca de 8 milhões de crianças, matriculadas nos três primeiros anos do Ensino Fundamental da rede pública seriam beneficiadas com as ações do Programa. Pelos cálculos do Governo Federal, isso significava 400 mil turmas, de 108 mil escolas de todo o Brasil e um investimento inicial de R$ 2,7 bilhões.4 4 Disponível em <http://portal.mec.gov.br/index.php?ption=com_content&view=article&id=18216>. Acesso em: 15 nov. 2017.

O eixo principal do Programa está assentado na oferta de cursos de formação continuada previstos, inicialmente, para 360 mil professores alfabetizadores, com tutoria permanente e auxílio de 18 mil orientadores de estudo capacitados por universidades públicas. O MEC também previu a distribuição de mais de 60 milhões de livros didáticos, além de jogos pedagógicos.

Diante do grande alcance do programa e dos custos elevados, é importante destacar que não foi possível identificar um esforço sistemático do governo federal ou mesmo das universidades em realizar um conjunto de estudos com desenho robusto sobre o impacto do PNAIC na alfabetização das crianças. São consideradas como avaliações robustas estudos com desenhos experimentais ou quase experimentais, que apresentam alta validade interna e externa (SHADISH; COOK; CAMPBELL, 2002SHADISH, W. R.; COOK, T. D.; CAMPBELL, D.T. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton-Mifflin, 2002.; GORARD; SEE; SIDDIQUI, 2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.). O tema do analfabetismo é central no debate educacional e essa revisão sistemática pretende ajudar a identificar os potenciais efeitos da implementação do PNAIC em diferentes municípios brasileiros.

A finalidade de avaliar um programa social é determinar se o referido programa atingiu ou não os objetivos projetados. No caso do PNAIC, segundo a Portaria nº 826, de 7 de julho de 2017 - que dispõe, em seu Artigo 5º, sobre as ações, diretrizes gerais e a ação de formação - o Pacto tem como objetivos:

  1. IGarantir que todos os estudantes dos sistemas públicos de ensino estejam alfabetizados, em Língua Portuguesa e em Matemática, até o final do 3º ano do ensino fundamental;

  2. I Reduzir a distorção idade-série na Educação Básica;

  3. Melhorar o Índice de Desenvolvimento da Educação Básica - IDEB; e

  4. Contribuir para o aperfeiçoamento do desempenho dos professores. (BRASIL, 2017bBRASIL. Ministério da Educação. Portaria nº. 826, de 7 de julho de 2017. Dispõe sobre o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC, suas ações, diretrizes gerais e a ação de formação no âmbito do Programa Novo Mais Educação - PNME. Diário Oficial da União: seção 1, Brasília, DF, n. 130, p. 20, 10 jul. 2017b.).

Considerando a gravidade do problema - o desempenho insuficiente dos alunos ao final do ciclo de alfabetização - e a magnitude do Pacto Nacional pela Alfabetização na Idade Certa, como estratégia para melhorar esses resultados, é que essa pesquisa se justifica, no sentido de buscar estudos que demonstrem os efeitos do programa, lançando luz sobre iniciativas futuras no que tange a políticas e programas educacionais.

Cabe destacar que o PNAIC é um programa que visa melhorar os índices de alfabetização no Brasil e, portanto, tem caráter equitativo. Os custos do programa, assim como seus impactos, deveriam ser de interesse público e foco central de avaliadores do campo da educação.

SOBRE O PNAIC

O Pacto é definido como um compromisso formal e solidário assumido pelos entes federados (Governos Federal, Distrito Federal, estados e municípios), desde 2012. O PNAIC responde à Meta 5, do Plano Nacional da Educação, que define a obrigatoriedade da alfabetização até o final do 3º ano do Ensino Fundamental. Entretanto, ele também está diretamente relacionado ao cumprimento da Meta 2, que estabelece a universalização do ensino fundamental de nove anos para a população de 6 a 14 anos. Afinal, se a alfabetização não se consolidar, o prosseguimento dos estudos estará severamente comprometido. Cabe aqui destacar que a adesão ao Pacto é voluntária, tanto dos estados, Distrito Federal e municípios, quanto dos professores alfabetizadores.

Considera-se que o Pacto teve origem em outros programas exitosos como o PAIC (Programa de Alfabetização na Idade Certa), desenvolvido pelo governo do Ceará, e o Pró-Letramento. O PNAIC é também marcado pela constituição, em 2004, da RENAFOR (Rede Nacional de Formação de Professores).

De acordo com o Caderno de Apresentação do PNAIC 2015 (BRASIL, 2015BRASIL. Secretaria de Educação Básica. Diretoria de Apoio à Gestão Educacional. Pacto Nacional pela Alfabetização na Idade Certa: apresentação. Brasília, DF, 2015a. ), o debate sobre a formação de professores começa muito antes do Pacto. Em 2003, o MEC buscava uma nova orientação para a educação brasileira e novos eixos norteadores foram estabelecidos, a saber: formação de competências, como eixo nuclear, e a formação reflexiva, como eixo metodológico. Nesse contexto, a alfabetização assume lugar central no debate educacional acerca da melhoria da qualidade da educação pública. O Programa Toda Criança Aprendendo (TCA), lançado em 2003, tinha quatro linhas de ação prioritárias em suas matrizes de referência:

Implantar a Política Nacional de Valorização e Formação de Professores; ampliar o atendimento escolar, incluindo as crianças de seis anos no ensino fundamental; apoiar a construção de Sistemas Estaduais de Avaliação da Educação Básica; e instituir programas de apoio ao letramento (BRASIL, 2015aBRASIL. Secretaria de Educação Básica. Diretoria de Apoio à Gestão Educacional. Pacto Nacional pela Alfabetização na Idade Certa: apresentação. Brasília, DF, 2015a. , p. 14).

O referido programa foi extinto, mas as discussões em torno dele deram origem à Rede Nacional de Formação Continuada. A Rede tinha como base a participação das universidades, investimento público e a concepção de um pacto federativo na articulação das relações educacionais, com base na Constituição de 1988 e em seus Artigos 23 e 211, que “preconizam o Regime de Cooperação entre os entes federados e o Regime de Colaboração entre os sistemas de ensino” (BRASIL, 2015aBRASIL. Secretaria de Educação Básica. Diretoria de Apoio à Gestão Educacional. Pacto Nacional pela Alfabetização na Idade Certa: apresentação. Brasília, DF, 2015a. , p. 14).

Sobre o PAIC:

Com base em resultados de pesquisa que revelavam as insuficiências dos currículos dos cursos superiores para formar o(a) professor(a) alfabetizador(a) e a falta de conhecimento dos docentes para alfabetizar, o que se refletia em dificuldades dos alunos da educação básica na leitura, escrita e compreensão de textos, o Comitê Cearense para Eliminação do Analfabetismo Escolar, formado por diversas entidades da sociedade civil e por cinco universidades do Estado do Ceará, a SEDUC5 5 Secretaria de Estado de Educação e Qualidade do Ensino /CE e o Conselho Estadual de Educação, em parceria com a União Nacional dos Dirigentes Municipais de Educação do Ceará (Undime-CE) e o UNICEF, criaram o PAIC, em 2005. Por meio dele, estabeleceu-se um pacto com os municípios interessados em superar os problemas de aprendizagem escolar. (GATTI; BARRETO; ANDRÉ, 2011GATTI, Bernardete A.; BARRETO, Elba Siqueira de Sá; ANDRÉ, Marli. Políticas docentes no Brasil: um estado da arte. Brasília, DF: UNESCO, 2011., p. 243).

O incentivo e a avaliação docentes junto a políticas de gerenciamento do sistema escolar, a melhor organização das rotinas escolares e o investimento na estrutura das escolas (como acervos das bibliotecas etc.), aliados a iniciativas de formação continuada dos professores - no que se refere aos aspectos de metodologia da alfabetização e de formação do professor-leitor, por exemplo - compunham o bojo do PAIC (GATTI; BARRETO; ANDRÉ, 2011GATTI, Bernardete A.; BARRETO, Elba Siqueira de Sá; ANDRÉ, Marli. Políticas docentes no Brasil: um estado da arte. Brasília, DF: UNESCO, 2011.).

Entretanto, há uma diferença que merece relevo: o PAIC tinha como parceiros a UNICEF, APRECE, UNDIME-CE, APDM-CE, SECULT6 6 Fundo das Nações Unidas para a Infância (UNICEF); Associação dos Municípios do Estado do Ceará (APRECE); União Nacional dos Dirigentes Municipais do Ceará (UNDIME/CE); Associação para o Desenvolvimento dos Municípios do Ceará (APDM CE); Secretaria de Cultura do Ceará (SECULT). e o Fórum de Educação Infantil do Ceará, apoiados pela Secretaria Estadual de Educação. Já o PNAIC, possui as universidades públicas como peças-chave na construção e desenvolvimento de materiais para a formação de professores (ALMEIDA, 2016ALMEIDA, Maria Elisa Vieira da Cunha Cardoso de. As vozes que emergem do pacto federativo: o Pacto Nacional pela Alfabetização na Idade Certa (PNAIC) em foco e suas implicações na cidade do Rio de Janeiro. 2016. 126 f. Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2016.).

Em relação ao Pró-Letramento, Silva (2016SILVA, Roberto Rafael Dias da et al. Políticas contemporâneas de formação de alfabetizadores no Brasil: entre a potencialização dos desempenhos e a gestão pedagógica das inovações. Práxis Educativa, Ponta Grossa, v. 11, n. 1, p.15-35, jan./abr. 2016. Disponível em: <Disponível em: http://www.revistas2.uepg.br/index.php/praxiseducativa/article/view/7080 >. Acesso em: 28 nov. 2018.
http://www.revistas2.uepg.br/index.php/p...
) afirma que, considerado um programa exitoso, é referência direta e inspiração ao PNAIC, diante dos resultados alcançados no IDEB e na Prova Brasil, de 2007 e 2009, que superaram as expectativas à época. Como os resultados das avaliações em larga escala vêm ganhando grande visibilidade, os dados por elas gerados têm sido decisivos na definição de políticas e programas sociais, pois esses resultados definem e configuram os problemas a serem enfrentados em educação, bem como as reformas a serem empreendidas.

O Pró-Letramento foi lançado em 2005 e era dirigido aos professores dos anos iniciais do Ensino Fundamental como parte integrante do Plano Nacional de Qualidade da Educação Básica, “sendo reeditado em 2007, constituindo as ações de formação de professores do Plano de Desenvolvimento da Educação” (SILVA, 2016SILVA, Roberto Rafael Dias da et al. Políticas contemporâneas de formação de alfabetizadores no Brasil: entre a potencialização dos desempenhos e a gestão pedagógica das inovações. Práxis Educativa, Ponta Grossa, v. 11, n. 1, p.15-35, jan./abr. 2016. Disponível em: <Disponível em: http://www.revistas2.uepg.br/index.php/praxiseducativa/article/view/7080 >. Acesso em: 28 nov. 2018.
http://www.revistas2.uepg.br/index.php/p...
, p. 24). O objetivo principal do programa estava relacionado à elevação da qualidade do ensino e da aprendizagem em Matemática e Língua Portuguesa, a partir da oferta de suporte à ação pedagógica dos professores. “Para tanto, o programa buscou desenvolver uma cultura de formação continuada em rede, envolvendo universidades, secretarias de Educação e escolas públicas dos sistemas de ensino” (SILVA, 2016SILVA, Roberto Rafael Dias da et al. Políticas contemporâneas de formação de alfabetizadores no Brasil: entre a potencialização dos desempenhos e a gestão pedagógica das inovações. Práxis Educativa, Ponta Grossa, v. 11, n. 1, p.15-35, jan./abr. 2016. Disponível em: <Disponível em: http://www.revistas2.uepg.br/index.php/praxiseducativa/article/view/7080 >. Acesso em: 28 nov. 2018.
http://www.revistas2.uepg.br/index.php/p...
, p. 24).

O PNAIC preserva, portanto, em seu desenho, a herança do funcionamento da formação em rede, mas ganha mais foco ao dirigir-se diretamente aos alfabetizadores, e maior capilaridade, tendo em vista sua abrangência diante do número de adesões de estados e municípios. Sendo assim, o Pacto Nacional pela Alfabetização na Idade Certa avança no sentido de formalizar procedimentos de colaboração entre os entes federados no que diz respeito a funções de instituições e profissionais e uso de verbas.

Constant (2017CONSTANT, Elaine; PNAIC no Estado do Rio de Janeiro: a polifonia na formação continuada de professores alfabetizadores. Rio de Janeiro: 2017., p. 10) define o PNAIC como uma “política híbrida”, que congrega experiências educacionais brasileiras de 1995 a 2014, com base, principalmente, na Constituição Brasileira de 1988 e na Lei de Diretrizes e Bases da Educação Nacional (LDB no 9394/96), em seu Artigo 87, inciso II, parágrafo único. Segundo a autora, além da Constituição e da LDB, o contexto do PNAIC é marcado por documentos norteadores, como: os do Fundo Nacional de Desenvolvimento da Educação (no 11.273, de 06 de fevereiro de 2006); do Plano de Desenvolvimento da Educação, Artigo 2º do Decreto no 6.094 de 2007; da Política Nacional de Formação de Profissionais do Magistério da Educação Básica e do Artigo 1º, parágrafo único e do artigo 2º do Decreto no 7.084, de 2010, referente ao Programa Nacional do Livro Didático.

Sobre o histórico do Pacto, Silva (2016SILVA, Roberto Rafael Dias da et al. Políticas contemporâneas de formação de alfabetizadores no Brasil: entre a potencialização dos desempenhos e a gestão pedagógica das inovações. Práxis Educativa, Ponta Grossa, v. 11, n. 1, p.15-35, jan./abr. 2016. Disponível em: <Disponível em: http://www.revistas2.uepg.br/index.php/praxiseducativa/article/view/7080 >. Acesso em: 28 nov. 2018.
http://www.revistas2.uepg.br/index.php/p...
, p. 24) destaca ainda que:

[...] prosseguindo com as propostas para o campo da educação e com a agenda reformista, no governo Dilma Rousseff (2010-2014) foram retomados programas implementados durante o governo Luis Inácio Lula da Silva (2003-2010) e criados outros, como o Programa Nacional de Acesso ao Ensino Técnico e Emprego - PRONATEC (2011) e o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC.

Santos (2015SANTOS, Cintia Anselmo dos. O papel do coordenador pedagógico no processo formativo dos professores do ciclo de alfabetização: o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC. 2015. 94 f. Dissertação (Mestrado Profissional em Educação) - Programa de Pós-Graduação em Educação. Pontifícia Universidade Católica de São Paulo, São Paulo, 2015.) amplia essa perspectiva ao sinalizar que, ao se considerar o Pacto, em uma perspectiva internacional, “veremos que ele também é parte das ações do Estado brasileiro para tentar cumprir um compromisso assumido no Acordo de Dacar (Senegal), assinado no ano de 2000” (SANTOS, 2015SANTOS, Cintia Anselmo dos. O papel do coordenador pedagógico no processo formativo dos professores do ciclo de alfabetização: o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC. 2015. 94 f. Dissertação (Mestrado Profissional em Educação) - Programa de Pós-Graduação em Educação. Pontifícia Universidade Católica de São Paulo, São Paulo, 2015., p. 31). Tal acordo previa a implementação de várias estratégias, com vistas a um plano de metas referente à expansão dos cuidados com a primeira infância, entre outros compromissos, a ser alcançado até 2015.

Inspirado em programas exitosos e comprometido com metas nacionais e internacionais, o PNAIC passou a compor a Política Nacional de Alfabetização, junto ao recém- lançado Programa Mais Alfabetização,7 7 O Programa Mais Alfabetização, criado pela Portaria nº 142, de 22 de fevereiro de 2018, é uma estratégia do MEC para fortalecer e apoiar as escolas no processo de alfabetização dos estudantes regularmente matriculados no 1º ano e 2º ano do Ensino Fundamental, garantindo apoio adicional do assistente de alfabetização ao professor alfabetizador, tendo em vista o pleno domínio da leitura, da escrita e do cálculo. Disponível em: <http://portal.mec.gov.br/expansao-da-rede-federal/30000-uncategorised/62871-programa-mais-alfabetizacao>. Acesso em: 10 dez. 2018. o que sugere ainda se viver, no Brasil, a era das políticas de governo na qual se assiste ao zigue-zague8 8 O termo refere-se à descontinuidade das políticas educacionais, fenômeno anterior à década de 1990 e intensificado a partir de então. (CUNHA, 1991CUNHA. L.A. Educação, estado e democracia no Brasil. São Paulo: Cortez; Rio de Janeiro: FLACSO do Brasil, 1991.) de iniciativas que arrastam muitos investimentos dos cofres públicos, sem que se saiba ao certo seus efeitos. Esse se constitui em um dos grandes desafios desta pesquisa: apontar para a necessidade de estudos de impacto robustos, que auxiliem na tomada de decisão com vistas à melhoria da aprendizagem das crianças.

Segundo o Documento Orientador do PNAIC (BRASIL, 2017aBRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
http://pacto.mec.gov.br/images/pdf/doc_o...
), a alfabetização é compreendida como chave para “garantir uma educação inclusiva, equitativa e de qualidade, e promover oportunidades de aprendizagem durante toda a vida para todos” (BRASIL, 2017aBRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
http://pacto.mec.gov.br/images/pdf/doc_o...
, p. 3), objetivo que compõe o Marco de Ação da Agenda de Educação 2030, da qual o Brasil é signatário. Nesse sentido, o Governo Federal conclama, no Documento Orientador do PNAIC, “docentes, gestores e instituições formadoras a esse compromisso ético indispensável à construção de uma educação efetivamente democrática e socialmente justa” (BRASIL, 2017aBRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
http://pacto.mec.gov.br/images/pdf/doc_o...
, p. 3).

Para atingir esses objetivos, as ações do PNAIC incluem um conjunto integrado de programas, materiais e referências curriculares e pedagógicas, recomendadas pelo Ministério da Educação (MEC), sendo que seu principal eixo de atuação é a formação continuada dos alfabetizadores. Essa formação é complementada por outros três eixos, a saber: Materiais Didáticos e Pedagógicos; Avaliações; Gestão.

A formação continuada de professores alfabetizadores é considerada como elemento central no PNAIC, conforme se pode observar:

Para o MEC, a formação continuada de professores como política nacional é componente essencial da profissionalização e da valorização docente, devendo integrar-se ao cotidiano da escola e pautar-se no respeito à experiência adquirida e no direito dos profissionais do magistério de buscarem atualização e aperfeiçoamento ao longo da vida. (BRASIL, 2016aBRASIL. Ministério da Educação. Secretaria de Educação Básica. PNAIC em ação 2016: Documento orientador das ações de formação continuada de professores alfabetizadores em 2016. Brasília, DF, 2016a., p. 3).

A formação continuada dos professores alfabetizadores desenvolve-se a partir de um processo de formação entre pares, com base nos seguintes princípios:

  • A prática da reflexividade: pautada na ação prática/teoria/prática, operacionalizada na análise de práticas de salas de aulas, aliadas à reflexão teórica e reelaboração das práticas.

  • A constituição da identidade profissional: efetivada em momentos de reflexão sobre as memórias do professor enquanto sujeito de um processo mais amplo, procurando auxiliá-lo a perceber-se em constante processo de formação.

  • A socialização: operacionalizada na criação e fortalecimento de grupos de estudo durante as formações que, espera-se, transcenda o momento presencial, diminuindo o isolamento profissional, intrínseco à profissão de professor, que, em geral, mantém contato com pais, alunos e diretores, mas não com seus pares.

  • O engajamento: privilegiar o gosto em continuar a aprender é uma das metas primordiais da formação continuada e certamente faz parte da melhoria de atuação em qualquer profissão.

  • A colaboração: para além da socialização, trata-se de um elemento fundamental no processo de formação. Através da colaboração, busca-se a formação de uma rede que visa ao aprendizado coletivo, por meio do qual os professores exercitem a participação, o respeito, a solidariedade, a apropriação e o pertencimento. (BRASIL, 2015a BRASIL. Ministério da Educação. Secretaria de Educação Básica. PNAIC em ação 2016: Documento orientador das ações de formação continuada de professores alfabetizadores em 2016. Brasília, DF, 2016a.p. 27)

Nessa dinâmica, cabe às universidades a preparação dos Formadores locais que, por sua vez, realizam a formação dos Orientadores de Estudo - os responsáveis pelos encontros com os alfabetizadores.

Em sua versão original, a proposta de formação continuada, iniciada em 2013, previa curso presencial de dois anos para os professores alfabetizadores, com carga horária de 120 horas anuais, com base no programa Pró-Letramento,9 9 O Pró-Letramento - Mobilização pela Qualidade da Educação - é definido como um programa de formação continuada de professores para a melhoria da qualidade de aprendizagem da leitura/escrita e matemática nos anos iniciais do ensino fundamental. O programa era realizado pelo MEC, em parceria com universidades que integram a Rede Nacional de Formação Continuada e com adesão dos estados e municípios e atualmente está desativado. cuja metodologia propunha estudos e atividades práticas. Entretanto, na Portaria no 1094, de 30 de setembro de 2016, no Artigo 2, ao descrever as atribuições das instituições formadoras, em seu inciso XIV, esta dispõe que os cursistas poderiam receber seus certificados ao concluírem a formação em serviço, incluindo na carga horária dessa formação:

[...] não somente momentos presenciais, mas atividades mediadas por tecnologias, tais como web conferência e minicursos on-line, e as que o professor desenvolver em sala de aula, a partir de sequências didáticas, metas e prazos acordados com os orientadores de estudos e os professores formadores. (BRASIL, 2016bBRASIL. Ministério da Educação. Portaria nº. 1094, de 30 de setembro de 2016. Altera dispositivos da Portaria MEC nº. 867, de 4 de julho de 2012, que institui o Pacto Nacional pela Alfabetização na Idade Certa e define suas diretrizes gerais [...]. Diário Oficial da União: seção 1, n. 190. p. 8, 03 out. 2016b., p. 8)

A partir de 2016, a legislação passou a definir a ampliação da formação continuada que, além dos profissionais envolvidos inicialmente, incluiria agora os coordenadores pedagógicos10 10 Foram identificados pelo menos dois trabalhos, no processo de pesquisa, no Banco de Teses e Dissertações da CAPES, sinalizando para a importância da participação dos coordenadores pedagógicos na formação continuada do PNAIC (SANTOS, 2015; ACOSTA, 2016), indicando que eles seriam elementos decisivos na concretização da proposta do Pacto nas escolas. das escolas participantes e a formação dos coordenadores estaduais, da Undime (União Nacional dos Dirigentes Municipais de Educação),11 11 A União Nacional dos Dirigentes Municipais de Educação (Undime) é uma associação civil sem fins lucrativos, fundada em 1986 e com sede em Brasília/ DF. Tem por missão articular, mobilizar e integrar os dirigentes municipais de educação para construir e defender a educação pública com qualidade social. Disponível em: <https://undime.org.br/institucional/o-que-e-a-undime>. Acesso em: 22 jan. 2018. regionais e locais, participantes das ações de formação em serviço dos professores alfabetizadores e coordenadores pedagógicos.

Nesse sentido, o documento PNAIC em Ação 2016 confirma tal demanda:

A extensão da formação aos coordenadores pedagógicos responde a avaliações e demandas feitas ao MEC e é um reconhecimento da função desse profissional, eminentemente comprometida com os resultados de aprendizagem da escola e responsável, junto à direção, pela preparação de um clima organizacional motivador e propício ao convívio e à construção de conhecimento. (BRASIL, 2016aBRASIL. Ministério da Educação. Secretaria de Educação Básica. PNAIC em ação 2016: Documento orientador das ações de formação continuada de professores alfabetizadores em 2016. Brasília, DF, 2016a., p. 7)

O PNAIC também garantia, até 2016, bolsas aos profissionais participantes da formação continuada, inclusive aos alfabetizadores, o que, para muitos funcionava, como um incentivo à adesão.

No quadro, a seguir, a configuração e as mudanças na estrutura do PNAIC.

QUADRO 1
Estrutura hierárquica do PNAIC

Em 2017, haveria nova alteração no desenho do PNAIC. Duas funções foram incorporadas: a do Coordenador de Pesquisa e a do Pesquisador. Segundo o que é apresentado no Documento Orientador do PNAIC 2017 (BRASIL, 2017aBRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
http://pacto.mec.gov.br/images/pdf/doc_o...
), cabe ao Coordenador de Pesquisa acompanhar e documentar aspectos referentes à implementação, gestão, controle e articulação entre os entes federados e, ao final do ciclo de formação, registrar o projeto de pesquisa em formato de relato de caso ou de artigo científico, contribuindo com informações, tendo em vista propostas de aperfeiçoamento da formação continuada e de consolidação da alfabetização das crianças (BRASIL, 2017aBRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
http://pacto.mec.gov.br/images/pdf/doc_o...
).

Outra mudança significativa na estrutura da formação do PNAIC, em 2017, diz respeito à incorporação de profissionais da Educação Infantil e do Programa Novo Mais Educação (PNME),12 12 O Programa Novo Mais Educação, criado pela Portaria MEC nº 1.144/2016 e regido pela Resolução FNDE nº 5/2016, é uma estratégia do Ministério da Educação, que tem como objetivo melhorar a aprendizagem em língua portuguesa e matemática no ensino fundamental, por meio da ampliação da jornada escolar de crianças e adolescentes. Disponível em: <http://portal.mec.gov.br/programa-mais-educacao>. Acesso em: 15 jan. 2018. conforme Artigo 17:

A formação continuada ofertada por instituições públicas de ensino superior ou centros de formação de professores regularmente instituídos pelas redes de ensino será ministrada aos responsáveis pela formação dos coordenadores pedagógicos da educação infantil e professores da pré-escola, coordenadores pedagógicos dos anos iniciais, professores alfabetizadores e, também, dos articuladores da escola e mediadores de aprendizagem, no âmbito do PNME. (BRASIL, 2016cCANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. )

Em 2017, as bolsas dos alfabetizadores foram suspensas e bolsas destinadas a outros atores do Programa, reduzidas.

A tabela, a seguir, resume os números da formação continuada do PNAIC, ao longo de seus cinco anos de existência.

TABELA 2
5 anos de PNAIC - Dados comparativos

Segundo o Documento Orientador do MEC (BRASIL, 2017aCANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ), a principal inovação no Programa, em 2017, diz respeito a um maior direcionamento tanto na intencionalidade pedagógica das formações, quanto na atuação dos formadores, a partir da adoção de um modelo que pressupõe o fortalecimento da capacidade institucional local, “reforçando a importância de ter, na estrutura de formação e gestão, atores locais altamente comprometidos com os processos formativos e de monitoramento, avaliação e intervenção pedagógica” (BRASIL, 2017aCANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. , p. 7).

O MÉTODO: A REVISÃO SISTEMÁTICA

Revisão Sistemática (RS) é um método científico de pesquisa que tem como objetivo reunir, de forma organizada, criteriosa e abrangente, toda a informação a respeito de um tema específico, no caso, a formação continuada do Pacto Nacional pela Alfabetização na Idade Certa, presente nas produções selecionadas. Para tanto, o método exige que se estabeleça um protocolo de ação detalhado, que permita que outros pesquisadores repliquem ou atualizem o estudo, seguindo os passos descritos (PETTICREW; ROBERTS, 2006PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: a practical Guide. Malden, MA: Blackwell Publishing, 2006.; COSTA; ZOLTOWSKI, 2014COSTA, Angelo Brandelli; ZOLTOWSKI, Ana Paula Couto. Como escrever um artigo de revisão sistemática. In: KOLLER, Sílvia H.; COUTO, Maria Clara P. de Paula; HOHENDORFF, Jean Von (Org.). Manual de produção científica. Porto Alegre: Penso, 2014.).

O método é útil para dar sentido a um grande volume de informações e revela-se como um meio eficaz para contribuir com as respostas às perguntas sobre o que funciona e o que não funciona. Trata-se de um método capaz de mapear áreas de incerteza, onde pouca ou nenhuma pesquisa abrangente tenha sido realizada e onde novos estudos são necessários (PETTICREW; ROBERTS, 2006PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: a practical Guide. Malden, MA: Blackwell Publishing, 2006.).

Segundo as orientações de Petticrew e Roberts (2006PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: a practical Guide. Malden, MA: Blackwell Publishing, 2006.) e Costa e Zoltowski (2014COSTA, Angelo Brandelli; ZOLTOWSKI, Ana Paula Couto. Como escrever um artigo de revisão sistemática. In: KOLLER, Sílvia H.; COUTO, Maria Clara P. de Paula; HOHENDORFF, Jean Von (Org.). Manual de produção científica. Porto Alegre: Penso, 2014.), foram consideradas oito etapas básicas à realização de uma revisão sistemática de qualidade: 1- Delimitação da questão a ser pesquisada; 2- Escolha das fontes de dados; 3- Eleição das palavras-chave para a busca; 4- Busca e armazenamento dos resultados; 5- Seleção de artigos pelo resumo, de acordo com critérios de inclusão e exclusão pré-estabelecidos; 6- Extração dos dados dos artigos selecionados; 7- Avaliação dos artigos; 8- Síntese e interpretação dos dados.

O que o leitor pode esperar como resultado de uma revisão sistemática? Ora, “a revisão sistemática requer uma questão clara, critérios bem definidos e uma conclusão que forneça novas informações com base no conteúdo garimpado” (GOMES; CAMINHA, 2014GOMES, Isabelle Sena. CAMINHA, Iraquitan de Oliveira. Guia para estudos de revisão sistemática: uma opção metodológica para as Ciências do Movimento Humano. Revista Movimento, Porto Alegre, v. 20, n. 01, p. 395-411, jan./mar. 2014., p. 396). Portanto, revisões sistemáticas bem estruturadas poderão ser úteis para atualizar e construir referenciais para a atuação de profissionais e para a busca de questões originais relativas a um dado tema. No caso específico do PNAIC, apresenta-se a síntese das avaliações de impacto feitas sobre a formação continuada do Pacto e um panorama sobre a qualidade da evidência produzida nesses estudos.

A análise sobre a qualidade da evidência dos estudos é feita a partir de critérios claros para a avaliação dos trabalhos selecionados. A proposta é inspirada na metáfora da “peneira”, do livro publicado por Gorard, Siddiqui e See (2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.). Isso é relevante em um contexto cada vez mais comum em que se observa a abundância de estudos sobre quase todos os temas no campo da educação (GATTI, 2002GATTI, Bernardete A. A pesquisa em educação: pontuando algumas questões metodológicas. [Campinas], 2002. Disponível em: <Disponível em: http://www.lite.fe.unicamp.br/revista/gatti.html >. Acesso em: 12 fev. 2018.
http://www.lite.fe.unicamp.br/revista/ga...
; ANDRÉ, 2005ANDRÉ, Marli. Pesquisa em educação: questões de teoria e de método. Educ. Tecnol., Belo Horizonte, v.10, n.1, p.29-35, jan./jun. 2005.). Objetivamente, a dificuldade de boa parte dos pesquisadores e gestores, hoje, não é ter acesso à informação, mas sim selecionar, em um universo crescente de estudos, aqueles que apresentam critérios mínimos de qualidade e que, portanto, devem ser considerados nas etapas subsequentes da pesquisa ou implementação/reformulação de políticas ou programas educacionais.

Cabe reforçar, no entanto, que os critérios apresentados nesse artigo para avaliar ou “peneirar” a qualidade dos estudos, não constituem uma proposta fechada. Trata-se de uma primeira aproximação de problema crescente que pesquisadores de diversas áreas enfrentam, a saber: a necessidade de discriminar a qualidade de diferentes estudos científicos que buscam responder questões de pesquisas iguais ou muito semelhantes. Não é razoável atribuir peso semelhante a estudos de impacto que possuem evidências científicas com qualidades distintas (GORARD; SIDDIQUI; SEE, 2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.).

A fim de realizar a investigação pretendida, a pesquisa contemplou várias etapas de análise das dissertações, teses e artigos selecionados, a saber:

Pesquisa nas bases de dados definidas (BTD da CAPES, SciELO, ANPEd, ABAlf, ERIC), o que resultou em 195 produções.

Análise das 195 produções reunidas nas cinco bases de dados pesquisadas, independentemente da temática abordada, a fim de verificar aquelas que estudavam o PNAIC e que tinham seus arquivos disponíveis nas bases escolhidas. Dessa etapa de filtragem, permaneceram 121 trabalhos.

Análise das 121 produções, a fim de identificar aquelas que versavam sobre a formação continuada. Foram identificados 52 estudos dentro da temática.

Análise dos 52 estudos sobre formação continuada, a fim de identificar os que estariam dentro do perfil de estudos de impacto. Foram identificados quatro estudos.

Síntese dos achados dos estudos de impacto sobre a formação continuada (4).

Retomada das 121 produções selecionadas, a fim de construir a tipologia de estudos.

As bases de dados foram estabelecidas, tendo em vista: 1) compor uma variedade de tipos de estudo, diminuindo o risco de viés de publicação;14 14 Viés de publicação refere-se à “tendência de os resultados publicados estarem sistematicamente diferentes da realidade, consiste em incluir na revisão sistemática uma amostra de estudos não representativa da totalidade dos estudos realizados. Em especial, quando se realiza uma busca na literatura, há maior probabilidade de encontrar estudos com resultados positivos” (PEREIRA; GALVÃO, 2014, p. 777). A adoção do BTD da CAPES é uma forma de minimizar o risco de ameaça à validade do estudo. 2) a representatividade das instituições relacionadas ao tema de pesquisa. A pesquisa foi realizada em cinco bases de dados, todas eletrônicas, no recorte temporal que vai de 2013 a 2017. São elas:

  1. Banco de Teses e Dissertações da CAPES (Plataforma Sucupira);

  2. SciELO (Scientific Electronic Library Online);

  3. ANPEd (Associação Nacional de Pós-Graduação e Pesquisa em Educação);

  4. ABAlf (Associação Brasileira de Alfabetização);

  5. ERIC (Institute of Education Sciences).

No caso da pesquisa em educação, é bastante complexo conseguir realizar uma revisão sistemática a partir de estudos considerados padrão-ouro.15 15 Estudos experimentais, com grupo experimental e grupo controle selecionados de forma aleatória (VOGT; GARDNER; HAEFFELE, 2012; CANO, 2006; GORARD, 2013). Entretanto, isso não se constitui como motivo para abandonar o projeto de encaminhar uma revisão sistemática, ignorando as contribuições que ela representa. A inclusão de estudos qualitativos nas revisões sistemáticas representa um desafio contínuo, tanto que Cochrane e Campbell Collaborations,16 16 A Campbell Collaboration é uma rede de pesquisa internacional que produz e divulga análises sistemáticas sobre os efeitos das intervenções nas ciências sociais e comportamentais. Pretende melhorar a qualidade dos serviços públicos e privados através do reforço da base de evidências para a política e a prática social. Produz avaliações nas áreas de criminalidade e justiça, educação, desenvolvimento internacional e bem-estar social. Disponível em: http://www.cochrane.org/about-us/our-partners-and-funders/campbell-collaboration. Acesso em: 22 jan. 2018. instituição especializada no assunto e referência para várias áreas do conhecimento, constituíram um grupo metodológico conjunto a fim de desenvolver métodos para revisão sistemática de pesquisa qualitativa (PETTICREW; ROBERTS, 2006PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: a practical Guide. Malden, MA: Blackwell Publishing, 2006.). Ainda segundo Petticrew e Roberts (2006PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: a practical Guide. Malden, MA: Blackwell Publishing, 2006.), na ausência de evidências17 17 Evidência refere-se à indicação de probabilidade, fato que confirma ou refuta uma afirmação, hipótese ou proposição (ELACQUA, 2015). provenientes de estudos padrão-ouro, pode-se trabalhar com as melhores evidências disponíveis. Os autores destacam que, ao alinhar uma série de estudos tendenciosos, pode-se incorrer no risco bastante provável de gerar um resumo também tendencioso. Entretanto, considera-se que essa seja uma outra contribuição dessa pesquisa: demonstrar a lacuna existente relacionada aos estudos de impacto, que poderá ser ocupada por futuras pesquisas, a partir da constatação aqui apontada de que, apesar de investimentos vultosos serem feitos na área de educação, a formulação e implementação de programas ou políticas educacionais ocorre, em boa medida, sem o uso sistemático de evidências científicas. Em outras palavras, programas são descontinuados sem a realização de estudos avaliativos de impacto, o que impede que a comunidade acadêmica e os gestores aprendam sobre aquela experiência. Isso gera um vácuo no acúmulo de conhecimento sobre os efeitos dos novos programas. Não avaliar o impacto dos programas educacionais contribui para um cenário em que a descontinuidade dos programas é feita sem maiores consequências, uma vez que se sabe pouco ou nada sobre seus supostos efeitos. Há ainda a situação em que novos programas são propostos sem considerar as evidencias existentes no campo, o que diminui sua chance de sucesso.

A sociedade e o campo educacional perdem em ambos os casos: quando o programa não apresenta efeito ou quando apresenta, uma vez que a tomada de decisão sobre a ampliação, reformulação ou substituição do referido programa será sempre realizada sem o uso de evidências confiáveis sobre seus efeitos. O tema sobre a qualidade da educação no Brasil, aqui entendido como o direito das crianças e jovens de aprender, passa pela adoção de avaliações de impacto sistemáticas sobre as políticas e programas educacionais.

Na etapa de análise das produções, em que se buscava por estudos avaliativos de impacto - aqueles que apontassem conclusões a partir de dados objetivos, de testes aplicados aos alunos e/ou professores do ciclo de alfabetização, a fim de identificar possíveis diferenças (efeitos) entre o antes e o depois da intervenção, no caso, a formação continuada do PNAIC - os resultados podem ser observados na tabela a seguir.

TABELA 3
Resultados obtidos nas 5 bases de dados

Dos resultados finais (121 estudos), 52 tratavam da temática em questão (a formação continuada), mas foram encontradas apenas quatro pesquisas com características de estudos de impacto dentro do tema de interesse. A predominância é dos estudos sobre percepção de impacto, ou seja, pesquisas que coletam dados com diferentes atores (professores, alunos, responsáveis de alunos, diretores etc.), e relatam suas impressões sobre os possíveis efeitos dos programas. É feita aqui importante distinção: percepção sobre impacto não é evidência robusta sobre impacto. Há inúmeros estudos sobre percepção de impacto que reforçam os vieses cognitivos de atores envolvidos (por exemplo, professores, diretores, famílias ou pesquisadores) nos processos estudados (CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ).

AMEAÇAS À VALIDADE DESSA PESQUISA

Julga-se fundamental apontar as ameaças à validade deste estudo, a fim de prevenir outros pesquisadores sobre riscos que poderão ser evitados em futuras pesquisas e cuidados ao considerar os resultados aqui apresentados.

Não foi possível contar com a participação de dois pesquisadores em todas as etapas da pesquisa, conforme recomendações técnicas do método (COSTA; ZOLTOWSKI, 2014COSTA, Angelo Brandelli; ZOLTOWSKI, Ana Paula Couto. Como escrever um artigo de revisão sistemática. In: KOLLER, Sílvia H.; COUTO, Maria Clara P. de Paula; HOHENDORFF, Jean Von (Org.). Manual de produção científica. Porto Alegre: Penso, 2014.). Esse procedimento foi mantido na etapa inicial - definição das bases de dados e palavras-chave, pesquisa do primeiro grupo de trabalhos selecionados - em que se contou com a participação de bibliotecárias e membros do grupo de pesquisa a que pertence este estudo.

Quanto ao processo de inclusão e exclusão de arquivos, há algumas observações importantes. Considera-se como uma ameaça a possibilidade de terem sido deixados de fora trabalhos relevantes, sobretudo na base ANPEd, pelas dificuldades específicas de pesquisa nesse site, que carece de ferramenta de busca. Outras bases também poderão ser incluídas em estudos futuros.

Deve-se declarar também que alguns poucos trabalhos incluídos referem-se ao PNAIC de forma superficial, mas foram mantidos por apresentarem algum tipo de análise/avaliação que poderia contribuir para a tipologia dos estudos. Essa inclusão não colocaria em risco a revisão sistemática ou a qualidade de nossa pesquisa, que, pretendia-se, fosse o mais abrangente possível.

RESULTADOS DA PESQUISA: TIPOLOGIA DOS ESTUDOS

Um dos objetivos específicos dessa pesquisa foi construir uma tipologia dos trabalhos coletados. Grande parte das informações apresentadas nesta seção foi retirada dos resumos dos trabalhos. Entretanto, em vários momentos, foi necessário acessar as conclusões ou o texto na íntegra, pois as informações do resumo não eram suficientemente claras ou não estavam ali disponíveis todos os dados necessários.

A primeira tabela se refere às produções por base de dados. No caso da ANPEd, são mencionados os Grupos de Trabalho (GT) a que pertencem os estudos. No caso da base SciELO, informam-se as revistas em que os artigos foram publicados, assim como as mídias das demais bases (ABAlf e BTD da CAPES).

TABELA 4
Produções sobre o PNAIC, por base de dados

A maior parte dos trabalhos tem sido produzida no âmbito das universidades públicas, tendência que se repete em todas as bases. Isso se justifica pelo fato de haver um predomínio dos programas de mestrado e doutorado nessas universidades, enquanto na graduação, o quadro é invertido: há predomínio das universidades privadas sobre as públicas.

Na tabela a seguir, pode-se ver a distribuição por universidades públicas, privadas e comunitárias, por base de dados, de onde se originaram os 121 resultados considerados para a tipologia desta pesquisa.

TABELA 5
Produções por IES: pública, privada e comunitária

A seguir, a distribuição por base de dados, de acordo com o grau acadêmico dos programas de pós-graduação.

TABELA 6
Produções por grau acadêmico

O quadro, a seguir, demonstra os resultados do levantamento de temas por base de dados, que podem indicar lacunas a serem preenchidas com estudos futuros.

TABELA 7
Temas abordados nas pesquisas, por base de dados

Na classificação quanto aos tipos de pesquisa, tentou-se respeitar as designações feitas pelos pesquisadores, aplicando a lista utilizada na tabela a seguir.

Como se pode observar, o predomínio é de pesquisas que analisam documentos e do tipo “estudo de caso”, quando são definidas de modo mais específico por seus autores. Se somadas as mistas às do tipo “outros”, tem-se mais de 50% do total de produções, o que sugere dificuldades dos pesquisadores em classificar suas produções e talvez a falta de um referencial mais objetivo para isso na área de educação.

Observe que, no caso de “revisão de literatura”, não se trata de haver apenas uma produção desse tipo no BTD da CAPES, mas há grande incidência de associação entre revisão de literatura e outros tipos de pesquisa.

TABELA 8
Tipo de pesquisa, por base de dados

Com base nas conclusões que compõem os resumos, são apresentadas as apreciações dos pesquisadores quanto à avaliação que fazem do Pacto. Em alguns dos trabalhos, foi necessário recorrer às conclusões no corpo do texto. Mesmo assim, em cerca de 28% das pesquisas, não foi possível identificar o posicionamento do autor. Nesses casos, entende-se que são apontados aspectos positivos e negativos, sem preponderância de uns sobre os outros e esses foram classificados como “não fica clara”.

TABELA 9
Qual é a avaliação do PNAIC? Todas as bases

A tabela a seguir apresenta os resultados da classificação feita dos estudos elencados para essa tipologia e os números a que se chegou, considerando a seguinte classificação: estudos de implementação - os que tentam esclarecer “em que medida o programa foi implementado de acordo com o plano original” (CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. , p. 100); estudos de impacto - procuram averiguar se os efeitos almejados foram atingidos (CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ); percepção de implementação e percepção de impacto, em ambos os casos, são coletadas impressões dos diferentes atores envolvidos, tendo em vista o processo e os resultados do programa, respectivamente.

TABELA 10
Tipo de estudo avaliativo - Todas as bases de dados

Como se pode observar, enquanto cerca de 55% das pesquisas não são avaliativas, outros 40% são de percepção (implementação e impacto) e somente cerca de 4% são estudos de impacto. Esses resultados podem apontar lacunas a serem preenchidas no campo da pesquisa educacional. Chama a atenção também não ser encontrado nenhum estudo sobre avaliação de implementação. Idealmente, esses estudos deveriam ser realizados junto com a avaliação de impacto com o objetivo de ajudar nas interpretações sobre os efeitos estimados dos programas. Não é incomum observar programas com efeitos muito pequenos ou nulos que apresentaram sérios problemas na sua implementação. Nesse caso, a avaliação de implementação traz evidências muito úteis para ajudar na interpretação sobre os efeitos do programa.

Os dados apresentados na tabela anterior reforçam um cenário que merece ser interpretado com maior atenção pelos pesquisadores e gestores do campo da educação. Após cinco anos de implementação do PNAIC, maior programa voltado à formação de professores no Brasil, há um número muito limitado de estudos que tentaram estimar os possíveis efeitos do programa em diferentes dimensões. Os dados sugerem que não há na agenda de pesquisa educacional uma preocupação clara com os efeitos das políticas e/ou programas educacionais. Em outros contextos, conforme descrevem Cano (2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ) e Gorard (2013GORARD, Stephen. Research design: robust approaches for the social sciences. London: SAGE, 2013.), a avaliação de impacto de novos programas é uma exigência das agências de fomento e/ou governos.

EVIDÊNCIAS DOS ESTUDOS DE IMPACTO

Apresenta-se, a seguir, a segunda parte dos resultados da pesquisa, com a síntese da revisão sistemática sobre os estudos de impacto voltados à formação continuada, cumprindo o objetivo central estabelecido para este estudo.

As quatro pesquisas selecionadas pertencem à base do BTD da CAPES e foram desenvolvidas em universidades públicas, sendo que, duas delas são resultado de pesquisas realizadas em Mestrado Profissional e, outras duas, em Mestrado Acadêmico. As produções são oriundas das regiões Sudeste (BTD CAPES 5), Nordeste (BTD CAPES 14), Sul (BTD CAPES 45) e Centro-Oeste (BTD 38). Duas delas pertencem a Programas de Educação (BTD CAPES 45 e 38), a terceira está relacionada a um programa intitulado Docência para a Educação Básica, ligado à Faculdade de Ciências (BTD CAPES 05), enquanto a quarta pertence a um programa de Letras.

Os critérios utilizados para a avaliação das pesquisas foram:

  1. - O desenho do estudo avaliativo é adequado para responder à questão de pesquisa?

  2. - Os critérios e a amostra foram descritos?

  3. - Qualidade dos dados: os dados utilizados na avaliação de impacto são padronizados e/ou permitem a comparação entre grupos?

  4. - A perda amostral foi indicada?

  5. - Ameaças à validade interna do estudo foram descritas e analisadas?

A cada um dos itens foi atribuída uma nota de 0 a 1, com somatório máximo total de 5 pontos, sendo que o zero indica um estudo de baixa qualidade, enquanto o 5 representa um estudo de alta qualidade - alta validade interna e externa (CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ; GORARD, 2013GORARD, Stephen. Research design: robust approaches for the social sciences. London: SAGE, 2013.). Os itens para avaliar a qualidade dos estudos foram inspirados na “peneira” proposta por Gorard, See e Siddiqui (2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.) para avaliar a qualidade da evidência de estudos de impacto. Os autores destacam que, ao ler um estudo avaliativo (e por que não qualquer estudo científico?), o aspecto mais relevante é discriminar a qualidade da evidência apresentada, ou o que eles chamam de confiabilidade (trustworthiness) do estudo. Em outras palavras: o quão convincentes são os achados apresentados? Os autores utilizam a metáfora de uma peneira que teria cinco pontos principais, que devem ser levados em consideração no momento da leitura e avaliação da qualidade dos estudos: a) desenho do estudo, b) escala do estudo, c) mortalidade amostral, d) qualidade dos dados coletados/analisados, e) outras ameaças ao estudo (GORARD; SEE; SIDDIQUI, 2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.).

Ainda sobre a questão da qualidade dos estudos, deve-se destacar que a originalidade da iniciativa dos quatro pesquisadores que estimaram o impacto do PNAIC é louvável, sobretudo diante do quadro observado quanto aos tipos de pesquisa. Entretanto, é, no mínimo, curioso observar que nenhum deles descreva claramente o desenho da pesquisa (no caso específico, todos quase-experimentais). Não é incomum em outras áreas de intervenção, como por exemplo, saúde pública, engenharia ou segurança pública, a descrição clara do desenho do estudo avaliativo e suas limitações/ameaças.

É importante esclarecer que nossa intenção, ao realizar a avaliação dos estudos, é a de debater sobre a importância de se estabelecerem critérios de análise das produções da área, contribuindo para um maior rigor no desenho da pesquisa avaliativa em Educação. Sabe-se que há certo grau de arbitrariedade no julgamento das produções (em especial, se há o objetivo de destacar uma nota final para a qualidade do estudo - ver Gorard, See, e Siddiqui, 2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.), mas é um risco que se assume correr diante dos ganhos que essa reflexão pode representar para os pesquisadores.

Dos quatro estudos, dois estão voltados à análise de resultados de aprendizagem dos alunos do ciclo de alfabetização, o terceiro tem foco nos professores - mudança na prática dos professores que participaram das formações do PNAIC e, o último, propõe vincular a qualificação dos professores e o desempenho dos alunos. Dois se referem à área de Matemática e dois à área de Língua Portuguesa. Duas pesquisas declaram a aprovação das propostas pelos comitês de ética das suas cidades e outras duas não fazem menção a esse quesito.

Embora os quatro estudos selecionados para essa etapa da pesquisa possam ser descritos como estudos quase experimentais, de acordo com a classificação apontada por Shadish, Cook e Campbell (2002SHADISH, W. R.; COOK, T. D.; CAMPBELL, D.T. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton-Mifflin, 2002.), mais uma vez, sinaliza-se que essa classificação foi realizada a partir de interpretação própria das produções. Os autores não descreveram suas pesquisas nessa perspectiva. Entretanto, é objetivo lançar luz sobre a importância desse tipo de estudo para a área educacional, sobretudo quando se trata da avaliação de políticas e programas públicos, que envolvem muitos recursos materiais e humanos e podem representar enormes ganhos ou grande desperdício de tempo e investimentos para a sociedade. Quando o risco envolve questões críticas como o analfabetismo escolar, isso fica ainda mais grave, pois várias gerações de estudantes poderão ficar comprometidas com programas ineficazes que não atingem os objetivos propostos.

QUADRO 2
Resumo da avaliação dos estudos de impacto da Formação Continuada do PNAIC

No processo de análise das produções, foi possível observar que os dois pesquisadores que estudaram a área de Matemática apontam para a necessidade de uma formação continuada de cunho mais científico. Há indicações de que o Programa tratou os temas da matemática de forma superficial e dentro de um tempo exíguo de trabalho, incompatível com a complexidade dos conteúdos em questão.

Se tomada a questão da causalidade, por exemplo, somente um dos estudos (BTD CAPES 38) tentou, de forma mais clara, eliminar hipóteses alternativas aos resultados encontrados. Isso reforça a preocupação com a qualidade dos estudos que buscam estimar impactos no campo da educação e, de forma mais específica, sobre os possíveis efeitos no PNAIC.

Não houve, em nenhum dos estudos, alocação aleatória das amostras em grupos distintos (no caso grupo experimental e grupo controle), o que poderia aumentar sua validade interna, uma vez que esse procedimento permite construir grupos equivalentes em expectativa e, portanto, comparáveis (CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ). Porém, em um dos estudos, a pesquisadora fez o pareamento das unidades (GIOMBELLI, 2016GIOMBELLI, Cirlei. Implicações da formação do PNAIC nas compreensões dos professores sobre as elaborações de conceitos matemáticos pelas crianças do ciclo de alfabetização. 2016. 183 f.Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal da Fronteira Sul, Chapecó, 2016. - BTD CAPES 45), quando se divide a população em dois grupos cujas características sejam as mais similares possíveis (ELACQUA, 2015ELACQUA, Gregory et al. Educação baseada em evidências: como saber o que funciona em educação. Brasília, DF: Instituto Alfa e Beto, 2015.). Embora não seja o ideal, essa estratégia demonstra uma maior compreensão da necessidade de realizar “comparações justas” com o objetivo de minimizar o risco de viés de seleção (VOGT; GARDNER; HAEFFELE, 2012VOGT, W. P.; GARDNER, D.C.; HAEFFELE, L.M. When to use what research design? New York: Guilford Publications, 2012.; SHADISH; COOK; CAMPBELL, 2002SHADISH, W. R.; COOK, T. D.; CAMPBELL, D.T. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton-Mifflin, 2002.; CANO, 2006CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006. ).

É importante sinalizar que os estudos identificados como BTD CAPES 05 e 14 (PEREIRA, 2016PEREIRA, Adauto de Jesus. Contribuições da pedagogia histórico-crítica para o ensino da geometria espacial no ciclo de alfabetização. 2016. 104 f. Dissertação (Mestrado Profissional em Docência para a Educação Básica) - Programa de Pós-Graduação em Docência para a Educação Básica, Universidade Estadual Júlio de Mesquita, Bauru, 2016.; SILVA, 2015SILVA, Geysa Paula Castor da. Leitura e escrita no final do ciclo de alfabetização: uma interface com a proposta de letramento do PNAIC. 2015. 153 f. Dissertação (Mestrado Profissional em Letras) - Programa de Pós-Graduação em Letras, Universidade Federal da Paraíba, João Pessoa, 2015., respectivamente), utilizaram também intervenções elaboradas pelos pesquisadores. No primeiro caso (PEREIRA, 2016PEREIRA Maurício Gomes; GALVÃO, Taís Freire. Heterogeneidade e viés de publicação em revisões sistemáticas. Epidemiol. Serv. Saúde, Brasília, DF, v. 23, n. 4, p. 775-778, out./dez. 2014. Disponível em: <Disponível em: https://scielosp.org/pdf/ress/v23n4/2237-9622-ress-23-04-00775.pdf >. Acesso em: 10 fev. 2018.
https://scielosp.org/pdf/ress/v23n4/2237...
), isso deve ser visto com mais atenção ainda, pois o pesquisador avalia os resultados da segunda observação com base no seu próprio teste, seguindo orientações que não estão previstas na fundamentação teórica do Pacto. Mesmo assim, o estudo foi incluído, considerando-se os resultados do primeiro teste, aplicado a alunos do 4º ano, que, esperava-se, tivessem domínio dos conteúdos indicados pelo pesquisador como adequados à etapa de escolarização em que se encontravam.

Outro aspecto que merece destaque é o que se refere às ameaças à validade interna e externa dos estudos. Esses aspectos são tratados de forma tangencial, com ressalvas para os estudos BTD CAPES 45 (GIOMBELLI, 2016GIOMBELLI, Cirlei. Implicações da formação do PNAIC nas compreensões dos professores sobre as elaborações de conceitos matemáticos pelas crianças do ciclo de alfabetização. 2016. 183 f.Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal da Fronteira Sul, Chapecó, 2016.) e BTD CAPES 38 (ASSIS, 2016ASSIS, Ana Katia Ferreira de. O PNAIC e a educação básica em Jataí - GO: o que revelam os documentos? 2016. 180 f. Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal de Goiás, Goiânia, 2016.), em que a questão é abordada de forma mais objetiva.

CONCLUSÕES

Esta é a primeira revisão sistemática sobre os efeitos da política de formação continuada de professores do Pacto Nacional pela Alfabetização na Idade Certa. As Revisões Sistemáticas representam, hoje, uma ferramenta importante, se considerarmos a grande quantidade de informações disponíveis sobre os mais variados temas. Mesmo dispondo de recursos tecnológicos avançados de busca, ainda assim, tem sido um desafio aos pesquisadores gerenciar uma gama tão extensa e diversificada de dados. Portanto, RS podem contribuir para a agilidade e a qualidade dos estudos de muitos outros pesquisadores. Trata-se de um método bastante trabalhoso - a estimativa é de que são necessários sete meses à realização de uma boa revisão sistemática, mas de baixo custo.

As contribuições das revisões sistemáticas se concretizam tanto pela apresentação dos dados compilados e organizados, como também e, principalmente, pela qualidade das evidências dos estudos selecionados. Nesse sentido, observamos que estamos diante de grandes desafios. Os resultados encontrados nos sugerem que temos uma agenda de pesquisa que ainda está distante do debate sobre o impacto dos programas e políticas educacionais, mesmo considerando os programas de maior orçamento e com temas centrais para o debate educacional.

A síntese dos estudos de impacto também nos sugere que temos muito a avançar em termos de desenhos avaliativos, tamanhos de amostras, publicação de resultados e redes de pesquisa. Em princípio, não identificamos nesses estudos, e nem nos demais, preocupação marcante com o compartilhamento de informações, padronização de dados, uso de tecnologia para gerenciar e divulgar resultados. Esse cenário dificulta a expansão dos bons programas (com efeitos positivos mensurados de forma adequada) ou a reformulação dos programas que foram identificados como pouco eficazes. Em um total de 121 estudos, encontramos apenas quatro estudos que estimaram os possíveis efeitos do PNAIC e nenhum estudo avaliativo de implementação.

A qualidade das evidências sugere que os estudos apresentam muitas ameaças à validade interna e externa. Em especial, destacamos a falta de grupo controle (apenas um estudo realizou técnicas de pareamento) ou mesmo de duas medidas que permitam analisar o antes e o depois da intervenção. Há ainda limitações referentes à escala dos estudos e, por vezes, observa-se a falta de informações relevantes, como, por exemplo, a mortalidade amostral ao longo do estudo. Todas essas limitações reforçam o cenário de desconhecimento sobre os efeitos do PNAIC na prática dos professores ou ainda na alfabetização das crianças. A maior parte dos estudos apresenta a percepção dos atores (em geral professores) sobre a implementação ou impacto do PNAIC.

É preciso reforçar que percepção de impacto não é o mesmo de um estudo que busca coletar medidas diretas sobre as práticas ou o desempenho dos alunos, para, depois, comparar o seu desenvolvimento. Os estudos sobre percepção de impacto apresentam muitas limitações e devem ser lidos com cautela por gestores e pesquisadores. Há sempre o risco de viés cognitivo dos atores pesquisados, por exemplo, professores que são contra determinado programa ou governo tendem a ter uma percepção negativa do programa. A percepção também é circunscrita, normalmente, à turma ou escola de atuação, o que dificulta uma análise comparativa com grupo experimental e grupo controle.

Basear-se em evidências científicas robustas e testes bem construídos parece ser um caminho mais seguro para a tomada de decisão dos gestores educacionais (ELACQUA, 2015ELACQUA, Gregory et al. Educação baseada em evidências: como saber o que funciona em educação. Brasília, DF: Instituto Alfa e Beto, 2015.). Nesse sentido, se considerarmos os estudos aqui analisados, veremos que contribuem pouco para a tomada de decisão de gestores, e a pergunta sobre os efeitos do programa fica sem resposta. De acordo com os dados recebidos do MEC, foram mobilizados uma média de 250 mil professores alfabetizadores e gastos, com o PNAIC, mais de 2 bilhões e 300 milhões, em cinco anos de existência do Programa. A premência por entender os resultados obtidos se justifica.

Mesmo em países que já possuem tradição na busca por evidências robustas sobre a eficácia de programas, aponta-se para a necessidade urgente de estudos de impacto sobre políticas ou programas educacionais que apresentem alta validade interna e externa. Já há iniciativas em diversos países como, por exemplo, Inglaterra, Holanda e Austrália, que demandam a realização de estudos de impacto, com desenho experimental, no momento em que se aprova a implementação de um novo programa. Essa deveria ser uma exigência não apenas de pesquisadores do campo da educação, mas também de membros da sociedade civil, preocupados com a melhoria da educação pública, e dos agentes que financiam as pesquisas (GORARD; SEE; SIDDIQUI, 2017GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.).

Para Elacqua (2015ELACQUA, Gregory et al. Educação baseada em evidências: como saber o que funciona em educação. Brasília, DF: Instituto Alfa e Beto, 2015.), a cultura pedagógica exige dos profissionais um conhecimento amplo e profundo dos achados científicos que embasam a prática pedagógica e a capacidade de relacioná-los num todo coerente - seja para formular políticas no nível macro, seja para tomar decisões sobre ensino ou avaliação no nível micro.

REFERÊNCIAS

  • ACOSTA, Sidiane Barbosa. Qual o lugar dos coordenadores pedagógicos das escolas estaduais no Pacto Nacional pela Alfabetização na Idade Certa no Município do Rio Grande/RS. 2016. 109 f. Dissertação (Mestrado em Educação) - Programa de PósGraduação em Educação, Universidade Federal do Rio Grande, Rio Grande, 2016.
  • ALMEIDA, Maria Elisa Vieira da Cunha Cardoso de. As vozes que emergem do pacto federativo: o Pacto Nacional pela Alfabetização na Idade Certa (PNAIC) em foco e suas implicações na cidade do Rio de Janeiro. 2016. 126 f. Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2016.
  • ANDRÉ, Marli. Pesquisa em educação: questões de teoria e de método. Educ. Tecnol., Belo Horizonte, v.10, n.1, p.29-35, jan./jun. 2005.
  • ASSIS, Ana Katia Ferreira de. O PNAIC e a educação básica em Jataí - GO: o que revelam os documentos? 2016. 180 f. Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal de Goiás, Goiânia, 2016.
  • BORGES, Aline Danielle Batista. O movimento de reformas educacionais pós-90 e as ideias predominantes no Brasil: a construção de uma tipologia dos estudos. 2016. 275 f. Tese (Doutorado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2016.
  • BRASIL. Ministério da Educação. Portaria nº. 867, de 04 de julho de 2012. Institui o Pacto Nacional pela Alfabetização na Idade Certa e as ações do Pacto e define suas diretrizes gerais. Diário Oficial da União: seção 1, Brasília, DF, n. 129, p. 22, 05 jul. 2012.
  • BRASIL. Ministério da Educação. Portaria nº. 1094, de 30 de setembro de 2016. Altera dispositivos da Portaria MEC nº. 867, de 4 de julho de 2012, que institui o Pacto Nacional pela Alfabetização na Idade Certa e define suas diretrizes gerais [...]. Diário Oficial da União: seção 1, n. 190. p. 8, 03 out. 2016b.
  • BRASIL. Ministério da Educação. Portaria nº. 1.144, de 10 de outubro de 2016. Institui o Programa Novo Mais Educação, que visa melhorar a aprendizagem em língua portuguesa e matemática no ensino fundamental. Diário Oficial da União: seção 1, Brasília, DF, n. 196, p. 23, 11 out. 2016c.
  • BRASIL. Ministério da Educação. Portaria nº. 826, de 7 de julho de 2017. Dispõe sobre o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC, suas ações, diretrizes gerais e a ação de formação no âmbito do Programa Novo Mais Educação - PNME. Diário Oficial da União: seção 1, Brasília, DF, n. 130, p. 20, 10 jul. 2017b.
  • BRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
    » http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf
  • BRASIL. Ministério da Educação. Portaria nº 4, de 04 de janeiro de 2018. Institui o Programa Mais Alfabetização, que visa fortalecer e apoiar as Unidades Escolares no processo de alfabetização dos estudantes regularmente matriculados nos 1º e 2º anos iniciais do ensino fundamental. Diário Oficial da União: seção 1, Brasília, DF, n. 4, p. 15, 05 jan. 2018.
  • BRASIL. Ministério da Educação. Secretaria de Educação Básica. PNAIC em ação 2016: Documento orientador das ações de formação continuada de professores alfabetizadores em 2016. Brasília, DF, 2016a.
  • BRASIL. Secretaria de Educação Básica. Diretoria de Apoio à Gestão Educacional. Pacto Nacional pela Alfabetização na Idade Certa: apresentação. Brasília, DF, 2015a.
  • BRASIL. Ministério da Educação. Secretaria de Educação Básica. Pacto Nacional pela Alfabetização na Idade Certa: documento orientador [PNAIC em ação]. Brasília, DF, 2017a. Disponível em: <Disponível em: http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf >. Acesso em: 28 nov. 2018.
    » http://pacto.mec.gov.br/images/pdf/doc_orientador/doc_orientador_versao_final.pdf
  • BRASIL. Ministério da Educação. Secretaria de Educação Básica. PNAIC em ação 2016: Documento orientador das ações de formação continuada de professores alfabetizadores em 2016. Brasília, DF, 2016a.
  • BRASIL. Ministério da Educação. Prestação de contas ordinária anual relatório de gestão consolidado do exercício 2014. Brasília, DF, 2015b.
  • CANO, Ignacio. Introdução à avaliação de programas sociais. 3. ed. Rio de Janeiro: FGV, 2006.
  • CASTRO, Carla Maria Motta Valle. Avaliação do Aprendizado no Ciclo de Alfabetização de alunos da rede municipal do Rio de Janeiro. 2016. Dissertação (Mestrado em População, Território e Estatística Pública) - Escola Nacional de Ciências Estatísticas, Rio de Janeiro, 2016.
  • CONSTANT, Elaine; PNAIC no Estado do Rio de Janeiro: a polifonia na formação continuada de professores alfabetizadores. Rio de Janeiro: 2017.
  • COSTA, Angelo Brandelli; ZOLTOWSKI, Ana Paula Couto. Como escrever um artigo de revisão sistemática. In: KOLLER, Sílvia H.; COUTO, Maria Clara P. de Paula; HOHENDORFF, Jean Von (Org.). Manual de produção científica. Porto Alegre: Penso, 2014.
  • CUNHA. L.A. Educação, estado e democracia no Brasil. São Paulo: Cortez; Rio de Janeiro: FLACSO do Brasil, 1991.
  • ELACQUA, Gregory et al. Educação baseada em evidências: como saber o que funciona em educação. Brasília, DF: Instituto Alfa e Beto, 2015.
  • GATTI, Bernardete A. A pesquisa em educação: pontuando algumas questões metodológicas. [Campinas], 2002. Disponível em: <Disponível em: http://www.lite.fe.unicamp.br/revista/gatti.html >. Acesso em: 12 fev. 2018.
    » http://www.lite.fe.unicamp.br/revista/gatti.html
  • GATTI, Bernardete A.; BARRETO, Elba Siqueira de Sá; ANDRÉ, Marli. Políticas docentes no Brasil: um estado da arte. Brasília, DF: UNESCO, 2011.
  • GIOMBELLI, Cirlei. Implicações da formação do PNAIC nas compreensões dos professores sobre as elaborações de conceitos matemáticos pelas crianças do ciclo de alfabetização. 2016. 183 f.Dissertação (Mestrado em Educação) - Programa de Pós-Graduação em Educação, Universidade Federal da Fronteira Sul, Chapecó, 2016.
  • GOMES, Isabelle Sena. CAMINHA, Iraquitan de Oliveira. Guia para estudos de revisão sistemática: uma opção metodológica para as Ciências do Movimento Humano. Revista Movimento, Porto Alegre, v. 20, n. 01, p. 395-411, jan./mar. 2014.
  • GORARD, Stephen. Research design: robust approaches for the social sciences. London: SAGE, 2013.
  • GORARD, Stephen; SEE, Huat Beng; SIDDIQUI, Nadia. The trials of evidence-based education: the promises, opportunities and problems of trials in education. England: Taylor & Francis, 2017.
  • PEREIRA, Adauto de Jesus. Contribuições da pedagogia histórico-crítica para o ensino da geometria espacial no ciclo de alfabetização. 2016. 104 f. Dissertação (Mestrado Profissional em Docência para a Educação Básica) - Programa de Pós-Graduação em Docência para a Educação Básica, Universidade Estadual Júlio de Mesquita, Bauru, 2016.
  • PEREIRA Maurício Gomes; GALVÃO, Taís Freire. Heterogeneidade e viés de publicação em revisões sistemáticas. Epidemiol. Serv. Saúde, Brasília, DF, v. 23, n. 4, p. 775-778, out./dez. 2014. Disponível em: <Disponível em: https://scielosp.org/pdf/ress/v23n4/2237-9622-ress-23-04-00775.pdf >. Acesso em: 10 fev. 2018.
    » https://scielosp.org/pdf/ress/v23n4/2237-9622-ress-23-04-00775.pdf
  • PETTICREW, Mark; ROBERTS, Helen. Systematic reviews in the social sciences: a practical Guide. Malden, MA: Blackwell Publishing, 2006.
  • SANTOS, William Soares dos (Org). Educação em movimento: artigos e relatos de experiências do Pacto Nacional pela Alfabetização na Idade Certa no Rio de Janeiro em 2014. Rio de Janeiro: Faculdade de Educação da UFRJ, 2015.
  • SANTOS, Cintia Anselmo dos. O papel do coordenador pedagógico no processo formativo dos professores do ciclo de alfabetização: o Pacto Nacional pela Alfabetização na Idade Certa - PNAIC. 2015. 94 f. Dissertação (Mestrado Profissional em Educação) - Programa de Pós-Graduação em Educação. Pontifícia Universidade Católica de São Paulo, São Paulo, 2015.
  • SHADISH, W. R.; COOK, T. D.; CAMPBELL, D.T. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton-Mifflin, 2002.
  • SILVA, Geysa Paula Castor da. Leitura e escrita no final do ciclo de alfabetização: uma interface com a proposta de letramento do PNAIC. 2015. 153 f. Dissertação (Mestrado Profissional em Letras) - Programa de Pós-Graduação em Letras, Universidade Federal da Paraíba, João Pessoa, 2015.
  • SILVA, Roberto Rafael Dias da et al. Políticas contemporâneas de formação de alfabetizadores no Brasil: entre a potencialização dos desempenhos e a gestão pedagógica das inovações. Práxis Educativa, Ponta Grossa, v. 11, n. 1, p.15-35, jan./abr. 2016. Disponível em: <Disponível em: http://www.revistas2.uepg.br/index.php/praxiseducativa/article/view/7080 >. Acesso em: 28 nov. 2018.
    » http://www.revistas2.uepg.br/index.php/praxiseducativa/article/view/7080
  • SOARES, Magda. Alfabetização e letramento. 7. ed.São Paulo: Contexto, 2017.
  • VELOSO, F. et al. Educação Básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009.
  • VOGT, W. P.; GARDNER, D.C.; HAEFFELE, L.M. When to use what research design? New York: Guilford Publications, 2012.
  • 1
    Os trabalhos selecionados foram publicados nos seguintes periódicos: Revista Brasileira de Educação (1 publicação); DELTA: Documentação de Estudos em Linguística Teórica e Aplicada (1); Cadernos CEDES (2); Educação em Revista (1); Revista Brasileira de Estudos Pedagógicos (1).
  • 2
    Os trabalhos selecionados pertencem aos seguintes Grupos de Trabalho: GT 8 - Formação de Professores (4 trabalhos); GT 12 - Currículo (1); GT 13 - Educação Fundamental (2).
  • 3
    Disponível em <http://portal.mec.gov.br/busca-geral/211-noticias/218175739/56321-mec-anuncia-politica-nacional-de-alfabetizacao-para-reverter-estagnacao-na-aprendizagem>. Acesso em: 07 dez. 2018.
  • 4
    Disponível em <http://portal.mec.gov.br/index.php?ption=com_content&view=article&id=18216>. Acesso em: 15 nov. 2017.
  • 5
    Secretaria de Estado de Educação e Qualidade do Ensino
  • 6
    Fundo das Nações Unidas para a Infância (UNICEF); Associação dos Municípios do Estado do Ceará (APRECE); União Nacional dos Dirigentes Municipais do Ceará (UNDIME/CE); Associação para o Desenvolvimento dos Municípios do Ceará (APDM CE); Secretaria de Cultura do Ceará (SECULT).
  • 7
    O Programa Mais Alfabetização, criado pela Portaria nº 142, de 22 de fevereiro de 2018, é uma estratégia do MEC para fortalecer e apoiar as escolas no processo de alfabetização dos estudantes regularmente matriculados no 1º ano e 2º ano do Ensino Fundamental, garantindo apoio adicional do assistente de alfabetização ao professor alfabetizador, tendo em vista o pleno domínio da leitura, da escrita e do cálculo. Disponível em: <http://portal.mec.gov.br/expansao-da-rede-federal/30000-uncategorised/62871-programa-mais-alfabetizacao>. Acesso em: 10 dez. 2018.
  • 8
    O termo refere-se à descontinuidade das políticas educacionais, fenômeno anterior à década de 1990 e intensificado a partir de então.
  • 9
    O Pró-Letramento - Mobilização pela Qualidade da Educação - é definido como um programa de formação continuada de professores para a melhoria da qualidade de aprendizagem da leitura/escrita e matemática nos anos iniciais do ensino fundamental. O programa era realizado pelo MEC, em parceria com universidades que integram a Rede Nacional de Formação Continuada e com adesão dos estados e municípios e atualmente está desativado.
  • 10
    Foram identificados pelo menos dois trabalhos, no processo de pesquisa, no Banco de Teses e Dissertações da CAPES, sinalizando para a importância da participação dos coordenadores pedagógicos na formação continuada do PNAIC (SANTOS, 2015SANTOS, William Soares dos (Org). Educação em movimento: artigos e relatos de experiências do Pacto Nacional pela Alfabetização na Idade Certa no Rio de Janeiro em 2014. Rio de Janeiro: Faculdade de Educação da UFRJ, 2015.; ACOSTA, 2016ACOSTA, Sidiane Barbosa. Qual o lugar dos coordenadores pedagógicos das escolas estaduais no Pacto Nacional pela Alfabetização na Idade Certa no Município do Rio Grande/RS. 2016. 109 f. Dissertação (Mestrado em Educação) - Programa de PósGraduação em Educação, Universidade Federal do Rio Grande, Rio Grande, 2016.), indicando que eles seriam elementos decisivos na concretização da proposta do Pacto nas escolas.
  • 11
    A União Nacional dos Dirigentes Municipais de Educação (Undime) é uma associação civil sem fins lucrativos, fundada em 1986 e com sede em Brasília/ DF. Tem por missão articular, mobilizar e integrar os dirigentes municipais de educação para construir e defender a educação pública com qualidade social. Disponível em: <https://undime.org.br/institucional/o-que-e-a-undime>. Acesso em: 22 jan. 2018.
  • 12
    O Programa Novo Mais Educação, criado pela Portaria MEC nº 1.144/2016BRASIL. Ministério da Educação. Portaria nº. 1.144, de 10 de outubro de 2016. Institui o Programa Novo Mais Educação, que visa melhorar a aprendizagem em língua portuguesa e matemática no ensino fundamental. Diário Oficial da União: seção 1, Brasília, DF, n. 196, p. 23, 11 out. 2016c. e regido pela Resolução FNDE nº 5/2016, é uma estratégia do Ministério da Educação, que tem como objetivo melhorar a aprendizagem em língua portuguesa e matemática no ensino fundamental, por meio da ampliação da jornada escolar de crianças e adolescentes. Disponível em: <http://portal.mec.gov.br/programa-mais-educacao>. Acesso em: 15 jan. 2018BRASIL. Ministério da Educação. Portaria nº 4, de 04 de janeiro de 2018. Institui o Programa Mais Alfabetização, que visa fortalecer e apoiar as Unidades Escolares no processo de alfabetização dos estudantes regularmente matriculados nos 1º e 2º anos iniciais do ensino fundamental. Diário Oficial da União: seção 1, Brasília, DF, n. 4, p. 15, 05 jan. 2018. .
  • 13
    Disponível em: <http://www.brasil.gov.br/educacao/2017/01/governo-repassa-r-56-milhoes-a-bolsas-de-alfabetizacao>. Acesso em: 03 jan. 2018.
  • 14
    Viés de publicação refere-se à “tendência de os resultados publicados estarem sistematicamente diferentes da realidade, consiste em incluir na revisão sistemática uma amostra de estudos não representativa da totalidade dos estudos realizados. Em especial, quando se realiza uma busca na literatura, há maior probabilidade de encontrar estudos com resultados positivos” (PEREIRA; GALVÃO, 2014, p. 777). A adoção do BTD da CAPES é uma forma de minimizar o risco de ameaça à validade do estudo.
  • 15
    Estudos experimentais, com grupo experimental e grupo controle selecionados de forma aleatória (VOGT; GARDNER; HAEFFELE, 2012; CANO, 2006; GORARD, 2013).
  • 16
    A Campbell Collaboration é uma rede de pesquisa internacional que produz e divulga análises sistemáticas sobre os efeitos das intervenções nas ciências sociais e comportamentais. Pretende melhorar a qualidade dos serviços públicos e privados através do reforço da base de evidências para a política e a prática social. Produz avaliações nas áreas de criminalidade e justiça, educação, desenvolvimento internacional e bem-estar social. Disponível em: http://www.cochrane.org/about-us/our-partners-and-funders/campbell-collaboration. Acesso em: 22 jan. 2018.
  • 17
    Evidência refere-se à indicação de probabilidade, fato que confirma ou refuta uma afirmação, hipótese ou proposição (ELACQUA, 2015).
  • 18
    Foram identificados 5 estudos de impacto, mas um deles pretendia averiguar as diferenças de domínio de conteúdos de matemática entre Orientadores de Estudo. Portanto, não se referia à Formação Continuada do PNAIC e estava fora do foco dessa pesquisa.

Datas de Publicação

  • Publicação nesta coleção
    01 Ago 2019
  • Data do Fascículo
    2019

Histórico

  • Recebido
    09 Ago 2018
  • Aceito
    17 Dez 2018
Faculdade de Educação da Universidade Federal de Minas Gerais Avenida Antonio Carlos, 6627., 31270-901 - Belo Horizonte - MG - Brasil, Tel./Fax: (55 31) 3409-5371 - Belo Horizonte - MG - Brazil
E-mail: revista@fae.ufmg.br